Artigo de Reviso

Reviso sistemtica e meta-anlise de estudos de Diagnstico e Prognstico: um tutorial

Systematic Review and Meta-analysis of Diagnostic and Prognostic Studies: a Tutorial Marcos R. de Sousa1,2 e Antonio Luiz P Ribeiro1,2 .
Servio de Cardiologia do Hospital das Clnicas da Universidade Federal de Minas Gerais (UFMG)1, Programa de Ps-Graduao (Doutorado) em Clnica Mdica da Faculdade de Medicina da Universidade Federal de Minas Gerais (UFMG)2, Belo Horizonte, MG - Brasil

resumo
As revises sistemticas com meta-anlise de estudos de exames diagnsticos ou de fatores prognsticos so ferramentas de pesquisa ainda em fase de desenvolvimento. O objetivo do presente texto descrever a metodologia de reviso sistemtica e de meta-anlise deste tipo de estudos, passo a passo. Foi feita a reviso da literatura sobre o tema, compilando as recomendaes e organizando o texto em: a) Introduo, b) Setalhamento dos oito passos a serem seguidos, c) Forma de publicao da reviso sistemtica com metaanlise e d) Concluso. Foram descritos os mtodos de reviso sistemtica de forma detalhada, com anlise crtica dos mtodos de compilao estatstica dos resultados, com nfase na utilizao da curva Summary Receiver Operator Characteristic. Forneceu-se referncia para os detalhes de cada tcnica estatstica utilizada na meta-anlise. Conclumos que as revises sistemticas com meta-anlise de exames diagnsticos ou de fatores prognsticos so valiosas na compilao de dados de vrios estudos sobre o mesmo tema, reduzindo vieses e aumentando o poder estatstico da pesquisa primria.

observados na forma de reviso da literatura e na seleo dos artigos quanto aqueles detectados pela avaliao crtica de cada estudo. Meta-anlise o mtodo estatstico utilizado na reviso sistemtica para integrar os resultados dos estudos includos e aumentar o poder estatstico da pesquisa primria2. Embora existam meta-anlises publicadas em 1904 e 19552, o termo meta-anlise foi utilizado pela primeira vez por Glass, em 1976, para indicar a anlise estatstica dos resultados das anlises de muitos estudos individuais, com o propsito de integrar os achados3. s vezes, o termo meta-anlise utilizado como sinnimo de reviso sistemtica, quando a reviso inclui meta-anlise4. Embora ocasionalmente usadas como sinnimos, metanlise e meta-anlise tm definies diferentes. Metanlise um recurso da lingstica, que significa a segmentao no-etimolgica de um vocbulo, locuo ou enunciado, que foram interpretados pelos falantes de forma diversa daquela determinada por sua origem. Os estudos de testes diagnsticos e prognsticos so antigos na literatura mdica, mas a aplicao de metodologia estatstica aos testes diagnsticos e de avaliao prognstica desenvolveu-se depois de sua aplicao em estudos teraputicos5. Do mesmo modo, a padronizao da forma de publicao dos estudos diagnsticos6 ocorreu quase uma dcada aps o mesmo processo ter ocorrido nos estudos teraputicos7. Os principais conceitos estatsticos essenciais ao estudo dos mtodos de diagnstico e avaliao prognstica esto listados na figura 1 e sero utilizados no texto a seguir. Existem diferenas importantes entre meta-anlises de estudos de interveno teraputica, para as quais existem manuais j publicados, e meta-anlises de fatores prognsticos ou de exames diagnsticos, mais recentes e menos padronizadas que sobre as primeiras8. Meta-anlises de estudos comparando intervenes ou tratamentos geralmente incluem estudos aleatorizados, com dois grupos semelhantes, avaliando a mesma interveno, em geral comparada com placebo ou com tratamento convencional. J meta-anlises de estudos de fatores prognsticos ou de exames diagnsticos enfrentam diferentes desafios, como pontos de corte diferentes para o resultado positivo ou negativo de um exame ou avaliao de exames que foram realizados em estudos prospectivos para estudo de intervenes teraputicas. Na dcada de 1990, surgiram novas tcnicas estatsticas de combinao de estudos de exames diagnsticos 9-11 . Desde 1994, quando foi publicada diretriz para meta-anlise de estudos de exames diagnsticos12, surgiram vrias publicaes diferentes com crticas e proposies em aspectos especficos de cada etapa

introduo
Denomina-se reviso sistemtica da literatura a reviso planejada da literatura cientfica, que usa mtodos sistemticos para identificar, selecionar e avaliar criticamente estudos relevantes sobre uma questo claramente formulada. O objetivo da sistematizao reduzir possveis vieses que ocorreriam em uma reviso no-sistemtica1, tanto os vieses

Palavras-chave
Metodologia, diagnstico, prognstico, meta-anlise, literatura de reviso.
Correspondncia: Marcos R. de Sousa Rua Aristides Duarte, 39/601 - Barroca - 30410-040 - Belo horizonte, MG - Brasil E-mail: mrsousa@cardiol.br Artigo enviado em 01/01/08; revisado recebido em 23/01/08; aceito em 14/02/08.

241

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso

Fig. 1 - Conceitos e medidas de desempenho de um teste diagnstico ou prognstico; Toda deciso clnica baseada, conscientemente ou no, em probabilidade; Testes diagnsticos podem ser utilizados para avaliar presena ou ausncia de doena, para avaliar a gravidade do quadro clnico, para monitorar a resposta a uma interveno e para estimar o prognstico; a - nmero de resultados verdadeiro-positivos (VP); b - nmero de resultados falso-positivos (FP); c - nmero de resultados falso-negativos (FN); d - nmero de resultados verdadeiro-negativos (VN); Especificidade (E) - probabilidade de exame negativo nos no-doentes; Sensibilidade (S) - probabilidade de exame positivo nos doentes; Acurcia do exame - proporo de resultados corretos; Valor preditivo negativo (VPN) - probabilidade de no haver a doena em pessoas com teste negativo; Valor preditivo positivo (VPP) - probabilidade de doena em pessoas com teste positivo; P - na frmula dos valores preditivos, significa prevalncia da doena na populao; Razo de verossimilhana de um teste positivo (RV+) - mede o quo mais provvel ser o teste positivo nos doentes que nos no-doentes; Razo de verossimilhana de um teste negativo (RV-) - mede o quo mais provvel ser o teste negativo nos doentes que nos no-doentes; Frao de verdadeiro-positivos (FVP) - total de exames positivos em doentes; Frao de falso-positivos (FFP) - total de exames positivos em no-doentes; Curva ROC - curva Receiver Operator Characteristic. usada para comparar um exame com resultado contnuo em relao a um padro-ouro ou a um desfecho. Trata-se de um grfico de disperso com eixo y = sensibilidade (FVP) e eixo x = 1-especificidade (FFP). O ponto do grfico no canto mais alto superior esquerdo o ponto ideal de desempenho do exame, com sensibilidade = 100% e especificidade = 100%; DOR: razo de chances de diagnstico, difcil de ser interpretada clinicamente, mas muito til do ponto de vista estatstico para avaliar o desempenho global do teste e tambm muito til na meta-anlise, porque ajuda na construo da curva sROC (summary ROC, resultados agrupados de vrios estudos na forma de curva ROC).

Tabela 1 Passos para a reviso sistemtica e meta-anlise12,19

1. Definir claramente a questo a ser formulada. 2. Buscar em diversas fontes todos os estudos confiveis, abordando a questo. 3. A partir de critrios claros de incluso e de excluso, selecionar os estudos e avaliar sua qualidade. 4. Coletar os dados de cada estudo e apresent-los de forma clara. 5. Avaliar a heterogeneidade entre os estudos. 6. Calcular os resultados de cada estudo (e combin-los, se apropriado), estimando o desempenho diagnstico. 7. Avaliar o efeito da variao da validade de cada estudo nas estimativas de desempenho diagnstico. 8. Interpretar os resultados, avaliando o quanto se pode generalizar da reviso e/ou meta-anlise, conforme as caractersticas dos pacientes.

do processo. O uso de meta-anlise para exames diagnsticos e prognsticos ainda est em fase de desenvolvimento, mas vem ganhando cada vez mais importncia1,3,8. O objetivo desta reviso sumarizar a literatura disponvel, definindo tutorial para a realizao, passo a passo, de reviso sistemtica e, se apropriada, meta-anlise de estudos diagnsticos e prognsticos. A seguir, revisaremos os passos necessrios, listados na tabela 1.

Definir claramente a questo a ser formulada

Especificar claramente o teste diagnstico ou prognstico em questo, a doena em estudo, como foi realizado o diagnstico e em qual o contexto foi formulada a questo. Geralmente, o exame em questo comparado com um

Arq Bras Cardiol 2009;92(3): 241-251

242

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
padro-ouro para o diagnstico da doena, mas os mtodos estatsticos utilizados para meta-anlise de exames diagnsticos podem ter aplicao bem mais ampla13. Nos casos de exames prognsticos, o exame pode ser avaliado pelo desfecho morte, resposta ao tratamento ou, teoricamente, qualquer varivel dicotmica de interesse referindo-se a prognstico de longo prazo13. Esclarecer tambm se ser realizada comparao de testes12. de busca de estudos, importante consultar a biblioteca de revises Cochrane (www.bvs.br) para verificar se tal reviso j foi realizada. Mesmo se no for utilizar dados no publicados, o contato com pesquisadores de estudos em andamento ou no publicados pode ser importante3. Para a busca na base de dados MEDLINE, especificar claramente o procedimento de busca na literatura com termos de busca citados, com critrios de incluso e excluso explicitados12. A forma de pesquisar com termos de busca pode interferir com a sensibilidade da reviso sistemtica14. importante buscar termos descritores MeSH (Medical Subject Headings, vocabulrio em lngua inglesa usado para indexar artigos (disponvel em: http://www.ncbi.nlm. nih.gov/entrez/query.fcgi?db=mesh) para auxiliar na pesquisa. A melhor estratgia geralmente obtida pela combinao dos termos MeSH utilizados com palavras textuais14. Para estudos de marcadores prognsticos, sugere-se aumentar a sensibilidade por meio da associao do tema de pesquisa

Buscar em diversas fontes todos os estudos confiveis abordando a questo

Recomenda-se ampliar ao mximo as fontes de busca. Buscar em publicaes governamentais, comisses de tica, resumos em anais de congressos, teses, alm da busca em bases eletrnicas (MEDLINE, EMBASE, LILACS etc.)3. Alm das fontes

Fig. 2 - Processo de busca e seleo de artigos6.

243

Arq Bras Cardiol 2009;92(3): 241-251

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
com os descritores: (incidence[MeSH] OR mortality[MeSH] OR follow-up studies[MeSH] OR prognos*[Text Word] OR predict*[Text Word] OR course*[Text Word])14. Deixar claro como foi o processo de reviso da literatura (fig. 2). O vis de publicao a tendncia de os estudos com resultados positivos serem mais freqentemente publicados que estudos com resultados negativos, especialmente em revistas de maior impacto e em lngua inglesa3. Ocorre habitualmente porque tanto o autor como o editor apresentam resistncias em publicar estudos com resultados negativos. Estudos com amostras muito pequenas apresentam maior chance de vis de publicao, motivo pelo qual alguns autores preconizam que sejam excludos3,15. Para reduzir a possibilidade de vis de publicao, as fontes de busca devem ser ampliadas ao mximo. Um mtodo de busca de estudos de interveno teraputica, difcil de ser aplicado em estudos de exames diagnsticos ou prognsticos, averiguar a existncia de estudos registrados, mas no publicados, em comisses de tica ou em registros governamentais (por exemplo, www.clinicaltrials.gov), procurando por seus resultados16. Outra fonte que pode ser utilizada so os resumos em anais de congressos, onde podem ser reconhecidos trabalhos apresentados e no publicados17. Uma forma estatstica de avaliar o vis de publicao pelo uso do grfico de disperso em funil, funil invertido ou rvore de natal (funnel plot)16. Esse grfico tem como premissa que o tamanho da amostra o mais forte correlato do vis de publicao 3,15 (Grf. 1). A simetria pode ser avaliada objetivamente por meio de mtodos estatsticos16. A aparncia assimtrica sugere que houve vis de publicao, com tendncia da distribuio das razes de chances para um lado, geralmente o lado mais positivo, j que os negativos no teriam sido publicados. Cada ponto do grfico representa um estudo com sua razo de chances de diagnstico e tamanho amostral. A forma de funil simtrico sugere ausncia de vis de publicao (nesse caso, um funil invertido, tambm chamado de rvore de natal). Pode-se apresent-lo invertendo a ordem dos valores do eixo vertical, assim ficaria em forma de funil. Uma assimetria com concentrao de estudos no lado direito (o lado de valores maiores de razo de chances de diagnstico) sugere vis de publicao, com menos estudos negativos publicados.

Selecionar estudos por meio de critrios claros de incluso e de excluso, avaliando a qualidade dos estudos
Idealmente, dois pesquisadores devem buscar e avaliar os estudos de forma independente. O teste estatstico Kappa pode ser utilizado para avaliar a concordncia entre os dois pesquisadores. Explicar como as discordncias entre eles foram resolvidas, o que geralmente feito por um acordo e com base na opinio de um terceiro pesquisador experiente. Listar claramente as caractersticas de cada estudo primrio

Grfico 1 -Exemplo de grfico de disperso em funil invertido ou rvore de natal; Cada ponto do grfico representa um estudo com sua razo de chances de diagnstico e tamanho amostral. A forma de funil simtrico sugere ausncia de vis de publicao (nesse caso, um funil invertido, tambm chamado de rvore de natal). Pode-se apresent-lo invertendo a ordem dos valores do eixo vertical, assim ficaria em forma de funil. Uma assimetria com concentrao de estudos no lado direito (o lado de valores maiores de razo de chances de diagnstico) sugere vis de publicao, com menos estudos negativos publicados.

Arq Bras Cardiol 2009;92(3): 241-251

244

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
e os resultados de cada um12. O trabalho pode ser facilitado se o estudo foi publicado de acordo com a padronizao STARD (Standards for Reporting of Diagnostic Accuracy www.consort-statement.org/stardstatement.htm), formulado para garantir mais clareza, rigor metodolgico e possibilidade de comparao dos estudos de mtodos diagnsticos18. Os quesitos de qualidade devem ser conferidos (tab. 2). A variao foi causada por diferenas metodolgicas? Para responder a essas perguntas, so necessrios critrios metodolgicos e estatsticos de avaliao de heterogeneidade. Os critrios metodolgicos se referem forma de seleo, ao delineamento e comparao de caractersticas clnicas dos pacientes includos em cada estudo. Tabelas demonstrando esses quesitos so necessrias para permitir comparao entre os estudos e devem estar explicitadas na reviso sistemtica. Do ponto de vista metodolgico, as fontes de heterogeneidade entre os estudos so muitas: o acaso, as diferenas de delineamento, a forma de seleo de pacientes, as diferenas nas intervenes teraputicas aplicadas e na forma em que os exames foram avaliados19. Outra causa de heterogeneidade importante e exclusiva dos estudos de exames diagnsticos e prognsticos a variao nos pontos de cortes para os valores de referncia do exame em questo. Mesmo em estudos aleatorizados para interveno teraputica, pode existir heterogeneidade porque a aleatorizao no foi voltada para o exame em questo e sim para a interveno teraputica. Estudos retrospectivos so enfraquecidos por causa de seu risco de vis de seleo. O vis de verificao (verification bias; ascertainment bias; work-up bias) ocorre quando a indicao do exame padro-ouro influenciada pelo resultado do exame investigado: por exemplo, se a probabilidade de ser submetido cineangiocoronariografia (padro-ouro) for maior naqueles com teste ergomtrico positivo do que naqueles com teste negativo. A anlise do exame investigado deve ser idealmente mascarada para outros testes e para o desfecho. O vis causado pelo espectro

Coletar os dados de cada estudo e apresent-los de forma clara

Tabelas de comparao dos estudos so muito teis para averiguar as diferenas clnicas e metodolgicas entre os estudos (tab. 2). Comparar estudos avaliando a distribuio por idade, sexo, forma de diagnstico ou seleo de pacientes, co-variveis relevantes, tempo de seguimento e tamanho da amostra6. Para obteno dos dados a serem combinados, coletar os valores originais de falso e verdadeiro-positivos, falso e verdadeiro-negativos. Eventualmente, esses dados podem ser estimados a partir de valores de sensibilidade, especificidade e os valores de ocorrncia do desfecho ou do exame de referncia12.

Avaliar a heterogeneidade entre os estudos

Antes de realizar a combinao estatstica (meta-anlise) dos estudos, fundamental avaliar a heterogeneidade entre eles. importante determinar19: Por que os resultados variaram entre os estudos? A variao foi ao acaso?

Tabela 2 - Lista de aspectos a serem conferidos na avaliao dos estudos de diagnstico e prognstico durante a reviso sistemtica e meta-anlise
Distribuio por sexo e idade da populao estudada29. Data de incluso e perodo de seguimento do estudo29. Teste de referncia padronizado, adequao do padro-ouro escolhido, avaliando se este no leva classificao equivocada do status de doena13 Aspectos tcnicos da realizao do exame. Avaliar o grau de perda de dados (missing data). Resultados originais de falso e verdadeiro-positivos, falso e verdadeiro-negativos. Eventualmente, esses dados podem ser estimados a partir de valores de sensibilidade, especificidade e os valores positivos e negativos do desfecho ou exame de referncia Valores de referncia para o exame padro-ouro e para o exame em investigao, de forma clara e representativa da patologia em questo12, 29 O intervalo de confiana e o erro padro para as medidas de desempenho do exame29. O nmero de avaliadores e seu treinamento para o exame em questo e o padro-ouro29. Presena de vis de reviso: verificar se o resultado do exame no estudo foi avaliado de forma mascarada para desfechos e outros exames (interpretao independente). Presena de vis de verificao: o exame de referncia pode ter sido realizado preferencialmente em pacientes com testes positivos, o que mais freqente quando os exames considerados padro-ouro so invasivos. Nesse caso, a escolha de pacientes para realizar o teste padro-ouro no aleatria12. Se o teste de referncia foi aplicado a todos os pacientes. Caso o exame em investigao e o padro-ouro no tenham sido aplicados a todos os pacientes, o que ideal, avaliar se a escolha de pacientes para os testes ocorreu aleatoriamente, diminuindo a chance de vis3. Presena de vis de espectro clnico: ausncia da representao do espectro clnico da doena estudada na populao do estudo. Avaliar dados demogrficos e clnicos dos pacientes, tais como idade, sexo, raa, caractersticas clnicas, presena de sintomas, estgio da doena, durao e comorbidades. A prevalncia da condio na populao estudada oferece viso mais ampla do espectro, circunstncias e potencial de generalizao. Nos exames de triagem, pode haver vis de excesso de diagnstico (quando uma doena que poderia evoluir de forma assintomtica detectada), vis de excesso de representao (para doenas que evoluem com progresso lenta, fazendo-as aparecer mais por causa da triagem) e vis de deteco precoce (superestima os efeitos de benefcio clnico)13.

245

Arq Bras Cardiol 2009;92(3): 241-251

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
de fases da doena (spectrum bias) provoca variaes na sensibilidade e na especificidade do exame investigado, por comparar populaes com fases diferentes de uma mesma doena: alguns estudos com a maioria dos pacientes numa fase leve e inicial e outros estudos com pacientes em fase avanada da doena19. A tabela 2 resume os aspectos metodolgicos a serem avaliados. Os mtodos para averiguar a heterogeneidade estatstica dos estudos sero abordados no prximo tpico, com a explicao da forma de combinao (meta- anlise) de resultados de estudos. de variabilidade fornecidas pelos modelos de efeitos aleatrios so particularmente importantes10. Utilizando mais freqentemente mtodos com efeitos aleatrios, as formas de meta-anlise de estudos de exames diagnsticos ou de fatores prognsticos esto apresentadas na tabela 3. Para cada um dos mtodos, ser discutido tambm como se averiguar a heterogeneidade entre os estudos. Combinao de sensibilidades e especificidades Os mtodos usados para combinao estatstica de sensibilidades e especificidades dos estudos so os mesmos usados para a comparao de propores. Combinam-se a sensibilidade e a especificidade dos estudos em um valor integrado de todos os estudos (pooling) pela mdia simples ou ponderada (pelo tamanho da amostra ou inverso da varincia de cada estudo). Em meta-anlises de estudos diagnsticos e prognsticos, muito comum o autor integrar conjuntamente as sensibilidades e especificidades obtidas em cada estudo. Porm, freqentemente isso no adequado por causa da diferena de limiar ou ponto de corte do exame em questo, explcita ou implicitamente6. Existe uma relao de dependncia entre o ponto de corte e a sensibilidade e a especificidade. Um exemplo de variao explcita no ponto de corte seria quando dois estudos diferentes definiram por pontos de corte diferentes e explcitos no estudo para determinar se o exame era positivo ou negativo. J a variao implcita ocorreria, por exemplo, quando o exame realizado em estudos com diferenas populacionais que determinam sensibilidades e especificidades diferentes19. Tais diferenas implcitas ou explcitas entre os estudos so chamadas de efeito de limiar. Esse efeito pode ser avaliado pela correlao de Spearman entre a sensibilidade e a especificidade encontradas nos diversos estudos includos. Quando h efeito de limiar, geralmente h correlao forte e inversa21. Aumentando a sensibilidade, geralmente h diminuio da especificidade. Ao integrar matematicamente (pooling) a sensibilidade e especificidade, necessrio utilizar um mtodo que leve em considerao essa interdependncia entre sensibilidade e especificidade7. Alm de os limiares diagnsticos afetarem o desempenho do teste, importante observar se so apenas os limiares ou se h tambm problemas metodolgicos do estudo que determinam a variao do desempenho7. A avaliao de heterogeneidade estatstica dos valores de sensibilidade e especificidade obtidos nos diversos estudos pode ser realizada por meio dos testes Mann-Whitney U, teste Z, meta-regresso ou por modelos de regresso logstica19 e ainda o teste do 2 com k-1 graus de liberdade (onde k o nmero de estudos includos). Por causa de todos os problemas citados, combinaes de sensibilidades e especificidades raramente so maneiras apropriadas de combinar resultados. Combinao de razes de verossimilhana positiva e negativa A razo de verossimilhana de um teste positivo (RV+) mede o quo mais provvel de ser o teste positivo nos doentes que nos no-doentes. A razo de verossimilhana de um teste negativo (RV-) mede o quo mais provvel de ser o teste negativo nos doentes que nos no-doentes (fig. 1). Os mtodos

Calcular os resultados por meio de meta-anlise, estimando o desempenho diagnstico

Utilizando meta-anlise, possvel fornecer um sumrio agrupado do desempenho diagnstico (tab. 3). No endereo eletrnico http://www.hrc.es/investigacion/metadisc_en.htm pode ser encontrado um software gratuito20 para realizao de meta-anlise de exames diagnsticos ou de exames prognsticos. Outros softwares e programas especializados utilizando abordagem por modelos de regresso binomial baseados em razo de verossimilhana e no teorema de Bayes esto disponveis no endereo eletrnico: www.mrc-bsu.cam. ac.uk/bugs/13. Estes ltimos permitem avaliao de co-variveis que influenciam o desempenho do exame. Os mtodos de combinao calculam mdias ponderadas dos resultados dos estudos. Tais mtodos so usualmente divididos em duas categorias: mtodos com efeitos fixos e mtodos com efeitos aleatrios. Na combinao utilizando mtodos com efeitos fixos, atribui-se um peso a cada estudo que o inverso da varincia (1/v) do estudo. Mtodos de combinao com efeitos aleatrios atribuem um peso a cada estudo que o inverso da varincia somada heterogeneidade (1/v + h). De forma simplificada, como se os mtodos com efeitos fixos considerassem que a variabilidade entre os estudos ocorreu apenas pelo acaso e ignorassem a heterogeneidade entre eles15. J os mtodos com efeitos aleatrios incorporam um pouco da heterogeneidade entre os estudos nos resultados. Assim, geram resultados combinados com maior intervalo de confiana. Apesar de terem essa vantagem e serem mais recomendados, os mtodos com efeitos aleatrios so criticados por atriburem maior peso a estudos menores15. Como muito comum em estudos de exames diagnsticos que a variabilidade de resultados no seja apenas pelo acaso, j que a variabilidade pode ser causada explcita ou implicitamente pela variao do ponto de corte, as estimativas
Tabela 3 - Formas de sumarizar o desempenho do teste por meio de meta-anlise.
1. Combinao de sensibilidades e especificidades 2. Combinao de razes de verossimilhana positiva e negativa 3. Combinao de razes de chances diagnstica (ou de diagnstico) 4. Escores de efetividade diagnstica (ou medida do tamanho do efeito) 5. Curvas sROC (summary ROC ou curva ROC comum)

Arq Bras Cardiol 2009;92(3): 241-251

246

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
de combinao de razes de verossimilhana podem ser mtodos com efeitos fixos, como Mantel-Haenszel ou varincia invertida, e mais freqentemente por meio de mtodos com efeitos aleatrios, como o mtodo de DerSimonian e Laird. As anlises utilizam combinaes de razes de verossimilhana aps aplicao de transformao logartmica19. A razo de verossimilhana combinada tem a vantagem de poder analisar exames cujo resultado uma varivel contnua ou com muitas categorias, evitando perdas de informao ao dicotomizar a varivel. Outra vantagem que a odds ou chance ps-teste da doena, uma vez que o exame deu positivo, pode ser calculada pela frmula: odds ps-teste = odds pr-teste x razo de verossimilhana12. Chance (odds) deve ser convertida para probabilidade (c=p/1-p e p=c/1+c onde c chance e p probabilidade). Ento a probabilidade ps-teste = chance (odds) ps-teste/(chance (odds) ps-teste + 1) (http://www. cebm.net/index.aspx?o=1043). A heterogeneidade dos resultados de razo de verossimilhana dos diversos estudos pode ser avaliada por meio de testes univariados, testes z e teste do 2. Um mtodo interessante de avaliao de heterogeneidade o da estatstica Q de Cochrane (Q = wi(i )2, onde wi o peso atribudo ao estudo na meta-anlise (por tamanho de amostra, por inverso ou tamanho da varincia) e o logaritmo da razo de verossimilhana mdia e i o valor do logaritmo da razo de verossimilhana de cada estudo)19. O valor de Q segue a distribuio do 2 sob a hiptese de que a razo de verossimilhana a mesma para todos os estudos. Outra medida de heterogeneidade que pode ser obtida a partir desse valor Q a estatstica I2, que chamada de medida de inconsistncia, obtida pela frmula: d) til na construo do intervalo de confiana da curva sROC, descrita a seguir23. Indica tambm a razo de verossimilhana positiva dividida pela negativa. Os valores de razo de chances de diagnstico de cada estudo podem ser combinados por meio de mtodos de efeitos fixos, tais como Mantel-Haenszel e mtodos de efeitos aleatrios (DerSimonian e Laird)23. Em estudos epidemiolgicos para fatores de risco de doenas raras ou pouco freqentes, a razo de chances tem valor prximo ao risco relativo. No caso de estudos diagnsticos, as razes de chances geralmente so diferentes numericamente do risco relativo, porque resultados positivos no so eventos raros13. Escores de efetividade ou diagnostic effectiveness scores O escore de efetividade quantifica o grau de sobreposio de resultados entre doentes e no-doentes, e pode ser interpretado como o nmero de desvios padro separando a mdia entre as duas curvas de distribuio (doentes e no-doentes, por exemplo) de resultados que se comportam como varivel contnua. Ele pode ser obtido por meio de frmula prpria de clculo ou a partir da razo de chances de diagnstico23,24. a medida da distncia padronizada entre as mdias de duas populaes - tambm chamada de medida do tamanho do efeito ou medida de efetividade, que tambm pode ser avaliada por meio de modelos de efeitos fixos ou aleatrios17. uma medida quantitativa que pode ser usada para comparar mtodos diagnsticos ou para sumarizar resultados de estudos em meta-anlises. Para mais detalhes de sua obteno, sugerimos o trabalho de Hasselblad e Hedges24, que faz uma reviso do mtodo. Assim como a curva sROC, descrita a seguir, o escore de efetividade fornece uma descrio da separao de duas distribuies de resultados de exames (entre doentes e no-doentes), independentemente da forma de distribuio dos resultados. Curvas sroC ou curvas roC comuns ou sumarizadas - sroC curves Os grficos de disperso podem ser usados para avaliar a heterogeneidade entre os estudos. O grfico de disperso no espao ROC apresenta os estudos nos eixos FVP vs. FFP (fig. 1). Note-se que a curva ROC foi criada para resultados de exames que se comportam como varivel contnua. Mas, nesse caso, cada ponto o resultado combinado de FVP e FFP de cada estudo. Se os estudos utilizaram pontos de corte diferentes, espera-se que essa escolha determine maior ou menor sensibilidade. Ou se a sensibilidade e a especificidade dos estudos variaram por causas implcitas, influenciadas por outras co-variveis 11, supe-se que os estudos se complementariam para ilustrar o desempenho diagnstico do exame em diferentes espectros de formas clnicas ou populaes. Se nesse grfico, unindo-se os pontos que representam os estudos, surge uma curvatura semelhante a uma curva ROC, mais provavelmente a diferena entre os estudos causada pelo ponto de corte do valor de referncia do exame. Esta outra forma de avaliao do efeito de limiar19. Leves divergncias podem ocorrer ao acaso, mas pressupe-se que outros tipos de vieses (seleo, delineamento etc.) aumentariam a variabilidade observada e

onde gl o nmero de graus de liberdade (nmero de estudos menos um). Essa estatstica descreve a porcentagem de variabilidade do efeito que devida heterogeneidade e no por acaso19,22. Quando I2 apresenta valor acima de 50%, considera-se que h heterogeneidade substancial19. Cuidado para no confundir a estatstica Q de Cochrane para avaliao de heterogeneidade de valores de razo de verossimilhana com a medida Q sumarizada descrita a seguir, para avaliar globalmente a eficcia de um exame em uma meta-anlise. Razo de chances de diagnstico ou diagnostic odds ratio A razo de chances de diagnstico uma combinao estatstica da sensibilidade, especificidade e dos valores de razo de verossimilhana positiva e negativa. Ela difcil de ser aplicada clinicamente, mas til por vrios motivos: a) uma medida estatstica de desempenho global do teste; b) Pode ser facilmente obtida pelo produto cruzado da tabela 2 x 2 (fig. 1); c) freqentemente constante a despeito do ponto de corte utilizado para o exame nos diversos estudos;

247

Arq Bras Cardiol 2009;92(3): 241-251

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
causariam uma configurao mais dispersiva da representao dos estudos19. Os grficos de disperso em floresta (forest plots) e o grfico de Galbraith tambm facilitam na visualizao da heterogeneidade entre os estudos19. Assim, ao apresentar os estudos nos grficos ou observar a distribuio dos resultados no espao ROC, fornece-se uma idia de heterogeneidade. Alem disso, aps essa avaliao de heterogeneidade, pode-se utilizar o espao ROC para construir uma curva ajustada que combina (meta-anlise) os resultados dos estudos, a curva sROC, descrita a seguir. A curva sROC (curva ROC comum ou sumarizada summary ROC: sROC) a estimativa de uma curva ROC comum ajustada para os resultados dos estudos no espao ROC 12. A curva sROC recomendada para avaliar o desempenho de um teste diagnstico, a partir de uma metaanlise25. Destacamos a curva sROC como a melhor opo de meta-anlise quando h variao no ponto de corte do valor de referncia do exame ou quando existem variaes implcitas ou explcitas nos estudos que gerem diferenas de sensibilidade e especificidade13,19,23 (Grf. 2). Por causa dessas variaes freqentemente encontradas neste tipo de estudos, as mdias de sensibilidade e especificidade dos diversos estudos no refletem bem o desempenho do exame13. A curva pode ser obtida a partir da razo de chances de diagnstico (descrita no item Razo de chances de diagnstico) considerando-se a magnitude da heterogeneidade entre os estudos. A razo de chances de diagnstico global muito robusta para heterogeneidade e homognea quando no sofre variaes relacionadas ao ponto de corte do exame em estudo25. A margem de erro padro da curva adequada quando os estudos so homogneos e mostrou-se ser uma aproximao razovel para estudos heterogneos25. A rea sob a curva (area under the curve - AUC) e o ndice Q so sumrios teis da curva13,25. A rea sob a curva pode ser utilizada se considerar a premissa de que os dados apresentam distribuio bilogstica com varincia igual e se houver homogeneidade entre os estudos na estimativa de razo de chances de diagnstico19. Neste caso, utiliza-se o modelo de Moses11,25 que restringe a anlise apenas aos pontos (estudos) localizados na regio de interesse do espao ROC, o que teoricamente poderia superestimar o desempenho do teste e, assim, no aceito por todos autores13. Rutter e Gatsonis26 propuseram mtodos para clculo de uma curva sROC, levando em considerao as variaes entre os estudos no apenas pelo limiar de corte, mas por meio de modelos hierrquicos13,23. O uso da rea sob a curva sROC apresenta o risco de extrapolao alm dos dados de sensibilidade e especificidade fornecidos pelos estudos, a menos que cada estudo tenha fornecido uma curva ROC, e que elas sejam realmente semelhantes19,23,26. Isso porque curvas de formas diferentes apresentam reas diferentes. Para construo do modelo de regresso linear que precede a curva ROC, existe debate sobre utilizar ou no modelos ponderados pela varincia e pelo tamanho da amostra (n) dos estudos. A

Grfico 2 -Curva sROC hipottica; A curva sROC mostra a distribuio dos estudos (cada estudo um ponto do grfico de disperso) mantendo a relao de interdependncia entre sensibilidade e especificidade, que varia conforme o limiar de corte, implcita ou explicitamente.

Arq Bras Cardiol 2009;92(3): 241-251

248

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
melhor opo construir as duas curvas (uma com modelos ponderados e outra sem incluir o peso da varincia e do n) e compar-las13. Apesar de tais limitaes e dvidas tericas, a rea sob a curva sROC um dos mtodos mais robustos e teis para sumarizar os dados de estudos diagnsticos. Como alternativa para avaliar globalmente o teste sumarizando a curva sROC, sugere-se a medida Q sumarizada, que avalia o ponto da curva sROC onde sensibilidade e especificidade so iguais. O valor de Q no varia conforme a heterogeneidade e bastante robusto25. Equivale ao ponto de simetria da curva ROC13. A medida Q, com valores entre 0,5 e 1,0 (quanto maior, melhor), uma medida global de eficcia do teste11. Essa medida sumarizada mostra o quanto mais prximo est o ombro da curva do canto superior esquerdo11. Se menor ou igual a 0,5, o teste no contribui para a avaliao, e quanto mais prxima de 1,0, melhor o desempenho do teste13. Assim como a rea sob a curva, tambm avalia globalmente a eficcia do teste. Se forem avaliados pelo menos dez estudos, a distribuio de Q gaussiana (normal)23. O valor de Q pode ser usado para comparar mtodos ou verificar vieses, separando os estudos com problemas metodolgicos em subgrupos e comparando seu valor de Q com o valor de Q dos outros subgrupos de estudos23. O erro padro da AUC e o erro padro de Q so prximos numericamente25. Quando o intervalo de confiana do valor de Q ou da AUC passam pelo 0,5, o exame no apresenta desempenho significativo e no contribui para a avaliao da doena. Por exemplo, um subgrupo de estudos apresenta vis de verificao (quando submete ao mtodo padro-ouro apenas os positivos mais os negativos com suspeita clnica), o que freqentemente subestima o teste. Outro subgrupo de estudos apresenta vis de reviso (no avaliar o exame de forma mascarada para outros testes e para desfechos), o que tende a superestimar o teste. Agrupar esses estudos em escores de qualidade nem sempre apropriado. Eles podem ser analisados separadamente por tipo de falha metodolgica, analisando o que a falha provoca no desempenho do exame27. Assim, os resultados de medidas globais de desempenho podem ser comparados em cada subgrupo. Dessa forma, pode-se tambm avaliar o efeito da variao das caractersticas dos pacientes e do teste nas estimativas de desempenho12. Em meta-anlise comparativa de testes, fundamental que os testes tenham sido realizados nos mesmos pacientes, ou pelo menos que os pacientes tenham sido aleatorizados para serem submetidos a cada teste12. Porm, na maioria das vezes, impraticvel ou antitico realizar todos os exames ou exames invasivos em todos os pacientes, sendo este tema controverso28. Na comparao de exames, existem tcnicas de construo de curvas sROC dos exames isoladamente e em combinao, avaliando se a combinao dos exames aumenta o desempenho diagnstico ou prognostico13,29.

Avaliar o efeito da variao da validade de cada estudo nas estimativas de desempenho diagnstico
Ao avaliar a validade interna e externa de cada estudo e dos resultados combinados, necessrio decidir sobre como lidar com a heterogeneidade encontrada. Existem quatro opes para lidar com a heterogeneidade entre os estudos e interpretar variaes de resultados: 1) Ignorar a heterogeneidade e utilizar mtodos com efeitos fixos; 2) Utilizar testes estatsticos de heterogeneidade (so pouco sensveis) e no combinar resultados se houver heterogeneidade; 3) Incorporar a heterogeneidade pelo uso de mtodos com efeitos aleatrios; ou 4) Explicar as diferenas por meio de anlises de subgrupos de estudos ou de meta-regresso, incluindo co-variveis na anlise. Utilizando meta-anlise, possvel determinar se as estimativas de desempenho dependem das caractersticas de delineamento do estudo. Separam-se subgrupos de estudos por caracterstica de delineamento, analisando-os separadamente e em conjunto, avaliando-se em que magnitude a diferena de delineamento altera no desempenho do exame. Tambm possvel determinar se o desempenho diagnstico difere em subgrupos definidos por caractersticas do paciente ou do exame utilizando a mesma tcnica descrita27. Dessa maneira, possvel identificar reas para pesquisa adicional12.

interpretar os resultados avaliando o quanto se pode generalizar da meta-anlise, conforme as caractersticas dos pacientes
Avaliar o quanto os resultados podem ser generalizados, conforme as caractersticas clnicas dos pacientes estudados em comparao com a populao-alvo da aplicao da meta-anlise ou a relao entre o desempenho do exame e o ano da publicao12. Concluir sobre possveis aplicaes em populaes especficas. Alm disso, gerar novas hipteses a serem pesquisadas uma importante contribuio.

Comentrios sobre a forma de publicao da meta-anlise

Em analogia com a conferncia Quality of Reporting of Meta-analysis (QUOROM)6 para publicao de meta-anlises de estudos de interveno teraputica, deve-se, na publicao de resultados de meta-anlise de estudos diagnsticos e prognsticos, descrever detalhadamente a metodologia, deixando explcita cada etapa do processo18. O ttulo deve identificar o trabalho como meta-anlise ou como reviso sistemtica. O resumo deve ser estruturado com descrio dos seguintes aspectos: a questo clnica, as fontes e bases de dados, os mtodos de reviso e seleo da literatura e de sntese quantitativa dos dados de forma reprodutvel, os resultados com estimativas e intervalos de confiana, e a concluso com os resultados principais. A introduo deve contextualizar e fundamentar o objetivo. A metodologia deve detalhar as fontes e a forma de busca, o perodo e idioma, os critrios de seleo dos estudos, a forma de avaliao de vis de publicao, a avaliao de qualidade e validade metodolgica dos estudos, a forma de extrao dos dados

249

Arq Bras Cardiol 2009;92(3): 241-251

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
idealmente por dois pesquisadores, as caractersticas dos estudos, a forma de avaliao da heterogeneidade e a forma de sintetizar matematicamente os dados. Os resultados devem apresentar o fluxo da reviso conforme a figura 2, as caractersticas dos estudos29,30 avaliando a distribuio por idade, sexo, forma de diagnstico ou seleo de pacientes, co-variveis relevantes, tempo de seguimento, tamanho da amostra6 (tab. 2), e as estimativas de desempenho diagnstico ou prognstico, com os devidos intervalos de confiana. Na discusso, sumarizar os pontos-chave, discutir as inferncias clnicas com base na validade interna e externa, interpretar os resultados luz da totalidade das evidncias, descrever as limitaes e os potenciais vieses, especialmente o vis de publicao, e sugerir estudos futuros6. fornecem informaes que podem ser teis para a prtica clnica e para a formulao de questes a serem testadas em novos estudos.

Agradecimentos
Agradecemos a reviso do texto e as sugestes da Prof. Carisi A. Polanczyk, da Universidade Federal do Rio Grande do Sul. O trabalho foi parcialmente financiado pelo Conselho Nacional de desenvolvimento Cientfico e Tecnolgico (CNPq) e pela Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes). Potencial Conflito de Interesses Declaro no haver conflito de interesses pertinentes. Fontes de Financiamento O presente estudo foi parcialmente financiado por CNPq e CAPES. Vinculao Acadmica Este artigo parte de tese de Doutorado de Marcos Roberto de Sousa pela Universidade Federal de Minas Gerais.

Concluso
Revises sistemticas da literatura de uma questo claramente formulada, com tcnica de busca e seleo de artigos bem planejada, so ferramentas extremamente teis em pesquisa sobre mtodos diagnsticos ou prognsticos. Em alguns casos, possvel compilar os dados por meio de tcnicas estatsticas, aumentando o poder das estimativas de desempenho diagnstico do exame na pesquisa primria. Por meio da anlise crtica dos vieses, essas tcnicas

referncias
1 2 3 Halligan S. Systematic reviews and meta-analysis of diagnostic tests. Clin Radiol. 2005; 60 (9): 977-9. Sacks HS, Reitman D, Pagano D, Kupelnick B. Meta-analysis: an update. Mt Sinai J Med. 1996; 63 (3-4): 216-24. Zhou A, Obuchowski N, McClish D. Issues in meta-analysis for diagnostic tests. In: Zhou A, Obuchowski N, McClish D, eds. Statistical methods in diagnostic medicine. New York: Wiley & Sons, Inc; 2002. p. 222-40. Alderson P GS, Higgins JPT (eds.). Cochrane Reviewers Handbook 4.2.2 updated March 2004. Chichester, UK: John Wiley & Sons, Inc; 2004. Knottnerus JA. The evidence base of clinical diagnosis. London: BMJ Publishing Group; 2002. Moher DCD, Eastwood S, Olkin I, Rennie D, Stroup DF, for the QUOROM Group*. Improving the quality of reports of meta-analyses of randomised controlled trials: the QUOROM statement. Lancet. 1999; 354: 1896-900. Begg C, Cho M, Eastwood S, Horton R, Moher D, Olkin I, et al. Improving the quality of reporting of randomized controlled trials: the CONSORT statement. JAMA. 1996; 276: 637-9. Higgins JPT, Green S (eds). Cochrane Handbook for Systematic Reviews of Interventions 4.2.6 updated September 2006. Chichester: John Wiley & Sons, Inc; 2006. Velanovich V. Meta-analysis for combining Bayesian probabilities. Med Hypotheses. 1991; 35 (3): 192-5. 1994; 120 (8): 667-76. 13 Pepe MS. The statistical evaluation of medical tests for classification and prediction. New York: Oxford University Press Inc; 2003. 14 Wilczynski NL, Haynes RB, Hedges Team. Developing optimal search strategies for detecting clinically sound prognostic studies in MEDLINE: an analytic survey. BMC Med. 2004; 2: 23. 15 Moayyedi P. Meta-analysis: can we mix apples and oranges? Am J Gastroenterol. 2004; 99 (12): 2297-301. 16 Egger M, Smith GD. Bias in location and selection of studies. BMJ. 1998; 316: 61-6. 17 Vaitkus PT, Brar C. N-acetylcysteine in the prevention of contrast-induced nephropathy: publication bias perpetuated by meta-analyses. Am Heart J. 2007; 153 (2): 275-80. 18 Bossuyt PM, Reitsma JB, Bruns DE, Gatsonis CA, Glasziou PP, Irwig LM, et al. The STARD statement for reporting studies of diagnostic accuracy: explanation and elaboration. The Standards for Reporting of Diagnostic Accuracy Group. Croat Med J. 2003; 44 (5): 639-50. 19 Dinnes J, Deeks J, Kirby J, Roderick P. A methodological review of how heterogeneity has been examined in systematic reviews of diagnostic test accuracy. Health Technol Assess. 2005; 9 (12): 1-113, iii. 20 Zamora J, Abraira V, Muriel A, Khan K, Coomarasamy A. Meta-DiSc: a software for meta-analysis of test accuracy data. BMC Med Res Methodol. 2006; 6: 31. 21 Devill WL, Buntinx F, Bouter LM, Montori VM, de Vet HC, van der Windt DA, et al. Conducting systematic reviews of diagnostic studies: didactic guidelines. BMC Med Res Methodol. 2002; 2: 9. 22 Higgins JP Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency in , meta-analyses. BMJ. 2003; 327: 557-60. 23 Zhou A, Obuchowski N, McClish D. Statistical methods for meta-analysis. In: Zhou A, Obuchowski N, McClish D (eds). Statistical methods in diagnostic

4 5 6

10 Littenberg B, Moses LE. Estimating diagnostic accuracy from multiple conflicting reports: a new meta-analytic method. Med Decis Making. 1993; 13 (4): 313-21. 11 Moses LE SD, Littenberg B. Combining independent studies of a diagnostic test into a summary ROC curve: data-analytic approaches and some additional considerations. Stat Med. 1993; 12 (14): 1293-316. 12 Irwig L, Tosteson AN, Gatsonis C, Lau J, Colditz G, Chalmers TC, et al. Guidelines for meta-analyses evaluating diagnostic tests. Ann Intern Med.

Arq Bras Cardiol 2009;92(3): 241-251

250

Sousa e Ribeiro Meta-anlise de estudos diagnsticos e prognsticos

Artigo de Reviso
medicine. New York: John Wiley & Sons, Inc; 2002. p. 396-417. 24 Hasselblad V, Hedges LV. Meta-analysis of screening and diagnostic tests. Psychol Bull. 1995; 117 (1): 167-78. 25 Walter SD. Properties of the summary receiver operating characteristic (SROC) curve for diagnostic test data. Stat Med. 2002; 21 (9): 1237-56. 26 Rutter CM, Gatsonis CA. A hierarchical regression approach to meta-analysis of diagnostic test accuracy evaluations. Stat Med. 2001; 20: 2865-84. 27 Irwig LMP Glasziou P Fahey M. Meta-analytic methods for diagnostic test , , accuracy. J Clin Epidemiol. 1995; 48 (1): 119-30. 28 Kertai MD, Boersma E, Bax JJ, Heijenbrok-Kal MH, Hunink MG, LTalien GJ, et al. A meta-analysis comparing the prognostic accuracy of six diagnostic tests for predicting perioperative cardiac risk in patients undergoing major vascular surgery. Heart. 2003; 89 (11): 1327-34. 29 Rutjes AW, Reitsma JB, Di Nisio M, Smidt N, van Rijn JC, Bossuyt PM. Evidence of bias and variation in diagnostic accuracy studies. CMAJ. 2006; 174 (4): 469-76. 30 Rassi A Jr, Rassi A, Rassi SG. Predictors of mortality in chronic chagas disease: a systematic review of observational studies. Circulation. 2007; 115: 1101-8.

251

Arq Bras Cardiol 2009;92(3): 241-251