RBTI 2007:19:4:475-480

SRIE: MEDICINA BASEADA EM EVIDNCIAS E TERAPIA INTENSIVA

Como Avaliar Criticamente Revises Sistemticas e Metanlises?*

How to Critically Assess Systematic Reviews and Meta-Analyses?
Otvio Berwanger1, Erica Aranha Suzumura2, Anna Maria Buehler2, Joo Bosco Oliveira3 RESUMO JUSTIFICATIVA E OBJETIVOS: Revises sistemticas so ferramentas importantes no fornecimento de evidncias para tomada de deciso na prtica da Terapia Intensiva. O objetivo deste estudo foi descrever os elementos importantes na avaliao crtica das revises sistemticas existentes em Terapia Intensiva. CONTEDO: Na avaliao crtica da reviso sistemtica, necessrio que o intensivista atente para a estruturao da questo a ser respondida, a estratgia de busca utilizada, os critrios de incluso e a qualidade metodolgica dos estudos includos, e como foram extrados os dados levantados. Alm disso, uma reviso sistemtica relevante deve apresentar resultados consistentes (caso tenha sido realizada metanlise) ou a causa de heterogeneidade deve ter sido explorada, e os resultados devem ser aplicveis no paciente crtico. CONCLUSES: Para o correto emprego da evidncia cientfica disponvel, necessrio que o intensivista avalie criticamente a qualidade dos dados apresentados nas revises sistemticas, selecionando as informaes relevantes para o manuseio do paciente crtico. Unitermos: avaliao crtica da literatura, metanlise, reviso sistemtica
1. Diretor do Instituto de Ensino e Pesquisa do Hospital do Corao (IEP-HCor) So Paulo, SP. 2. Coordenadora de Pesquisa Clnica do Instituto de Ensino e Pesquisa do Hospital do Corao (IEP-HCor) So Paulo, SP 3. Mdico Pesquisador do Instituto de Ensino e Pesquisa do Hospital do Corao (IEP-HCor) So Paulo, SP *Recebido do Instituto de Ensino e Pesquisa do Hospital do Corao (IEP-HCor), So Paulo, SP Endereo para correspondncia: Dr. Otavio Berwanger Instituto de Ensino e Pesquisa do Hospital do Corao (IEP-HCor) Rua Ablio Soares, 250 12 andar 04005-000 So Paulo, SP Fone: (11) 3886-4693 Fax (11) 3886-4695 E-mail: otavioberwanger@yahoo.com.br Associao de Medicina Intensiva Brasileira, 2007

SUMMARY BACKGROUND AND OBJECTIVES: Systematic reviews are important knowledge generating tools to help the decision making process in the Critical Care Unit. This narrative aims to describe the important elements used to critically appraise intensive care-related systematic reviews. CONTENTS: When critically assessing systematic reviews, one should pay particular attention to the importance and appropriateness of the research question, the search strategy, the inclusion criteria and methodological quality of the studies included, and the methods of data extraction. In addition, a relevant systematic review must have consistent data (in case of a metaanalysis) or the cause of the heterogeneity must have been adequately explored, and results must be applicable in critical patients. CONCLUSIONS: To apply correctly the available scientific evidence, one should critically assess data quality of systematic reviews, selecting the relevant information to manage the critically ill patient. Key Words: critical appraisal, meta-analysis, systematic review INTRODUO A reviso sistemtica um dentre os diversos tipos de delineamento de pesquisa, sendo importante fonte de evidncias para tomada de deciso na prtica da Terapia Intensiva. Entretanto, nem toda reviso sistemtica fornece dados robustos e confiveis. Para o correto emprego da evidncia cientfica disponvel, necessrio que o intensivista avalie criticamente a qualidade dos dados apresentados pelos autores das revises sistemticas, selecionando, dessa maneira, as informaes relevantes para o manuseio do paciente crtico. Com o intuito de fornecer subsdios para avaliao crtica de revises sistemticas e metanlises existentes em Terapia Intensiva. O objetivo deste estudo foi descrever os elementos importantes na avaliao crtica das revises sistemticas existentes em Terapia Intensiva.

Revista Brasileira de Terapia Intensiva Vol. 19 N 4, Outubro-Dezembro, 2007

475

BERWANgER, SUzUMURA, BUEHlER E COl.

POR QUE AS REVISES SISTEMTICAS SO NECESSRIAS? As revises sistemticas identificam, dentre os inmeros estudos publicados sobre determinado tema, aqueles com superior qualidade metodolgica, cujos resultados podem ser utilizados na prtica mdica. Alm disso, como resultados conflitantes freqentemente emergem de estudos diferentes abordando a mesma questo e estudos individuais raramente possuem poder estatstico suficiente para fornecer respostas definitivas, as revises sistemticas tm grande importncia como ferramenta de investigao cientfica para a tomada de deciso, com custos bem menores do que os exigidos para a realizao de estudos de larga escala1-3. O que so Revises sistemticas? Revises sistemticas so investigaes cientficas, com metodologia definida a priori por um protocolo, empregando estudos originais como sua populao4,5. Seu objetivo sintetizar os resultados de estudos primrios utilizando estratgias que diminuam a ocorrncia de erros aleatrios e sistemticos. Por exemplo, pode-se ter uma reviso sistemtica de estudos aleatorizados que compararam o efeito de colides e cristalides em pacientes internados em Centros de Terapia Intensiva (CTI). Entretanto, as revises sistemticas no se restringem a estudos de tratamento, podendo abranger estudos observacionais, prognsticos e diagnsticos, entre outros1. Qual a Diferena entre Reviso Sistemtica Quantitativa e Qualitativa? Revises sistemticas podem ser classificadas em quantitativas ou qualitativas. As revises sistemticas quantitativas lanam mo de mtodos estatsticos para sumarizar os resultados dos estudos primrios sob um nico parmetro clnico-epidemiolgico [como odds ratio (OR), risco relativo (RR), nmero necessrio para tratar (NNT), sensibilidade, likelihood ratios, entre outros]. A combinao estatstica dos resultados de diversos estudos denominada metanlise. As revises qualitativas, por sua vez, apresentam os resultados dos estudos de forma conjunta, mas sem sumariz-los1. As revises sistemticas com metanlises, de um modo geral, possuem maior relevncia clnico-epidemiolgica que as revises qualitativas, contudo, fatores como heterogeneidade e inconsistncia nos resultados podem impedir a unio dos diferentes estudos sob uma nica medida, inviabilizando a realizao de uma metanlise1.

Quais as Diferenas entre Reviso Sistemtica e Reviso Tradicional? Diferentemente das revises sistemticas, os artigos tradicionais de reviso, atualmente denominados revises narrativas, so simples revises da literatura, formatadas semelhantemente a captulos de livro e que geralmente abordam temas de forma ampla e sem metodologia de seleo pr-estabelecida, no sendo considerados estudos originais1,6-9. COMO AVALIAR CRITICAMENTE UMA REVISO SISTEMTICA? Para decidir se o resultado de uma reviso sistemtica possui validade e aplicabilidade, o intensivista deve estar preparado para avali-la quanto qualidade metodolgica, a importncia dos resultados e aplicabilidade1,2. Os princpios para avaliao crtica de uma reviso sistemtica esto descritos no quadro 1.
Quadro 1 Ficha de leitura Crtica para Revises Sistemticas O ESTUDO POSSUI VAlIDADE INTERNA? A reviso sistemtica delimita uma questo clnica estruturada e focada (PICO)? Foi realizada uma estratgia de busca abrangente? Os critrios de incluso e excluso dos estudos foram definidos a priori? Os autores avaliaram a qualidade metodolgica dos estudos includos na reviso sistemtica? Os autores realizaram um processo de extrao de dados padronizado e sem vieses? OS RESUlTADOS SO IMPORTANTES? Os autores realizaram metanlise? Se SIM, qual foi a estimava de efeito conjunto? Os achados foram precisos? Os resultados foram consistentes entre os diferentes estudos? Se NO, os autores exploraram potenciais causas de heterogeneidade? OS RESUlTADOS SO APlICVEIS NA PRTICA? Os estudos da reviso incluem pacientes semelhantes ao meu? A interveno em estudo est disponvel no meu meio de trabalho? de baixo risco de complicaes e custo? O paciente (ou substituto legal) aceita receber a interveno proposta?

O ESTUDO POSSUI VALIDADE INTERNA? A Reviso Sistemtica Delimita uma Questo Clnica Estruturada e Focada? Para a realizao de uma reviso sistemtica de qualidade, necessria a formulao de uma questo cientfica estruturada. Os autores devem definir o tipo de paciente, interveno, comparao e objetivo. Esse formato de questo, tambm utilizado na Medicina Ba-

476

Revista Brasileira de Terapia Intensiva Vol. 19 N 4, Outubro-Dezembro, 2007

COMO AVAlIAR CRITICAMENTE REVISES SISTEMTICAS E METANlISES?

seada em Evidncias, tem o acrnimo PICO (Paciente, Interveno, Comparao, Objetivos)10-12. Por exemplo: Em pacientes criticamente enfermos (P), os colides (I) so superiores aos cristalides (C) em reduzir a mortalidade (O)?. Foi Realizada uma Estratgia de Busca Abrangente? Idealmente, uma reviso sistemtica deve reunir toda a evidncia existente referente a um assunto1. A estratgia de busca e seleo deve ser definida antes da consulta aos diferentes bancos de dados. Uma reviso sistemtica adequadamente delineada deve evitar o uso de apenas um banco de dados (p. ex.: Medline), que pode no conter todos os artigos publicados sobre o tema. fundamental a consulta a outras bases como CENTRAl (Registro de ensaios clnicos aleatrios da Cochrane Collaboration), EMBASE (Excerpta Medica Database), lIlACS (literatura latino-Americana e do Caribe em Cincias da Sade), e a verificao das referncias citadas em artigos originais e de reviso sobre o tema2. Alm disso, deve-se minimizar o vis de publicao que ocorre quando o nmero de estudos publicados no representativo do total de estudos sobre o tema tentando-se identificar estudos no-publicados nas bases de dados de teses de Mestrado e Doutorado das principais universidades ou em bases digitais, nos resumos apresentados em congressos, e em consultas especialistas2. Acredita-se que apenas 1/3 das metanlises incluram estudos com resultados negativos publicados em jornais de menor circulao ou no publicados (chamados grey literature)13-15. A excluso destes estudos nas metanlises pode levar a estimativas exageradas da efetividade de uma interveno15. Os Critrios de Incluso e Excluso dos Estudos foram Definidos a Priori? Os critrios de incluso e excluso devem ser descritos e rigorosamente seguidos. Dessa forma, o intensivista pode decidir se os resultados possuem relevncia e aplicabilidade na sua prtica diria16,17. De modo geral, estabelece-se a priori o tipo de paciente/condio clnica a ser estudado, o tipo de estudo a ser includo, o tipo de interveno, o tipo de controle, o tipo de desfecho e o perodo de publicao2. No aconselhvel que a reviso sistemtica abranja, dentre os critrios de incluso, aspectos de qualidade metodolgica dos estudos, visto que os mesmos sero explorados posteriormente na anlise16.

Os Autores Avaliaram a Qualidade Metodolgica dos Estudos Includos na Reviso Sistemtica? Alm da busca incompleta de estudos, outro problema comum nas revises sistemticas a incluso de estudos de baixa qualidade, que pode comprometer a confiabilidade nos resultados da reviso16,18,19. Quando resultados de estudos primrios de baixa qualidade metodolgica so utilizados, a eficcia clnica e estatstica de determinadas intervenes pode ser falsamente exagerada20,21. Dessa forma, aps incluso, durante a fase de anlise dos resultados, todo estudo ter sua qualidade metodolgica avaliada conforme descrito adiante2,21-23. Os Autores Realizaram um Processo de Extrao de Dados Padronizado e sem Vieses? Outro aspecto importante a ser observado se durante a extrao dos dados os revisores estavam cegos quanto aos peridicos onde os estudos foram publicados, os autores e os resultados24-26. Ainda, os formulrios de coleta de dados devem ser padronizados e elaborados previamente ao levantamento dos estudos, a fim de garantir que os dados no foram definidos de forma post hoc, pois a explorao das informaes em um busca de resultado favorvel hiptese dos autores pode gerar falso-positivos2. OS RESULTADOS GERADOS PELA REVISO SISTEMTICA SO IMPORTANTES? Os Autores Realizaram Metanlise? Se SIM, qual foi a Estimava de Efeito Conjunto? Os Achados foram Precisos? A metanlise uma abordagem estatstica que combina resultados de estudos relevantes para responder uma questo27. A importncia da metanlise consiste primariamente em sintetizar as evidncias disponveis, e apontar reas onde h necessidade de mais pesquisas3,28. Em uma metanlise, mtodos estatsticos so utilizados para sumarizar os resultados de diversos estudos em uma nica medida denominada, genericamente, estimativa de efeito conjunto29. No necessrio conhecer detalhadamente os mtodos estatsticos, porm, familiarizar-se com alguns conceitos pode facilitar a interpretao dos dados. Simplificadamente, os mtodos utilizados so: Parmetro clnico-epidemiolgico de sumarizao dos resultados; Mtodo de quantificao da contribuio dos estudos para anlise.

Revista Brasileira de Terapia Intensiva Vol. 19 N 4, Outubro-Dezembro, 2007

477

BERWANgER, SUzUMURA, BUEHlER E COl.

Na utilizao do parmetro clnico-epidemiolgico, deve-se primeiramente determinar se os dados so binrios (sim/no, presente/ausente, etc.) ou contnuos (presso arterial, peso, etc.). Variveis binrias podem ser combinadas em medidas como OR, RR, e NNT. Tanto o OR como o RR so medidas de eficcia da interveno, j o NNT informa o impacto clnico. Dados contnuos podem ser sumarizados em mdias entre os grupos. Em metanlise de estudos diagnsticos, os resultados podem ser sumarizados como sensibilidade, especificidade e likelihood ratios. Em metanlise de estudos observacionais, os resultados so sumarizados como RR e OR. J as de estudos prognsticos utilizam hazard ratio e medidas de tempo para um evento30. Quando no h diversidade e nem heterogeneidade importantes, aqueles estudos com maior poder estatstico (leia-se, estudos com maior populao e maior efeito da interveno) possuiro mais peso. Nesse caso, utiliza-se o mtodo de efeitos fixos, que pressupe que todos os estudos apontaram um mesmo efeito. Quando h diversidade e heterogeneidade, utilizado o modelo de efeitos-aleatrios, que distribui o peso de maneira mais uniforme, valorizando a contribuio dos estudos pequenos e, conseqentemente, fornece um intervalo de confiana (IC) mais amplo31. Os resultados de uma metanlise podem ser representados por um grfico do tipo forest plot, como mostrado na figura 1.

Nesse tipo de figura, cada linha representa um estudo, sendo que a ltima representa a combinao dos resultados (metanlise) que simbolizada por um diamante. O resultado de cada estudo descrito tanto de forma grfica (os quadrados representam RR ou razo de riscos e os traos, os IC) quanto de forma numrica. Quando o IC no ultrapassa a linha de nulidade, pode-se afirmar que o resultado estatisticamente significativo. Estudos maiores possuem IC mais estreitos, ou seja, resultados mais precisos e maior contribuio para a metanlise que tambm representada graficamente (quanto maior a rea do quadrado, maior o peso) e valor percentual. A vantagem dos forest plots sumarizar, em uma nica figura, todas as informaes sobre o efeito/preciso do tratamento e a contribuio de cada estudo para a anlise. Os Resultados Foram Consistentes Entre os Diferentes Estudos? Se NO, os Autores Exploraram Potenciais Causas de Heterogeneidade? Os estudos primrios tendem a ser diferente em relao ao perfil do paciente includo, tipo de interveno utilizada e definio do desfecho. Tal diferena denominada heterogeneidade clnica. Adicionalmente, os estudos podem diferir em aspectos metodolgicos, o que denominado heterogeneidade metodolgica. Atualmente as heterogeneidades clnica e metodolgica so englobadas sob o termo diversidade que, na maioria das vezes, possui impacto no resultado32. O mtodo mais utilizado para avaliao da diversidade o teste de heterogeneidade (semelhante ao teste Qui-quadrado), que parte do pressuposto que os achados dos estudos primrios so iguais (hiptese nula) e verifica se os dados encontrados refutam esta hiptese33. Se a hiptese nula for confirmada, os estudos so considerados homogneos (p > 0,05)20. Esse teste apresenta baixo poder discriminatrio quando o nmero de estudos includos pequeno, portanto, um teste no significativo no exclui necessariamente a heterogeneidade. Alguns autores argumentam que um pouco de heterogeneidade sempre est presente, logo, no faria sentido testar sua presena, mas quantific-la. Dessa forma, recentemente, foi proposta a medida denominada inconsistncia (I2), que mede quanto da diferena, entre os estudos, devida heterogeneidade. geralmente o resultado expresso em porcentagem, sendo que inconsistncias de at 25% so consideradas baixas, 50% intermedirias e maiores que 75% altas (quando a realizao da metanlise questionvel)30.

Estudo Estudo 1 Estudo 2 Estudo 3 Estudo 4 Estudo 5 Estudo 6

Risco Relativo (95% IC) %Peso 0,62 (0,39-0,98) 0,71 (0,57-0,88) 0,26 (0,06-1,11) 0,70 (0,52-0,93) 0,37 (0,05-2,91) 0,82 (0,55-1,21) 10,9 49,5 2,2 24,5 0,8 12,1

Combinao (95% IC) -1 1 Risco Relativo 10

0,70 (0,60-0,81)

Figura 1 Metanlise Hipottica de Estudos Aleatorizados

478

Revista Brasileira de Terapia Intensiva Vol. 19 N 4, Outubro-Dezembro, 2007

COMO AVAlIAR CRITICAMENTE REVISES SISTEMTICAS E METANlISES?

OS RESULTADOS SO APLICVEIS NA PRTICA? Os Estudos da Reviso Incluem Pacientes Semelhantes ao Meu? Se os seus pacientes preencherem os critrios de incluso e excluso estabelecidos pelos estudos includos na reviso, no h muita discusso quanto aplicabilidade dos resultados. Se no for o caso, devese questionar se existe alguma razo que torna os resultados no aplicveis. geralmente no encontrada razo significativa, possibilitando a generalizao dos resultados. A Interveno em Estudo est Disponvel no meu Meio de Trabalho? de Baixo Risco de Complicaes e Custo? Antes de empregar uma interveno, deve-se considerar se h disponibilidade em nosso meio e o risco de evento adverso caso o paciente permanea sem receber a interveno. Quanto maior a possibilidade de o paciente apresentar um evento caso no seja tratado, mais provvel torna-se o benefcio. Na avaliao do impacto econmico da interveno, interessante considerar anlises de custo-efetividade, sobre eficcia do tratamento e custos envolvidos. Economistas sugerem que custo-efetividade e no efetividade clnica o critrio mais adequado na escolha de uma interveno34. O princpio os recursos sero sempre escassos, utilizado inclusive em pases desenvolvidos, deve ser considerado devido s limitaes do nosso sistema de sade. O Paciente (ou substituto legal) Aceita Receber o Tratamento Proposto? Os pilares para a aplicao da Medicina Baseada em Evidncias incluem: a existncia de estudos com resultados relevantes, a experincia clnica individual e a preferncia dos pacientes1,35. A deciso do paciente deve ser respeitada e a equipe do CTI deve estar disposio para esclarecer dvidas e apresentar opes embasadas cientificamente36. REVISES SISTEMTICAS VERSUS ENSAIOS CLNICOS ALEATORIZADOS INDIVIDUAIS Apesar de muitos investigadores considerarem que uma reviso sistemtica no tem o mesmo valor cientfico de um estudo individual de larga escala, incomum que este ltimo fornea respostas definitivas s questes clnicas37. Portanto, revises sistemticas e

ensaios clnicos aleatorizados so mtodos complementares, com o objetivo comum de buscar evidncias cientficas slidas a serem utilizadas na prtica mdica (Figura 2).
Estudos Clnicos Pequenos Revises Sistemticas de Estudos Clnicos Pequenos Estudos com Alto Poder Estatstico Revises Sistemticas de Estudos de larga Escala Para estudar mecanismos gerar hipteses para estudos de maior poder Obter respostas com maior grau de certeza Obter estimativa tpica e livre de vcios Analisar subgrupos com poder adequado Avaliar qualidade da evidncia Figura 2 Papel Complementar entre Revises Sistemticas e Estudos Aleatorizados

CONCLUSO Revises sistemticas em terapia intensiva so necessrias para sumarizar os dados existentes na rea, refinar hipteses e definir racionalmente reas de pesquisas futuras. Com essa ferramenta, o intensivista que busca embasamento cientfico para tomada de deciso pode agregar dados cientificamente robustos sua experincia prtica e opinio de seu paciente. Entretanto, para o correto emprego da evidncia cientfica disponvel, necessrio que o intensivista avalie criticamente a qualidade dos dados apresentados pelos autores das revises sistemticas, selecionando, dessa maneira, as informaes relevantes para o manejo do paciente crtico. REFERNCIAS
01. 02. Cook DJ, Mulrow CD, Haynes RB - Systematic reviews: synthesis of best evidence for clinical decisions. Ann Intern Med, 1997;126:376-380. Moher D, Cook DJ, Jadad AR et al - Assessing the quality of reports of randomised trials: implications for the conduct of meta-analyses. Health Technol Assess, 1999;3::i-iv,1-98. Dixon E, Hameed M, Sutherland F et al - Evaluating meta-analyses in the general surgical literature: a critical appraisal. Ann Surg, 2005;241:450-459. Mulrow CD - The medical review article: state of the science. Ann Intern Med, 1987;106:485-488. Cook DJ, Sackett Dl, Spitzer WO - Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam Consultation on Meta-Analysis. J Clin Epidemiol, 1995;48:167-171. Neihouse PF, Priske SC - Quotation accuracy in review articles. DICP, 1989;23:594-596. Mulrow C, langhorne P, grimshaw J - Integrating heterogeneous pieces of evidence in systematic reviews. Ann Intern Med, 1997;127:989-995. liberati A - Meta-analysis: statistical alchemy for the 21st century: dis-

03.

04. 05.

06. 07. 08.

Revista Brasileira de Terapia Intensiva Vol. 19 N 4, Outubro-Dezembro, 2007

479

BERWANgER, SUzUMURA, BUEHlER E COl.

09. 10.

11.

12.

13.

14.

15.

16.

17.

18. 19.

20.

cussion. A plea for a more balanced view of meta-analysis and systematic overviews of the effect of health care interventions. J Clin Epidemiol, 1995;48:81-86. Bangert-Drowns Rl - Misunderstanding meta-analysis. Eval Health Prof, 1995;18:304-314. Cummings SR, Browner WS, Hulley SB - Elaborando a Questo de Pesquisa, em: Hulley SB, Cummings SR, Browner WS et al - Delineando a Pesquisa Clnica: Uma Abordagem Epidemiolgica, 2 Ed, Porto Alegre: Artmed, 2003. Nobre MR, Bernardo WM, Jatene FB - Evidence based clinical practice. Part 1-well structured clinical questions. Rev Assoc Med Bras, 2003;49:445-449. da Costa Santos CM, de Mattos Pimenta C, Nobre MR - The PICO strategy for the research question construction and evidence search. Rev lat Am Enfermagem, 2007;15:508-511. Alderson P, Roberts I - Should journals publish systematic reviews that find no evidence to guide practice? Examples from injury research. BMJ, 2000;320:376-376. Cook DJ, guyatt gH, Ryan g et al - Should unpublished data be included in meta-analyses? Current convictions and controversies. JAMA, 1993;269:2749-2753. McAuley l, Pham B, Tugwell P et al - Does the inclusion of grey literature influence estimates of intervention effectiveness reported in metaanalyses? lancet, 2000;356:1228-1231. Moja lP, Telaro E, DAmico R et al - Assessment of methodological quality of primary studies by systematic reviews: results of the metaquality cross sectional study. BMJ, 2005;330(7499):1053. Egger M, Juni P, Bartlett C et al - How important are comprehensive literature searches and the assessment of trial quality in systematic reviews? Empirical study. Health Technol Assess, 2003;7:1-76. Chalmers TC, lau J - Meta-analytic stimulus for changes in clinical trials. Stat Methods Med Res, 1993;2:161-172. Verhagen AP, de Vet HC, de Bie RA et al - The art of quality assessment of RCTs included in systematic reviews. J Clin Epidemiol, 2001;54:651-654. Hearst N, grady D, Barron HV et al - Pesquisa com Dados Existentes: Anlise de Dados Secundrios, Estudos Suplementares e Revises Sistemticas, em: Hulley SB, Cummings SR, Browner WS ET al - Delineando a Pesquisa Clnica: Uma Abordagem epidemiolgica, 2 Ed, Porto Alegre: Artmed, 2003.

21.

22. 23. 24.

25.

26.

27.

28. 29. 30. 31. 32. 33. 34.

35. 36.

37.

Schulz KF, Chalmers I, Hayes RJ et al - Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA, 1995;273:408-412. Schulz KF, grimes DA - Blinding in randomised trials: hiding who got what. lancet, 2002;359:696-700. Altman Dg, Dore CJ - Randomisation and baseline comparisons in clinical trials. lancet, 1990;335(8682):149-153. Jadad AR, Moore RA, Carroll D et al - Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials, 1996;17:1-12. Moher D, Pham B, Jones A et al - Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analysis? lancet, 1998;352:609-613. Berlin JA - Does blinding of readers affect the results of meta-analyses? University of Pennsylvania Meta-analysis Blinding Study group. lancet, 1997;350:185-186. Stroup DF, Berlin JA, Morton SC et al - Meta-analysis of observational studies in epidemiology: a proposal for reporting. JAMA, 2000;283:2008-2012. Sutton AJ, Abrams KR, Jones DR - An illustrated guide to the methods of meta-analysis. J Eval Clin Pract, 2001;7:135-148. Coutinho ESF - Meta-anlise, em: Medronho RA, Carvalho DM, Bloch KV et al - Epidemiologia. So Paulo: Atheneu, 2003;447-455. Higgins JP, Thompson Sg, Deeks JJ et al - Measuring inconsistency in meta-analyses. BMJ, 2003;327(7414):557-560. lau J, Ioannidis JP, Schmid CH - Quantitative synthesis in systematic reviews. Ann Intern Med, 1997;127:820-826. Mulrow C, langhorne P, grimshaw J - Integrating heterogeneous pieces of evidence in systematic reviews. Ann Intern Med, 1997;127:989-995. lau J, Ioannidis JP, Schmid CH - Summing up evidence: one answer is not always enough. lancet, 1998;351:123-127. Dowie J - Evidence-based, cost-effective and preference-driven medicine: decision analysis based medical decision making is the prerequisite. J Health Serv Res Policy, 1996;1:104-113. McDonald CJ - Medical heuristics: the silent adjudicators of clinical practice. Ann Intern Med, 1996;124:56-62. Hux JE, Naylor CD - Communicating the benefits of chronic preventive therapy: does the format of efficacy data determine patients acceptance of treatment? Med Decis Making, 1995;15:152-157. Davidoff F, Case K, Fried PW - Evidence-based medicine: why all the fuss? Ann Intern Med, 1995;122:727

480

Revista Brasileira de Terapia Intensiva Vol. 19 N 4, Outubro-Dezembro, 2007