Artigo

Cochrane
Biblioteca
Cochrane Banco de dados de revisões sistemáticas
Desfechos de saúde avaliados com desenhos de estudos observacionais

comparados com aqueles avaliados em ensaios randomizados (revisão)
Anglemyer A, Horvath HT, Bero L
Anglemyer A, Horvath HT, Bero L.

Resultados de cuidados de saúde avaliados com desenhos de estudos observacionais em comparação com aqueles avaliados em ensaios clínicos randomizados.
Banco de dados Cochrane de revisões sistemáticas 2014, Edição 4. Art. Nº:
MR000034. DOI:10.1002 / 14651858.MR000034.pub2.
www.cochranelibrary.com
Desfechos de saúde avaliados com desenhos de estudos observacionais comparados com aqueles avaliados em ensaios
randomizados (revisão)
Copyright © 2014 The Cochrane Collaboration. Publicado por John Wiley & Sons, Ltd.
Cochrane Provas confiáveis.
Decisões informadas.
Biblioteca Melhor saude. Cochrane Banco de dados de revisões sistemáticas
ÍNDICE
CABEÇALHO..................................................... .................................................. .................................................. ................................................ 1
RESUMO..................................................... .................................................. .................................................. ............................................ RESUMO 1
EM LÍNGUA CLARA..................................................... .................................................. .................................................. .............. FUNDO... 2
.................................................. .................................................. .................................................. ..................................... OBJETIVOS... 4
.................................................. .................................................. .................................................. ......................................... MÉTODOS... 4
.................................................. .................................................. .................................................. ............................................ RESULTADOS... 5
.................................................. .................................................. .................................................. ............................................... Figura 1.... 7
.................................................. .................................................. .................................................. ........................................ Figura 2.... 7
.................................................. .................................................. .................................................. ........................................ Figura 3.... 10
.................................................. .................................................. .................................................. ........................................ Figura 4.... 11
.................................................. .................................................. .................................................. ........................................ Figura 5.... 12
.................................................. .................................................. .................................................. ........................................ Figura 6.... 13
.................................................. .................................................. .................................................. ........................................ 14
DISCUSSÃO..................................................... .................................................. .................................................. ......................................... 14
CONCLUSÕES DOS AUTORES..................................................... .................................................. .................................................. .................. 15
REFERÊNCIAS..................................................... .................................................. .................................................. ....................................... 16
CARACTERÍSTICAS DOS ESTUDOS..................................................... .................................................. .................................................. ......... DADOS 19
E ANÁLISES..................................................... .................................................. .................................................. ........................... Análise 1.1. 33
Comparação 1 RCT vs Observacional, Resultado 1 Resumido Razões de Razões: RCTs vs Estudos Observacionais........... 34
Análise 1.2. Comparação 1 RCT vs Observacional, Resultado 2 Resumido Razões de Razões: RCTs vs Estudos Observacionais 35
(Subgrupos de Heterogeneidade)...................................................... .................................................. .................................................. ........
Análise 1.3. Comparação 1 RCT vs Observacional, Resultado 3 Resumido Razões de Proporções: RCTs vs Estudos Observacionais 35
(Estudos Farmacológicos vs Estudos Não Farmacológicos)...................................................... .................................................. .....
Análise 1.4. Comparação 1 RCT vs Observacional, Resultado 4 Resumido Razões de Razões: RCTs vs Estudos Observacionais 36
(Pontuações de Propensão)...................................................... .................................................. .................................................. .....................
ANEXOS..................................................... .................................................. .................................................. ........................................ 37
CONTRIBUIÇÕES DOS AUTORES..................................................... .................................................. .................................................. .......... 37
DECLARAÇÕES DE INTERESSE..................................................... .................................................. .................................................. ............ FONTES 37
DE APOIO..................................................... .................................................. .................................................. ...................... DIFERENÇAS ENTRE 37
PROTOCOLO E REVISÃO..................................................... .................................................. ............................. TERMOS DO ÍNDICE... 38
.................................................. .................................................. .................................................. ...................................... 38
Desfechos de saúde avaliados com desenhos de estudos observacionais comparados com aqueles avaliados em ensaios randomizados (revisão) eu
[Revisão da Metodologia]
Resultados de saúde avaliados com desenhos de estudos observacionais

comparados com aqueles avaliados em ensaios randomizados
Andrew Anglemyer1, Hacsi T Horvath1, Lisa Bero2
1Global Health Sciences, University of California, San Francisco, San Francisco, California, EUA. 2Departamento de Farmácia Clínica e Instituto de
Estudos de Políticas de Saúde, Universidade da Califórnia, São Francisco, São Francisco, Califórnia, EUA
Endereço de contato: Lisa Bero, Departamento de Farmácia Clínica e Instituto de Estudos de Políticas de Saúde, University of California San
Francisco, Suite 420, Box 0613, 3333 California Street, San Francisco, California, 94143-0613, EUA. berol@pharmacy.ucsf.edu.
Grupo editorial: Grupo de Revisão da Metodologia Cochrane.

Status e data da publicação: Novo, publicado na edição 4, 2014.
Citação: Anglemyer A, Horvath HT, Bero L. Resultados de saúde avaliados com desenhos de estudos observacionais em comparação com aqueles
avaliados em ensaios clínicos randomizados. Banco de dados Cochrane de revisões sistemáticas 2014, Edição 4. Art. Nº: MR000034. DOI:
10.1002 / 14651858.MR000034.pub2.
RESUMO
Fundo
Pesquisadores e organizações geralmente usam evidências de ensaios clínicos randomizados (RCTs) para determinar a eficácia de um tratamento ou
intervenção em condições ideais. Estudos de projetos observacionais são frequentemente usados para medir a eficácia de uma intervenção em cenários
do 'mundo real'. Numerosos projetos de estudo e modificações de projetos existentes, incluindo randomizados e observacionais, são usados para
pesquisa comparativa de eficácia em uma tentativa de fornecer uma estimativa imparcial de se um tratamento é mais eficaz ou seguro do que outro para
uma determinada população.
Uma análise sistemática das características do projeto do estudo, risco de viés, interpretação dos parâmetros e tamanho do efeito para todos os tipos de estudos
observacionais randomizados e não experimentais é necessária para identificar diferenças específicas nos tipos de projeto e vieses potenciais. Esta revisão resume os
resultados de revisões metodológicas que comparam os resultados de estudos observacionais com ensaios randomizados abordando a mesma questão, bem como
revisões metodológicas que comparam os resultados de diferentes tipos de estudos observacionais.
Objetivos
Avaliar o impacto do desenho do estudo (incluindo RCTs versus desenhos de estudo observacional) nas medidas de efeito estimadas.
Explorar variáveis metodológicas que possam explicar as diferenças identificadas.
Para identificar lacunas na pesquisa existente comparando desenhos de estudos.
Métodos de pesquisa
Pesquisamos sete bancos de dados eletrônicos, de janeiro de 1990 a dezembro de 2013.
Junto com os termos MeSH e palavras-chave relevantes, usamos a versão equilibrada de sensibilidade-especificidade de uma estratégia validada para identificar
revisões no PubMed, aumentadas com um termo ("revisão" nos títulos dos artigos) para que melhor direcionasse as revisões narrativas. Nenhuma restrição de idioma
foi aplicada.
Critério de seleção
Examinamos revisões sistemáticas que foram elaboradas como revisões metodológicas para comparar as estimativas quantitativas do tamanho do efeito que medem
a eficácia ou eficácia das intervenções testadas em estudos com aquelas testadas em estudos observacionais. As comparações incluíram RCTs versus
Desfechos de saúde avaliados com desenhos de estudos observacionais comparados com aqueles avaliados em ensaios randomizados (revisão) 1
estudos observacionais (incluindo coortes retrospectivas, coortes prospectivas, desenhos de caso-controle e desenhos transversais). As revisões não eram
elegíveis se comparassem os ensaios randomizados com outros estudos que usaram alguma forma de alocação simultânea.
Coleta e análise de dados

Em geral, as medidas de desfecho incluíram riscos relativos ou razões de taxas (RR), razões de chances (OR), taxas de risco (HR). Usando
resultados de estudos observacionais como grupo de referência, examinamos as estimativas publicadas para ver se havia um efeito relativo
maior ou menor na razão de odds ratios (ROR).
Em cada revisão identificada, se uma estimativa comparando os resultados dos estudos observacionais com os ECRs não fosse fornecida, reuníamos as estimativas
para os estudos observacionais e os ECRs. Em seguida, estimamos a razão de razões (razão de risco ou razão de chances) para cada revisão identificada usando
estudos observacionais como a categoria de referência. Em todas as revisões, sintetizamos essas proporções para obter apooledROR comparando resultados de RCTs
com resultados de estudos observacionais.
Resultados principais
Nossa pesquisa inicial rendeu 4.406 referências exclusivas. As revisões da FiFeen atenderam aos nossos critérios de inclusão; 14 dos quais foram incluídos na análise quantitativa.
As revisões incluídas analisaram dados de 1583 metanálises que cobriram 228 condições médicas anteriores. O número médio de estudos incluídos por
artigo foi de 178 (variação de 19 a 530).
Onze (73%) revisões apresentaram viés de baixo risco para os critérios explícitos para a seleção do estudo, nove (60%) foram de viés de baixo risco para a concordância dos
investigadores para a seleção do estudo, cinco (33%) incluíram uma amostra completa de estudos, sete (47%) avaliaram o risco de viés de seus estudos incluídos,
Sete (47%) revisões controladas por diferenças metodológicas entre os estudos,
Oito (53%) revisões controladas para heterogeneidade entre os estudos, nove (60%) analisaram medidas de resultados semelhantes e quatro (27%) foram
considerados como tendo baixo risco de viés de notificação.
Nossa análise quantitativa primária, incluindo 14 revisões, mostrou que o ROR agrupado comparando efeitos de RCTs com efeitos de estudos
observacionais foi de 1,08 (intervalo de confiança de 95% (IC) de 0,96 a 1,22). Das 14 revisões incluídas nesta análise, 11 (79%) não encontraram nenhuma
diferença significativa entre os estudos observacionais e os ECRs. Uma revisão sugeriu que estudos observacionais tiveram maiores efeitos de interesse e
duas revisões sugeriram que estudos observacionais tiveram menores efeitos de interesse.
Semelhante ao efeito em todas as revisões incluídas, os efeitos das revisões comparando RCTs com estudos de coorte tiveram um ROR combinado de 1,04 (95%
CI de 0,89 a 1,21), com heterogeneidade substancial (I2 = 68%). Três revisões compararam os efeitos de RCTs e projetos de controle de caso (ROR agrupado:
1,11 (IC 95% 0,91-1,35)).
Diferença não significativa em estimativas de pontos em toda a heterogeneidade, intervenção farmacológica ou subgrupos de ajuste de escore de
propensão foram anotados. Nenhuma revisão comparou ECRs com estudos observacionais que usaram dois dos métodos de inferência causal mais
comuns, variáveis instrumentais e modelos estruturais marginais.
Conclusões dos autores
Nossos resultados em todas as análises (ROR 1.08 agrupados) são muito semelhantes aos resultados relatados por análises conduzidas de forma semelhante. Como tal, chegamos a
conclusões semelhantes; em média, há pouca evidência para diferenças significativas de estimativa de efeito entre os estudos observacionais e os ECRs, independentemente do
desenho específico do estudo observacional, da heterogeneidade ou da inclusão de estudos de intervenções farmacológicas. Fatores diferentes do desenho do estudoper se
precisam ser considerados ao explorar as razões para a falta de acordo entre os resultados dos ensaios clínicos randomizados e estudos observacionais. Nossos resultados
ressaltam que é importante para os autores da revisão considerar não apenas o desenho do estudo, mas o nível de heterogeneidade nas metanálises de ECRs ou estudos
observacionais. Uma melhor compreensão de como esses fatores influenciam os resultados do estudo podem apresentar estimativas de rendimento que refletem a eficácia real.
PLAINLANGUAGES UMMA RY
Comparando estimativas de efeitos de ensaios clínicos randomizados e estudos observacionais
Pesquisadores e organizações geralmente usam evidências de ensaios clínicos randomizados (RCTs) para determinar a eficácia de um tratamento ou
intervenção em condições ideais, enquanto estudos de projetos observacionais são usados para medir a eficácia de uma intervenção em cenários não
experimentais do 'mundo real' . Às vezes, os resultados de ensaios clínicos randomizados e estudos observacionais que abordam a mesma questão podem
ter resultados diferentes. Esta revisão explora as questões de se essas diferenças nos resultados estão relacionadas ao próprio desenho do estudo ou a
outras características do estudo.
Esta revisão resume os resultados de revisões metodológicas que comparam os resultados de estudos observacionais com ensaios randomizados
abordando a mesma questão, bem como revisões metodológicas que comparam os resultados de diferentes tipos de estudos observacionais.
Os principais objetivos da revisão são avaliar o impacto do desenho do estudo - incluir RCTs versus desenhos de estudo observacional (por exemplo,
desenhos de coorte versus caso-controle) nas medidas estimadas de Gect e explorar as variáveis metodológicas que podem explicar quaisquer diferenças.
Pesquisamos vários bancos de dados eletrônicos e listas de referência de artigos relevantes para identificar revisões sistemáticas que foram concebidas
como revisões metodológicas para comparar estimativas quantitativas de tamanho de efeito medindo eGicácia ou eficácia de intervenções de ensaios com
estudos observacionais ou desenhos diferentes de estudos observacionais. Avaliamos os riscos de viés das revisões incluídas.
Nossos resultados fornecem pouca evidência para diferenças significativas de estimativa de efeito entre os estudos observacionais e os ECRs, independentemente do desenho do
estudo observacional específico, heterogeneidade, inclusão de estudos farmacológicos ou uso de ajuste do escore de propensão. Fatores diferentes do desenho do estudoper se
precisam ser considerados ao explorar as razões para a falta de acordo entre os resultados dos ensaios clínicos randomizados e estudos observacionais.
FUNDO efeitos de tratamento, ou direção reversa dos efeitos de tratamento (Deeks

2003; Ioannidis 2001; Kunz 1998; Odgaard-Jensen 2011), enquanto outros
Pesquisadores e organizações geralmente usam evidências de ensaios encontraram pouca ou nenhuma diferença nos tamanhos dos efeitos do
clínicos randomizados (RCTs) para determinar a eficácia de um tratamento tratamento entre os projetos de estudo (Benson 2000; Britton 1998;
ou intervenção em condições ideais. Estudos de desenho observacional Concato 2000; MacLehose 2000; Oliver 2010) No entanto, não houve uma
são usados para medir a eficácia de uma intervenção em cenários não revisão sistemática das comparações de todos os desenhos de estudo
experimentais do 'mundo real' no nível da população. O Instituto de atualmente em uso para pesquisas comparativas de eficácia. Revisões que
Medicina define pesquisa comparativa de eGetividade (CER) como: “a compararam ECRs com estudos observacionais muitas vezes limitaram a
geração e síntese de evidências que comparam os benefícios e danos de comparação com estudos de coorte, ou os tipos de desenhos
métodos alternativos para prevenir, diagnosticar, tratar e monitorar uma observacionais incluídos não foram especificados. Além disso, a maioria
condição clínica ou para melhorar a prestação de cuidados. O objetivo do das revisões foi publicada entre 1982 e 2003 e a metodologia dos estudos
CER é ajudar os consumidores, médicos, compradores e formuladores de observacionais evoluiu desde então. Uma revisão Cochrane, publicada pela
políticas a tomar decisões informadas que irão melhorar os cuidados de primeira vez em 2002 (Kunz 2002), foi arquivado e substituído por versões
saúde tanto a nível individual como populacional "(Instituto de Medicina posteriores. A versão mais recente dessa revisão, publicada em 2011,
2009) A pesquisa comparativa de eGetividade também foi chamada de comparou a alocação aleatória versus alocação não aleatória ou ocultação
"pesquisa de eGetividade clínica comparativa" e "pesquisa de resultados adequada versus inadequada / pouco clara da alocação em ensaios
centrada no paciente" (Kamerow 2011) Independentemente do nome randomizados (Odgaard-Jensen 2011) Esta revisão incluiu comparações de
desse tipo de pesquisa, ela deve fornecer uma estimativa imparcial de se ensaios clínicos randomizados ("ensaios clínicos randomizados" ou "RCTs");
um tratamento é mais eficaz ou seguro do que outro para uma ensaios não randomizados com controles concorrentes e desenhos de
determinada população. O debate sobre a validade dos estudos grupos de controle não equivalentes. A revisão excluiu comparações de
observacionais em comparação com os ensaios randomizados para estudos usando controles históricos (pacientes tratados antes daqueles
estimar a eficácia das intervenções tem continuado por décadas. que receberam a intervenção avaliada, freqüentemente chamados de
"ensaios controlados historicamente" ou "HCTs"); estudos observacionais
clássicos, incluindo estudos de coorte, estudos transversais, estudos de
Numerosos projetos de estudo e modificações de projetos existentes, tanto
caso-controle e 'estudos de resultados' (avaliações usando grandes bancos
aleatórios quanto observacionais, são usados para pesquisas comparativas de
de dados administrativos ou clínicos). Outra revisão recente avaliando a
eficácia. Estes incluem, mas não estão limitados a, ensaios randomizados head-
relação entre desenhos de estudos randomizados e estimativas de eGect
to-head, ensaios randomizados por cluster, projetos adaptativos, ensaios
focou apenas nas intervenções políticas (Oliver 2010)
pragmáticos / explicativos / pragmáticos, PBE-CPI "evidências baseadas na
prática para melhoria da prática clínica", experimentos naturais, observacionais
ou estudos transversais de registros e bancos de dados, incluindo registros
médicos eletrônicos, meta-análise, meta-análise de rede, modelagem e Por que é importante fazer esta revisão
simulação. As modificações podem incluir novas abordagens de análise de
estudo observacional que empregam as chamadas técnicas de inferência causal, Apesar da necessidade de pesquisa comparativa rigorosa de eGetividade,
que podem incluir variáveis instrumentais, modelos estruturais marginais, não houve comparação sistemática de estimativas de medida de eGect
escores de propensão, entre outros. Projetos experimentais não randomizados entre todos os tipos de desenhos de estudos observacionais randomizados
(por exemplo, ensaios não randomizados), também desempenham um papel na e não experimentais que estão sendo usados para avaliar a eficácia das
pesquisa comparativa de eGetividade, mas esta revisão se concentra na intervenções. As descobertas desta revisão informarão o projeto de
comparação de estudos randomizados com projetos observacionais não pesquisas comparativas de eficácia futura e ajudarão a priorizar os tipos de
experimentais. Conforme observado noCochraneHandbook para revisões projetos de estudo específicos do contexto que devem ser usados para
sistemáticas de intervenções, potenciais vieses para todos os estudos não minimizar o preconceito.
randomizados são provavelmente maiores do que para os estudos
randomizados (Higgins 2011) Uma análise sistemática das características do
OBJETIVOS
projeto do estudo, risco de viés e tamanho do efeito para todos os tipos de
Para avaliar o impacto do desenho do estudo - para incluir RCTs versus
estudos usados para pesquisa comparativa de eficácia é necessária para
desenhos de estudo observacional nas medidas de efeito estimadas.
identificar diferenças específicas nos tipos de projeto e vieses potenciais.
Explorar variáveis metodológicas que possam explicar as diferenças

identificadas. As estimativas de tamanho do EGect podem estar relacionadas ao
Esta revisão resume os resultados de revisões metodológicas que
risco subjacente de viés (ou seja, variáveis metodológicas) dos estudos, e não
comparam os resultados de estudos observacionais com ensaios
ao projetoper se. Um ECR defeituoso pode ter estimativas de eGect maiores do
randomizados abordando a mesma questão, bem como revisões
que um estudo de coorte rigoroso, por exemplo. Se as revisões metodológicas
metodológicas que comparam os resultados de diferentes tipos de estudos
que incluímos avaliassem o risco de viés dos desenhos de estudo que incluíam,
observacionais. Uma série de revisões comparando os tamanhos e / ou
tentamos ver se as diferenças no risco de viés explicam quaisquer diferenças nas
vieses dos efeitos em ECRs e estudos observacionais (ou ensaios
estimativas de tamanho do efeito.
controlados não randomizados) foram realizados (Benson 2000;
Britton 1998; Concato 2000; Deeks 2003; Ioannidis 2001; Kunz 1998; Kunz Para identificar lacunas na pesquisa existente comparando desenhos de estudos.
2002; MacLehose 2000; Odgaard-Jensen 2011; Oliver 2010; Sacks 1982;
Wilson 2001). Essas revisões examinaram se certos tipos de desenhos de
estudo relatam efeitos de tratamento menores ou maiores ou mudam a
direção dos efeitos. Algumas revisões descobriram que a falta de
randomização ou randomização inadequada está associada a viés de
seleção, efeitos de tratamento maiores, menores
MÉTODOS Tipos de dados
Nossa intenção era selecionar revisões que comparassem

Critérios para considerar estudos para esta revisão
quantitativamente a eficácia ou eficácia de intervenções alternativas para
Tipos de estudos prevenir ou tratar uma condição clínica ou para melhorar a prestação de
cuidados. Especificamente, nossa amostra de estudo incluiu revisões que
Examinamos revisões sistemáticas que foram elaboradas como
têm estimativas de eGect de ECRs ou ensaios clínicos randomizados por
revisões metodológicas para comparar estimativas quantitativas do
cluster e estudos observacionais, que incluíram, mas não se limitaram a,
tamanho do efeito que medem a eficácia ou eficácia das intervenções
estudos de coorte, estudos de caso-controle e estudos transversais.
testadas em estudos com aquelas testadas em estudos
observacionais. Para os fins desta revisão, uma revisão metodológica Tipos de métodos
é definida como uma revisão projetada para comparar os resultados
de estudos que variam por um fator metodológico específico (neste Identificamos revisões comparando as medidas de eGect entre os ensaios a
caso, o desenho do estudo) e não para comparar o efeito clínico de nd estudos observacionais ou diferentes tipos de estudos observacionais
uma intervenção com nenhum intervenção ou um comparador. As estudos para incluir o seguinte.
comparações incluíram ECRs e estudos observacionais (incluindo
• RCTs / randomizados por cluster ensaios versus potencial /
coortes retrospectivas, coortes prospectivas, casos-controles e
coortes retrospectivas
desenhos transversais) que compararam as medidas de efeito de
diferentes desenhos ou análises de estudo. Para esta revisão, os • RCTs / ensaios randomizados de cluster versus estudos de caso-controle
únicos estudos não experimentais que analisamos foram de desenho • RCTs / ensaios randomizados de cluster versus estudos transversais
observacional. Portanto, usamos o termo "observacional" na • RCTs / ensaios randomizados de cluster versus outros observacionais
apresentação dos achados de nossa revisão. No entanto, deve-se Projeto
notar que a terminologia usada na literatura para descrever os • RCTs / ensaios randomizados de cluster versus estudos observacionais
desenhos dos estudos não é consistente e pode levar a confusão. empregando os chamados métodos analíticos de inferência causal
Incluímos revisões metodológicas comparando estudos descritos na Tipos de medidas de saída

revisão como ensaios randomizados frente a frente, ensaios randomizados
de cluster, desenhos adaptativos, ensaios pragmáticos / explicativos / A direção e magnitude das estimativas de eGect (por exemplo, odds ratios,
pragmáticos, PBE-CPI "evidências baseadas na prática para melhoria da riscos relativos, diferença de risco) variaram nas metanálises incluídas
prática clínica", experimentos naturais, estudos de coorte prospectivos e nesta revisão. Sempre que possível, usamos odds ratio como medida de
retrospectivos, estudos de caso-controle, estudos observacionais ou resultado para conduzir uma análise de odds ratio combinada.
transversais de registros e bancos de dados, incluindo registros médicos
eletrônicos, ou estudos observacionais que empregam as chamadas Métodos de pesquisa para identificação de estudos
técnicas de inferência causal (por exemplo, brevemente, técnicas analíticas Buscas eletronicas
que tentam estimar uma verdadeira relação causal a partir de dados
observacionais), que poderia incluir variáveis instrumentais, modelos Para identificar análises metodológicas relevantes, pesquisamos o
estruturais marginais ou escores de propensão. Especificamente, incluímos f•seguintes bases de dados eletrônicas, no período de 01 de janeiro de 1990 t•o
comparações de estimativas de ECRs com qualquer um dos tipos de 06 de dezembro de 2013.
estudos observacionais acima.

Registro de Metodologia Cochrane
Nosso foco está em análises de eficácia ou danos de intervenções Banco de dados Cochrane de revisões sistemáticas
relacionadas à saúde. Incluímos dois tipos de revisões: a) revisões • MEDLINE (via PubMed)
sistemáticas de estudos primários em que o objetivo principal da revisão
• EMBASE (via EMBASE.com)
foi pré-definido para incluir uma comparação de desenhos de estudos e
• Literatura Latinoamericana y del Caribe en Ciencias de la Salud
não para responder a uma questão específica de pesquisa clínica; eb)
(LILACS)
revisões metodológicas de revisões que incluíram revisões existentes ou
metanálises que compararam RCTs com desenhos observacionais. • PsycINFO
Excluímos comparações de desenhos de estudo em que os estudos • Web of Science / Web of Social Science
incluídos mediam os efeitos de substâncias nocivas putativas que não são
Junto com os termos MeSH e uma ampla gama de palavras-chave relevantes,
intervenções relacionadas à saúde, como produtos químicos ambientais ou
usamos a versão equilibrada de sensibilidade-especificidade de uma estratégia
testes de diagnóstico, bem como estudos que mediam fatores de risco ou
validada para identificar revisões no PubMed (Montori 2004), acrescido de um
exposições a riscos potenciais. Excluímos estudos que compararam
termo ("revisão" nos títulos dos artigos) para que melhor direcione as revisões.
ensaios randomizados para ensaios não randomizados. Por exemplo,
Antecipamos que essa estratégia recuperaria todas as avaliações relevantes. Ver
excluímos estudos que compararam estudos com alocação aleatória
Apêndice 1 para nossa estratégia de busca PubMed, que foi modificada
àqueles com alocação não aleatória ou ensaios com ocultação de alocação
conforme apropriado para uso em outras bases de dados.
adequada versus inadequada / pouco clara. Também excluímos estudos
que compararam os resultados de metanálises com os resultados de
A estratégia de busca foi iterativa, em que as referências das revisões
ensaios únicos ou estudos observacionais únicos. Por fim, excluímos
incluídas foram pesquisadas em busca de referências adicionais. Usamos
metanálises dos efeitos de uma intervenção que incluiu ensaios
os recursos de "artigos semelhantes" e "artigos citando" de várias bases de
randomizados e estudos observacionais com uma comparação incidental
dados para identificar artigos adicionais relevantes. Todos os idiomas
dos resultados.
foram incluídos.
Antes de executar as pesquisas eletrônicas, a estratégia de pesquisa foi • Há ausência de evidência de viés de outras fontes?
revisada por um segundo especialista em informações, de acordo com a
orientação da Revisão por Pares de Estratégias de Pesquisa Eletrônica Cada critério foi classificado como sim, não ou pouco claro.
(PRESS) (Sampson 2009)

Resumimos o risco geral de viés de cada estudo como: baixo risco de viés,
Coleta e análise de dados risco incerto de viés ou alto risco de viés.
A metodologia de coleta e análise de dados baseou-se na Medidas do efeito dos métodos

orientação de Manual Cochrane de revisões sistemáticas de
Em geral, as medidas de desfecho incluíram riscos relativos ou razões de taxas
intervenções (Higgins 2011)
(RR), razões de chances (OR), taxas de risco (HR).
Seleção de estudos
Lidando com dados perdidos
Após remover referências duplicadas, um autor da revisão (THH) examinou os
Esta revisão é uma análise de dados secundários e não gerou os problemas de
resultados, excluindo aqueles que eram claramente irrelevantes (por exemplo,
falta de dados vistos na maioria das revisões sistemáticas. No entanto, para um
estudos com animais, editoriais, estudos de caso).
seleto e pequeno número de revisões, precisávamos de mais informações dos
autores da publicação sobre métodos ou outros detalhes, portanto, entramos
Em seguida, dois autores da revisão (AA e LB) selecionaram
em contato com os autores correspondentes.
independentemente as revisões potencialmente relevantes examinando os
títulos, resumos e termos descritores das referências restantes e aplicando
Avaliação da heterogeneidade
os critérios de inclusão. Relatórios irrelevantes foram descartados, e o
artigo completo (ou resumo se de um processo de conferência) foi obtido Sintetizamos dados de várias revisões para comparar os efeitos de
para todos os relatórios potencialmente relevantes ou incertos. Os dois RCTs com estudos observacionais. Tivemos uma grande variedade de
autores da revisão aplicaram independentemente os critérios de inclusão. resultados e intervenções sintetizados, aumentando a quantidade de
As revisões foram revisadas quanto à relevância com base no desenho do heterogeneidade entre as revisões. Nós avaliamos a heterogeneidade
estudo, tipos de métodos empregados e uma comparação de efeitos com usando a estatística χ2 com nível de significância de 0,10 e a
base em diferentes metodologias ou desenhos. THH julgou quaisquer estatística I2. Juntamente com a magnitude e direção do efeito,
desacordos que não puderam ser resolvidos por discussão. interpretamos uma estimativa I2 entre 30% e 60% como indicando
heterogeneidade moderada, 50% a 90% de heterogeneidade substancial e
Extração e gerenciamento de dados
75% a 100% como um alto nível de heterogeneidade. Além disso, se um
Após uma pesquisa inicial e triagem do artigo, dois autores da revisão, estudo incluído foi, de fato, um artigo de revisão que já avaliou a
independentemente, codificaram e inseriram as informações de cada heterogeneidade, relatamos a avaliação original dos autores sobre a
s•estudo eleito em formulários de extração de dados padronizados. Extraído heterogeneidade.
as informações incluíram o seguinte.
Avaliação de enviesamentos de relatórios
Detalhes do estudo: citação, datas de início e término, localização, elegibilidade

Tentamos minimizar o potencial de viés de publicação por nossa
critérios, (inclusão e exclusão), desenhos de estudo comparados,
estratégia de pesquisa abrangente que incluiu a avaliação de
intervenções comparadas.
literatura publicada e não publicada. Nos casos em que faltavam
• Comparação de detalhes de métodos: Estimativas de efeito de cada informações ou dados específicos, entramos em contato com os
desenho do estudo dentro de cada publicação. autores e solicitamos dados adicionais.
• Detalhes do resultado: resultados primários identificados em cada estudo.
Síntese de dados
Avaliação do risco de viés nos estudos incluídos
Examinamos a relação entre o tipo de desenho do estudo e as estimativas
Incluímos revisões sistemáticas de estudos, portanto, a ferramenta associadas. Usando os resultados de estudos observacionais como grupo de
Cochrane Collaboration para avaliar o risco de viés para estudos referência, examinamos as estimativas publicadas para ver se havia um efeito
individuais não se aplica. Usamos os seguintes critérios para avaliar o relativo menor ou maior. Exploramos se os comparadores RCT mostraram
risco de viés das avaliações incluídas, que são semelhantes aos usados aproximadamente os mesmos efeitos, efeitos de tratamento maiores ou efeitos
eu•na revisão da metodologia por Odgaard-Jensen e colegas (• de tratamento menores em comparação com o grupo de referência do estudo
Odgaard-Jensen 2011) observacional. Além disso, no texto, descrevemos qualitativamente os resultados
relatados de cada revisão incluída. Em cada revisão identificada, se uma
Critérios explícitos foram usados para selecionar os estudos? estimativa comparando os resultados dos ECRs com os estudos observacionais
Dois ou mais investigadores concordaram com a seleção de não fosse fornecida, agrupamos as estimativas para os estudos observacionais e
estudos? os ECRs. Então, usando métodos descritos por Altman (Altman 2003), estimamos
• Houve uma amostra consecutiva ou completa de estudos? a razão das razões (razão de risco ou razão de risco ou razão de chances) para
cada revisão incluída usando estudos observacionais como grupo de referência.
• O risco de viés dos estudos incluídos foi avaliado?
Em todas as revisões, sintetizamos essas proporções para obter uma razão
• A revisão controlou as diferenças metodológicas de
combinada de odds ratios (ROR) comparando os resultados de RCTs com os
estudos incluídos (por exemplo, com uma análise de sensibilidade)?
resultados de estudos observacionais. Nossos resultados variaram
• A revisão controlou a heterogeneidade dos participantes e consideravelmente por grupos de comparação, resultados, intervenções e
intervenções nos estudos incluídos? desenho do estudo, o que contribuiu muito para a heterogeneidade. Para evitar
• Foram utilizadas medidas de resultados semelhantes nos estudos incluídos? a sobreposição de
• Existe uma ausência de risco de relatórios seletivos?
dados entre os estudos incluídos, não incluímos dados previamente em suas respectivas meta-análises) para aqueles com heterogeneidade
incluídos em outra revisão incluída. moderada-baixa. Como tal, estratificamos as avaliações pela
heterogeneidadedentro de revisão de cada metodologia.
Análise de subgrupo e investigação de heterogeneidade
RESULTADOS
Reduzir o viés na pesquisa comparativa de eficácia é particularmente
importante para estudos que comparem intervenções farmacológicas com
Descrição dos estudos
suas implicações para o atendimento clínico e a compra de serviços de
saúde. Uma vez que uma série de estudos comparando desenhos de Ver Características dos estudos incluídos; Características de estudos
estudo usados para pesquisa comparativa de eficácia focada em excluídos.
comparações farmacológicas, decidimos:a priori, para conduzir uma
análise de subgrupo desses estudos farmacológicos. Especificamente, Resultados da pesquisa
hipotetizamos que os estudos de comparações farmacológicas em um Nossa pesquisa inicial rendeu 4.406 referências exclusivas. Cinco referências
desenho randomizado podem ter estimativas de eGect menores do que os adicionais foram identificadas a partir da verificação das listas de referências das
estudos de comparações farmacológicas em um estudo observacional. publicações incluídas. Selecionamos 59 artigos com texto completo para revisão
posterior, dos quais 44 foram excluídos por não atenderem aos nossos critérios
Além disso, realizamos uma análise de subgrupo por heterogeneidade das
de inclusão. As revisões da FiFeen atenderam aos nossos critérios de inclusão
revisões metodológicas incluídas para comparar as diferenças entre os
para esta revisão; 14 dessas revisões foram incluídas na análise quantitativa. Ver
ensaios clínicos randomizados e estudos observacionais do subgrupo de
figura 1 para gráfico de seleção de estudo.
revisões metodológicas com alta heterogeneidade (conforme medido
Figura 1. Fluxograma que descreve o processo de triagem
Estudos incluídos Das 15 revisões, 14 foram incluídas na análise quantitativa e

continham dados, ou pudemos obter dos autores dados
Ver Características dos estudos incluídos. As revisões da FiFeen, publicadas entre
quantitativos que nos permitiram calcular RORs. Um estudo (
01 de janeiro de 1990 e 06 de dezembro de 2013, atenderam aos critérios de
Papanikolauo 2006) foi incluído em uma revisão publicada
inclusão para esta revisão. Quatorze artigos compararam RCTs com desenhos
anteriormente (Golder 2011), portanto, nós o descrevemos, mas
observacionais; duas revisões focadas exclusivamente em intervenções
não o incluímos na meta-análise.
farmacológicas (Beynon 2008; Naudet 2011), enquanto quatro se concentraram
em intervenções farmacológicas e outras, mas forneceram dados sobre Benson 2000 et al pesquisaram os bancos de dados Abridged Index Medicus e
medicamentos que poderiam ser analisados separadamente (Benson 2000; Cochrane em busca de estudos observacionais publicados entre 1985 e 1998 que
Concato 2000; Golder 2011; Ioannidis 2001) comparassem dois ou mais tratamentos. Para identificar ensaios clínicos
randomizados e estudos observacionais comparando o mesmo tratamento, os
As revisões incluídas analisaram dados de 1583 meta-análises que
pesquisadores pesquisaram os bancos de dados MEDLINE e Cochrane. Cento e
cobriram 228 condições médicas diferentes. O número médio de
trinta e seis publicações foram identificadas que cobriam 19
estudos incluídos por artigo foi de 178 (variação de 19 a 530).
tratamentos diferentes. Benson 2000 et al encontraram poucas evidências de que as A edição 3) e os principais periódicos geraram 45 tópicos diversos de 240 ECRs e
estimativas de efeito de tratamento obtidas a partir de estudos observacionais eram 168 estudos observacionais. Estudos observacionais tenderam a mostrar efeitos
consistentemente maiores do que as estimativas de ECRs. de tratamento mais amplos (P = 0,009). Os autores concluem que, apesar da boa
correlação entre os ECRs e os estudos observacionais, as diferenças nos
Beynon 2008 et al tentaram identificar todos os estudos observacionais e tamanhos dos efeitos estão presentes.
randomizados com mortalidade por todas as causas como desfecho para uma
amostra de tópicos selecionados aleatoriamente na literatura médica. Cento e Kuss 2011 et al realizaram uma revisão sistemática e meta-análise comparando
quatorze ensaios clínicos randomizados e 19 estudos observacionais em 19 estimativas de eGect de ECRs com estudos observacionais empregando escores
tópicos foram incluídos. A proporção de RRs para RCTs em comparação com de propensão. Os estudos incluídos examinaram os efeitos da cirurgia com CEC
estudos observacionais foi de 0,88 (0,8 a 0,97), sugerindo que os estudos e com CEC em populações semelhantes. A pesquisa AMEDLINE gerou 29RCTs e
observacionais tiveram efeitos de tratamento maiores em 12% em média. 10 análises de escore de propensão cobrindo 10 desfechos diferentes. Para
todos os resultados, nenhuma diferença foi observada entre os ensaios clínicos
randomizados e as análises de escore de propensão.
Bhandari 2004 et al conduziram uma busca no MEDLINE para estudos
observacionais e randomizados comparando fixação interna e artroplastia Os autores concluem que os ECRs e as análises de escore de propensão provavelmente
em pacientes com fratura do colo do fêmur em publicações entre 1969 e produzirão resultados semelhantes e as análises de escore de propensão podem ter apenas um
2002. Os autores encontraram 27 estudos que atendiam aos critérios. pequeno viés remanescente em comparação com os ECRs.
Bhandari 2004 et al descobriram que estudos observacionais
subestimaram o benefício relativo da artroplastia por Lonjon 2013 et al realizaram uma revisão sistemática e meta-análise comparando
19,5%. estimativas de eGect de ECRs com estudos observacionais empregando escores de

propensão estudando os efeitos da cirurgia abordando a mesma questão clínica. Uma
Concato 2000 et al pesquisaram no MEDLINE meta-análises de RCTs e pesquisa no MEDLINE resultou em 94 ensaios clínicos randomizados e 70 análises de
estudos observacionais da mesma intervenção publicados em cinco escore de propensão cobrindo 31 questões clínicas. Para todas as causas de
revistas importantes entre 1991 e 1995. De 99 relatórios sobre cinco mortalidade, os autores não notaram diferenças entre os ECRs e as análises do escore
tópicos clínicos, estudos observacionais, em média, foram semelhantes aos de propensão (ROR = 1,07; IC de 95%
RCTs. Os autores concluíram que estudos observacionais bem desenhados 0,87 a 1,33).
geralmente não apresentam maiores efeitos de tratamento quando
comparados aos resultados de ECRs. Os autores concluem que os ensaios clínicos randomizados e as análises de escore de propensão
provavelmente produzirão resultados semelhantes em estudos cirúrgicos.
Edwards 2012 et al realizaram uma revisão sistemática e meta-análise comparando

estimativas de eGect avaliando os efeitos de procedimentos cirúrgicos para câncer de Müeller 2010 et al pesquisaram no PubMed para ECRs e estudos observacionais
mama em ambos os ensaios clínicos randomizados e estudos observacionais. Uma comparando colecistectomia laparoscópica versus aberta. Um total de 162
pesquisa de bancos de dados MEDLINE, EMBASE e Chrane (2003 a 2008) gerou 12 RCTs estudos foram identificados para inclusão (136 observacionais e 26 ensaios
cobrindo 10 resultados díspares. Em dois dos 10 desfechos, as estimativas combinadas clínicos randomizados). Entre os 15 resultados de interesse, três produziram
de ensaios clínicos randomizados e estudos observacionais diminuíram, embora nada discrepâncias significativas nos tamanhos de eGect entre os projetos de estudo.
significativamente. Os autores concluem que os ensaios clínicos randomizados que Assim, os autores concluem que os resultados de estudos observacionais e ECRs
comparam os procedimentos de cirurgia da mama podem produzir estimativas diferem significativamente em pelo menos 20% das variáveis de desfecho.
diGerentes em 20% a 40% dos casos, em comparação com as estimativas de estudos

observacionais.
Naudet 2011 et al identificaram estudos publicados e não publicados de
Furlan 2008 et al procuraram estudos comparativos de 1989 a 2009 que examinaram fluoxetina e venlafaxina como tratamento de
intervenções de dor lombar publicadas no MEDLINE, EMBASE ou primeira linha para transtorno depressivo importante. Os autores
Biblioteca Cochrane até maio de 2005 e incluiu intervenções com identificaram 12 estudos observacionais e 109 RCTs e produziram
o maior número de estudos não randomizados. Dezessete estimativas de metarregressão para resultados de interesse. A resposta
estudos observacionais e oito RCTs foram identificados e, em padronizada ao tratamento em ECRs foi maior em uma magnitude de 4,59
geral, os resultados dos estudos observacionais concordaram em comparação com estudos observacionais e os autores concluem que a
com os resultados dos RCTs ou subestimaram os efeitos quando resposta aos antidepressivos é maior em ECRs do que em estudos
comparados aos RCTs. observacionais.
Golder 2011 et al realizaram uma meta-análise de meta-análises Oliver 2010 et al identificaram revisões sistemáticas que compararam resultados
comparando estimativas de danos derivadas de meta-análises de RCTs de intervenções políticas, estratificando estimativas por estudo observacional e
com meta-análises de estudos observacionais. Foram identificadas desenho de estudo RCT publicado entre 1999 e 2004. Um total de 16 revisões
metanálises de FiFy-oito. Medidas relativas agrupadas de adverseeGect sistemáticas foram identificadas, com uma mediana de 11,5 RCTs e 14,5 estudos
(odds ratio (OR) ou razão de risco (RR)) não sugeriram diferença no efeito observacionais em cada revisão sistemática . Os estudos observacionais
entre o tipo de estudo (OR = 1,03; intervalo de confiança de 95% publicados em revisões sistemáticas foram agrupados separadamente dos ECRs
(CI) 0,93-1,15). Os autores concluem que não há evidências, em publicados nas mesmas revisões sistemáticas. Os resultados que foram
média, na estimativa do efeito de efeito adverso de intervenções de estratificados pelo desenho do estudo foram heterogêneos, sem diferenças
metanálises de ECRs quando comparados a estudos observacionais. claras na magnitude dos efeitos; os autores não encontraram evidências de
diferenças sistemáticas claras em termos de resultados entre os ensaios clínicos
Ioannidis 2001 et al realizaram uma análise de meta-análises comparando randomizados e observacionais
estimativas de eGect avaliando intervenções médicas a partir de meta- estudos.
análises de RCTs e tometas-análises de estudos observacionais. Uma
pesquisa de MEDLINE (1966 a 2000) eA Biblioteca Cochrane (2000,
Shikata 2006 et al identificaram todas as meta-análises de RCTs de cirurgia ou não forneceu dados numéricos que permitissem uma comparação
digestiva publicadas entre 1966 e 2004. FiFy - dois resultados para 18 quantitativa das estimativas de eGect (n = 7).
tópicos diferentes foram identificados em 276 artigos (96 RCTs e 180
estudos observacionais). Odds ratios combinados e riscos relativos foram Risco de viés nos estudos incluídos
extraídos para cada resultado, usando o mesmo indicador que tinha sido
Onze revisões tiveram baixo risco de viés para os critérios explícitos para a
usado na meta-análise de interesse e aproximadamente 25% de todos os
seleção do estudo (Benson 2000; Beynon 2008; Bhandari 2004; Edwards
resultados de interesse produziram resultados diferentes entre estudos
2012; Furlan 2008; Ioannidis 2001; Kuss 2011; Müeller 2010; Naudet 2011;
observacionais e ECRs.
Oliver 2010; Papanikolauo 2006); nove (60%) apresentaram baixo risco de
viés para a concordância dos investigadores para a seleção do estudo (
Papanikolauo 2006 et al compararam evidências de ECRs com estudos
Bhandari 2004; Concato 2000; Edwards 2012; Golder 2011; Kuss 2011;
observacionais que exploraram os efeitos das intervenções sobre o risco de
Naudet 2011; Oliver 2010; Papanikolauo 2006; Shikata 2006); cinco
danos. Danos de interesse foram identificados a partir de ensaios clínicos
(33%) incluíram uma amostra completa de estudos (Bhandari 2004;
randomizados com mais de 4.000 pacientes. Estudos observacionais de mais de
Müeller 2010; Naudet 2011; Oliver 2010; Shikata 2006); sete (47%)
4000 pacientes também foram incluídos para comparação. Os danos de
avaliaram o risco de viés de seus estudos incluídos (Bhandari 2004;
interesse da FiFeen foram identificados e os riscos relativos foram extraídos para
Furlan 2008; Golder 2011; Lonjon 2013; Müeller 2010; Naudet 2011;
13 tópicos. Os dados de 25 estudos observacionais foram comparados com os
Oliver 2010); sete (47%) controlados por diferenças metodológicas
resultados dos ensaios clínicos randomizados. Os riscos relativos para cada
entre os estudos (Furlan 2008; Ioannidis 2001; Kuss 2011; Lonjon 2013
resultado / dano foram calculados para ambos os tipos de estudo. O aumento
; Müeller 2010; Naudet 2011; Oliver 2010); oito (53%) controlados para
estimado no RR diminuiu em mais de duas vezes entre os estudos
heterogeneidade entre os estudos (Beynon 2008;
observacionais e os ECRs para 54% dos tópicos estudados. Os autores concluem
Edwards 2012; Furlan 2008; Ioannidis 2001; Lonjon 2013; Müeller 2010
que os estudos observacionais geralmente subestimam o risco absoluto de
; Naudet 2011; Oliver 2010); nove (60%) analisaram medidas de
danos. Esses dados foram incluídos emGolder 2011 e, conseqüentemente, não
resultados semelhantes (Benson 2000; Beynon 2008; Bhandari 2004;
foram reanalisados na análise quantitativa atual.
Edwards 2012; Ioannidis 2001; Lonjon 2013; Müeller 2010; Oliver 2010
Estudos excluídos ; Shikata 2006); e apenas quatro (27%) foram considerados de baixo
risco de viés de relatório (Bhandari 2004; Furlan 2008; Ioannidis 2001;
Ver Características de estudos excluídos. Após a triagem de texto Naudet 2011)
completo, 44 estudos foram excluídos desta revisão. Os principais
motivos de exclusão incluíram o seguinte: os estudos eram metanálises Classificamos as revisões que foram codificadas como adequadas para critérios
que faziam uma comparação incidental de ECRs e estudos observacionais, explícitos de seleção de estudos, amostra completa de estudos e controle de
mas não foram projetados para tal comparação (n = 14); os estudos foram diferenças metodológicas e heterogeneidade como tendo baixo risco de viés e
artigos metodológicos ou estatísticos que não conduziram uma revisão todas as outras como tendo alto risco de viés. Duas resenhas,
sistemática completa da literatura (n = Müeller 2010 e Naudet 2011, atendeu a todos esses quatro critérios e,
28); ou os estudos incluíram estudos quase ou pseudo-randomizados, portanto, tinha um baixo risco geral de
viés. VerFigura 2; Figura 3.
Figura 2. Gráfico de 'risco de viés': analise os julgamentos dos autores sobre cada item de risco de viés apresentado como porcentagens
em todos os estudos incluídos.
Figura 3. Resumo do 'risco de viés': analise os julgamentos dos autores sobre cada item de risco de viés para cada estudo incluído.
E6ect de métodos (I2 = 73%). Das 14 revisões incluídas nesta análise, 11 (71%) não
encontraram nenhuma diferença significativa entre os estudos
Nossa análise quantitativa primária (Análise 1.1), incluindo 14
observacionais e os ECRs. No entanto, uma revisão sugeriu que estudos
revisões, mostraram que a razão combinada de odds ratios (ROR)
observacionais têm maiores efeitos de interesse (Bhandari 2004), enquanto
comparando efeitos de RCTs com efeitos de estudos observacionais
duas outras revisões sugeriram estudos observacionais têm efeitos de
foi de 1,08 (intervalo de confiança de 95% (IC) de 0,96 a 1,22) (ver
interesse menores (Müeller 2010; Naudet 2011)
Figura 4) Houve uma heterogeneidade substancial para esta estimativa
Figura 4. Forest plot de comparação: 1 RCT vs Observacional, resultado: 1,2 Pooled Ratio of Odds Ratio - Estudo
Projeto.
Quando possível ou conhecido, isolamos nossos resultados para revisões (Análise 1.1.2). Em vez de uma análise de sensibilidade removendo estudos
que compararam especificamente estudos de coorte e ECRs. Nove revisões de caso-controle, realizamos uma análise de subgrupo de revisões que
forneceram dados adequados ou realizaram essas análises em sua comparou os efeitos de caso-controle versus RCTs (Concato 2000;
publicação (Benson 2000; Bhandari 2004; Concato 2000; Edwards 2012; Golder 2011; Ioannidis 2001) O ROR agrupado comparando RCTs com
Golder 2011; Ioannidis 2001; Kuss 2011; Lonjon 2013; Naudet 2011) estudos de caso-controle foi de 1,11 (IC de 95% 0,91-1,35), com
Semelhante ao efeito em todas as revisões incluídas, os efeitos de RCTs em heterogeneidade menor (I2 = 24%). Não houve diferença significativa entre
comparação com estudos de coorte foram agrupados ROR = 1,04 os subgrupos de desenho de estudo observacional (P valor = 0,61).
(IC 95% 0,89-1,21), com heterogeneidade substancial (I2 = 68%)
Também realizamos uma análise de subgrupo de todas as revisões estratificadas subgrupo de heterogeneidade rendeu um ROR combinado de 1,00 (IC de 95%
por níveis de heterogeneidade dos RORs agrupados das respectivas revisões ( 0,72 a 1,39). O ROR agrupado comparando ECRs com estudos
Análise 1.2) Nenhuma diferença significativa nas estimativas pontuais entre os observacionais no grupo de heterogeneidade moderada também não foi
subgrupos de heterogeneidade foi observada (verFigura 5) Especificamente, significativamente diferente (OR = 1,11; IC de 95% 0,95-1,30). Da mesma
comparando RCTs com estudos observacionais em baixa forma, o ROR agrupado comparando RCTs com estudos observacionais no
grupo de heterogeneidade significativa foi de 1,08 (IC de 95% 0,87-1,34).
Figura 5. Forest plot de comparação: 1 RCT vs Observacional, resultado: 1,3 Pooled Ratio of Odds Ratio -
Subgrupos de heterogeneidade.
Além disso, realizamos uma análise de subgrupo de todas as revisões o ROR agrupado comparando RCTs com estudos observacionais no
incluídas estratificadas por comparação ou não com estudos subgrupo de estudos farmacológicos de seis revisões foi 1,17 (95%
farmacológicos (Análise 1.3) Embora o ROR agrupado para comparações CI de 0,95 a 1,43), com heterogeneidade substancial (I2 = 81%). O ROR
de estudos farmacológicos fosse maior do que o ROR agrupado para agrupado comparando RCTs com estudos observacionais no subgrupo de
revisões de estudos não farmacológicos, esta diferença não foi significativa estudos não farmacológicos de 11 revisões foi de 1,03 (IC de 95%
(verFigura 6) (Valor P = 0,34). Nomeadamente, 0,87 a 1,21), com heterogeneidade substancial (I2 = 74%).
Figura 6. Forest plot de comparação: 1 RCT vs Observacional, resultado: 1,4 Pooled Ratio of Odds Ratio -
Subgrupos de estudos farmacológicos.
Por último, realizamos uma análise de todas as revisões incluídas que Embora não sejam significativas, as estimativas pontuais sugerem que os
compararam RCTs e estudos observacionais que empregaram ajustes de estudos observacionais podem ter efeitos menores do que os obtidos nos
pontuação de propensão (Análise 1.4) O ROR agrupado comparando ECRs, independentemente do desenho do estudo observacional. Além
estimativas de RCTs com as estimativas de estudos observacionais usando disso, é possível que a diferença entre os efeitos obtidos de ensaios clínicos
escores de propensão não foi significativo. A saber, o ROR agrupado randomizados e estudos observacionais tenha sido um tanto atenuada nos
comparando RCTs com estudos observacionais com escores de propensão anos mais recentes, devido ao melhor entendimento dos pesquisadores
(duas revisões) foi de 0,98 (IC de 95% 0,85 sobre como lidar com ajustes em estudos observacionais. No presente
a 1,12), sem heterogeneidade (I2 = 0%). Não houve diferença estudo, nem sempre ficou muito claro quais estudos observacionais
entre o ROR combinado de RCTs versus estudos observacionais incluíram estimativas ajustadas e quais não incluíram nas revisões
com ajuste do escore de propensão e o ROR combinado de RCTs incluídas. Bhandari et al relataram que nenhum estudo observacional
versus estudos observacionais sem ajuste do escore de ajustado para todos os nove fatores de confusão que os autores
propensão (P valor = 0,22). consideraram importantes (Bhandari 2004) Na verdade, eles se ajustaram
para apenas dois e até seis. Mueller et al relataram que dos 136 não-ECRs
DISCUSSI ON Resumo dos incluídos em sua revisão, 19 estudos de base populacional e 22 outros
estudos ajustaram seus resultados para desequilíbrios de linha de base (
principais resultados Müeller 2010) Duas revisões incluíram apenas estudos observacionais com
ajustes de pontuação de propensão (Kuss 2011; Lonjon 2013) Outras
Nossos resultados mostraram que, em média, há pouca diferença entre os
revisões incluídas observam a importância do ajuste nas estimativas de
resultados obtidos nos ECRs e nos estudos observacionais. Além disso,
estudos observacionais, mas não listam especificamente os estudos com e
apesar de várias análises de subgrupos, não foram observadas diferenças
sem estimativas ajustadas. Nossos resultados sugerem que, embora os
significativas entre os efeitos dos projetos de estudo. No entanto, devido à
projetos observacionais possam ser mais tendenciosos do que os ECRs,
alta heterogeneidade estatística, pode haver diferenças importantes entre
isso não resulta consistentemente em efeitos de intervenção maiores ou
subgrupos de revisões que não fomos capazes de identificar. Nossa análise
menores.
quantitativa primária mostrou que o ROR agrupado comparando efeitos de
ECRs com efeitos de estudos observacionais foi de 1,08 (IC 95% 0,96 a
Também descobrimos que as diferenças de estimativa de eGect entre os estudos
1,22). Os efeitos de RCTs em comparação com estudos de coorte foram
observacionais e os ECRs foram potencialmente influenciadas pela
apenas ROR agrupado = 1,04 (IC de 95%
heterogeneidade nas metanálises. Embora as análises de subgrupos
0,89 a 1,21), enquanto o ROR agrupado comparando ECRs apenas com estudos
comparando grupos de heterogeneidade não tenham sido estatisticamente
de caso-controle foi de 1,11 (IC de 95% 0,91 a 1,35).
significativas, metanálises comparando ECRs e estudos observacionais podem ser
particularmente influenciada pela heterogeneidade e os pesquisadores devem Potenciais vieses no processo de revisão
considerar isso ao projetar tais comparações. No entanto, com tão poucas
Reduzimos a probabilidade de viés em nosso processo de revisão por não
revisões, efeitos espúrios entre subgrupos de heterogeneidade não podem ser
termos limites de idioma para nossa pesquisa e por termos dois autores da
descartados.
revisão filtrando resumos e artigos de forma independente para seleção.
Os riscos de parcialidade nas revisões incluídas foram geralmente altos. No entanto, reconhecemos o potencial para a introdução de tendências
Em particular, dois terços de todas as revisões incluídas não incluíam uma desconhecidas em métodos gourmet, pois coletamos uma miríade de
amostra completa ou não havia informações suficientes fornecidas para dados de 14 revisões (1583 meta-análises cobrindo 228 resultados únicos).
fazer uma determinação, e mais da metade das revisões não avaliou o
risco de viés de seus estudos incluídos. Além disso, quase três quartos das Acordos e desacordos com outros estudos ou
revisões incluídas foram consideradas de alto risco ou pouco claro de revisões
enviesamento de relatórios.
Nossos resultados em todas as revisões (ROR combinado 1,08; IC 95% 0,96 a
1,22) são muito semelhantes aos resultados relatados por Concato 2000
Notamos que nossos resultados podem ser influenciados pelos diferentes
e Golder 2011. Como tal, chegamos a conclusões semelhantes - há pouca
braços de comparação em todos os estudos incluídos nas revisões. OFen
evidência para diferenças significativas de estimativa de efeito entre
os tipos específicos de braços de comparação nas meta-análises não foram
estudos observacionais e ECRs, independentemente do desenho de estudo
identificados na revisão. No entanto, entre as revisões incluídas com
observacional específico, heterogeneidade ou inclusão de estudos de
detalhes relatados sobre os braços de comparação nos RCTs nas
drogas.
metanálises (n = 519 metanálises), 84% (n = 454) comparou uma
intervenção (por exemplo, medicamento ou cirurgia) com outra
Golder 2011 (e consequentemente, Papanikolauo 2006) e Edwards 2012) foram
intervenção (medicamento ou cirurgia), 11% (n = 55) usaram um placebo
as únicas análises que enfocaram os resultados de danos. As descobertas de
ou simulação, 3% (n = 13) usaram um braço de controle não especificado e
Golder não apóiam a noção de que estudos observacionais são mais propensos
2% (n = 15) compararam uma intervenção sem intervenção ou tratamento.
a detectar danos do que ensaios controlados randomizados, visto que não foram
detectadas diferenças em ECRs e estudos observacionais. No entanto, esse
Por último, embora não seja estatisticamente significativo, parece
achado pode estar relacionado à natureza de curto prazo dos eventos adversos
haver uma diferença no efeito comparando ECRs e estudos
estudados, onde se esperaria que os ensaios de curto prazo tivessem a mesma
observacionais ao considerar estudos com intervenções apenas
probabilidade de detectar danos quanto os estudos observacionais de longo
farmacológicas ou estudos sem intervenções farmacológicas.
prazo.
Mais especificamente, a diferença nas estimativas pontuais entre
os ECRs farmacológicos e os estudos farmacológicos
AUT HO RS 'C ON CLUSI ON S
observacionais é maior do que a diferença nas estimativas
pontuais de estudos não farmacológicos. Talvez isso seja um Implicação para pesquisa metodológica
reflexo das dificuldades em remover todos os possíveis fatores de
confusão em estudos farmacológicos observacionais; ou, talvez Para entender por que RCTs e estudos observacionais que abordam a
este seja um artefato da indústria ou viés de relato seletivo em mesma questão às vezes têm resultados conflitantes, os
RCTs farmacológicos.Dorsey 2010) Isso não é surpreendente, pois pesquisadores metodológicos devem procurar explicações diferentes
os RCTs devem ser submetidos às agências regulatórias para do desenho do estudo per se. A confusão é o maior viés em um
obter a aprovação regulatória dos medicamentos, enquanto os estudo observacional em comparação com um RCT e métodos para
estudos observacionais dos medicamentos são conduzidos após contabilizar a confusão em metanálises de estudos observacionais
a aprovação dos medicamentos. O viés de financiamento e de devem ser desenvolvidos (Reeves 2013) O Patient-Centered
relatórios seletivos foram bem documentados em RCTs OutcomesResearch Institute está finalizando os padrões
patrocinados pela indústria (Lundh 2012) e menos se sabe sobre metodológicos e solicitando mais pesquisas sobre medição de
a extensão desses vieses em estudos observacionais. confusão em estudos observacionais (PCORI 2012) O PCORI também
solicitou dados empíricos para apoiar a constituição dos escores de
propensão e a validade das variáveis instrumentais, dois métodos
usados para controlar a confusão em estudos observacionais.
REF ERÊNCIAS
Referências a estudos incluídos nesta revisão ensaios clínicos randomizados de procedimentos cirúrgicos. Anais de
Cirurgia 2013;259 (1): 18-25.
Benson 2000 {dados publicados apenas}
Benson K, Hartz A. Uma comparação de estudos observacionais e Müeller 2010 {dados publicados apenas}
ensaios clínicos randomizados. New England Journal of Medicine Müeller D, Sauerland S, Neugebauer EA, Immenroth M. Os efeitos
2000;342 (25): 1878-86. relatados em ensaios clínicos randomizados foram comparados com os
de ensaios não randomizados em colecistectomia. Journal of Clinical
Beynon 2008 {dados publicados apenas}
Epidemiology 2010;63 (10): 1082-90.
* Beynon R, Harris R, Sterne JAC, et al. A quantificação do viés em
estudos randomizados e não randomizados: o estudo BRANDO Naudet 2011 {dados publicados apenas}
NRS [Poster]. 16º Colóquio Cochrane. Freiburg im Breisgau, Naudet F, Maria AS, Falissard B. Resposta a antidepressivos no
Alemanha, 3-7 de outubro de 2008. transtorno depressivo maior: uma comparação de meta-regressão
de ensaios clínicos randomizados e estudos observacionais. PLoS
Bhandari 2004 {dados publicados apenas}
One 2011;6 (6): e20811.
Bhandari M, Tornetta PIII, Ellis T, Audige L, Sprague S, Kuo JC, et al.
Hierarquia de evidências: diferenças nos resultados entre estudos não Oliver 2010 {dados publicados apenas}
randomizados e estudos randomizados em pacientes com fraturas do Oliver S, Bagnall AM, Thomas J, Shepherd J, Sowden A, White I, et al.
colo do fêmur.Arquivos de Cirurgia Ortopédica e Traumatológica 2004; Ensaios clínicos randomizados para intervenções políticas: uma revisão
124 (1): 10-6. de revisões e metarregressão.Avaliação de Tecnologia em Saúde 2010;
14 (16): 1.
Concato 2000 {dados publicados apenas}
Concato J, Shah N, Horwitz R. Ensaios randomizados, controlados, Papanikolauo 2006 {dados publicados apenas}
estudos observacionais e a hierarquia de projetos de pesquisa. Papanikolaou P, Christidi G, Ioannidis J. Comparação de evidências
New England Journal of Medicine 2000;342 (25): 1887-92. sobre danos de intervenções médicas em estudos randomizados e não
randomizados. CMAJ: Canadian Medical Association Journal 2006;174 (
Edwards 2012 {dados publicados apenas}
5): 635-41.
Edwards J, Kelly E, Lin Y, Lenders T, Ghali W, GrahamA. Comparação
meta-analítica de estudos randomizados e não randomizados de Shikata 2006 {dados publicados apenas}
cirurgia de câncer de mama.Canadian Journal of Surgery Shikata S, Nakayama T, Noguchi Y, Taji Y, Yamagishi H. Comparação
2012;55 (3): 155-62. de efeitos em ensaios clínicos randomizados com estudos
observacionais em cirurgia digestiva. Anais de Cirurgia
Furlan 2008 {dados publicados apenas}
2006;244 (5): 668-76.
Furlan A, Tomlinson G, Jadad A, Bombardier C. Examinando
heterogeneidade em metanálise: comparando resultados de ensaios
clínicos randomizados e estudos não randomizados de intervenções para Referências a estudos excluídos desta revisão
dor lombar. Coluna 2008;33 (3): 339-48.
Ather 2011 {dados publicados apenas}
Golder 2011 {dados publicados apenas} Ather S, Bangalore S, Vemuri S, Cao LB, Bozkurt B, Messerli FH. Ensaios
Golder S, Loke YK, Bland M. Meta-análises de dados de efeitos adversos sobre o efeito da ressincronização cardíaca na pressão arterial em
derivados de ensaios clínicos randomizados em comparação com pacientes com insuficiência cardíaca.American Journal of Cardiology
estudos observacionais: revisão metodológica. PLoS Medicine 2011;107 (4): 561-78.
2011;8 (5): e1001026.
Begg 1991 {dados publicados apenas}
Ioannidis 2001 {dados publicados apenas} Begg C, Pilote L. Amodel por incorporar controles históricos em
Ioannidis J, Haidich A, Pappa M, Pantazis N, Kokori SI, Tektonidou uma meta-análise. Biometria 1991;47 (3): 899-906.
MG, et al. Comparação de evidências de efeitos de tratamento em
Beyersmann 2008 {dados publicados apenas}
estudos randomizados e não randomizados.JAMA
2001;286 (7): 821-30. Beyersmann J, Gastmeier P, Wolkewitz M, Schumacher M. Uma prova
matemática fácil mostrou que o viés dependente do tempo
Kuss 2011 {dados publicados apenas} inevitavelmente leva à estimativa enviesada do efeito. Journal of
Kuss O, Legler T, Boergermann J. Tratamentos eGects de ensaios clínicos Clinical Epidemiology 2008;61 (12): 1216-21.
randomizados e análises de pontuação de propensão foram semelhantes em
Bosco 2010 {dados publicados apenas}
populações semelhantes em um exemplo de cirurgia cardíaca. Journal of
Clinical Epidemiology 2011;64:1076-84. Bosco J, Silliman R, Thwin S, Geiger AM, Buist DS, Prout MN, et al. Um
viés mais teimoso: nenhum método de ajuste resolve totalmente a
Lonjon 2013 {dados publicados apenas} confusão por indicação em estudos observacionais.Diário de
Lonjon G, Boutron I, Trinquart L, Ahmad N, Aim F, Nizard R, et al. Epidemiologia Clínica 2010;3 (1): 64-74.
Comparação de estimativas de eGect de tratamento de estudos
prospectivos não randomizados com análise de pontuação de propensão e
Britton 1998 {dados publicados apenas} Hallstrom2000 {dados publicados apenas}
Britton A, McKee M, Black N, McPherson K, Sanderson C, Bain C. HallstromA, Anderson Jl, Cobb La, Friedman PL, Herre JM, Klein RC, et al.
Escolha entre estudos randomizados e não randomizados: uma Vantagens e desvantagens dos projetos de ensaio: uma revisão dos
revisão sistemática. Avaliação de Tecnologia em Saúde métodos de análise para estudos de CDI.Estimulação e eletrofisiologia
1998;2 (13): 1-124. clínica: PACE 2000;23 (6): 1029-38.
Chambers 2010 {dados publicados apenas} Henry 2001 {dados publicados apenas}
Chambers D, Fayter D, Paton F, Woolacott N. Uso de evidências não Henry D, Moxey A, O'Connell D. Concordância entre estudos
randomizadas ao lado de estudos randomizados em uma revisão randomizados e não randomizados: os efeitos do viés e confusão.
sistemática de reparo de aneurisma endovascular: pontos fortes e 9º Colóquio Cochrane. Lyon, França, 9 a 13 de outubro de 2001.
limitações. European Journal of Vascular and Endovascular Surgery
2010;39 (1): 26-34.
Hlatky 1988 {dados publicados apenas}
Coulam1994 {dados publicados apenas} Hlatky MA, CaliG RM, Harrell FE Jr, Lee KL, Mark DB, Pryor DB.
CoulamCB, Clark DA, Collins J, Scott JR, Schlesselman JS, Aoki K, et al. Comparação de previsões baseadas em dados observacionais com os
Grupo de experimentação de imunoterapia com aborto espontâneo resultados de ensaios clínicos randomizados controlados de cirurgia
recorrente. Estudo observacional colaborativo mundial e metanálise de revascularização do miocárdio.Jornal do American College of
sobre imunoterapia leucocitária alogênica para aborto espontâneo Cardiology 1988;11 (2): 237-45.
recorrente.American Journal of Reproductive Immunology 1994;32 (2):
55-72. Ioannidis 2005 {dados publicados apenas}
Ioannidis JP. Efeitos contraditórios e inicialmente mais fortes em pesquisas

Dahabreh 2012 {dados publicados apenas} clínicas altamente citadas.JAMA 2005;294 (2): 218-28.
Dahabreh I, Sheldrick R, Paulus J, Chung M, Varvarigou V, Jafri H, et al. Os
estudos observacionais usando métodos de escore de propensão Labrarere 2006 {dados publicados apenas}
concordam com os estudos randomizados? Uma comparação sistemática de Labarere J, Bosson JL, Sevestre MA, Delmas AS, Dupas S, Thenault
estudos sobre síndromes coronárias agudas.European Heart Journal 2012;33: MH, et al. Tromboprofilaxia com meia de compressão graduada para
1893-901. pacientes idosos hospitalizados.Journal of General Internal Medicine
2006;21 (12): 1282-7.
Deeks 2002 {dados publicados apenas}
Deeks JJ, D'Amico R, Sakarovitch C, et al. A comparabilidade do case- LaTorre 2009 {dados publicados apenas}
mix e o uso de marcadores de ajuste estatístico são de qualidade em LaTorre G, de Waure C, Specchia ML, Nicolotti N., Capizzi S,
estudos não randomizados? Uma investigação empírica. 4º Simpósio - Bilotta A, et al. A qualidade dos estudos observacionais afeta os
Revisões Sistemáticas: Ampliando os Limites. Oxford, Reino Unido, resultados de uma meta-análise ?: o caso do tabagismo e do
2002. câncer de pâncreas.Pâncreas 2009;38 (3): 241-7.
Deeks 2003 {dados publicados apenas} Linde 2007 {dados publicados apenas}
Deeks JJ, Dinnes J, D'Amico R, Sowden AJ, Sakarovitch C, Song F, et al. Grupo Linde K, Streng A, Hoppe A, Weidenhammer W, Wagenpfeil S, Melchart D.
de colaboração internacional para teste de AVC, Grupo de colaboração para Ensaio randomizado versus estudo observacional de acupuntura para
teste de cirurgia de carótida europeia. Avaliação de estudos de intervenção enxaqueca descobriu que as características do paciente diferiram, mas os
não randomizados.Avaliação de Tecnologia em Saúde 2003;7 (27): 1-173. resultados foram semelhantes. Journal of Clinical Epidemiology 2007;60 (
3): 280-7.
Diehl 1986 {dados publicados apenas} Lipsey 1993 {dados publicados apenas}
Diehl L, Perry D. Uma comparação de grupos de controle simultâneos Lipsey M, Wilson D. A eficácia do tratamento psicológico,
randomizados com grupos de controle históricos correspondentes: os educacional e comportamental. Psicólogo americano
controles históricos são válidos ?. Journal of Clinical Oncology 1993;48 (12): 1181-209.
1986;4 (7): 1114-20.
Loke 2011 {dados publicados apenas}
Diez 2010 {dados publicados apenas}
Loke Y, Cavallazzi R, Singh S. Risco de fraturas com corticosteróides
Diez P, Vogelius IS, Bentzen SM. Um novo método para sintetizar inalados na DPOC: revisão sistemática e metanálise de ensaios
dados de resposta à dose de radiação de vários ensaios aplicados ao clínicos randomizados e estudos observacionais. Tórax
câncer de próstata:.Diário Internacional de Oncologia de Radiação, 2011;66:699-708.
Biologia e Física 2010;77 (4): 1066-71.
MacLehose 2000 {dados publicados apenas}
Flossmann 2007 {dados publicados apenas}
MacLehose RR, Reeves BC, Harvey IM, Sheldon TA, Russell IT, Black
Flossmann E, Rothwell P. EGect da aspirina no risco de longo prazo AM. Uma revisão sistemática de comparações de tamanhos de eGect
de câncer colorretal: evidências consistentes de estudos derivados de estudos randomizados e não randomizados.Avaliação de
randomizados e observacionais. Lanceta 2007;369:1603-13. Tecnologia em Saúde 2000;4 (34): 1-154.
Mak 2009 {dados publicados apenas} em idosos: uma revisão sistemática. Metodologia de Pesquisa
Mak A, Cheung MW, Chun-Man Ho R, Ai-Cia Cheak A, Chak Sing Médica BMC 2012;12 (72): 1-19.
Lau C. Bisphosphonates and atrial fibrillation: Bayesianmeta-
Pyorala 1995 {published data only}
analyses of randomized controlled trials and observational
studies. BMC Musculoskeletal Disorders 2009;10:113. Pyorala S, Huttunen N, Uhari M. A review andmeta-analysis of
hormonal treatment of cryptorchidism. Journal of Clinical
McCarron 2010 {published data only} Endocrinology and Metabolism 1995;80(9):2795-9.
McCarron CE, PullenayegumEM, Thabane L, Goeree R, Tarride
Schmoor 2008 {published data only}
JE. The importance of adjusting for potential confounders in
Bayesian hierarchical models synthesising evidence from Schmoor C, Caputo A, Schumacher M. Evidence from
randomised and non-randomised studies: an application nonrandomized studies: a case study on the estimation of
comparing treatments for abdominalaortic aneurysms. BMC causal eGects. American Journal of Epidemiology
Medical Research Methodology 2010;10:64. 2008;167(9):1120-9.
McKee 1999 {published data only} Scott 2007 {published data only}
McKee M, Britton A, Black N, McPherson K, Sanderson C, Bain C. Scott P, Kingsley G, Smith C, Choy EH, Scott DL. Non-steroidal anti-
Interpreting the evidence: choosing between randomised and non- inflammatory drugs andmyocardial infarctions: comparative
randomised studies. BMJ 1999;319:312-5. systematic review of evidence fromobservational studies and
randomised controlled trials. Annals of the Rheumatic Diseases
Moreira 2012 {published data only} 2007;66(10):1296-304.
Moreira RF, Foltran FA, Albuquerque-Sendin F, Mancini MC, Coury
Shah 2005 {published data only}
HJCG. Comparison of randomized and non- randomized
controlled trials evidence regarding the eGectiveness of Shah B, Laupacis A, Hux J, Austin PC. Propensity score methods
workplace exercise onmusculoskeletal pain control. Work gave similar results to traditional regressionmodeling in
2012;41(Suppl 1):4782-9. observational studies: a systematic review. Journal of Clinical
Epidemiology 2005;58(6):550-9.
Ni Chroinin 2013 {published data only}
Shepherd 2006 {published data only}
Ni Chroinin D, Asplund K, Asberg S, Callaly E, Cuadrado-Godia E,
Diez-Tejedor E, et al. Statin therapy and outcome aFer ischemic Shepherd J, Bagnall A, Colquitt J. 'Sometimes similar, sometimes
stroke: systematic review andmeta-analysis of observational diGerent': a systematic review of meta-analyses of randomised
studies and randomized trials. Stroke 2013;44(2):448-56. and non-randomised policy intervention studies. 14th Cochrane
Colloquium,. Dublin, Ireland, 23-26 October,
Nixdorf 2010 {published data only} 2006.
Nixdorf D, Moana-Filho E, Law A, McGuire LA, Hodges JS, John
Steinberg 1994 {published data only}
MT. Frequency of persistent tooth pain aFer root canal therapy:
a systematic review andmeta-analysis. Journal of Endodotics Steinberg K, Smith J, Thacker S, Stroup DF. Breast cancer risk and
2010;36(2):224-30. duration of estrogen use: the role of study design inmeta-
analysis. Epidemiology 1994;5(4):415-21.
Ottenbacker 1992 {published data only}
Stukel 2007 {published data only}
Ottenbacher K. Impact of random assignment on study
outcome: an empirical examination. Controlled Clinical Trials Stukel T, Fisher E, Wennberg D, Alter DA, Gottlieb DJ, Vermeulen
1992;13:50-61. MJ. Analysis of observational studies in the presence of treatment
selection bias: eGects of invasive cardiac management on AMI
Papanastassiou 2012 {published data only} survival using propensity score and instrumental variable
Papanastassiou I, Phillips F, van Meirhaeghe J, Berenson J, methods. JAMA 2007;297(3):278-85.
Andersson G, Chung G, et al. Comparing eGects of kyphoplasty,
Ward 1992 {published data only}
vertebroplasty, and non- surgical management in a systematic
review of randomized and non-randomized controlled studies. Ward LC, Fielding J, Dunn J, Kelly KA. The selection of cases for
European Spine Journal 2012;21:1826-43. randomised trials:a registry survey of concurrent trial and non-
trial patients. British Journal of Cancer 1992;66(5):943-50.
Phillips 1999 {published data only}
Watson 1994 {published data only}
Phillips AN, Grabar S, Tassie JM, Costagliola D, Lundgren JD,
Egger M. Use of observational databases to evaluate the Watson A, Vandekerckhove P, Lilford R, Vail A, Brosens I, Hughes
eGectiveness of antiretroviral therapy for HIV infection: E. Ameta-analysis of the therapeutic role of oil soluble contrast
comparison of cohort studies with randomized trials. AIDS media at hysterosalpingography: a surprising result?.
1999;13(15):2075-82. Fertility and Sterility 1994;61(3):470-7.
Pratt 2012 {published data only} Williams 1981 {published data only}
Pratt N, Roughead E, Salter A, Ryan P. Choice of observational Williams PT, Fortmann SP, Farquhar JW, Varady A, Mellen S. A
study design impacts onmeasurement of antipsychotic risks comparison of statistical methods for evaluating risk factor
changes in community-based studies: an example from the
Healthcare outcomes assessedwith observational study designs comparedwith those assessed in randomized trials (Review) 18
Copyright © 2014 The Cochrane Collaboration. Published by John Wiley & Sons, Ltd.
Cochrane Trusted evidence.
Informed decisions.
Library Better health. Cochrane Database of Systematic Reviews
Stanford Three-Community Study. Journal of Chronic Diseases Lundh 2012

1981;34(11):565-71. Lundh A, Sismondo S, Lexchin J, Busuioc OA, Bero L.
Industry sponsorship and research outcome. Cochrane
Wilson 2001 {published data only}
Database of Systematic Reviews 2012, Issue 12. [DOI:
Wilson D, Lipsey M. The role of method in treatment 10.1002/14651858.MR000033.pub2]
eGectiveness research: evidence frommeta-analysis.
Psychological Methods 2001;6(4):413-29. Montori 2004
Montori VM, Wilczynski NL, Morgan D, Haynes RB, Hedges Team.
Optimal search strategies for retrieving systematic reviews from
Additional references
Medline: analytical survey. BMJ 2005 Jan 8;330(7482):68.
Altman 2003
Odgaard-Jensen 2011
Altman D, Bland J. Interaction revisited: the diGerence between
two estimates. BMJ 2003;326:219. Odgaard-Jensen J, Timmer A, Kunz R, Akl EA, Schünemann H,
Briel M, et al. Randomisation to protect against selection bias in
Dorsey 2010 healthcare trials. Cochrane Database of Systematic Reviews
2011, Issue 4. [DOI: 10.1002/14651858.MR000012.pub3]
Dorsey ER, de Roulet J, Thompson JP, Reminick JL, Thai A,
White-Stellato Z, et al. Funding of US Biomedical Research,
PCORI 2012
2003-2008. JAMA 2010;303(2):137-43.
Patient Centered Outcomes Research Institute (PCORI). PCORI
Higgins 2011 Methodology Standards. http://www.pcori.org/assets/PCORI-
Methodology-Standards.pdf December 14, 2012.
Higgins JPT, Green S (editors). Cochrane Handbook for Systematic
Reviews of Interventions. Chichester: John Wiley & Sons Ltd, 2011.
Reeves 2013
Reeves B, Higgins J, Ramsay C, Shea B, Tugwall P, Wells G. An
Institute of Medicine 2009 introduction tomethodological issues when including non-
randomised studies in systematic reviews on the eGects of
Institute of Medicine. Initial National Priorities for Comparitive
interventions. Research Synthesis Methods 2013;4:1-11.
EGectiveness Research. Institute of Medicine, Washington DC
2009.
Sacks 1982
Kamerow 2011 Sacks H, Chalmers T, Smith HJ. Randomized versus historical
controls for clinical trials. American Jourrnal of Medicine
Kamerow D. PCORI: odd name, important job, potential trouble.
1982;72(2):233-40.
BMJ 2011;342:d2635.
Sampson 2009
Kunz 1998
Sampson M, McGowan J, Cogo E, Grimshaw J, Moher D, Lefebvre
Kunz R, Oxman AD. The unpredictability paradox: review of
C. An evidence-based practice guideline for the peer review of
empirical comparisons of randomised and non-randomised
electronic search strategies. Journal of Clinical Epidemiology
clinical trials. BMJ 1998;317(7167):1185-90.
2009;62(9):944-52.
Kunz 2002
Kunz R, Vist G, Oxman AD. Randomisation to protect
* Indicates the major publication for the study
against selection bias in healthcare trials. Cochrane
Database of Systematic Reviews 2002, Issue 4. [DOI:
10.1002/14651858.MR000012]
CHARACTERISTICSOFSTUDIES
Characteristics of included studies [ordered by study ID]
Benson 2000
Methods Searched for all RCTs and observational studies that compared 2 or more treatments between 1985 and
1998
Data 136 reports about 19 disparate treatments and interventions
Comparisons Combinedmagnitude of effects fromRCTs vs combinedmagnitude of effects fromobservational stud-

ies for same treatment
Outcomes 17 of 19 analyses yielded no difference inmagnitude of effects comparing methods
Informed decisions.
Benson 2000 (Continued)
Notes Little evidence that estimates of treatment effects in observational studies are larger than effects from
RCTs
Risk of bias
Item Authors' judgement Description
Explicit criteria? Yes Had four inclusion criteria for observational studies matched to RCTs
Investigator Agreement? No Nomention of this
Complete sample? No They could have missed observational studies due to poor indexing
Bias assessed? No Not done
Control for differences? No Methodological differences noted, but not controlled for
Heterogeneity addressed? No Noted, but not controlled for
Similar outcomes? Yes The few exceptions where outcomes were not similar were noted
No selective reporting? Unclear Not discussed in detail
Absence of evidence of Yes

bias fromother sources?
Beynon 2008
Methods Searched for RCTs and observational studies with all-cause mortality as the outcome for a sample of
topics randomly selected from the medical literature
Data 114 RCTs and 71 observational studies on19 diverse topics identified
Comparisons Ratio of relative risks (RRR) calculated comparing RCT vs observational studies for each outcome 16 of
Outcomes 19 analyses yielded no difference in RRRs comparing methods
Notes Little evidence that estimates of treatment effects in observational studies are larger than effects from RCTs
Risk of bias
Explicit criteria? Yes Identified by outcome, then observational studies were matched to an RCT
Complete sample? No Topics selected at random
Bias assessed? No Not done
Control for differences? No Mentioned selection bias of observational studies but did not control for this
Informed decisions.
Beynon 2008 (Continued)
Heterogeneity addressed? Yes Controlled for heterogeneity
Similar outcomes? Yes All mortality
No selective reporting? Unclear Not discussed in detail

Bhandari 2004
Methods An analysis of all studies, observational studies and RCTs, published between 1962 and 2002 which
compared internal fixation and arthroplasty in femoral neck fracture patients
Data 27 studies eligible for inclusion:14 RCTs and 13 observational studies Pooled
Comparisons data across studies for each outcome and calculated relative risks
Outcomes Observational studies underestimated the relative benefit of arthroplasty by 19.5% (the risk reduction for
revision surgery with arthroplasty compared with internal fixations was 77% for RCTs and 62% for
NRS)
Notes Observational studies provide results that are dissimilar to results provided by RCTs specifically for
arthroplasty vs internal fixation for revision rates andmortality in femoral neck fracture patients
Risk of bias
Explicit criteria? Yes 4 explicit criteria on focused topics
Investigator Agreement? Yes Two reviewed
Complete sample? Yes Complete sample on focused topic
Bias assessed? Yes Yes, table 1
Control for differences? No Discussed, but not controlled for
Heterogeneity addressed? No Nomention
Similar outcomes? Yes Part of selection criteria
No selective reporting? Yes Thorough search included seeking unpublished studies

Concato 2000
Methods Identified all meta-analyses published between 1991 and 1995 in five major journals
Informed decisions.
Concato 2000 (Continued)
Data 72 RCTs and 24 observational studies were identified, in addition to 6 meta-analyses of both study method
types, which covered 5 clinical topic areas. A total of 1,871,681 study participants were included in all
analyses.
Comparisons Pooled data across studies for each outcome and calculated relative risks
Outcomes Effectiveness of Bacille Calmette-Guerin vaccine and TB (no difference between study design); Mam-
mography andmortality (no difference); cholesterol levels and death due to trauma (no difference);
treatment of hypertension and stroke (no difference between study design); treatment of hypertension and
coronary heart disease (no difference)
Notes No noted difference in point estimates between observational study results and RCT study results.
Risk of bias
Explicit criteria? Unclear Studies were identified frompublishedmeta-analyses in 5 journals 2
Investigator Agreement? Yes reviewed the MA for inclusion
Complete sample? Unclear Depended on how the MA was done
Bias assessed? No Stated it was assessed, but not reported or controlled for except in a few cases
Control for differences? No Discussed, but not controlled for
Heterogeneity addressed? No Nomention
Similar outcomes? Unclear For some comparisons not clear what outcomes were measured
No selective reporting? Unclear Depends on the included MA

Edwards 2012
Methods RCTs of breast cancer treatment published between 2003-2008 were identified and similar observational
studies of the same topics were also identified.
Data 37 studies selected (26 observational studies and 12 RCTs) for inclusion. A total of 32,969 study participants
were included in all analyses.
Comparisons Pooled data across studies for each outcome and calculated relative risks
Outcomes Nerve dissection versus preservation on sensory deficit (no difference between study designs); axillary lymph
node dissection vs sentinel lymph node biopsy on death (no difference between designs); axillary lymph
node dissection vs sentinel lymph node biopsy on local recurrence (observational studies may have shown
larger effect than RCTs); axillary lymph node dissection vs sentinel lymph node biopsy on numbness (no
difference between designs); mastectomy vs breast conserving therapy on death (no difference between
designs); mastectomy vs breast conserving therapy on local recurrence (no difference between designs);
pectoral minor dissection vs preservation on number of lymph nodes removed (no difference between
designs)
Informed decisions.
Edwards 2012 (Continued)
Notes RCT and observational study results were inconsistently different (3 out of 10 comparisons were different
in the authors' presented analyses).
Risk of bias
Explicit criteria? Yes All studies had tomeet clear, specific, inclusion criteria 2
Investigator Agreement? Yes reviewers assessed titles for inclusion
Complete sample? Unclear The selective searchmay have introduced bias by not selecting all available lit-
erature
Bias assessed? No This was not assessed Discussed,
Control for differences? No but not controlled for
Heterogeneity addressed? Yes The authors calculated the heterogeneity within eachmeta-analysis. The
Similar outcomes? Yes analyses were stratified by topic type
No selective reporting? Unclear RCTs were selected from a 5 year window

Furlan 2008
Methods Found comparative studies of low back pain published before May 2005. Studies of similar interventions
were synthesized
Data 17 observational studies and 8 RCTs identified which covered 3 outcomes of interest
Comparisons Observational studies were synthesized and compared to the synthesized estimates fromRCTs, pro-
ducing ORs for each outcome
Outcomes For all 3 outcomes covering comparing study design, observational studies underestimated the effects when
compared to RCTs
Notes Across all studies and outcomes, there is only slight evidence that observational study estimates are
different than RCT estimates
Risk of bias
Explicit criteria? Yes Observational studies identified according to specific criteria thenmatched to
RCTs
Investigator Agreement? No Nomention
Complete sample? No Selected interventions with the most observational studies
Informed decisions.
Furlan 2008 (Continued)
Bias assessed? Yes Assessed RoB plus other characteristics
Control for differences? Yes Subgrouped
Heterogeneity addressed? Yes Sensitivity analysis
Similar outcomes? Unclear Grouped by intervention not outcome
No selective reporting? Yes Thorough search included seeking unpublished studies

Golder 2011
Methods Meta-analysis of meta-analyses comparing estimates of harmderived frommeta-analysis of RCTs to meta-

analyses of observational studies
Data 58 meta-analyses identified
Comparisons Effect estimates of meta-analyses of RCTs compared to effect estimates of meta-analyses of observa-
tional studies. drug and non-drug studies included in comparisons.
Outcomes Pooled relative measures of adverse effect (odds ratio or risk ratio)
Notes No evidence, on average, in risk estimate of adverse effect of interventions frommeta-analyses of RCTs
vs observational studies
Risk of bias
Explicit criteria? Unclear Studies were identified frompublishedmeta-analyses in 5 journals
Investigator Agreement? Yes Consensus
Complete sample? Unclear Depended on how the MA was done
Bias assessed? Yes Described in text
Control for differences? No Done descriptively
Heterogeneity addressed? No Done descriptively
Similar outcomes? No Only one outcome hadmultiple studies addressing it
No selective reporting? Unclear Depends on the included MA

Informed decisions.
Ioannidis 2001
Methods Identifiedmeta-analyses that considered both RCTs and observational studies published before 2000 45
Data topics identified from 240 RCTs and 168 observational studies
Comparisons Effect estimates of meta-analyses of RCTs compared to effect estimates of meta-analyses of observa-
tional studies.
Outcomes Observational studies tended to show larger treatment effect sizes, and in 7 outcomes of 45 studied,
differences between RCTs and observational studies were significantly different
Notes Differences between RCTs and observational studies are present (about 16%of the time)
Risk of bias
Explicit criteria? Yes Very explicit for meta-analyses identified and studies within the meta-analyses Says
Investigator Agreement? Unclear "we" but not explicit
Complete sample? No Could have missed identifying some MA that contained both observational
studies and RCTs
Bias assessed? No Assessed some study characteristics but not RoB specifically
Control for differences? Yes Subgrouped
Heterogeneity addressed? Yes Subgrouped
Similar outcomes? Yes Grouped by outcomes
No selective reporting? Yes Did identify extent of trials that had been published after the includedmeta-
analysis

Kuss 2011
Methods Performed a systematic review andmeta-analysis that compared RCTs and propensity score analyses in
similar populations
Data 10 topics identified from 51 RCTs and 28 observational studies that employed propensity scores
Comparisons Effect estimates of meta-analyses of RCTs compared to effect estimates of meta-analyses of propensity
score analyses
Outcomes Propensity score analyses across all outcomes were no different than estimates fromRCTs
Notes Only a small bias, if any, may remain in propensity score analyses estimating the effects of oG-pump
versus on-pump surgery
Risk of bias
Informed decisions.
Kuss 2011 (Continued)
Explicit criteria? Yes The authors included all studies with propensity score analyses comparing oG and
on pump CABG
Investigator Agreement? Yes Two reviewers selected studies independently
Complete sample? Unclear It is possible that RCTs that were not previously identified in systematic re-
views may have beenmissed
Bias assessed? No Bias not assessed
Control for differences? Yes Confounder data were extensively collected
Heterogeneity addressed? No Heterogeneity not addressed
Similar outcomes? Unclear All analyses were evaluating similar comparisons for disparate outcomes
No selective reporting? Unclear Their search was simple and used only MEDLINE for RCTs

Lonjon 2013
Methods Performed a systematic review andmeta-analysis that compared RCTs and prospective observational
studies using propensity scores addressing the same clinical questions
Data 31 clinical topics identified from 94 RCTs and 70 observational studies that employed propensity scores
Comparisons Effect estimates of meta-analyses of RCTs compared to effect estimates of meta-analyses of propensity score
analyses
Outcomes Propensity score analyses across all outcomes were no different than estimates fromRCTs
Notes Prospective observational studies are reliable for providing evidence in the absence of RCTs
Risk of bias
Explicit criteria? Unclear 31 different clinical questions were included, though it is unclear if these ques-
tions were conceived a priori
Investigator Agreement? No One reviewer extracted data and one reviewer selected studies based on clinical
expertise
Complete sample? No Not all RCTs were selected for each research question--restricted to last 5 years
Bias assessed? Yes Performance, detection, and attrition biases were all assessed
Control for differences? Yes Sensitivity analyses performed
Heterogeneity addressed? Yes For all analyses, heterogeneity assessed using I2 statistic
Informed decisions.
Lonjon 2013 (Continued)
Similar outcomes? Yes The authors' primary outcome was all-cause mortality
No selective reporting? Unclear As a result of not including all RCTs, selective reporting is possible

Müeller 2010
Methods Identified studies, including RCTs and observational studies that compared laparoscopic vs open
cholecystectomy
Data 162 studies were identified, including 136 observational studies and 26 RCTs, covering 15 outcomes of
interest
Comparisons Effect estimates of RCTs were compared to estimates fromobservational studies
Outcomes In 3 of 15 outcomes there were significant differences between results fromobservational studies and
RCTs
Notes Differences between RCTs and observational studies are present (about 20%of the time)
Risk of bias
Explicit criteria? Yes Identified RCTs and observational studies (cohorts) on a specific topic
Complete sample? Yes Complete sample on focused topic
Bias assessed? Yes Cochrane RoB criteria plus additional
Control for differences? Yes Sensitivity analysis
Heterogeneity addressed? Yes Sensitivity analysis
Similar outcomes? Yes Included studies with different outcomes, analyzed by outcome
No selective reporting? Unclear Their search was simplistic (NEDLINE)

Naudet 2011
Methods Identified published and unpublished studies from 1989 to 2009 that examined fluoxetine and ven-
lafaxine as first line treatment for major depressive disorder
Data 12 observational studies and 109 RCTs were identified
Informed decisions.
Naudet 2011 (Continued)
Comparisons Meta-regression estimates for outcomes of interest
Outcomes The standardized treatment response in RCTs is greater by a magnitude of 4.59 compared to observa-
tional studies
Notes Response to antidepressants is greater in RCTs than in observational studies
Risk of bias
Explicit criteria? Yes PICO specified
Investigator Agreement? Yes 2 reviewed independently, consensus
Complete sample? Yes Searched for all studies on a specific topic, seems thorough
Bias assessed? Yes Different instruments for RCTs and observational studies
Control for differences? Yes Some RoB items included inmeta-regression, also did sensitivity analysis
Heterogeneity addressed? Yes Meta-regression
Similar outcomes? No Converted to standardized scores
No selective reporting? Yes Limited evidence of publication bias based on funnel plots

Oliver 2010
Methods Identify systematic reviews that compareD results of policy interventions, stratifying estimates by ob-
servational study and RCT study design published between 1999 and 2004
Data 16 systematic reviews identified, with a median of 11.5 RCTs and 14.5 observational studies in each sys-
tematic review
Comparisons Observational studies published in systematic reviews were pooled separately fromRCTs published in
the same systematic reviews.
Outcomes Results stratified by study design were heterogeneous with no clear direction of magnitude
Notes Overall, the authors found no evidence for clear systematic differences in terms of results between RCTs
and observational studies.
Risk of bias
Explicit criteria? Yes Identified systematic reviews including observational studies and RCTs on a
specific topic
Investigator Agreement? Yes All disagreements were settled by consensus or referral to third reviewer
Informed decisions.
Oliver 2010 (Continued)
Complete sample? Yes Searched for all studies on a specific topic,
Bias assessed? Yes Bias was discussed in detail
Control for differences? Yes Sensitivity analyses were detailed in the results
Heterogeneity addressed? Yes Heterogeneity was discussed in detail
Similar outcomes? Yes Various outcomes frompolicy interventions analyzed by intervention type Not
No selective reporting? Unclear discussed in detail

Papanikolauo 2006
Methods The authors compareD evidence fromRCTs to observational studies that have explored the effects of
interventions on the risk of harm. Harms of interest were identified fromRCTs withmore than 4000 pa-
tients. Observational studies of more than 4000 patients were also included for comparison
Data 15 harms of interest were identified and relative risks were extracted for 13 topics
Comparisons Data from 25 observational studies were compared to results fromRCTs. Relative risks for each out-
come/harmwere calculated for both study types
Outcomes The estimated increase in RR differed by more than two-fold between observational studies and RCTs for
54%of the topics studied.
Notes Observational studies usually under-estimated the absolute risk of harms.
Risk of bias
Explicit criteria? Yes Matched observational studies to published RCTs on particular topics 2
Investigator Agreement? Yes independently, consensus
Complete sample? Unclear Unclear whether they were able tomatch observational studies to all the RCTs Not
Bias assessed? No done
Control for differences? No Not done
Heterogeneity addressed? Unclear Did assess mathematical heterogeneity between reviews of RCT and observa-
tional studies
Similar outcomes? Unclear "Harms" broadly defined, could include multiple outcomes
No selective reporting? No Selection of observational studies could have missed some

Informed decisions.
Shikata 2006
Methods The authors identified all meta-analyses of RCTs and observational studies of digestive surgery pub-
lished between 1966 and 2004.
Data 52 outcomes for 18 disparate topics were identified from 276 articles (96 RCTs and 180 observational
studies)
Comparisons Pooled odds ratios and relative risks were extracted for each outcome, using the same indicator that had
been used in the meta-analysis of interest
Outcomes Approximately 1/4 of all outcomes of interest yielded different results between observational studies
and RCTs
Notes
Risk of bias
Explicit criteria? Unclear MA were identified, if meta-analysis did not include observational studies, then
searched for them separately
Investigator Agreement? Yes 2 reviewed independently, then consensus
Complete sample? Yes Complete sample on focused topic Not done
Bias assessed? No
Control for differences? No Not done
Heterogeneity addressed? No Not done
Similar outcomes? Yes Grouped by outcomes, noted that measures were similar
No selective reporting? Unclear Search strategy comprehensive but odd (MA + OBS)

CABG: coronary artery bypass graF

NRS: non-randomized study
PICO: population, intervention, comparison and outcome
RCT: randomized controlled trial
RoB: risk of bias
Characteristics of excluded studies [ordered by study ID]
Study Reason for exclusion
Ather 2011 An original meta-analysis with an incidental comparison of RCTs and observational studies.
Begg 1991 This is a statistical methods paper that did not have a systematic selection of studies for identified
outcomes or interventions.
Informed decisions.
Beyersmann 2008 This is a statistical methods paper that did not have a systematic selection of studies for identified
outcomes or interventions.
Bosco 2010 This is not a meta-analysis or review of meta-analyses. There is no comparison of RCTs and obser-
vational data.
Britton 1998 The authors chose to include uncontrolled trials in their data collection.
Chambers 2010 This is a methods paper that did not have a systematic selection of studies for identified outcomes or
interventions. There was nometa-analysis of observational data performed.
Coulam 1994 From this study it was not possible to separate out uncontrolled, quasi-, or pseudo-randomized
studies fromother studies.
Dahabreh 2012 Not a comprehensive or systematic search of RCT data. RCT data matched selectively to observational
data.
Deeks 2002 This study was unique in that it created non-randomised studies through resampling of RCTs. This is a
statistical methods paper that did not have a systematic selection of studies for identified outcomes or
interventions.
Deeks 2003 The authors included quasi-experimental and quasi-randomized studies.
Diehl 1986 Not designed to specifically compare the effect sizes of RCT and observational studies.
Diez 2010 Not designed to specifically compare the effect sizes of RCT and observational studies, but to test new
analytic methods that takes study design into account
Flossmann 2007 An original meta-analysis with an incidental comparison of RCTs and observational studies. An
Hallstrom 2000 original meta-analysis with an incidental comparison of RCTs and observational studies.
Henry 2001 Not designed to specifically compare the effect sizes of RCT and observational studies, but to quali-
tatively assess agreement between designs.
Hlatky 1988 Did not have a systematic selection of studies for identified outcomes or interventions.
Ioannidis 2005 This is a qualitative comparison of high cited RCTs and observational studies and their initially
stronger effects that are often later contradicted.
Labrarere 2006 This is a methods paper that did not have a systematic selection of studies for identified outcomes or
interventions.
LaTorre 2009 An original meta-analysis of harms outcomes among only observational studies.
Linde 2007 An incidental comparison of RCTs and observational studies; did not have a systematic selection of
studies for identified outcomes or interventions.
Lipsey 1993 From this study it was not possible to separate out uncontrolled, quasi-, or pseudo-randomized
Loke 2011 An original meta-analysis with an incidental comparison of RCTs and observational studies. The
MacLehose 2000 authors included quasi-experimental studies.
Mak 2009 An original meta-analysis with an incidental comparison of RCTs and observational studies.
Informed decisions.
McCarron 2010 This is a statistical methods paper that did not have a systematic selection of studies for identified
outcomes or interventions; the authors re-analyzed previously published data.
McKee 1999 A commentary and/or descriptive analysis. Nometa-analysis;
Moreira 2012 RCT data included quasi-experimental.
Ni Chroinin 2013 An original meta-analysis with an incidental comparison of RCTs and observational studies. An
Nixdorf 2010 original meta-analysis with an incidental comparison of RCTs and observational studies. A
Ottenbacker 1992 commentary and/or descriptive analysis.
Papanastassiou 2012 An original meta-analysis with an incidental comparison of RCTs and observational studies.
Phillips 1999 This study had no systematic selection of meta-analyses; only included three large prospective
studies that were the focus of the analysis.
Pratt 2012 Nometa-analysis performed.
Pyorala 1995 An original meta-analysis with an incidental comparison of RCTs and observational studies.
Schmoor 2008 This study had no systematic selection of meta-analyses; only an embedded prospective study
within an RCT that was the focus of the analysis.
Scott 2007 An original meta-analysis with an incidental comparison of RCTs and observational studies.
Shah 2005 Nometa-analysis, only a quantitative comparison of results between observational studies with
different designs.
Shepherd 2006 A commentary and/or descriptive analysis.
Steinberg 1994 An analysis of previously publishedmeta-analyses that aimed to compare effects between sources of
controls within observational study designs.
Stukel 2007 A primary analysis; this is a statistical methods paper that did not have a systematic selection of
studies for identified outcomes or interventions; no RCT data.
Ward 1992 This is a statistical methods paper that did not have a systematic selection of studies for identified
outcomes or interventions; not a review of meta-analyses.
Watson 1994 An original meta-analysis with an incidental comparison of RCTs and observational studies; the authors
include non-randomized as observational studies.
Williams 1981 This is a statistical methods paper that did not have a systematic selection of studies for identified
outcomes or interventions; not a review of meta-analyses and nometa-analysis performed.
Wilson 2001 From this study it was not possible to separate out uncontrolled, quasi-, or pseudo-randomized
RCT: randomized controlled trial
Informed decisions.
DATAANDANALYSES
Comparison 1. RCT vs Observational
Outcome or subgroup title No. of studies No. of partici- Statistical method Effect size
pants
1 Summary Ratios of Ratios: RCTs vs Ob- 14 Odds Ratio (Random, Subtotals only
servational Studies 95%CI)
1.1 RCT vs All Observational 14 Odds Ratio (Random, 1.08 [0.96, 1.22]
95%CI)
1.2 RCT vs Cohort 9 Odds Ratio (Random, 1.04 [0.89, 1.21]

95%CI)
1.3 RCT vs Case Control 3 Odds Ratio (Random, 1.11 [0.91, 1.35]
95%CI)
servational Studies (Heterogeneity Sub- 95%CI)
groups)
2.1 LowHeterogeniety (I2: 0% to 30%) 4 Odds Ratio (Random, 1.00 [0.72, 1.39]
95%CI)
2.2 Moderate Heterogeneity (I2:31% to 8 Odds Ratio (Random, 1.11 [0.95, 1.30]
60%) 95%CI)
2.3 Significant Heterogeneity (I2: 61% to 2 Odds Ratio (Random, 1.08 [0.87, 1.34]
100%) 95%CI)
servational Studies (Pharmacological 95%CI)
Studies vs non-Pharmacological Studies)
3.1 Pharmacological Studies 6 Odds Ratio (Random, 1.17 [0.95, 1.43]

95%CI)
3.2 Non-Pharmacological Studies 11 Odds Ratio (Random, 1.03 [0.87, 1.21]

95%CI)
servational Studies (Propensity Scores) 95%CI)
4.1 RCTs vs Observational Studies 2 Odds Ratio (Random, 0.98 [0.85, 1.12]
(propensity score adjustment) 95%CI)
4.2 RCTs vs Observational Studies (no 12 Odds Ratio (Random, 1.10 [0.96, 1.27]
propensity score adjustment) 95%CI)
Informed decisions.
Analysis 1.1. Comparison 1 RCT vs Observational, Outcome 1

Summary Ratios of Ratios: RCTs vs Observational Studies.
Study or subgroup Experi- Control log[Odds Odds Ratio Weight Odds Ratio
mental Ratio]
N N (SE) IV, Random, 95%CI IV, Random, 95%CI
1.1.1 RCT vs All Observational
Bhandari 2004 0 0 - 0.3 (0.156) 6.43% 0.71[0.52,0.96]
Beynon 2008 0 0 - 0.2 (0.098) 8.69% 0.83[0.68,1.01]
Oliver 2010 0 0 - 0.1 (0.11) 8.22% 0.94[0.76,1.17]
Kuss 2011 0 0 - 0.1 (0.084) 9.27% 0.94[0.8,1.11]
Benson 2000 0 0 - 0.1 (0.251) 3.83% 0.95[0.58,1.55]
Shikata 2006 0 0 - 0 (0.117) 7.92% 0.97[0.77,1.22]
Lonjon 2013 0 0 0.1 (0.127) 7.53% 1.06[0.83,1.36]
Concato 2000 0 0 0.1 (0.059) 10.2% 1.08[0.96,1.21]
Golder 2011 0 0 0.1 (0.069) 9.85% 1.08[0.94,1.24]
Edwards 2012 0 0 0.2 (0.145) 6.85% 1.18[0.89,1.57]
Ioannidis 2001 0 0 0.2 (0.126) 7.58% 1.21[0.95,1.55]
Müeller 2010 0 0 0.4 (0.099) 8.66% 1.48[1.22,1.8]
Furlan 2008 0 0 0.7 (0.375) 2.1% 1.94[0.93,4.05]
Naudet 2011 0 0 1.3 (0.307) 2.88% 3.58[1.96,6.53]
Subtotal (95%CI) 100% 1.08[0.96,1.22]

Heterogeneity: Tau2=0.03; Chi2=48.19, df=13(P<0.0001); I2=73.03%
Test for overall effect: Z=1.27(P=0.2)
1.1.2 RCT vs Cohort
Bhandari 2004 0 0 - 0.3 (0.156) 10.86% 0.71[0.52,0.96]
Ioannidis 2001 0 0 - 0.1 (0.212) 8.04% 0.88[0.58,1.33]
Kuss 2011 0 0 - 0.1 (0.084) 15.5% 0.94[0.8,1.11]
Benson 2000 0 0 - 0.1 (0.251) 6.54% 0.95[0.58,1.55]
Golder 2011 0 0 0 (0.114) 13.56% 1.02[0.82,1.27]
Concato 2000 0 0 0 (0.071) 16.34% 1.04[0.91,1.19]
Lonjon 2013 0 0 0.1 (0.127) 12.67% 1.06[0.83,1.36]
Edwards 2012 0 0 0.2 (0.145) 11.56% 1.18[0.89,1.57]
Naudet 2011 0 0 1.3 (0.307) 4.94% 3.58[1.96,6.53]
Subtotal (95%CI) 100% 1.04[0.89,1.21]

Heterogeneity: Tau2=0.03; Chi2=24.76, df=8(P=0); I2=67.69%
1.1.3 RCT vs Case Control
Golder 2011 0 0 - 0.2 (0.196) 21.22% 0.84[0.57,1.23]
Ioannidis 2001 0 0 0.2 (0.14) 36.03% 1.19[0.9,1.57]
Concato 2000 0 0 0.2 (0.124) 42.75% 1.2[0.94,1.53]
Subtotal (95%CI) 100% 1.11[0.91,1.35]

Heterogeneity: Tau2=0.01; Chi2=2.65, df=2(P=0.27); I2=24.4%
Test for subgroup differences: Chi2=0.29, df=1 (P=0.87), I2=0%
RCTs: Smaller Effect Size 0.5 0.7 1 1.5 2 RCTs: Larger Effect Size
Informed decisions.
Analysis 1.2. Comparison 1 RCT vs Observational, Outcome 2 Summary

Ratios of Ratios: RCTs vs Observational Studies (Heterogeneity Subgroups).
mental Ratio]
1.2.1 LowHeterogeniety (I2: 0% to 30%)
Bhandari 2004 0 0 - 0.3 (0.156) 24.53% 0.71[0.52,0.96]
Kuss 2011 0 0 - 0.1 (0.084) 28.98% 0.94[0.8,1.11]
Benson 2000 0 0 - 0.1 (0.251) 18.32% 0.95[0.58,1.55]
Müeller 2010 0 0 0.4 (0.099) 28.16% 1.48[1.22,1.8]
Subtotal (95%CI) 100% 1[0.72,1.39]

Test for overall effect: Z=0.01(P=1)
1.2.2 Moderate Heterogeneity (I2:31% to 60%)
Beynon 2008 0 0 - 0.2 (0.098) 15.46% 0.83[0.68,1.01]
Oliver 2010 0 0 - 0.1 (0.11) 14.59% 0.94[0.76,1.17]
Lonjon 2013 0 0 0.1 (0.127) 13.35% 1.06[0.83,1.36]
Concato 2000 0 0 0.1 (0.059) 18.23% 1.08[0.96,1.21]
Golder 2011 0 0 0.1 (0.069) 17.58% 1.08[0.94,1.24]
Edwards 2012 0 0 0.2 (0.145) 12.1% 1.18[0.89,1.57]

Furlan 2008 0 0 0.7 (0.375) 3.66% 1.94[0.93,4.05]
Naudet 2011 0 0 1.3 (0.307) 5.02% 3.58[1.96,6.53]
Subtotal (95%CI) 100% 1.11[0.95,1.3]

1.2.3 Significant Heterogeneity (I2: 61% to 100%)
Shikata 2006 0 0 - 0 (0.117) 52.12% 0.97[0.77,1.22]
Ioannidis 2001 0 0 0.2 (0.126) 47.88% 1.21[0.95,1.55]
Subtotal (95%CI) 100% 1.08[0.87,1.34]

Heterogeneity: Tau2=0.01; Chi2=1.65, df=1(P=0.2); I2=39.34%
Analysis 1.3. Comparison 1 RCT vs Observational, Outcome 3 Summary Ratios of Ratios: RCTs
vs Observational Studies (Pharmacological Studies vs non-Pharmacological Studies).
mental Ratio]
1.3.1 Pharmacological Studies
Beynon 2008 0 0 - 0.2 (0.095) 20.95% 0.83[0.69,1]
Concato 2000 0 0 0 (0.05) 24.04% 1.04[0.94,1.15]
Golder 2011 0 0 0.1 (0.069) 22.87% 1.08[0.94,1.24]
Benson 2000 0 0 0.1 (0.315) 7.55% 1.12[0.61,2.08]
Ioannidis 2001 0 0 0.3 (0.148) 16.76% 1.41[1.06,1.88]
Naudet 2011 0 0 1.3 (0.307) 7.83% 3.58[1.96,6.53]
Subtotal (95%CI) 100% 1.17[0.95,1.43]

Heterogeneity: Tau2=0.04; Chi2=26.32, df=5(P<0.0001); I2=81%
Informed decisions.
mental Ratio]
1.3.2 Non-Pharmacological Studies
Benson 2000 0 0 - 0.4 (0.422) 3.11% 0.7[0.3,1.6]
Bhandari 2004 0 0 - 0.3 (0.156) 9.42% 0.71[0.52,0.96]
Beynon 2008 0 0 - 0.3 (0.108) 11.35% 0.73[0.59,0.9]
Kuss 2011 0 0 - 0.1 (0.084) 12.23% 0.94[0.8,1.11]
Ioannidis 2001 0 0 - 0.1 (0.241) 6.51% 0.94[0.59,1.51]
Shikata 2006 0 0 - 0 (0.117) 10.97% 0.97[0.77,1.22]
Lonjon 2013 0 0 0.1 (0.127) 10.59% 1.06[0.83,1.36]
Edwards 2012 0 0 0.2 (0.145) 9.88% 1.18[0.89,1.57]
Concato 2000 0 0 0.3 (0.128) 10.56% 1.3[1.01,1.66]
Müeller 2010 0 0 0.4 (0.099) 11.67% 1.48[1.22,1.8]
Furlan 2008 0 0 0.7 (0.375) 3.72% 1.94[0.93,4.05]
Subtotal (95%CI) 100% 1.03[0.87,1.21]

Analysis 1.4. Comparison 1 RCT vs Observational, Outcome 4 Summary

Ratios of Ratios: RCTs vs Observational Studies (Propensity Scores).
mental Ratio]
1.4.1 RCTs vs Observational Studies (propensity score adjustment)
Kuss 2011 0 0 - 0.1 (0.084) 69.57% 0.94[0.8,1.11]
Lonjon 2013 0 0 0.1 (0.127) 30.43% 1.06[0.83,1.36]
Subtotal (95%CI) 100% 0.98[0.85,1.12]

Heterogeneity: Tau2=0; Chi2=0.62, df=1(P=0.43); I2=0%
1.4.2 RCTs vs Observational Studies (no propensity score adjustment)
Bhandari 2004 0 0 - 0.3 (0.156) 7.92% 0.71[0.52,0.96]
Beynon 2008 0 0 - 0.2 (0.098) 10.28% 0.83[0.68,1.01]
Oliver 2010 0 0 - 0.1 (0.11) 9.8% 0.94[0.76,1.17]
Benson 2000 0 0 - 0.1 (0.251) 4.95% 0.95[0.58,1.55]
Shikata 2006 0 0 - 0 (0.117) 9.5% 0.97[0.77,1.22]
Concato 2000 0 0 0.1 (0.059) 11.76% 1.08[0.96,1.21]
Golder 2011 0 0 0.1 (0.069) 11.42% 1.08[0.94,1.24]
Edwards 2012 0 0 0.2 (0.145) 8.37% 1.18[0.89,1.57]
Ioannidis 2001 0 0 0.2 (0.126) 9.14% 1.21[0.95,1.55]
Müeller 2010 0 0 0.4 (0.099) 10.25% 1.48[1.22,1.8]
Furlan 2008 0 0 0.7 (0.375) 2.81% 1.94[0.93,4.05]
Naudet 2011 0 0 1.3 (0.307) 3.79% 3.58[1.96,6.53]
Subtotal (95%CI) 100% 1.1[0.96,1.27]

RCTs: Smaller effect size 0.5 0.7 1 1.5 2 RCTs: Larger effect size
Informed decisions.
mental Ratio]
Test for subgroup differences: Chi2=1.54, df=1 (P=0.22), I2=34.92%
RCTs: Smaller effect size 0.5 0.7 1 1.5 2 RCTs: Larger effect size
APPENDICES
Appendix 1. PubMed strategy, whichwas modified as appropriate for use in the other databases
Search Terms
#4 (((#1) AND #2) AND #3)
#3 compara*[tiab] OR comparison*[tiab] OR contrast*[tiab] OR similar*[tiab] OR consistent*[tiab] OR

inconsistent*[tiab] OR dissimilar*[tiab] OR differen*[tiab] OR concordan*[tiab] OR discordan*[tiab] OR
heterogene*[tiab] OR "Research Design"[mh]
#2 "Observation"[mh] OR "Cohort Studies"[mh] OR "Longitudinal Studies"[mh] OR "Retrospective

Studies"[mh] OR "Prospective Studies"[mh] OR observational[tiab] OR cohort*[tiab] OR crosssec-
tional[tiab] OR crossectional[tiab] OR cross-sectional[tiab] OR cross sectional[tiab] OR longitudinal[tiab]
OR causal inference*[tw] OR causality[tw] OR “instrumental variable”[tw] OR “structural model”[tw] OR
practice-based[tw] OR propensity score*[tw] OR natural experiment*[tw] OR case- control[tw] OR before-
after[tw] OR pre-post[tw] OR case-cohort[tw] OR case-crossover[tw] OR seri- al[tiab] OR
nonexperimental[tiab] OR non-experimental[tiab] OR “nonrandomized”[tiab] OR “non- randomised”[tiab]
OR “non-randomised”[tiab] OR “nonrandomised”[tiab] OR “study designs”[tiab] OR “newcastle
ottawa”[tiab] OR overestimat*[tiab] OR over-estimat*[tiab] OR bias[tiab] OR "are needed"[tiab] OR
(evidence[tiab] AND quality[tiab])
#1 Cochrane Database Syst Rev [TA] OR search[tiab] ORmeta-analysis[PT] OR MEDLINE[tiab] OR

PubMed[tiab] OR (systematic*[tiab] AND review*[tiab]) OR review[ti]
C ON T R I B U T I ON S O F A U T HO R S
All authors contributed to draFing of the review. LB conceived the idea for the study. THH conducted all searches and reviewed the final
manuscript. LB and AA screened titles, wrote the final manuscript, and revised the manuscript in response to peer review comments. AA
conducted all analyses.
D E C L A R A T I ON S O F I N T E R E S T
None to declare.
S OU R C E S O F S U P P O R T
I•nternal sources
Clinical and Translational Sciences Institute (CTSI), University of California, San Francisco (UCSF), USA.
External sources
• No sources of support supplied
Informed decisions.
D I F F E R E N C E S B E TWE E N P R O T O C O L A N D R E V I EW
We were unable to conduct subgroup analyses by topic area of the research, or diGerences in interventions and conditions, as proposed,
because these parameters were too diverse to permit grouping of studies. For the same reasons, we were unable to explore the impact of
confounding by indication.
I N D E X T E RM S
Medical Subject Headings (MeSH)

* Observational Studies as Topic; *Randomized Controlled Trials as Topic; Meta-Analysis as Topic; Outcome Assessment, Health Care
[*methods]
MeSH check words

Humans

Artigo

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Artigo

Enviado por

Direitos autorais:

Formatos disponíveis

Cochrane

Desfechos de saúde avaliados com desenhos de estudos observacionais

Anglemyer A, Horvath HT, Bero L

Anglemyer A, Horvath HT, Bero L.

Resultados de saúde avaliados com desenhos de estudos observacionais

Andrew Anglemyer1, Hacsi T Horvath1, Lisa Bero2

Grupo editorial: Grupo de Revisão da Metodologia Cochrane.

Explorar variáveis metodológicas que possam explicar as diferenças identificadas.

Para identificar lacunas na pesquisa existente comparando desenhos de estudos.

Pesquisamos sete bancos de dados eletrônicos, de janeiro de 1990 a dezembro de 2013.

Coleta e análise de dados

Sete (47%) revisões controladas por diferenças metodológicas entre os estudos,

Conclusões dos autores

Comparando estimativas de efeitos de ensaios clínicos randomizados e estudos observacionais

FUNDO efeitos de tratamento, ou direção reversa dos efeitos de tratamento (Deeks

Explorar variáveis metodológicas que possam explicar as diferenças

MÉTODOS Tipos de dados

Nossa intenção era selecionar revisões que comparassem

Incluímos revisões metodológicas comparando estudos descritos na Tipos de medidas de saída

comparações de estimativas de ECRs com qualquer um dos tipos de 06 de dezembro de 2013.

estudos observacionais acima.

(PRESS) (Sampson 2009)

A metodologia de coleta e análise de dados baseou-se na Medidas do efeito dos métodos

Detalhes do estudo: citação, datas de início e término, localização, elegibilidade

Figura 1. Fluxograma que descreve o processo de triagem

Estudos incluídos Das 15 revisões, 14 foram incluídas na análise quantitativa e

19,5%. estimativas de eGect de ECRs com estudos observacionais empregando escores de

provavelmente produzirão resultados semelhantes em estudos cirúrgicos.

Edwards 2012 et al realizaram uma revisão sistemática e meta-análise comparando

diGerentes em 20% a 40% dos casos, em comparação com as estimativas de estudos

viés. VerFigura 2; Figura 3.

Britton 1998 {dados publicados apenas} Hallstrom2000 {dados publicados apenas}

Ioannidis JP. Efeitos contraditórios e inicialmente mais fortes em pesquisas

Stanford Three-Community Study. Journal of Chronic Diseases Lundh 2012

Characteristics of included studies [ordered by study ID]

Data 136 reports about 19 disparate treatments and interventions

Comparisons Combinedmagnitude of effects fromRCTs vs combinedmagnitude of effects fromobservational stud-

Outcomes 17 of 19 analyses yielded no difference inmagnitude of effects comparing methods

Benson 2000 (Continued)

Item Authors' judgement Description

Investigator Agreement? No Nomention of this

Bias assessed? No Not done

Heterogeneity addressed? No Noted, but not controlled for

No selective reporting? Unclear Not discussed in detail

Absence of evidence of Yes

Outcomes 19 analyses yielded no difference in RRRs comparing methods

Item Authors' judgement Description

Investigator Agreement? No Nomention of this

Complete sample? No Topics selected at random

Bias assessed? No Not done

Beynon 2008 (Continued)

Heterogeneity addressed? Yes Controlled for heterogeneity

Similar outcomes? Yes All mortality

No selective reporting? Unclear Not discussed in detail

Absence of evidence of Yes

Item Authors' judgement Description

Explicit criteria? Yes 4 explicit criteria on focused topics

Investigator Agreement? Yes Two reviewed

Complete sample? Yes Complete sample on focused topic

Bias assessed? Yes Yes, table 1

Control for differences? No Discussed, but not controlled for

Heterogeneity addressed? No Nomention

Similar outcomes? Yes Part of selection criteria

No selective reporting? Yes Thorough search included seeking unpublished studies