Concordância entre a ferramenta de risco de viés Cochrane e a escala

Physiotherapy Evidence Database (PEDro): Um estudo meta-epidemiológico

de ensaios clínicos randomizados de intervenções de fisioterapia
Anne M. Moseley , Conceituação , Curadoria de dados , Análise
formal , Administração de projetos , Recursos , Redação – rascunho
original , Redação – revisão e edição , 1, * Prinon
Rahman , Conceitualização , Análise formal , Administração de
projetos , Redação – rascunho original , Redação – revisão e edição , 2 George
A. Wells , Conceituação , Metodologia , Redação – revisão e edição, 3 Joshua
R. Zadro , Análise formal , Redação – revisão e edição , 1 Catherine
Sherrington , Conceituação , Redação – revisão e edição , 1 Karine Toupin-
April , Redação – revisão e edição , 4, 5, 6 e Lucie
Brosseau , Conceituação , Metodologia , Redação – rascunho
original , Redação – revisão e edição 2
Markus Hubscher, editor

Abstrato
Fundo
A ferramenta Cochrane risk of bias (CROB) e a escala Physiotherapy Evidence
Database (PEDro) são usadas para avaliar o risco de viés de ensaios clínicos
randomizados. Avaliamos o nível de concordância entre os instrumentos.
Métodos
Pesquisamos na Biblioteca Cochrane para identificar ensaios incluídos em
revisões sistemáticas avaliando intervenções de fisioterapia. Para estudos que
atenderam aos nossos critérios de inclusão (referência primária na revisão
Cochrane, revisão usada CROB (versão 2008), indexada no PEDro), os itens
do CROB foram extraídos das revisões e os itens do PEDro e a pontuação total
foram baixados do PEDro. A estatística Kappa foi usada para determinar a
concordância entre os itens da escala CROB e PEDro que avaliam construtos
semelhantes (por exemplo, randomização). A pontuação total do PEDro foi
comparada com a pontuação do resumo CROB (% de itens atendidos) usando
um Coeficiente de Correlação Intraclasse. As análises de sensibilidade
exploraram o impacto da categoria CROB “incerta” e variantes de itens CROB
cegantes.
Resultados
Incluímos 1.442 estudos de 108 revisões Cochrane. A concordância foi
“moderada” para três dos seis itens da escala CROB e PEDro que avaliam
construtos semelhantes (ocultação de alocação, ocultação do participante,
ocultação do avaliador; Kappa = 0,479–0,582). A concordância entre os
escores sumários foi “ruim” (Coeficiente de Correlação Intraclasse = 0,285). A
concordância foi maior quando a categoria CROB “não clara” foi colapsada
com “alta” e quando o cegamento do participante, da equipe e do avaliador
foram avaliados separadamente no CROB. A concordância para diferentes
limites para risco “aceitável” de viés entre as pontuações resumidas do CROB
e do PEDro foi, na melhor das hipóteses, “justa”.
Conclusão
Houve concordância moderada para metade dos itens PEDro e CROB que
avaliam construtos semelhantes. A interpretação da categoria CROB “unclear”
e as variantes dos itens CROB cegantes influenciaram substancialmente a
concordância. Qualquer um dos instrumentos pode ser usado para quantificar o
risco de viés, mas não pode ser usado de forma intercambiável.
Introdução
A prática baseada em evidências é essencial para os profissionais de saúde
porque orienta a adoção de intervenções eficazes, eliminando aquelas que são
menos eficazes ou prejudiciais [ 1 ]. Ensaios controlados randomizados são
reconhecidos como o melhor desenho de estudo para examinar os efeitos de
uma intervenção [ 1 , 2 ]. A avaliação crítica do risco de viés do estudo
(qualidade metodológica) é usada para confirmar que os achados e conclusões
são válidos e é uma das cinco etapas do processo de prática baseada em
evidências. Dois instrumentos comumente utilizados para avaliar o risco de viés
de ensaios de intervenções de fisioterapia são a ferramenta Cochrane risk of
bias (CROB) [ 3 ] e a escala Physiotherapy Evidence Database (PEDro) [ 4 ].
A Colaboração Cochrane começou a usar a ferramenta CROB em 2008 para
avaliar e relatar o risco de viés em ensaios incluídos nas revisões Cochrane
[ 3 ]. A ferramenta CROB avalia o viés potencial para sete itens em seis
domínios: viés de seleção (geração de sequência aleatória; ocultação de
alocação) , viés de desempenho (ocultação de participantes e
funcionários) , viés de detecção (ocultação da avaliação de resultados) , viés
de atrito (dados de resultados incompletos) , viés de relato (relatório
seletivo) e outras fontes de viés. Cada domínio (item) é classificado como risco
de viés “alto”, “incerto” ou “baixo” e são relatados separadamente (uma
pontuação resumida não é calculada). Todos os itens avaliam o risco de viés. A
avaliação clinimétrica da ferramenta CROB concentrou-se na confiabilidade,
sugerindo que a concordância entre avaliadores para itens individuais varia de
“ruim” (Kappa = -0,04 para 'outro viés') a “substancial” (Kappa = 0,79 para
'geração de sequência) [ 5 – 7 ]. A concordância entre avaliadores para
avaliadores inexperientes com treinamento mínimo (Kappa = 0,00 a 0,38) pode,
no entanto, ser melhorada com treinamento padronizado (Kappa = 0,93 a 1,00)
[ 8 ].
A escala PEDro foi desenvolvida em 1999 para avaliar o risco de viés e
completude de relatórios estatísticos de relatórios de estudos indexados no
recurso de evidências PEDro [ 4 ] e agora é comumente usado em revisões
sistemáticas [ 9 ]. Esta escala avalia 11 itens: critérios de inclusão e
fonte , alocação aleatória , alocação oculta , similaridade na linha de base ,
cegamento do sujeito , cegamento do terapeuta , cegamento
do avaliador , integridade do acompanhamento , análise de intenção de
tratar , comparações estatísticas entre grupos emedidas pontuais e
variabilidade . Cada item é classificado como “sim” ou “não”, e a pontuação
total do PEDro é o número de itens atendidos (excluindo os critérios de
inclusão e o item de origem). Oito itens avaliam o risco de viés ( alocação
aleatória , alocação oculta , similaridade na linha de base , cegamento
do sujeito , cegamento do terapeuta , cegamento do avaliador , integridade do
acompanhamento , análise de intenção de tratar ) e dois itens avaliam a
integridade do relatório estatístico ( entre- comparações estatísticas de grupo
e medidas pontuais e variabilidade). A avaliação das propriedades clinimétricas
da escala PEDro revela validade e confiabilidade aceitáveis. Há evidências de
validade convergente e de construto para oito dos 11 itens individuais [ 10 ] e
confiabilidade aceitavelmente alta para o escore total do PEDro (Coeficiente de
Correlação Interclasse = 0,56 a 0,91) [ 4 , 11 – 13 ] e itens individuais (Kappa =
0,45 a 1,00) [ 4 , 12 , 14 , 15 ]. A análise de Rasch sugere que a escala PEDro
pode ser usada como uma escala contínua [ 16 ].
Há evidências recentes de validade convergente entre a escala PEDro e a
ferramenta de risco de viés Cochrane Back and Neck Group (que inclui os sete
itens da ferramenta CROB mais análise de intenção de tratar, similaridade de
grupo na linha de base, co-intervenções, conformidade , e momento das
avaliações de resultados) para ensaios farmacológicos (Coeficiente de
Correlação Intraclasse = 0,83, intervalo de confiança de 95% (IC) 0,76 a 0,88)
[ 17]. No entanto, nenhum grupo de pesquisa estudou a validade convergente
entre a escala PEDro e a ferramenta CROB em ensaios avaliando os efeitos
das intervenções fisioterapêuticas. Isso seria interessante, pois ensaios
avaliando intervenções fisioterapêuticas, como exercícios, não possuem as
mesmas características dos ensaios farmacológicos. Cegar participantes e
profissionais em ensaios de intervenções fisioterapêuticas complexas é difícil e,
geralmente, não é possível [ 6 , 12]. Como a escala PEDro e a ferramenta
CROB são comumente usadas em revisões sistemáticas, a avaliação da
validade convergente entre esses instrumentos ajudaria os médicos a entender
o risco de viés nos artigos de revisão que lêem (ou seja, as ferramentas têm
uma interpretação semelhante e podem podem ser usados de forma
intercambiável) e possivelmente fornecem alguma orientação para revisores
sistemáticos quando eles estão selecionando uma ferramenta para avaliar o
risco de viés em suas revisões.
Embora tanto a escala PEDro quanto a ferramenta CROB tenham abordagens
diferentes para avaliar o risco de viés, elas têm seis itens em comum (alocação
aleatória, alocação oculta, cegamento dos participantes, pessoal e avaliadores
e dados de resultados incompletos). Até o momento, apenas um estudo fez
uma comparação direta entre a escala PEDro e a ferramenta CROB em
ensaios de intervenções fisioterapêuticas [ 18 ]. Este estudo encontrou baixa
concordância entre os dois instrumentos [ 18 ]. Esses resultados, no entanto,
precisam ser interpretados com cautela; houve um tamanho de amostra
pequeno (n = 353), a análise considerou apenas três itens CROB ( geração de
sequência aleatória , ocultação de alocação , cegamento do avaliador), a
ferramenta CROB foi considerada o padrão-ouro, e o ponto de corte (ou seja,
“baixo” risco de viés para todos os três itens CROB) usado para risco
“adequado” de viés não foi explorado. Isso destaca a necessidade de avaliar a
concordância entre a escala PEDro e a ferramenta CROB para os itens que
avaliam construtos semelhantes. Enquanto os Cochrane Methods and
Statistical Methods Groups não recomendam o uso de pontuações resumidas
[ 3 ], o uso criterioso de uma pontuação resumida CROB pode facilitar a
comparação dos dois instrumentos, permitindo que a concordância seja
calculada para pontuações globais.
O objetivo primário deste estudo foi determinar a validade convergente (nível
de concordância) entre itens individuais da escala PEDro e da ferramenta
CROB que avaliam construtos semelhantes e para escores sumários. A
validade convergente, um subtipo de validade de construto (definida como
"estudada quando o testador não tem medida de critério definido da qualidade
com a qual está preocupado, e deve usar medidas indiretas" [ 19 ]), é o grau
em que duas medidas de um construto que teoricamente deveria estar
relacionado estão de fato relacionados [ 20]. Análises de sensibilidade foram
usadas para explorar o impacto da categoria CROB “não clara” e variantes de
itens CROB cegantes na concordância. O objetivo secundário foi determinar o
nível de concordância entre diferentes limiares para risco “aceitável” de viés
entre as pontuações resumidas para a ferramenta CROB e a escala PEDro. A
concordância entre revisões (confiabilidade entre avaliadores) para a
ferramenta CROB também foi avaliada.
Métodos
Design de estudo
Este estudo meta-epidemiológico foi realizado usando dois bancos de dados
online de pesquisa em saúde pública: Cochrane Library
( www.cochranelibrary.com ) e PEDro ( www.pedro.org.au ). O tipo de estudo
foi identificado como um estudo meta-epidemiológico porque utilizamos uma
revisão sistemática para fornecer dados para análise metodológica e a unidade
de análise está no nível do estudo [ 21 ]. A aprovação ética foi obtida do
conselho de ética da Universidade de Ottawa (H12-13-03B). O estudo não teve
protocolo porque o registro PROSPERO para revisões sistemáticas só aceita
protocolos onde há desfecho relacionado à saúde [ 22 ].
Procura literária
Bibliotecários experientes que trabalham para a Cochrane Collaboration
pesquisaram a Cochrane Library para identificar revisões sistemáticas de
ensaios clínicos randomizados avaliando intervenções de fisioterapia que
usaram a ferramenta CROB e foram publicados no período de janeiro de 2008
a outubro de 2013. Um autor (AMM) repetiu a pesquisa para novembro 2013 a
dezembro de 2015; todas as revisões sistemáticas previamente incluídas foram
atualizadas para a versão mais atual nesta segunda busca. Foram utilizadas as
seguintes palavras-chave: “fisioterapia”, “fisioterapia”, “reabilitação”, “exercício”,
“agentes eletrofísicos”, “acupuntura”, “massagem”, “estimulação elétrica
transcutânea (TENS)”, “corrente interferencial, ” “ultra-som”, “alongamento”,
“terapia torácica”, “reabilitação pulmonar”, “terapia manipulativa”, “mobilização”.
Seleção de teste
A elegibilidade das revisões sistemáticas Cochrane recuperadas foi avaliada
por dois avaliadores treinados (PR, AMM) que avaliaram independentemente
os títulos e resumos e, quando necessário, o texto completo usando critérios
pré-determinados. Os critérios foram: (1) examinar a eficácia de uma
intervenção fisioterapêutica (ou seja, reabilitação física, excluindo intervenções
cirúrgicas ou farmacológicas); (2) não retirado da Biblioteca Cochrane; e (3)
utilizou a versão 2008 da ferramenta CROB [ 3 ] para avaliar os estudos
incluídos. Quaisquer discordâncias foram resolvidas por discussão entre os
dois avaliadores que levou ao consenso.
Todas as referências dos estudos incluídos nas revisões Cochrane elegíveis
foram extraídas (citação, número de identificação do objeto digital e número de
identificação PubMed). Esses dados foram compilados em uma planilha Excel
por um extrator de dados (AMM) e verificados por um segundo extrator
(PR). Quando havia mais de uma referência para um estudo incluído, apenas a
referência primária era mantida. Na maioria dos casos, os autores da revisão
marcaram a referência primária usando um asterisco. Se a referência primária
não foi marcada, os extratores de dados selecionaram a referência mais
importante. Mais uma vez, quaisquer divergências foram resolvidas por
discussão entre os dois avaliadores que levou ao consenso.
Ensaios que não foram indexados no PEDro porque não preencheram os
critérios de inclusão do PEDro foram excluídos. Os critérios de inclusão do
PEDro são: envolver a comparação de pelo menos duas intervenções, pelo
menos uma intervenção fazer parte da prática fisioterapêutica, intervenção
aplicada a sujeitos que receberiam a intervenção como parte da prática
fisioterapêutica, alocação aleatória ou pretendida para grupos, artigo completo
em uma revista revisada por pares.
Quando os ensaios estavam em mais de uma das revisões Cochrane incluídas,
um ensaio de uma revisão foi selecionado aleatoriamente para fazer parte do
conjunto de dados. Os ensaios duplicados foram usados para avaliar a
concordância entre revisões (confiabilidade entre avaliadores) para as
classificações CROB.
Extração e processamento de dados
Classificações CROB (“baixa”, “incerta”, “alta”) para geração de sequência
aleatória , ocultação de alocação , ocultação de participantes , ocultação de
pessoal , ocultação de avaliação de resultados , dados de resultados
incompletos , relatórios seletivos e outras fontes de viéspara cada estudo
incluído foram extraídos das revisões Cochrane. Vários métodos de relato
foram usados para os itens de ocultação nas revisões incluídas: participantes e
equipe combinados, apenas participantes, apenas pessoal, apenas avaliação
de resultados, avaliação de resultados para resultados subjetivos, avaliação de
resultados para resultados objetivos, participantes e equipe e avaliação de
resultados combinada . Cada método foi extraído em uma coluna separada na
planilha Excel. Dois extratores extraíram independentemente os dados CROB
para os estudos incluídos. Quaisquer discordâncias foram resolvidas por
discussão entre os dois extratores que levaram a um consenso.
A pontuação resumida do CROB foi calculada como o número de itens com
risco “baixo” de viés dividido pelo número de itens centrais avaliados na revisão
e foi expresso em porcentagem.
As pontuações da escala PEDro (11 itens individuais e pontuação total PEDro),
citação, número de identificação PubMed, número de identificação de objeto
digital e número de identificação PEDro para a referência primária para cada
estudo incluído foram baixados do recurso de evidências PEDro
( www.pedro.org. au ) e adicionado à planilha do Excel. O número de
identificação do objeto digital, o número de identificação do PubMed e a citação
foram usados para verificar se as citações do PEDro correspondiam às
citações dos estudos incluídos extraídos das revisões Cochrane.
Os itens do PEDro pontuados como “sim” (ou seja, uma classificação positiva)
foram recodificados como “1” e os itens pontuados como “não” (ou seja, uma
classificação negativa) foram recodificados como “0”. A pontuação total do
PEDro é o número de itens atendidos, excluindo os critérios de inclusão e o
item de origem, e é expresso como uma pontuação que varia de 0 a 10.
Análise estatística
Foram tabulados o número e a porcentagem de tentativas que classificaram
“sim” para cada item da escala PEDro e “baixo”, “não claro” e “alto” para cada
item CROB. A média e o desvio padrão (DP) para o escore total do PEDro e o
escore sumário CROB foram calculados.
Concordância entre a ferramenta CROB e os itens da escala PEDro
Sob a supervisão de um bioestatístico sênior (GAW), estatísticas Kappa, 95%
CI e porcentagem de concordância exata foram calculados para avaliar o nível
de concordância (ou validade convergente) entre itens individuais da escala
PEDro e ferramenta CROB que avaliam construtos semelhantes [ 23 ]. Os itens
foram: alocação aleatória PEDro vs. geração de seqüência
aleatória CROB ; Alocação oculta PEDro vs. Alocação oculta CROB ; Cegueira
do sujeito PEDro vs. Cegueira CROB dos participantes ; Cegueira do
terapeuta PEDro vs. Cegueira CROB do pessoal ; Avaliador
PEDro cegando vs. CROBocultação da avaliação de
resultados ; PEDro completude do acompanhamento vs. CROB dados de
resultados incompletos .
Para as principais análises, as categorias CROB foram dicotomizadas pela
recodificação “baixa” (ou seja, uma classificação positiva) como “1” e “incerta”
ou “alta” (ou seja, uma classificação negativa) como “0”. Dois conjuntos de
análises de sensibilidade pré-especificadas também foram realizados. A
primeira dicotomizou as categorias CROB em “baixa” ou “incerta” como “1” e
“alta” como “0”. O segundo omitiu a classificação de CROB “incerto” e
recodificou “baixo” como “1” e “alto” como “0”.
Um segundo conjunto de análises de sensibilidade que incluiu diferentes
variantes dos itens de ocultação do CROB também foi realizado. O cegamento
do sujeito PEDro foi comparado a três agrupamentos de variantes do item
CROB cegamento dos participantes . O cegamento do terapeuta PEDro foi
comparado a três agrupamentos de variantes do item CROB cegamento do
pessoal . O cegamento do avaliador PEDro foi comparado a seis agrupamentos
de variantes do item de avaliação do resultado do cegamento do CROB . Para
cada uma dessas análises, as categorias CROB foram dicotomizadas pela
recodificação “baixa” como “1” e “incerta” ou “alta” como “0”.
Concordância entre a pontuação resumida do CROB e a pontuação total do
PEDro
Coeficientes de Correlação Intraclasse (tipo 1,1) e IC 95% foram calculados
para determinar o nível de concordância entre a pontuação resumida do CROB
e a pontuação total do PEDro. Nesta análise, o escore sumário CROB foi
calculado como o número de itens com risco “baixo” de viés dividido pelo
número de itens centrais avaliados na revisão e foi expresso em
porcentagem. Uma análise de sensibilidade adicional foi usada para testar o
impacto da opção “não clara”. Essa análise de sensibilidade calculou a
pontuação resumida do CROB como o número de itens com risco de viés
“baixo” ou “incerto” dividido pelo número de itens principais avaliados na
revisão.
Concordância entre diferentes limites para a pontuação resumida do CROB e a
pontuação total do PEDro
Para examinar a concordância entre diferentes limiares para risco “aceitável”
de viés na ferramenta CROB e na escala PEDro, uma matriz estatística Kappa
foi calculada para determinar o nível de concordância para incrementos de 10%
na pontuação resumida CROB e incrementos de 1 ponto para o pontuação total
do PEDro. Nesta análise, o escore sumário CROB foi calculado após
dicotomizar as categorias CROB para itens individuais em “1” para “baixo” e “0”
para “alto” e “não claro” (conforme as principais análises de concordância entre
PEDro e CROB Itens).
Acordo entre revisões das classificações CROB
Quando os ensaios foram incluídos em mais de uma revisão Cochrane, as
estatísticas Kappa e 95% CI mais a porcentagem de concordância exata foram
calculados para cada item CROB para quantificar a concordância entre
revisões. Os escores brutos (“baixo”, “incerto” e “alto”) foram usados nesta
análise. Coeficientes de correlação intraclasse (tipo 1,1) e IC de 95% foram
usados para quantificar a concordância entre revisões para a pontuação
resumida do CROB.
O software estatístico Stata (versão 12, College Station, Texas) foi utilizado
para realizar as análises. Com exceção da concordância entre revisões para
CROB, todas as análises de Kappa e Coeficiente de Correlação Intraclasse
foram agrupadas por revisão e usaram 5.000 replicações de bootstrap para
calcular os ICs de 95%. Os critérios de Landis e Koch (1977) foram usados
para interpretar todas as estatísticas Kappa (0,81–1,00 = “quase perfeito”,
0,61–0,80 = “substancial”, 0,41–0,60 = “moderado”, 0,21–0,40 = “regular, ”
0,00–0,20 = “leve” e <0,00 = “ruim”) [ 24 ]. Os critérios de Fleiss (1986) foram
usados para interpretar os coeficientes de correlação intraclasse (>0,75 =
“excelente”, 0,40–0,75 = “regular a bom” e <0,40 = “ruim”) [ 25 ].

Resultados
Testes incluídos
O fluxo de revisões e ensaios nesta análise é ilustrado emFigura 1. A busca na
literatura identificou 194 revisões sistemáticas Cochrane que pareciam estar
relacionadas a intervenções de fisioterapia. Destes, 86 revisões foram
excluídas, principalmente porque não avaliaram uma intervenção
fisioterapêutica, não usaram a versão 2008 da ferramenta CROB ou estavam
duplicadas (Figura 1). As 108 revisões Cochrane elegíveis tiveram uma
mediana de 12 estudos incluídos cada (intervalo interquartil 7; 22) (ver Arquivo
S1para lista de revisões incluídas). A área de prática para as revisões
Cochrane elegíveis foi musculoesquelética (27 revisões), cardiorrespiratória
(20), continência e saúde da mulher (14), neurologia (8), ortopedia (8), esportes
(8), oncologia (7), endócrino e estilo de vida (6), gerontologia (5), ergonomia e
saúde ocupacional (2), pediatria (2) e saúde mental (1). As intervenções
avaliadas foram exercício (62 avaliações), eletroterapia (11), comportamental
(7), terapia manual (6), educação (5), fisioterapia respiratória (4), acupuntura
(2), ergonomia (2), talas (2 ), e uma combinação das diferentes opções de
tratamento (7). Havia 2.765 referências desses estudos incluídos. Destes, 1520
foram incluídos nesta análise. Havia 1.442 avaliações de ensaios únicas que
foram usadas na ferramenta CROB vs. análises de escala PEDro (consulte o
Arquivo S1para lista de ensaios incluídos). Havia 78 avaliações de ensaios
duplicadas, das quais as avaliações do segundo ensaio (n = 74) foram usadas
para examinar a concordância entre revisões para a ferramenta CROB e as
avaliações do terceiro ensaio (n = 4) foram excluídas do conjunto de dados.
Figura 1 : Diagrama de
fluxo para resumir o
processo de seleção de
revisões sistemáticas e
ensaios.
O número de ensaios classificados como “baixo”, “não claro” e “alto” para os
itens CROB estão listados emtabela 1. As classificações CROB transformadas
estão emmesa 2. Para a análise principal, os itens CROB com maior
prevalência de ter risco “baixo” de viés foram outra fonte de
viés (56%), ocultação da avaliação de desfechos para desfechos
objetivos (53%), dados de desfechos incompletos (52%), e geração de
sequência aleatória (51%). A pontuação média (SD) do resumo CROB foi de
40,0% (24,4) para a análise principal (ou seja, número de itens com risco
"baixo" de viés dividido pelo número de itens principais avaliados) e 74,4%
(19,5) para a sensibilidade análise (ou seja, número de itens com risco de viés
“baixo” ou “incerto” dividido pelo número de itens principais avaliados).
tabela 1
Número e porcentagem de estudos classificados como risco de viés “baixo”,
“não claro” e “alto” usando a ferramenta de risco de viés da Cochrane.
Risco de item de ferramenta Baixo risco Risco pouco Alto risco
de viés da Cochrane de viés claro de viés de viés

n % n % n %

Geração de sequência
738 51% 603 42% 100 7%
aleatória (n = 1.441)

Ocultação de alocação (n =
517 36% 799 56% 122 8%
1.438)

Ocultação de participantes e
82 14% 81 13% 438 73%
pessoal (n = 601)

Ocultação dos participantes (n

75 14% 78 14% 385 72%
= 538)

Cegueira de pessoal (n = 415) 51 12% 52 13% 312 75%

Ocultação da avaliação de
318 29% 375 35% 388 36%
resultados (n = 1.081)

Ocultação da avaliação de
resultados para resultados 20 24% 8 10% 54 66%
subjetivos (n = 82)

Ocultação da avaliação de
resultados para resultados 57 53% 33 31% 18 17%
objetivos (n = 108)

Ocultação de participantes e
pessoal e avaliação de 72 33% 94 43% 52 24%
resultados (n = 218)
Risco de item de ferramenta Baixo risco Risco pouco Alto risco
de viés da Cochrane de viés claro de viés de viés

n % n % n %

Dados de resultados
743 52% 339 24% 350 24%
incompletos (n = 1.432)

Relatórios seletivos (n = 1.314) 628 48% 517 39% 169 13%

Outras fontes de viés (n = 872) 490 56% 273 31% 109 13%

mesa 2
Classificações da ferramenta de risco de viés da Cochrane transformada,
número e porcentagem de ensaios codificados como “1” para as análises
de sensibilidade principal e duas.
Os dados para as principais aná lises estã o sombreados em cinza.
Risco de item de ferramenta de viés Análise Análise de Análise de
da Cochrane principal a sensibilidade 1 b sensibilidade 2c

n % n % n %

Geração de sequência aleatória (n =

738 51% 1.341 93% 738 88%
1.441)

Ocultação de alocação (n = 1.438) 517 36% 1.316 92% 517 81%

Ocultação de participantes e
82 14% 163 27% 82 16%
funcionários combinados (n = 601)

Ocultação apenas dos participantes

75 14% 153 28% 75 16%
(n = 538)

Cegueira apenas de pessoal (n = 415) 51 12% 103 25% 51 14%

Ocultamento apenas da avaliação de

318 29% 693 64% 318 45%
resultados (n = 1.081)

Ocultação da avaliação de resultados

20 24% 28 34% 20 27%
para resultados subjetivos (n = 82)

Ocultação da avaliação de resultados

57 53% 90 83% 57 76%
para resultados objetivos (n = 108)

Ocultamento de participantes e
pessoal e avaliação de resultados 72 33% 166 76% 72 58%
combinados (n = 218)
Risco de item de ferramenta de viés Análise Análise de Análise de
da Cochrane principal a sensibilidade 1 b sensibilidade 2c

n % n % n %

Dados de resultados incompletos (n

743 52% 1.082 76% 743 68%
= 1.432)

Relatórios seletivos (n = 1.314) 628 48% 1.145 87% 628 79%

Outras fontes de viés (n = 872) 490 56% 763 88% 490 82%

um “1” para “baixo”, “0” para “incerto” ou “alto”

b “1” para “baixo” ou “incerto”, “0” para “alto”
c “1” para “baixo”, “0” para “alto” e “incerto” omitidos.

O número de tentativas pontuadas como “sim” para cada item da escala PEDro
está listado emTabela 3. Os itens da escala PEDro com maior prevalência de
serem alcançados foram alocação aleatória (97%), comparações estatísticas
entre grupos (95%), medidas pontuais e variabilidade (91%), critérios de
inclusão e fonte (81%) e comparabilidade da linha de base (80%). A pontuação
total média (DP) do PEDro foi de 5,3 (1,6) em 10.

Tabela 3
Número e porcentagem de ensaios que atingiram cada item da escala
Physiotherapy Evidence Database (n = 1442).
Item da escala do Banco de Dados de Evidências de Ensaios pontuados como
Fisioterapia "sim"

n %

Critérios de inclusão e fonte 1.170 81%

Alocação aleatória 1.399 97%

Alocação oculta 473 33%

Comparabilidade da linha de base 1.153 80%

Cegueira do assunto 70 5%

Cegueira do terapeuta 26 2%

Cegueira do avaliador 529 37%

Integridade do acompanhamento 877 61%

Análise de intenção de tratar 465 32%

Comparações estatísticas entre grupos 1.372 95%

Item da escala do Banco de Dados de Evidências de Ensaios pontuados como
Fisioterapia "sim"

n %

Medidas pontuais e variabilidade 1.311 91%

Concordância entre a ferramenta CROB e os itens da escala PEDro

Para as principais análises (ou seja, dicotomizando as classificações do CROB
em “1” para “baixo” e “0” para “incerto” ou “alto”), o nível de concordância entre
os itens PEDro e CROB que avaliam construtos semelhantes variou de “ leve”
a “moderado” (verTabela 4). Três itens foram classificados como
“moderados:” alocação oculta do PEDro vs. ocultação da alocação CROB ,
ocultação do avaliador PEDro versus ocultação da avaliação do resultado
CROB e ocultação do sujeito PEDro versus ocultação dos participantes
por CROB (Kappa = 0,479–0,582). O item com o menor valor de Kappa
foi alocação aleatória PEDro vs. geração de sequência aleatória CROB (Kappa
= 0,054). Os valores Kappa para o cegamento do terapeuta PEDro versus o
cegamento CROB do pessoal e o cegamento do sujeito PEDro versus o
cegamento CROB dos participantesprecisam ser interpretados com cautela
devido à baixa taxa básica do terapeuta (ou seja, 2%, verTabela 3) e sujeito (ou
seja, 5%, consulteTabela 3) cegante.
Tabela 4
Número de relatórios, porcentagem de concordância exata, Kappa e intervalo
de confiança de 95% Kappa para o nível de concordância entre os itens
individuais da escala Physiotherapy Evidence Database e a ferramenta
Cochrane de risco de viés para a análise principal e duas análises de
sensibilidade.
Os dados para as principais análises estão sombreados em cinza.

Análise de Análise de
Itens Análise principal a
sensibilidade 1 b sensibilidade 2c

Acor Kap 95% Acor Kap 95% Acor Kap 95%

n n n
do pa CI do pa CI do pa CI

Alocação
aleatória PEDr 0,0 0,3 0,3
o vs. geração 14 53,8 0,05 31, 14 94,9 0,46 29, 83 91,9 0,47 29,
de sequência 41 % 4 0,0 41 % 7 0,5 8 % 3 0,6
aleatória CRO 82 95 10
B

Alocação 14 81,2 0,58 0,4 14 39,9 0,06 0,0 63 73,7 0,42 0,3
oculta PEDro 95, 42, 00,
 Análise de Análise de
Itens Análise principal a
sensibilidade 1 b sensibilidade 2c

Acor Kap 95% Acor Kap 95% Acor Kap 95%

n n n
do pa CI do pa CI do pa CI

vs. ocultação
0,6 0,0 0,5
de alocação C 38 % 2 38 % 7 9 % 1
56 95 31
ROB

Cegueira do
0,2 0,0 0,2
sujeito PEDro 
53 90,7 0,47 50, 53 76,2 0,22 85, 46 89,1 0,47 48,
vs. Cegueira
8 % 9 0,6 8 % 7 0,4 0 % 1 0,6
CROB dos
87 24 80
participantes

Cegueira do
0,0 0,0 0,0
terapeuta PED
41 89,2 0,25 25, 41 76,6 0,11 00, 36 87,6 0,24 23,
ro vs. Cegueira
5 % 1 0,5 5 % 0 0,3 3 % 5 0,5
CROB do
37 62 54
pessoal

Ocultamento
do
avaliador PEDr 0,4 0,0 0,3
o vs. 10 78,8 0,51 27, 10 53,4 0,13 47, 70 74,6 0,49 86,
Ocultamento 81 % 9 0,6 81 % 8 0,2 6 % 0 0,5
do CROB da 03 42 93
avaliação do
resultado

PEDro comple
tude do
0,1 0,1 0,2
acompanham
14 63,0 0,25 91, 14 66,1 0,23 71, 10 69,1 0,32 54,
ento vs.
32 % 4 0,3 32 % 8 0,3 93 % 2 0,3
CROB dados
08 03 83
de resultados
incompletos

um
 “1” para “baixo”, “0” para “incerto” ou “alto”
b
 “1” para “baixo” ou “incerto”, “0” para “alto”
c
 “1” para “baixo”, “0” para “alto” e “incerto” omitidos.
As análises de sensibilidade revelaram que a interpretação da categoria CROB
“não clara” teve grande impacto nos valores de concordância. Com as
exceções da alocação aleatória PEDro vs. geração de sequência
aleatória CROB e integridade PEDro do acompanhamento vs. dados de
resultados incompletos CROB , os valores de Kappa foram menores nas
análises de sensibilidade (Tabela 4). A concordância para alocação aleatória
PEDro vs. geração de sequência aleatória CROB mudou de “leve” na análise
principal para “moderada” em ambas as análises de sensibilidade. A
concordância para a completude do acompanhamento PEDro vs. dados de
resultados incompletos do CROB foi maior quando os ensaios com
classificações CROB “não claras” foram omitidos da análise (ou seja, análise
de sensibilidade 2).
As análises explorando o impacto de diferentes agrupamentos de variantes dos
itens CROB cegantes na concordância entre a escala PEDro e a ferramenta
CROB estão emTabela 5. A concordância foi maior quando o cegamento foi
relatado separadamente para os participantes (acordo “moderado”) e pessoal
(acordo “justo”). Por exemplo, cegamento do sujeito PEDro vs. cegamento
CROB dos participantes teve um valor Kappa de 0,479 (concordância
"moderada"), em comparação com 0,328 para cegamento do sujeito PEDro
versus ocultação CROB dos participantes + ocultação CROB dos participantes
e equipe combinada + ocultação CROB dos participantes e pessoal e avaliação
de resultados combinados (acordo "justo"). Em contraste, o colapso de
diferentes métodos de relatar o cegamento da avaliação de resultados foi
consistente com as principais análises (todas classificadas como concordância
“moderada”), com exceção do CROBocultação da avaliação de resultados para
resultados subjetivos (concordância "leve") e ocultação CROB da avaliação de
resultados para resultados objetivos (concordância "substancial").
Tabela 5
Número de ensaios, porcentagem de concordância exata, Kappa e Kappa 95%
CI para o nível de concordância entre cegamento de sujeitos da escala de
banco de dados de evidências de fisioterapia, cegamento do terapeuta e
cegamento do avaliador e diferentes agrupamentos das variantes da
ferramenta Cochrane de risco de viés cegamento dos participantes, itens de
avaliação de pessoal e de resultados.
Observe que as linhas sombreadas em cinza são repetidas da análise principal
emTabela 4.

Kapp
Itens n Acordo 95% CI
a

(a) Cego do sujeito PEDro vs. agrupamentos de

variantes do cegamento CROB dos participantes

cegueira dos participantes 538 90,7% 0,479 0,250,

 Kapp
Itens n Acordo 95% CI
a

0,687

cegamento de participantes + ocultação de participantes

0,202,
e equipe combinada + ocultação de participantes, equipe 1356 86,4% 0,328
0,458
e avaliação de resultados combinada

0,066,
cegueira de participantes e funcionários combinados 601 88,0% 0,254
0,522

cegamento de participantes, pessoal e avaliação de -0,007,

218 71,1% 0,204
resultados combinados 0,331

(b) Cego do terapeuta PEDro vs. agrupamentos de

variantes do CROB cegamento do pessoal

0,025,
cegueira de pessoal 415 89,2% 0,251
0,537

cegamento de pessoal + cegamento de participantes e

0,041,
equipe combinada + cegamento de participantes, equipe 1233 84,6% 0,143
0,271
e avaliação de resultados combinada

0,000,
cegueira de participantes e funcionários combinados 601 86,7% 0,058
0,183

cegamento de participantes, pessoal e avaliação de -0,022,

218 70,2% 0,134
resultados combinados 0,320

(c) cegamento do avaliador PEDro vs. agrupamentos de

variantes do cegamento CROB da avaliação do
resultado

0,427,
ocultação da avaliação do resultado 1081 78,8% 0,519
0,603

ocultação da avaliação de resultados + ocultação do

0,449,
participante, pessoal e avaliação de resultados 1298 79,0% 0,527
0,603
combinada

cegamento do participante, pessoal e avaliação de 0,411,

218 80,3% 0,565
resultados combinados 0,679

ocultação da avaliação de resultados + ocultação da 1380 77,7% 0,500 0,411,

avaliação de resultados para resultados subjetivos +
 Kapp
Itens n Acordo 95% CI
a

ocultação de participantes, pessoal e avaliação de

0,582
resultados combinada

ocultação da avaliação de resultados para resultados -0,017,

82 56,1% 0,154
subjetivos 0,563

ocultação da avaliação de resultados + ocultação da

avaliação de resultados para resultados objetivos + 0,467,
1406 79,3% 0,542
ocultação do participante, pessoal e avaliação de 0,612
resultados combinada

ocultação da avaliação de resultados para resultados 0,072,

108 82,4% 0,648
objetivos 0,777

Concordância entre a pontuação resumida do CROB e a pontuação total do

PEDro
A concordância entre o escore sumário do CROB e o escore total do PEDro foi
“ruim” para a análise principal (CROB “não claro” colapsado com “alto”), com
coeficiente de correlação intraclasse de 0,285 (IC 95% -0,093 a 0,831). Os
resultados da análise de sensibilidade (CROB “incerto” colapsado com “baixo”)
também foram classificados como concordância “ruim” (Coeficiente de
Correlação Intraclasse = -0,150, IC 95% -0,064 a 0,771).
Concordância entre diferentes limites para a pontuação resumida do CROB e a
pontuação total do PEDro
A matriz de concordância entre diferentes limiares para risco de viés “aceitável”
para a pontuação resumida CROB e a pontuação total do PEDro está
emTabela 6. Na melhor das hipóteses, os escores Kappa podem ser
categorizados como “justos” para os limites totais de pontuação PEDro de ≥5 a
≥8 e os limites CROB de ≥20% a ≥80%. O valor Kappa mais alto (0,318, IC
95% 0,250 a 0,388) ocorreu para o limite total de pontuação PEDro de ≥6 e o
limite de pontuação de resumo CROB de ≥50%.

Tabela 6
Matriz de número de ensaios que atingiram a pontuação resumida do risco de
viés Cochrane e os limites de pontuação da escala total do banco de dados de
evidências de fisioterapia para risco de viés “aceitável” (n), porcentagem de
concordância exata, Kappa (K) e intervalo de confiança de 95% Kappa para o
nível de concordância entre diferentes limiares para risco “aceitável” de viés
para a pontuação resumida do risco de viés Cochrane e a pontuação total da
escala do Physiotherapy Evidence Database (N = 1.442).
As células estão sombreadas para indicar o grau de concordância: sem
sombreamento = “ruim” ou não calculável, cinza = “leve”, cinza escuro =
“moderado” [nota: nenhuma comparação teve “regular”, “substancial” ou “quase
perfeito” acordo].

Pontuação resumida da ferramenta de risco de viés Cochrane (de 100%)

≥10 ≥20 ≥30 ≥40 ≥50 ≥60 ≥70 ≥80 ≥90 ≥100
% % % % % % % % % %

Pontuação n= n= n= n= n= n= n= n= n= n=
total da 1310 1092 854 760 534 302 211 106 28 28
escala do ≥1 [90,8 [75,7 [59,2 [52,7 [37,0 [20,9 [14,6 [7,4 [1,9 [1,9
Banco de %] %] %] %] %] %] %] %] %] %]
Dados de ( * ) ( * ) ( * ) ( * ) ( * ) ( * ) ( * ) ( * ) ( * ) ( * )
Evidências
de n= n= n= n= n= n= n= n= n= n=
Fisioterapi 1303 1086 850 756 532 301 211 106 28 28
a ( de 10) [90,6 [75,7 [59,4 [52,9 [37,5 [21,6 [15,4 [8,1 [2,7 [2,7
%] %] %] %] %] %] %] %] %] %]
(K = (K = (K = (K = (K = (K = (K = (K = (K = (K =
≥2 0,04 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
2; 3; - 9; - 5; - 5; - 2; - 3; 1: 0; 0;
0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
0, 5, 1, 3, 2, 1, 1, 1, 0, 0,
0,09 0,03 0,01 0,01 0,01 0,00 0,00 0,00 0,00 0,00
0) 2) 9) 3) 1) 6) 4) 2) 1) 1)

n= n= n= n= n= n= n= n= n= n=
1274 1064 833 742 524 297 210 106 28 28
[89,0 [75,0 [59,5 [53,4 [38,8 [23,4 [17,7 [10,5 [5,1 [5,1
%] %] %] %] %] %] %] %] %] %]
(K = (K = (K = (K = (K = (K = (K = (K = (K = (K =
≥3 0,06 0,03 0,02 0,01 0,01 0,00 0,01 0,00 0,00 0,00
8; 7; 1; 8; - 6; 8; 0; 5; 1; 1;
0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
9, 8, 0, 2, 4, 1, 5, 3, 1, 1,
0,13 0,06 0,04 0,04 0,02 0,01 0,01 0,00 0,00 0,00
1) 9) 7) 0) 9) 6) 5) 8) 2) 2)

≥4 n = n= n= n= n= n= n= n= n= n=
1191 1014 800 718 510 292 208 105 28 28
[85,4 [75,9 [62,8 [57,9 [44,7 [30,6 [25,2 [18,2 [13,0 [13,0
%] %] %] %] %] %] %] %] %] %]
(K = (K = (K = (K = (K = (K = (K = (K = (K = (K =
0,19 0,19 0,13 0,12 0,08 0,04 0,03 0,01 0,00 0,00
4; 6; 0; 1; 0; 4; 6; 8; 5; 5;
0,11 0,14 0,09 0,08 0,05 0,02 0,02 0,01 0,00 0,00
 Pontuação resumida da ferramenta de risco de viés Cochrane (de 100%)

≥10 ≥20 ≥30 ≥40 ≥50 ≥60 ≥70 ≥80 ≥90 ≥100
% % % % % % % % % %

6, 0, 1, 5, 6, 9, 6, 1, 3, 3,
0,26 0,25 0,17 0,15 0,10 0,06 0,04 0,02 0,00 0,00
7) 5) 3) 7) 9) 2) 9) 6) 8) 8)

n= n= n= n= n= n= n= n= n= n=
955 840 687 629 458 267 192 97 28 28
[72,2 [71,4 [66,6 [65,1 [57,1 [46,7 [42,6 [36,7 [32,5 [32,5
%] %] %] %] %] %] %] %] %] %]
(K = (K = (K = (K = (K = (K = (K = (K = (K = (K =
≥5 0,18 0,28 0,28 0,28 0,22 0,13 0,09 0,04 0,01 0,01
5; 4; 1; 7; 0; 0; 9; 9; 7; 7;
0,10 0,21 0,22 0,23 0,17 0,09 0,07 0,03 0,01 0,01
9, 8, 6, 5, 1, 4, 0, 0, 0, 0,
0,26 0,34 0,33 0,33 0,27 0,17 0,13 0,07 0,02 0,02
3) 6) 5) 8) 2) 2) 2) 2) 7) 7)

n= n= n= n= n= n= n= n= n= n=
622 579 492 456 345 218 165 85 28 28
[51,6 [60,7 [65,2 [66,7 [67,0 [65,5 [64,4 [60,6 [58,1 [58,1
%] %] %] %] %] %] %] %] %] %]
(K = (K = (K = (K = (K = (K = (K = (K = (K = (K =
≥6 0,12 0,26 0,31 0,33 0,31 0,25 0,22 0,11 0,05 0,05
1; 2; 9; 9; 8; 6; 0; 9; 0; 0;
0,07 0,19 0,25 0,27 0,25 0,18 0,16 0,07 0,02 0,02
4, 9, 6, 7, 0, 9, 0, 6, 7, 8,
0,17 0,32 0,38 0,39 0,38 0,33 0,28 0,17 0,07 0,07
6) 9) 3) 8) 8) 2) 7) 4) 9) 9)

n= n= n= n= n= n= n= n= n= n=
343 326 296 280 224 145 117 57 19 19
[32,9 [45,7 [58,0 [62,3 [70,2 [75,4 [77,8 [76,8 [76,9 [76,9
%] %] %] %] %] %] %] %] %] %]
(K = (K = (K = (K = (K = (K = (K = (K = (K = (K =
≥7 0,06 0,14 0,23 0,26 0,31 0,29 0,29 0,16 0,06 0,06
1; 5; 5; 8; 1; 2; 5; 0; 9; 9;
0,03 0,10 0,18 0,20 0,24 0,21 0,21 0,09 0,03 0,03
8, 5, 3, 9, 5, 3, 6, 5, 0, 0,
0,08 0,18 0,29 0,32 0,37 0,37 0,37 0,23 0,12 0,12
9) 7) 0) 1) 8) 7) 7) 8) 1) 1)

≥8 n = n= n= n= n= n= n= n= n= n=
135 131 127 124 110 72 58 32 11 11
[18,5 [33,1 [49,0 [55,1 [68,9 [79,7 [84,0 [87,7 [90,2 [90,2
 Pontuação resumida da ferramenta de risco de viés Cochrane (de 100%)

≥10 ≥20 ≥30 ≥40 ≥50 ≥60 ≥70 ≥80 ≥90 ≥100
% % % % % % % % % %

%] %] %] %] %] %] %] %] %] %]
(K = (K = (K = (K = (K = (K = (K = (K = (K = (K =
0,02 0,05 0,11 0,14 0,21 0,23 0,25 0,20 0,10 0,10
1; 6; 3; 0; 1; 0; 0; 0; 6; 6;
0,01 0,04 0,08 0,10 0,15 0,16 0,17 0,12 0,03 0,03
3, 0, 3, 3, 6, 4, 4, 4, 7, 8,
0,03 0,07 0,14 0,18 0,27 0,29 0,32 0,27 0,18 0,18
0) 6) 9) 2) 1) 9) 3) 5) 3) 6)

n= n= n= n= n=
n=6 n=6 n=4 n=1 n=1
11 11 11 10 10
[79,1 [85,4 [92,4 [97,4 [97,4
[9,9 [25,0 [41,5 [47,9 [63,6
%] %] %] %] %]
%] %] %] %] %]
(K = (K = (K = (K = (K =
(K = (K = (K = (K = (K =
0,02 0,04 0,05 0,04 0,04
≥9 0,00 0,00 0,01 0,01 0,02
4; 0; 5; 1; - 1; -
2; 5; 1; 1; 2;
0,00 0,00 0,00 0,01 0,01
0,00 0,00 0,00 0,00 0,01
1, 8, 3, 4, 4,
1, 2, 5, 5, 0,
0,05 0,07 0,11 0,15 0,16
0,00 0,00 0,01 0,01 0,03
1) 7) 7) 7) 0)
3) 9) 8) 9) 8)

n=1 n=1 n=1 n=1 n=1 n=0 n=0 n=0 n=0 n=0
[9,2 [24,3 [40,8 [47,4 [63,0 [79,0 [85,3 [92,6 [98,0 [9,2
%] %] %] %] %] %] %] %] %] %]
(K = (K = (K = (K = (K = (K = - (K = - (K = - (K = - (K =
≥1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
0 0; 0; 1; 1; 2; 1; - 1; - 1; - 1; - 0;
0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
0, 0, 0, 0, 0, 4, 4, 4, 4, 0,
0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
0) 2) 3) 4) 8) 0) 0) 0) 0) 0)

* Os valores de Kappa não foram calculáveis.

Acordo entre revisões das classificações CROB

O acordo entre revisões (confiabilidade entre avaliadores) para itens CROB

individuais são relatados emTabela 7(observe que os valores de concordância
não foram calculáveis para cinco itens porque havia muito poucos pares de
tentativas que tinham classificações para esses itens). Um item foi classificado
como “quase perfeito” ( ocultação de alocação , Kappa = 0,818), um como
“substancial” ( geração de sequência aleatória , Kappa = 0,686), dois como
“moderado” ( ocultação da avaliação do resultado , Kappa = 0,533; relato
seletivo , Kappa = 0,450), dois como "regular" ( dados de resultados
incompletos , Kappa = 0,365; outras fontes de viés , Kappa = 0,314) e um como
"ruim" ( ocultação de participantes e funcionários, Capa = -0,037). A
concordância para a pontuação resumida do CROB foi “razoável a boa”, com
um coeficiente de correlação intraclasse de 0,711 (IC 95% 0,578 a 0,808).

Tabela 7
Número de relatórios, porcentagem de concordância exata, Kappa e intervalo de
confiança de 95% Kappa para o nível de concordância entre revisões para as
classificações de risco de viés Cochrane (n = 74).

Kapp
Risco de item de ferramenta de viés da Cochrane N Acordo 95% CI
a

0,681,
Ocultação de alocação 73 90,4% 0,818
0,944

0,517,
Geração de sequência aleatória 74 85,1% 0,686
0,787

0,342,
Ocultação da avaliação de resultados 57 70,2% 0,533
0,702

0,275,
Relatórios seletivos 69 66,7% 0,450
0,617

0,201,
Dados de resultado incompletos 73 61,6% 0,365
0,530

0,059,
Outras fontes de preconceito 36 66,7% 0,314
0,558

-0,091,
Cegueira de participantes e pessoal 28 89,3% -0,037
0,000

Ocultação dos participantes 14 92,9% uma uma

Cegueira de pessoal 14 100,0% uma uma

Ocultação da avaliação de resultados para resultados

0 uma uma uma

subjetivos

Ocultação da avaliação de resultados para resultados

0 uma uma uma

objetivos
 Kapp
Risco de item de ferramenta de viés da Cochrane N Acordo 95% CI
a

Ocultação de participantes e pessoal e avaliação de

0 uma uma uma

resultados

 nã o calculá vel.

um

Discussão
Houve concordância “moderada” entre a escala PEDro e a ferramenta CROB
para três dos seis
itens que avaliam construtos semelhantes : alocação oculta do PEDro vs. CRO
B cegamento dos participantes(Kappa = 0,479-0,582). A concordância foi “leve”
a “regular” para os outros três itens e “ruim” para a pontuação resumida do
CROB versus a pontuação total do PEDro. A concordância tendeu a ser maior
quando a categoria CROB “não clara” foi colapsada com “alta” e quando o
cegamento dos participantes, pessoal e avaliação de resultados foram
avaliados separadamente dentro da ferramenta CROB. Não foi possível tirar
uma conclusão forte sobre o nível de concordância entre diferentes limites para
risco “aceitável” de viés entre as pontuações resumidas dos dois instrumentos.

Os principais pontos fortes deste estudo meta-epidemiológico foram os

métodos rigorosos usados para extração de dados, grande tamanho da
amostra e análise abrangente de validade convergente que incluiu todos os
itens centrais da ferramenta CROB e da escala PEDro. Nossa amostra (1.442
ensaios de 108 revisões) representa um aumento de três vezes em relação aos
estudos anteriores [ 18]. Isso nos permitiu avaliar a concordância entre os
instrumentos e realizar uma série de análises de sensibilidade para explorar o
impacto da categoria CROB “incerto” e como o cegamento é quantificado na
ferramenta CROB. O cálculo de pontuações resumidas para instrumentos
usados para avaliar o risco de viés de estudos é controverso. Os críticos das
pontuações resumidas argumentam que a soma é inválida porque a maioria
dos instrumentos é composta por itens heterogêneos que avaliam tanto a
qualidade do relatório quanto a condução dos estudos [ 3 , 7 , 8 , 26 – 28 ]. Os
proponentes argumentam que a soma é justificada se um instrumento tiver
evidências empíricas indicando uma estrutura unidimensional [ 10 , 16 ]] e que
as pontuações resumidas facilitam a análise (por exemplo, sendo usada como
variável independente na meta-regressão). Talvez haja espaço para um meio-
termo, com relatórios de itens individuais e pontuações resumidas para
avaliação de risco de viés em revisões sistemáticas e na avaliação das
propriedades de medição de instrumentos de risco de viés. O cálculo de uma
pontuação resumida nos permitiu realizar uma comparação mais rigorosa da
escala PEDro e da ferramenta CROB, incluindo a análise sistemática de
diferentes limiares para risco de viés “aceitável”.

A baixa concordância entre alguns itens do instrumento CROB e a escala

PEDro pode ser devido às características dos instrumentos e avaliadores. A
operacionalização de alguns dos itens que avaliam construtos semelhantes
diferem entre os instrumentos. Isso é particularmente evidente no item com a
menor concordância, alocação aleatória PEDro vs. geração de sequência
aleatória CROB (Kappa = 0,054). Neste caso, o item CROB é mais rigoroso
que o item PEDro, exigindo que o método preciso de geração de sequência
seja especificado. Em contraste, a concordância foi “moderada” para itens que
tinham definições semelhantes (por exemplo, alocação oculta PEDro vs.
ocultação de alocação CROB, Capa = 0,582). Diferentes pares de avaliadores
geraram as classificações CROB porque foram extraídas de revisões Cochrane
avaliando intervenções de fisioterapia. Embora não tenhamos calculado o
Kappa usando uma abordagem que acomoda vários avaliadores, nossas
estimativas de concordância provavelmente serão razoáveis [ 29 ]. O
treinamento online para a versão 2008 da ferramenta CROB é limitado e a
terminologia usada na ferramenta pode ser difícil para revisores que não
possuem treinamento em epidemiologia clínica; isso pode levar ao aumento do
uso do risco “incerto” de classificação de viés [ 30 – 32 ]. Embora a
interpretação de “incerto” não seja bem explicada no manual Cochrane [ 3],
observamos que a categoria “não clara” teve um grande impacto no risco de
pontuação de viés. Por exemplo, a pontuação do resumo CROB foi de 40,0%
quando o número de itens com risco de viés “baixo” foi dividido pelo número de
itens centrais avaliados e 74,4% quando o número de itens com risco de viés
“baixo” ou “não claro” foi dividido pelo número de itens centrais avaliados. A
inclusão de dois itens que avaliam a completude do relato estatístico no escore
total do PEDro pode ter contribuído para a baixa concordância entre o escore
resumido do CROB e o escore total do PEDro. No entanto, como quase todos
os ensaios alcançaram as comparações estatísticas PEDro entre os
grupos (95%) e medidas pontuais e itens de variabilidade (91%), o impacto
provavelmente será pequeno.

O foco deste estudo meta-epidemiológico foi em ensaios avaliando

intervenções de fisioterapia. Esses ensaios diferem dos ensaios farmacológicos
na estrutura metodológica, particularmente para cegar os participantes (ou
sujeitos) e pessoal (ou terapeutas) [ 6 , 12 ]. O cegamento de participantes e
funcionários não foi possível para a maioria dos estudos incluídos (5% cegaram
o sujeito e 2% cegaram o terapeuta;Tabela 3) devido à natureza complexa das
intervenções avaliadas, mas o cegamento do avaliador foi alcançado em cerca
de um terço dos ensaios (37% tiveram o cegamento do avaliador;Tabela
3). Isso destaca a importância de avaliar o cegamento separadamente para
sujeitos, terapeutas e avaliadores ao avaliar o risco de viés em ensaios de
fisioterapia. Embora tenhamos classificado as intervenções fisioterapêuticas
avaliadas nos estudos incluídos em 10 categorias (exercício, eletroterapia etc.),
não realizamos nenhuma análise de subgrupo nos itens de cegamento. Este
pode ser o foco de pesquisas futuras.

A dificuldade em cegar sujeitos e terapeutas pode tornar a aplicação da

ferramenta CROB mais desafiadora, como evidenciado pelas revisões incluídas
usando sete variações dos itens de cegamento. Embora a variação na
implementação da ferramenta CROB tenha dificultado a avaliação dos itens de
cegamento devido a dados incompletos, a concordância entre os itens de
cegamento CROB e PEDro foi maior quando o cegamento foi relatado
separadamente para os participantes (concordância “moderada”) e pessoal (“
acordo justo”). Variação também ocorreu para outros itens CROB, com nenhum
dos itens principais sendo avaliado para todos os ensaios (tabela 1) e 25
revisões potencialmente elegíveis foram excluídas porque não usaram a versão
2008 da ferramenta CROB (Figura 1). A diferença na estrutura metodológica e
variação na aplicação da ferramenta CROB nas revisões incluídas poderia
contribuir para a menor concordância entre a pontuação resumida do CROB e
a pontuação total do PEDro observada em nossa avaliação das intervenções
fisioterapêuticas (ou seja, “ruim”) em comparação com ensaios farmacológicos
(convergência “forte”) [ 17 ]. A variabilidade observada na implementação da
ferramenta CROB também pode confundir os leitores das revisões Cochrane.

Nossa avaliação da concordância entre revisões para a ferramenta CROB

revelou concordância “quase perfeita” para ocultação de alocação ,
“substancial” para geração de sequência aleatória , “moderada” para
ocultação da avaliação de resultados e relatórios seletivos , “regular”
para dados de resultados incompletos e outros fontes de viés e “razoável a
bom” para a pontuação resumida do CROB. Com exceção de dados de
resultados incompletos e cegamento de participantes e funcionários , esses
níveis de concordância foram iguais ou melhores do que a concordância
observada entre pares de revisores relatados na literatura [ 6 , 7 , .33 ] e o
tamanho da nossa amostra (n = 74) foi maior do que outros estudos [ 6 , 33 ].

Nossas análises têm implicações para a avaliação do risco de viés em revisões

sistemáticas e como um componente da prática baseada em
evidências. Pesquisadores e médicos podem usar a ferramenta CROB ou a
escala PEDro, pois nenhuma delas pode ser considerada o padrão-ouro para
avaliação do risco de viés. No entanto, os instrumentos não podem ser usados
de forma intercambiável devido à baixa validade convergente para os escores
resumidos e alguns itens individuais. Não conseguimos identificar um limite
robusto para risco de viés “aceitável” e, portanto, cautela contra o uso de
limites para risco de viés “aceitável” tanto para a ferramenta CROB quanto para
a escala PEDro. Os pontos de corte ótimos não foram rigorosamente
estabelecidos para nenhum dos instrumentos e podem ser o foco de pesquisas
futuras.

A versão 2008 da ferramenta CROB foi comparada com a escala PEDro neste
estudo. A próxima versão do CROB (chamada ROB 2.0) foi lançada
recentemente [ 34 ], mas ainda não foi usada para avaliar o risco de viés nas
revisões Cochrane. Levará algum tempo para que a ferramenta CROB 2.0 seja
usada em todas as revisões Cochrane e, como a ferramenta ROB 2.0 não será
aplicada retrospectivamente, revisões atualizadas podem relatar risco de viés
usando a versão 2008 da ferramenta CROB. Futuros estudos meta-
epidemiológicos poderiam comparar as duas versões da ferramenta CROB ou
comparar o CROB 2.0 com a escala PEDro para fornecer dados empíricos que
possam ser usados para selecionar o instrumento de risco de viés mais
robusto. Nosso conjunto de dados pode ser usado para facilitar avaliações
futuras ( Arquivo S2 ).
Conclusão
A concordância entre a escala PEDro e o instrumento CROB foi “moderada”
para três dos seis itens que avaliam construtos semelhantes. A interpretação
da categoria CROB “unclear” e as variantes dos itens CROB cegantes
influenciaram substancialmente a concordância. Advertimos contra o uso de
limites para risco “aceitável” de viés tanto para a ferramenta CROB quanto para
a escala PEDro. Qualquer um dos instrumentos pode ser usado para
quantificar o risco de viés, mas não pode ser usado de forma intercambiável.