REVISÃO SISTEMÁTICA DE PROPRIEDADES MÉTRICAS DE INSTRUMENTOS

1) CONDUZINDO A REVISÃO SISTEMÁTICA

Utilizar o guia do COSMIN (Prinsen et al., 2018) para conduzir RS de ClinROMS (instrumentos
de medição de resultados reportados pelo clínico)

a) Busca na literatura
1) Formular o objetivo da revisão
Na questão de pesquisa e nos critérios de elegibilidade, 4 elementos-chave devem ser
utilizados:
✓ Constructo;
✓ População;
✓ Tipo de instrumento;
✓ Propriedades de medida de interesse.
2) Formular os critérios de elegibilidade
3) Realizar busca na literatura
4) Selecionar resumos e textos na íntegra

b) Extração de dados

5) Recomenda-se extrair informações sobre:

- Os elementos da questão de pesquisa e elementos chave da RS

- Características dos instrumentos incluídos;

- Características dos estudos (pacientes e profissionais);
- Resultados do estudo (ICCs, kappa, 95%IC...) e informações sobre a análise (estatística): modelo
ou fórmula usada, resultado e, se aplicável, IC95% e componentes de variância;
- Interpretação → o grau no qual pode-se atribuir significado qualitativo a escores quantitativos
- Viabilidade → facilidade de aplicação de um instrumento no seu contexto de uso, dadas as
restrições de tempo e dinheiro (tempo, custo, duração, facilidade de administração...)
Obs: viabilidade e interpretação não são propriedades de medida. Contudo, são importantes aspectos
para seleção de um instrumento de medida.
 c) AVALIAÇÃO DAS PROPRIEDADES DE MEDIDA: avalia a qualidade do instrumento.
6) Avaliar a validade de conteúdo
7) Avaliar a estrutura interna
(validade estrutural,
consistência interna, validade
transcultural)
8) Avaliar reprodutibilidade e
erro de medida
a. Extrair COMO o resultado do
estudo informa a qualidade do
instrumento
9) Avaliar outras propriedades de
medida (validade de critério,
hipótese testada para a validade
de constructo, responsividade)
1) Avaliar a qualidade metodológica dos estudos incluídos
usando o COSMIN risk of bias checklist. Essa etapa classifica
a qualidade dos estudos em muito boa, adequada, duvidosa
e inadequada. Scoring-form-COSMIN-boxes_april_final.xlsx;
• Recomenda-se o método de contagem do pior escore para
classificar os estudos;
• Avaliação por 2 revisores de forma independente.
2) Aplicar critérios de boas propriedades de medida para
avaliar cada estudo. Essa etapa classifica as propriedades de
medida por instrumento e por estudo em suficiente,
insuficiente ou indeterminado.
• Cada resultado de cada estudo individual de
reprodutibilidade ou erro de medida é comparado com os
critérios de boas propriedades de medidas
SDC: Smallest Detectable Change
LoA: Limits of Agreement
MIC: Minimal Important Change (Prinsen et al., 2018) ***
MCID: Minimal Clinically Important Difference (Van Kampen
et al., 2013)
• Para classificar os resultados resumidos qualitativamente
como suficiente, 75% dos resultados devem atender aos
critérios.
• O ponto de corte do critério de boa qualidade pode variar.
3) Sumarizar a evidência e graduar a qualidade da evidência
usando a abordagem GRADE.
• A qualidade da evidência indica o quanto os resultados
sumarizados podem ser confiáveis.
• GRADE modificada: qualidade da evidência alta, moderada,
baixa ou muito baixa.
O foco é na qualidade do instrumento ou da medida como um
todo, que será classificado como suficiente, insuficiente,
 inconsistente ou indeterminado com qualidade da evidência alta,
moderada, baixa ou muito baixa.
• Os resultados podem ser agrupados quantitativamente ou
resumidos qualitativamente. Recomendamos relatar esses
resultados agrupados ou resumidos por propriedade de
medição por PROM nas Tabelas de Resumo de Achados
(Summary of Findings), acompanhados por uma
classificação dos resultados agrupados ou resumidos:
(+) suficiente: acima do ponto de corte de good reliability
(-) insuficiente: abaixo do ponto de corte de good reliability
(±) inconsistente: existem ambas classificações sem o
predomínio de uma
(?) indeterminado: não foi informado valor de ICC.
• E pela classificação da qualidade de evidência (alta,
moderada, baixa, muito baixa). Essas tabelas de resumo de
achados por propriedade de medição serão, em última
instância, usadas no fornecimento de recomendações para a
seleção do instrumento mais adequado para um
determinado propósito ou situação particular.

Somente etapa 7:
4) Concluir com base no protocolo de medida com a melhor
evidência
• Os resultados de estudos de reprodutibilidade informam se
uma fonte de variação afeta de forma importante o escore.
• Se possível, a fonte de variação deve ser padronizada, ou
restrita.
• Assim, pode-se concluir sobre como padronizar as fontes de
variação, e concluir sobre como padronizar e restringir a
medida, e descrever o melhor protocolo de medida na
melhor evidência.

Classificar a qualidade da evidência (usando a GRADE modificada)

• Realizar a classificação da qualidade da evidência por dois revisores de forma independente.

• Deve-se considerar os fatores GRADE um por um, usando a ordem consecutiva conforme
especificado na tabela abaixo.
a. Primeiro, o risco de viés é considerado. Por exemplo, quando três estudos são
encontrados com resultados suficientes (ou seja, ‘+’), mas todos de qualidade duvidosa,
o nível de evidência será rebaixado para risco de viés de alto a moderado (ou seja, -1).
b. Em segundo lugar, um rebaixamento adicional para outros fatores deve ser considerado.
Após o risco de viés, a inconsistência deve ser considerada. Se os resultados dos três
estudos no exemplo acima forem classificados como suficientes, nenhum rebaixamento
por inconsistência é necessário. Caso contrário, o rebaixamento deve ser considerado.
c. A seguir, o tamanho da amostra (imprecisão) deve ser levado em consideração. Por
exemplo, quando o tamanho da amostra dos três estudos juntos é superior a 100, não
haverá mais rebaixamento. Se o tamanho da amostra (total) estiver entre, por exemplo,
50-100, deve-se rebaixar um nível.
d. Por último, a evidência pode ser rebaixada devido ao caráter indireto. Por exemplo,
considere uma revisão sistemática que se concentra nas escalas de dor e conforto para
bebês, e o critério de inclusão é "crianças entre 0-18 anos" porque a falta de estudos
apenas em bebês (ou seja, abaixo de 1 ano) era esperada. Estudos incluindo crianças
de todas as idades, incluindo bebês, podem levar a rebaixar a qualidade da evidência
em um nível, e estudos incluindo apenas crianças entre 4 e 12 anos podem até levar a
rebaixar a qualidade em dois níveis, devido ao caráter indireto dos resultados. Se, em
nosso exemplo, todos os três estudos encontrados incluem crianças entre 0-4, mas
apenas muito poucos bebês, pode-se decidir rebaixar um nível (ou seja, de moderado
para baixo). Neste exemplo, a qualidade geral da evidência deve ser considerada baixa.
A conclusão seria que existe baixa qualidade de evidência de que a propriedade de
medição de interesse é suficiente.
Qualidade da evidência Reduzir quando houver:
Alta a) Risco de viés
Moderada Importante (–1 nível)
Baixa Muito importante (–2 níveis)
Muito baixa Extremamente importante (–3 níveis)

b) Inconsistência
Importante (–1 nível)
Muito importante (–2 níveis)

c) Imprecisão
Amostra total de 50 a 100 indivíduos (-1 nível)
Amostra total <50 indivíduos (-2 níveis)

d) Caráter indireto
Importante (-1 nível)
Muito importante (-2 níveis)

RISCO DE VIÉS: Ocorre se o estudo é duvidoso ou inadequado ou existe apenas um estudo de

qualidade adequada.
Existem múltiplos estudos ao menos com
Sem risco de viés qualidade adequada ou existe um estudo de
muito boa qualidade.
Existem múltiplos estudos de qualidade
Importante risco de viés (1 nível) duvidosa ou apenas um estudo de qualidade
adequada
Existem múltiplos estudos de qualidade
Muito importante rico de viés (-2 níveis) inadequada ou apenas um estudo de qualidade
duvidosa
Extremamente importante risco de viés (-3 Existe apenas um estudo de qualidade
níveis) inadequada
INCONSISTÊNCIA
A inconsistência pode já ter sido resolvida por agrupamento (meta-análise) ou resumir os resultados
de subgrupos de estudos com resultados semelhantes e fornecer classificações gerais para esses
subgrupos. Nesse caso, não é necessário reduzir o nível da qualidade de evidência. Se nenhuma
explicação para a inconsistência for encontrada, a equipe de revisão pode decidir não agrupar ou
resumir os resultados e classificá-los como "inconsistentes". Nesse caso, o nível de qualidade para a
evidência não será fornecido. No entanto, uma solução alternativa poderia ser classificar o resultado
agrupado ou resumido (por exemplo, com base na maioria dos resultados) como suficiente ou
insuficiente e rebaixar a qualidade da evidência para inconsistência com um ou dois níveis. Os
revisores também devem decidir o que será considerado como inconsistência grave (ou seja, ‐1
nível) ou muito séria (ou seja, ‐2 níveis), porque depende do contexto. Cabe à equipe de revisão
decidir qual parece ser a melhor solução em cada situação.
IMPRECISÃO
Refere-se à amostra total incluída nos estudos. Recomendamos rebaixar um nível quando o
tamanho total da amostra agrupada ou estudos resumidos é inferior a 100, e com dois níveis
quando o tamanho total da amostra é inferior a 50. Observe que este princípio não deve ser usado
para propriedades de medição em que um requisito de tamanho de amostra já está incluído em
alguma box do COSMIN RoB.
CARÁTER INDIRETO
 Pode ocorrer se forem incluídos na revisão estudos que foram (parcialmente) realizados em outra
população ou outro contexto de uso que não a população ou contexto de uso de interesse na
revisão sistemática. Por exemplo, se apenas parte da população do estudo consiste em pacientes
com a doença de interesse, a equipe de revisão pode decidir rebaixar com um ou dois níveis para
indiretos graves ou muito graves. Pode-se considerar rebaixar a qualidade da evidência na validade
de construto ou capacidade de resposta quando a evidência é considerada fraca. Por exemplo,
quando a evidência é baseada apenas em comparações com instrumentos medindo diferentes
construtos ou apenas com base em diferenças entre grupos extremamente diferentes. Como
decidir sobre o que deve ser considerado indireto sério ou muito sério depende do contexto e deve
ser decidido pela equipe de revisão.

d) Seleção do instrumento

10) Formular recomendações:

• O objetivo da RS de instrumentos de medida é dar uma visão geral de toda a evidência disponível
sobre a qualidade do instrumento que mede um constructo específico em uma população definida
de paciente.
• Recomenda-se categorizar os instrumentos em (A) recomendados; (B) promissores; ou (C)
insuficientes:
(A) PROMs com evidência de validade de conteúdo suficiente (qualquer nível) E pelo menos baixa
evidência de qualidade para consistência interna suficiente;
(B) PROMs não categorizados não em A ou C.
(C) PROMs com evidência de alta qualidade para uma propriedade de medição insuficiente

PROMs categorizados como 'A' podem ser recomendados para uso e os resultados obtidos com
estes PROMs podem ser confiáveis. PROMs categorizados como 'B' têm potencial para serem
recomendados para uso, mas requerem mais pesquisas para avaliar sua qualidade. PROMs
categorizados como 'C' não deve ser recomendado para uso. Quando apenas PROMs categorizados
como 'B' são encontrados em uma revisão, aquele com a melhor evidência para a validade do conteúdo
pode ser o um a ser provisoriamente recomendado para uso, até que novas evidências sejam
fornecidas. Devem ser fornecidas justificativas de porque um PROM é colocado em uma determinada
categoria, e deve ser dada orientação sobre o trabalho de validação futuro, se aplicável. Para trabalhar
para padronização na medição de resultados (por exemplo, desenvolvimento de conjunto de resultados
centrais) e para facilitar meta-análises de estudos usando PROMs, ecomendamos aconselhar
posteriormente em um PROM mais adequado.

11) Relatar a RS (item incluído no manual do COSMIN RoB checklist em dezembro/2020)

2) RELATANDO A REVISÃO SISTEMÁTICA

Seguir o PRISMA (MOHER et al., 2009) e incluir as sugestões do item de relato da RS do COSMIN
RoB checklist dezembro/2020.

1) Prinsen CAC, Mokkink LB, Bouter LM, Alonso J, Patrick DL, de Vet HCW, Terwee CB.
COSMIN guideline for systematic reviews of patient-reported outcome measures. Qual Life
Res. 2018 May;27(5):1147-1157. doi: 10.1007/s11136-018-1798-3