03/07/2022

Métodos de Avaliação de Efetividade

em Intervenção Psicológica

Osvaldo Santos 24, 27 e 29 de Junho de 2022

Protocolo de investigação
Título & Autores
Resumo (com indicação de palavras-chave)
Introdução teórica (background) à termina com indicação da finalidade do estudo
Objetivos e hipóteses do estudo
Métodos
Resultados esperados
Aspetos éticos e deontológicos
Cronograma
Contexto de execução do projeto (instituição, supervisão, etc.)
Equipa de investigação (com evidenciação das especialidades/competências científicas envolvidas)
Orçamento, com indicação de eventuais fontes (adicionais/parciais) de financiamento
Referências bibliográficas
Anexos:
Mapa conceptual (espelhando a relação entre as variáveis)
Sinopse de revisão de literatura já feita, etc.
Esquema de procedimentos para recrutamento de participantes e/ou recolha de dados
Instrumentos de medição/avaliação
Autorizações legais e/ou pareceres éticos (se já existirem)
Documentos de consentimento informado
Curriculum Vitae

1
 03/07/2022

Desenhos de investigação | Níveis de evidência

epidemiológica

Meta-análises
Revisões sistemáticas da literatura
Ensaios clínicos aleatorizados controlados
Estudos de coortes (estudos de incidência)
Estudos caso-controlo
Estudos transversais e observações longitudinais
Guias de prática
Estudos e relatórios de casos
Opinião de peritos (painel Delphi, grupos de consenso, ...)
3

Desenhos de investigação | Níveis de evidência

epidemiológica

2
 03/07/2022

Revisões sistemáticas da literatura…

ao serviço da comunidade (científica, clínica, política, …)

Revisões sistemáticas da literatura…. mas que tipo de revisão?

Revisão narrativa da literatura

Revisão sistemática da literatura
Revisão sistemática de estudos observacionais
Revisão sistemática de estudos de caso-controlo
Revisão sistemática de estudos de coorte
Revisão sistemática de ensaios clínicos
Revisão sistemática de estudos qualitativos
Revisão sistemática de revisões sistemáticas (umbrella review) / de meta-análise
Meta-análise da literatura
Meta-análise de estudos observacionais
Meta-análise de estudos de caso-controlo
Meta-análise de estudos de coorte Scoping review
Meta-análise de ensaios clínicos
Meta-análise de estudos qualitativos
Meta-análise de meta-análises

3
 03/07/2022

Primeiros passos (para qualquer tipo de revisão)

Pesquisa preliminar (identificar estudos já publicados/registados)

Cochrane Library
PROSPERO (https://www.crd.york.ac.uk/prospero/)
PsycInfo
https://covid19literature.reviews/
Joanna Briggs Institute Escrever protocolo de investigação
PubMed/ Medline Pergunta de Investigação

Web of Science Critérios de inclusão e exclusão

Definição de conceitos e palavras-chave
Scopus para pesquisa
Critérios de avaliação dos estudos
Etc…

Da pergunta de investigação à estratégia de pesquisa

4
 03/07/2022

Como organizar a pesquisa bibliográfica?

• Definir a questão de investigação

• Identificação dos conceitos principais à Identificar as palavras-chave a
usar na pesquisa
• Estabelecer uma estratégia de pesquisa: palavras-chave, bases de
dados a pesquisar, tipos de documentos e outros filtros relevantes a
aplicar na pesquisa
• Avaliação dos resultados obtidos (e.g., relevância, qualidade) à Se
necessário, redefinir palavras-chave e rever a estratégia de pesquisa
• Organização da informação à Gestor de referências, criação de
bibliotecas pessoais

Preparação da pesquisa

1. Criar um “diário” com descrição de todos os procedimentos efetuados

10

10

5
 03/07/2022

Preparação da pesquisa

1. Criar um “diário” com descrição de todos os procedimentos efetuados

Pergunta de investigação

11

11

Critérios de uma boa pergunta de investigação

Feasible à Exequibilidade
Interessante

Nova

Ética
FINER
Relevante

12

6
 03/07/2022

Critérios de uma boa pergunta de investigação

Haynes BH. Forming research questions. J Clin Epidemiol 2006; 59:881-6.

13

Critérios de uma boa pergunta de investigação

PICO (TSC) : componentes da pergunta ideal

População em estudo (e.g., grupo de doentes)

Intervenção em estudo (e.g. tratamento, teste ou exposição)
Comparador em causa (e.g., intervenção x é melhor ou pior que não intervenção)
Outcome (e.g., remissão de sintomas, sobrevivência, etc.)

Tempo (duração da intervenção)

Desenho do estudo (study design: experimental, observacional, qualitativo …)
Contexto (laboratorial, nacional, regional, etc.)

14

7
 03/07/2022

Critérios de uma boa pergunta de investigação

15

Critérios de uma boa pergunta de investigação

16

8
 03/07/2022

Critérios de uma boa pergunta de investigação

17

Preparação da pesquisa

1. Criar um “diário” com descrição de todos os procedimentos efetuados

Pergunta de investigação
Fontes / Bases de dados

18

9
 03/07/2022

Fontes de informação

Revistas/artigos (científicos) · livros · monografias · bases de dados eletrónicas

livros de proceedings · dissertações · relatórios · registos estatísticos
literatura cinzenta · páginas web...

19

Bases de dados eletrónicas

Gratuitas ou geralmente disponíveis (academia):

PubMed Web of Science Scopus Cochrane library

artigos científicos desde plataforma multidisciplinar maior base de dados do coleção de bases de
1948, incluindo periódicos com bases de dados de mundo de citações e dados de revisões
da área das ciências da ciências, ciências sociais, resumos de literatura com sistemáticas de literatura
vida artes e humanidades revisão de pares e ensaios clínicos em
medicina e outras áreas
da saúde

PsycInfo

20

10
 03/07/2022

Outras fontes de informação

EMBASE (“European Medline”): www.embase.com

CENTRAL (Cochrane Central Register of Controlled Trials): https://www.cochranelibrary.com/central/about-central
PsyArticles: http://www.psyarticles.com/
CINAHL: https://www.ebsco.com/products/research-databases/cinahl-database
B-on: https://www.b-on.pt/

Google Scholar: https://scholar.google.pt/

Access Medicine (Livros): https://accessmedicine.mhmedical.com/
PubMed Books: https://www.ncbi.nlm.nih.gov/books/
Free Book Centre: http://www.freebookcentre.net/
RCAAP (dissertações): https://www.rcaap.pt/
DART-Europe E-Theses (dissertações): http://www.dart-europe.eu/basic-search.php
ProQuest (dissertações/teses): https://www.proquest.com/
Open Grey (Grey Literature in Europe; documentos/relatório industriais): http://www.opengrey.eu/

22

22

Outras fontes de informação

Registos de ensaios clínicos
www.clinicaltrials.gov
www.centerwatch.com
www.controlled-trials.com

Sites institucionais/governamentais
Organizações/fundações

Drugs@FDA: www.accessdata.fda.gov/scripts/cder/drugsatfda/

Hand search
Revistas

Conference proceedings

Bibliografia de estudos (incluindo de RSL similares) / snowboling

Especialistas / colegas / contactos sociais / indústria

23

23

11
 03/07/2022

Preparação da pesquisa

1. Criar um “diário” com descrição de todos os procedimentos efetuados

Pergunta de investigação
Fontes / Bases de dados
Termos de pesquisa (em várias línguas, se aplicável)

24

24

Operadores

• As sintaxes são específicas para cada base de dados:

http://www.kcgg.ugent.be/pdf/Syntaxen_databanken.pdf
25

25

12
 03/07/2022

Operadores
Operadores de Proximidade

Aspas para termos compostos:

“music therapy“ só recupera resultados onde os termos aparecem
juntos

AND ou NEAR/ ou ADJ/…para recuperar frases onde as palavras aparecem:

The effect of music as new therapy for children with cancer
(music AND therapy)
(music NEAR/3 therapy)
(music ADJ/3 therapy)

• As sintaxes são específicas para cada base de dados:

http://www.kcgg.ugent.be/pdf/Syntaxen_databanken.pdf
26

26

Preparação da pesquisa

1. Criar um “diário” com descrição de todos os procedimentos efetuados

Pergunta de investigação
Fontes / Bases de dados
Termos de pesquisa (em várias línguas, se aplicável)
Blocos de pesquisa

27

27

13
 03/07/2022

Preparação da pesquisa

1. Criar um “diário” com descrição de todos os procedimentos efetuados

Pergunta de investigação
Fontes / Bases de dados
Termos de pesquisa (em várias línguas, se aplicável)
Blocos de pesquisa
Critérios de inclusão para pesquisa (tipo de artigo, ano de publicação, língua de publicação, campos de
pesquisa, disponibilidade do artigo, ...)
Data da pesquisa
Número de entradas (por base dados, termos pesquisa, data publicação, se aplicável)

28

28

Fluxo de informação...

29

29

14
 03/07/2022

Síntese da evidência encontrada…

Síntese narrativa (ideal: três investigadores)

Apreciação metodológica

30

30
Apreciação metodológica

31

15
 03/07/2022

Síntese da evidência encontrada…

Síntese narrativa (ideal: três investigadores)

Apreciação metodológica
Resumo (descritivo) da evidência

32

32
Descrição (qualitativa) da evidência

33

16
 03/07/2022

Síntese da evidência encontrada…

Síntese narrativa (ideal: três investigadores)

Apreciação metodológica
Resumo (descritivo) da evidência
Construção de modelo teórico (opcional)

34

34
Construção modelo teórico

35

35

17
 03/07/2022

Meta-análises

36

Meta-análise

“The statistical analysis of a large collection of analysis results from individual studies
for the purpose of integrating the findings”
(Glass, 1976)

“A statistical analysis which combines the results of several independent studies

considered by the analyst to be ’combinable’.”
(Huque, 1988)

Justificação para combinar estudos:

- Estimam (pelo menos parcialmente) um mesmo efeito
- Abordam o mesmo problema (biológico, clínico, mecanístico, …)
- Seguem o mesmo tipo de desenho de investigação
- Utilizam os mesmos instrumentos de recolha/análise de dados

37

18
 03/07/2022

Meta-análise

Só quando dois ou mais estudos têm aspetos comuns relevantes

Estudos similares podem mesmo assim diferir, impossibilitando a meta-análise

População
Critérios de inclusão/exclusão
Definição de exposição/intervenção, dose, períodos temporais
Grupos de comparação/control
Definição de outcomes
Qualidade do desenho de estudo
Análise

38

Tipos de meta-análise (objetivos distintos)

Estimar o tamanho do efeito a partir de estudos similares (que avaliam o mesmo efeito)
Meta-análise standard

Comparar múltiplas intervenções para a mesma condição

Network meta-análise

Caracterizar a associação entre o tamanho do efeito e alguma característica dos estudos

Meta-regressão

39

19
 03/07/2022

Síntese da evidência encontrada…

Síntese narrativa
Apreciação metodológica (ideal: três investigadores)
Resumo (descritivo) da evidência
Construção de modelo teórico (opcional)

Síntese quantitativa (meta-análise)

Fixed-effects models (e.g., Hedges et al., 1998)
à estudos incluídos são da mesma população (superpopulação)
tamanho médio do efeito é fixo

Random-effects models (e.g., Hunter and Schmidt, 2004)

à estudos incluídos referem-se a populações distintas
tamanho médio do efeito é aleatório

40

Forest plot

41

20
 03/07/2022

Recursos úteis (gratuitos)

Sínteses de evidência, systematic mapping
CADIMA
Colandr

Gestão e avaliação de estudos (incluir vs não incluir):

Rayyan
RevMan (https://www.cochrane.org/news/cochrane-releases-revman-web-software-non-cochrane-systematic-reviews)

Guidelines:

PRISMA: Transparent Reporting of Systematic Reviews and Meta-Analysis

PRISMA Flow Diagram Generator
MOOSE

Avaliação de risco de viés

ROBVIS (https://www.riskofbias.info/welcome/robvis-visualization-tool) (para vários tipos/desenhos de estudo)

RoB 2 (para RTCs)
AMSTAR 2 (https://amstar.ca/Amstar_Checklist.php ; para revisões sistemáticas)
Study Quality Assessment Tools (para vários tipos/desenhos de estudo)

42

Leitura recomendada

Cochrane Information Specialists' Handbook

(https://training.cochrane.org/resource/cochrane-information-specialists-handbook)

Boland A et al. Doing a systematic review: A student's guide.

Page MJ et al. The PRISMA 2020 statement: An updated guideline for reporting systematic reviews.
BMJ 2021;372:n71

Richardson WS et al. The well-built clinical question: a key to evidence-based decisions. ACP J Club,
1995. 123(3): p. A12-3

Morgan RL et al. Identifying the PECO: a framework for formulating good questions to explore the
association of environmental and other exposures with health outcomes. Environment
international. 2018 Dec;121(Pt 1):1027.

43

21
 03/07/2022

CONSTRUINDO EVIDÊNCIA SOBRE EFETIVIDADE

44

Desenhos de investigação
Posicionamento do investigador
Observacional
Quasi-experimental
Experimental

Número de momentos de observação /recolha de dados

Transversal
Longitudinal

Orientação temporal do estudo

Retrospectivo
Prospectivo

45

45

22
 03/07/2022

Estudos de Caso-Controlo (desenho retrospetivo)

Casos:

Controlos:

46

46

Estudos de Caso-Controlo (desenho retrospetivo)

Casos:

Controlos:

6 casos expostos / 2 casos não expostos

Odds Ratio (OR) = = 7,5 (≈ risco acrescido)
2 controlos expostos / 5 controlos não expostos
47

47

23
 03/07/2022

Estudos de Caso-Controlo (desenho retrospetivo)

Estudos Caso-Controlo à Odds Ratio

Rácio exposição prévia nos casos: Nº casos com exposição / Nº de casos sem exposição
Rácio exposição prévia nos controlos: Nº controlos com exposição / Nº controlos sem exposição

q Como é calculado através de caso-controlo, não nos dá qualquer indicação sobre a

incidência

q OR >1 indica frequência maior (aumentada) de expostos entre os casos

q OR <1 indica ocorrência menor (diminuída) de expostos entre os casos

q Ter em atenção o Intervalo de confiança e o valor p (significância estatística)

q Interpretação incorreta: “Os indivíduos expostos têm X (OR) vezes mais probabilidade de
vir a ter o problema (sintoma, comportamento, patologia) em estudo do que os indivíduos
não expostos”
48

48

Estudos de Caso-Controlo (desenho retrospetivo)

Vantagens
Permitem estudo de patologias/eventos raros
Permitem estudos de patologias/eventos com período de latência longo
Exequíveis em curto intervalo temporal & Mais baratos que estudos coorte
Permitem estudar várias causas potenciais de patologias/eventos

Desvantagens/dificuldades
Não apropriados quando exposição é rara
Escolha de grupo de controlo é difícil
Informação sobre exposição, quando se baseia em entrevista à mais sujeita a vieses
Validação sobre informação relativa à exposição à difícil ou incompleta
Por definição, estuda apenas uma patologia/evento
Não permite informação sobre incidência da patologia/evento
Menor controlo de variáveis de confundimento (que estudos coorte)
49

49

24
 03/07/2022

Estudos de Coorte (desenho longitudinal, prospetivo ou

retrospetivo)

Expostos:

T0 T1

Não expostos:

T0 T1

50

50

Estudos de Coorte (desenho longitudinal, prospetivo ou

retrospetivo)

Expostos:

T0 T1

Não expostos:

T0 T1

4 casos / 6 expostos
Risco relativo (RR) = = 3,3 (≈ risco acrescido)
1 caso / 5 não expostos
51

51

25
 03/07/2022

Estudos de Coorte (desenho longitudinal, prospetivo ou

retrospetivo)

Estudos de Coorte à Risco relativo (relative risk / risk ratio)

Risco nos expostos: Nº novos casos nos expostos / Total de expostos
Risco nos não-expostos: Nº novos casos nos não-expostos / Total de não-expostos

q Quantas vezes é mais (ou menos) provável que uma pessoa exposta desenvolva um
determinado outcome, relativamente à pessoa não exposta

q RR >1 risco aumentado de outcome

q RR <1 risco diminuido de outcome

q Ter em atenção o Intervalo de confianla e o valor p(significância estatística

52

52

Quiz…

Qual é a interpretação correcta?

RR = 1.36 | estudo de coorte

q O risco de vir a ter o comportamento/sintoma é aumentado em 136%

q O risco de vir a ter o comportamento/sintoma é diminúido em 36%

q O risco de ter estado exposto é reduzido em 36%

q O risco de ter estado exposto é aumentado em 36%

q O risco de vir a ter o comportamento/sintoma é aumentado em 36%

q O risco de ter estado exposto é aumentado em 136%

53

53

26
 03/07/2022

Quiz…

Qual é a interpretação correcta?

RR = 1.36 | estudo de coorte

q O risco de vir a ter o comportamento/sintoma é aumentado em 136%

q O risco de vir a ter o comportamento/sintoma é diminúido em 36%

q O risco de ter estado exposto é reduzido em 36%

q O risco de ter estado exposto é aumentado em 36%

q O risco de vir a ter o comportamento/sintoma é aumentado em 36% RR(R/A) = |1-RR| * 100

q O risco de ter estado exposto é aumentado em 136%

54

54

Quiz…
Qual é a interpretação correcta?

RR = 0.80 | estudo de coorte

q O risco de vir a ter o comportamento/sintoma é reduzido

em 20% (ou ocorreu em menos 20%) comparativamente ao RR(R/A) = |1-RR| * 100
grupo não exposto

55

55

27
 03/07/2022

Medidas de associação entre variáveis

Magnitude do risco relativo / Odds Ratio

Risco Relativo / Odds Ratio Significado

1 No association
1.1 - 1.3 Weak
1.4 - 1.7 Modest
1.8 - 3.0 Moderate
3.1 - 8.0 Strong
8.1 - 16.0 Very strong
16.1 - 40.0 Dramatic
> 40 Overwhelming

Schoenbach VJ, 2000

56

56

Estudos coorte : Pros & Contras

Vantagens
Informação completa sobre a exposição
Fornece uma sequência temporal clara entre exposição e patologia/evento
Permite estudo de outcomes múltiplos (associados a uma exposição)
Permite cálculo de taxas absolutas de incidência e de riscos relativos

Desvantagens
Não apropriado para estudo de patologias/evetos raros (requer elevado número de
participantes)
Não apropriado quando período de latência é grande (nestes casos à coortes históricos)
Padrões de exposição podem mudar durante curso do estudo (variáveis de confundimento)
Elevada “mortalidade experimental”
Caros e difíceis de operacionalizar
Os dados de baseline podem ser escassos (muitos participantes à entrevistas curtas)
57

57

28
 03/07/2022

Ensaio aleatorizado controlado (RCT)

Grupo
ia (braço) de
tór
a lea controlo
ão
caç
Alo

Universo / População Amostra

Aleatorização

Aloc
a ção
a leat
ória
Grupo
(braço) de
intervenção

58

59

29
 03/07/2022

Ensaios clínicos de fase III

RCT paralelo

60

60

Ensaios clínicos de fase III

RCT por clusters

61

61

30
 03/07/2022

Ensaios clínicos de fase III

RCT crossover

62

62

63

31
 03/07/2022

OBRIGADO PELA ATENÇÃO !!

Osvaldo Santos | osvaldorsantos@gmail.com 24, 27 e 29 de Junho de 2022

64

32