AVALIAO

TECNOLGICA:
Passos
Metodolgicos
Rosngela Caetano Rosngela Caetano
Mestrado Profissional em Mestrado Profissional em C&T C&T FIOCRUZ FIOCRUZ
2011 2011
ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS
1. Identificar e priorizar temas de avaliao
2. Especificar problema da avaliao
3. Determinar lcus da avaliao
4. Obter evidncias
5. Coletar novos dados primrios (se apropriado) 5. Coletar novos dados primrios (se apropriado)
6. Avaliar / interpretar a evidncia
7. Integrar / sintetizar evidncias
8. Formular concluses e recomendaes
9. Divulgar resultados e recomendaes
10. Monitorar impacto da avaliao
(Goodman 2004, p.33-4)
Grande variao no escopo, seleo de mtodos e Grande variao no escopo, seleo de mtodos e
nvel de detalhamento entre as ATS nvel de detalhamento entre as ATS
Nem todos as avaliaes percorrem todas essas Nem todos as avaliaes percorrem todas essas
etapas etapas
ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS
Muitas ATS repousam predominantemente em Muitas ATS repousam predominantemente em
mtodos de integrao ... e no recolhem dados mtodos de integrao ... e no recolhem dados
primrios primrios
Alguns esforos de avaliao envolvem mltiplos Alguns esforos de avaliao envolvem mltiplos
ciclos de recuperao/coleta, interpretao e ciclos de recuperao/coleta, interpretao e
sntese das evidncias sntese das evidncias
(Goodman 2004, p.33-4)
IDENTIFICAO E ESTABELECIMENTO IDENTIFICAO E ESTABELECIMENTO
DE PRIORIDADES DE PRIORIDADES
Definir tecnologias em sade e/ou condies Definir tecnologias em sade e/ou condies
clnicas e epidemiolgicas a serem avaliadas clnicas e epidemiolgicas a serem avaliadas
Estabelecer prioridades de avaliao Estabelecer prioridades de avaliao
atravs de um procedimento formal e atravs de um procedimento formal e
explicito, baseado em critrios objetivos e explicito, baseado em critrios objetivos e
subjetivos, usando um mtodo de consenso subjetivos, usando um mtodo de consenso
Critrios Mais Comuns de Priorizao Critrios Mais Comuns de Priorizao
1. Magnitude do problema de sade
Freqncia (prevalncia ou incidncia)
Carga de morbimortalidade
2. Custos
Altos custos unitrios ou agregados
3. Variabilidade no manuseio prtico do problema
Diferenas nas taxas de uso dos procedimentos Diferenas nas taxas de uso dos procedimentos
4. Riscos (alto risco inerentes ou potencial de reduzir riscos de
sade
5. Potencial das recomendaes da AT em melhorar os resultados
de sade (benefcios)
6. Demanda pblica ou poltica (necessidade de decises regulatrias
ou de pagamento)
7. Possibilidade de avaliar impacto das recomendaes
Definio de Prioridades de ATS Definio de Prioridades de ATS IOM IOM
Critrios Objetivos Critrios Objetivos
Prevalncia da condio clnica Prevalncia da condio clnica
Custo do servio de sade e de seu gerenciamento Custo do servio de sade e de seu gerenciamento
Variabilidade no uso do servio Variabilidade no uso do servio
Critrios Subjetivos Critrios Subjetivos
Impacto (carga da doena) decorrente da condio clnica Impacto (carga da doena) decorrente da condio clnica
Potencial dos resultados para mudana nos desfechos de sade Potencial dos resultados para mudana nos desfechos de sade
Potencial dos resultados para mudana nos custos presentes Potencial dos resultados para mudana nos custos presentes
Potencial dos resultados para elucidar aspectos ticos, legais e Potencial dos resultados para elucidar aspectos ticos, legais e
sociais sociais
ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS
3. Determinar lcus da avaliao
4. Obter evidncias
2. Especificar problema da avaliao
1. Identificar e priorizar temas de avaliao
4. Obter evidncias
5. Coletar novos dados primrios (se apropriado)
6. Avaliar / interpretar a evidncia
7. Integrar / sintetizar evidncias
8. Formular concluses e recomendaes
9. Divulgar resultados e recomendaes
10. Monitorar impacto da avaliao
Especificar claramente o problema ou questo a ser
respondida (problema de sade; tecnologia; populao de
pacientes; situao do cuidado; propriedades ou impactos)
Definir a perspectiva / tica da avaliao:
Sociedade
Elaborao do plano de avaliao Elaborao do plano de avaliao
Sociedade
Pacientes
Governo
Hospital
Convnios
Para cada avaliao priorizada, determinar:
Recursos
Instrumentos a serem aplicados
Especificao da questo Especificao da questo
Tipos de Questes: Domnios e Estudos Tipos de Questes: Domnios e Estudos
Etiologia Etiologia [coorte, caso controle] [coorte, caso controle]
Terapia Terapia [ECR] [ECR]
Prognstico Prognstico [coorte] [coorte]
Segurana Segurana [coorte, caso controle] [coorte, caso controle]
Diagnstico Diagnstico [caso [caso--controle, controle, tranverso tranverso] ]
Econmica Econmica [anlise de custo [anlise de custo--efetividade, efetividade,
etc etc] ]
Modelo PICO Modelo PICO
Populao (paciente ou problema de sade)
Especificao do problema ou questo sob avaliao Especificao do problema ou questo sob avaliao
Interveno
Comparao (interveno alternativa ou controle)
Resultados (O Outcomes)
Richardson et al. The well-built clinical question: a key to evidence-based decisions. ACP Journal Club 1995;A-12
Estruturao de questo bem formulada Estruturao de questo bem formulada
PPaciente: aciente:
Doena ou condio Doena ou condio
Estgio, gravidade Estgio, gravidade
Caractersticas demogrficas (idade, sexo, etc.) Caractersticas demogrficas (idade, sexo, etc.)
I Interveno: nterveno:
Tipo de interveno ou exposio Tipo de interveno ou exposio
Dose, durao, momento, via de administrao, etc. Dose, durao, momento, via de administrao, etc. Dose, durao, momento, via de administrao, etc. Dose, durao, momento, via de administrao, etc.
CComparador: omparador:
Ausncia de risco ou tratamento Ausncia de risco ou tratamento
Placebo ou terapia alternativa Placebo ou terapia alternativa
DDesfecho: esfecho:
Risco ou proteo Risco ou proteo
Dicotmico ou contnuo Dicotmico ou contnuo
Tipo: mortalidade, morbidade, qualidade de vida, etc. Tipo: mortalidade, morbidade, qualidade de vida, etc.
PPerodo de Tempo erodo de Tempo (PICO (PICOTT) )
MODELO PICO MODELO PICO
O O risedronato risedronato eficaz, eficaz, em em comparao comparao ao ao alendronato alendronato,,
na na preveno preveno da da fratura fratura do do fmur fmur em em mulheres mulheres com com
osteoporose osteoporose ps ps--menopausa? menopausa?
Mulheres com osteoporose ps menopausa Populao Populao
Risedronato Interveno Interveno
Aledronato Comparador Comparador
Eficcia Atributo Atributo
Fratura de Fmur
Desfecho Desfecho
(resultado em sade) (resultado em sade)
MODELO PICO MODELO PICO
A A sibutramina sibutramina eficaz eficaz e e segura, segura, em em comparao comparao ao ao
tratamento tratamento usual, usual, no no tratamento tratamento da da obesidade? obesidade?
Pacientes com obesidade (IMC 30kg/m
2
) Populao Populao
Sibutramina Interveno Interveno
Placebo
Interveno no farmacolgica (dieta, exerccios)
Comparador Comparador
Segurana
Eficcia
Atributo Atributo
Efeitos adversos
Perda de peso
Desfecho Desfecho
(resultado em sade) (resultado em sade)
Exemplos Exemplos
Adultos com pirose devem ser
submetidos a endoscopia
digestiva alta antes do
tratamento para doena de
refluxo gastroesofgico?
Na doena do refluxo
gastroesofgico, o inibidor da
bomba de prton deve ser usado
de forma contnua ou por
demanda
Questo diagnstica Questo diagnstica Questo teraputica Questo teraputica
refluxo gastroesofgico?
PP = pacientes adultos com
pirose ou regurgitao
I I = Endoscopia alta
C = Nada (tratamento sem
investigao prvia)
O = diagnstico de doena do
refluxo gastroesofgico
demanda
PP = pacientes com doena do
refluxo gastroesofgico
I I = inibidor da bomba de
proton contnuo
CC = inibidor da bomba de
proton por demanda
O O = evoluo clnica
ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS
4. Coletar novos dados primrios (se apropriado)
3. Obter evidncias
1. Identificar e priorizar temas de avaliao
2. Especificar problema da avaliao
4. Coletar novos dados primrios (se apropriado)
5. Avaliar / interpretar a evidncia
6. Integrar / sintetizar evidncias
7. Formular concluses e recomendaes
8. Divulgar resultados e recomendaes
9. Monitorar impacto da avaliao
Obteno de evidncias pode vir a partir de dados
primariamente produzidos ou de dados secundrios.
Informaes contidas em registros e bases de dados
COLETA DE EVIDNCIAS COLETA DE EVIDNCIAS
Informaes contidas em trabalhos originais e/ou de
reviso
Desenho dos estudos guarda relao com o que se
pretende avaliar e com qualidade da evidncia
COLETA DE EVIDNCIAS COLETA DE EVIDNCIAS
Informaes c Informaes contidas em registros e bases de ontidas em registros e bases de
dados dados
Estatsticas demogrficas e epidemiolgicas
Sistemas de vigilncia (de doenas de notificao
compulsria, de efeitos colaterais de frmacos)
Sistemas de registro de internaes (SIH-SUS)
Sistemas especficos para doenas ou situaes
clnicas (registros de cncer, transplantes)
Informaes contidas em trabalhos originais Informaes contidas em trabalhos originais
e/ou de reviso e/ou de reviso
Estudos observacionais (sries de casos, inquritos
COLETA DE EVIDNCIAS COLETA DE EVIDNCIAS
Estudos observacionais (sries de casos, inquritos
de incidncia e/ou prevalncia)
Estudos analticos (estudos de coorte e caso-
controle)
Estudos experimentais (testes clnicos controlados)
Onde encontrar a melhor evidncia? Onde encontrar a melhor evidncia?
Fontes de Informao Fontes de Informao
Sociedades Sociedades
Internacionais de Internacionais de
ATS ATS
HTAi (www.htai.org) HTAi (www.htai.org)
INAHTA (www.inahta.org) INAHTA (www.inahta.org)
rgos de Regulao rgos de Regulao
sanitria sanitria
FDA (www.fda.gov) FDA (www.fda.gov)
ANVISA (www.anvisa.br) ANVISA (www.anvisa.br)
Organismos internacionais Organismos internacionais
Agncias de Avaliao Agncias de Avaliao
CCOHTA (www.ccohta.ca)
CAHTA (www.aatm.es)
SBU (www.sbu.se)

Organismos internacionais Organismos internacionais

OMS (www.who.org)
OPAS (www.opas.org)
Bibliotecas Bibliotecas Internacionais Internacionais
National Library of Medicine
Cochrane Coalboration
BIREME/BVS (www.bvs.br)
Fontes de Informao Fontes de Informao
HEALTH TECHNOLOGY HEALTH TECHNOLOGY
ASSESSMENT ON THE NET: ASSESSMENT ON THE NET:
A GUIDE TO INTERNET A GUIDE TO INTERNET
SOURCES OF INFORMATION SOURCES OF INFORMATION SOURCES OF INFORMATION SOURCES OF INFORMATION
www.ahfmr.ab.ca/publications/?search=Internet+sources+of+information&type=1 www.ahfmr.ab.ca/publications/?search=Internet+sources+of+information&type=1
HEALTH TECHNOLOGY HEALTH TECHNOLOGY
ASSESSMENT ON THE NET: ASSESSMENT ON THE NET:
A GUIDE TO INTERNET A GUIDE TO INTERNET
SOURCES OF INFORMATION SOURCES OF INFORMATION SOURCES OF INFORMATION SOURCES OF INFORMATION
Fontes de Informao Fontes de Informao
www.htai.org www.htai.org
http://www.htai.org/index. http://www.htai.org/index.php php?id=579 ?id=579
Fontes de Informao Fontes de Informao
Estabelecida Estabelecida em em 1993 1993,, congrega congrega 46 46 agncias agncias de de 24 24
pases, pases, das das Amricas Amricas do do Norte Norte ee Latina, Latina, Europa, Europa,
Austrlia Austrlia ee Nova Nova Zelndia Zelndia..
Vrios Vrios tipos tipos de de publicaes publicaes:: resumos resumos de de revises revises
Estabelecida Estabelecida em em 1993 1993,, congrega congrega 46 46 agncias agncias de de 24 24
pases, pases, das das Amricas Amricas do do Norte Norte ee Latina, Latina, Europa, Europa,
Austrlia Austrlia ee Nova Nova Zelndia Zelndia..
Vrios Vrios tipos tipos de de publicaes publicaes:: resumos resumos de de revises revises Vrios Vrios tipos tipos de de publicaes publicaes:: resumos resumos de de revises revises
recentemente recentemente publicadas, publicadas, newletters newletters com com
atualizaes atualizaes de de revises revises ee de de outras outras publicaes publicaes ee
projetos projetos em em curso, curso, informes informes sobre sobre projetos projetos
conjuntos conjuntos ee os os relatrios relatrios com com texto texto completo completo das das
revises revises realizadas realizadas por por todos todos as as agncias agncias--
membro membro..
Permite Permite pesquisa pesquisa por por assunto assunto ee seleo seleo por por idioma idioma
Vrios Vrios tipos tipos de de publicaes publicaes:: resumos resumos de de revises revises
recentemente recentemente publicadas, publicadas, newletters newletters com com
atualizaes atualizaes de de revises revises ee de de outras outras publicaes publicaes ee
projetos projetos em em curso, curso, informes informes sobre sobre projetos projetos
conjuntos conjuntos ee os os relatrios relatrios com com texto texto completo completo das das
revises revises realizadas realizadas por por todos todos as as agncias agncias--
membro membro..
Permite Permite pesquisa pesquisa por por assunto assunto ee seleo seleo por por idioma idioma
http://inahta.org http://inahta.org
Fontes de Informao Fontes de Informao
Pesquisando Pesquisando
publicaes publicaes
Fontes de Informao Fontes de Informao
Pesquisando Pesquisando
publicaes publicaes
Fontes de Informao Fontes de Informao
Avaliao de Avaliao de
Qualidade de Qualidade de
relatrios de ATS relatrios de ATS
Fontes de Informao Fontes de Informao
www.eunethta.net www.eunethta.net
Fontes de Informao Fontes de Informao
www.cochrane.org www.cochrane.org
Fontes de Informao Fontes de Informao
http:// http://www.crd.york.ac.uk/CMS2Web www.crd.york.ac.uk/CMS2Web//
Fontes de Informao Fontes de Informao
www.bireme.org www.bireme.org
Fontes de Informao Fontes de Informao
http://evidences.bvsalud.org/php/index. http://evidences.bvsalud.org/php/index.php php??lang lang= =pt pt
ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS
1. Identificar e priorizar temas de avaliao
2. Especificar problema da avaliao
3. Obter evidncias
4. Coletar novos dados primrios (se apropriado)
6. Integrar / sintetizar evidncias
7. Formular concluses e recomendaes
8. Divulgar resultados e recomendaes
9. Monitorar impacto da avaliao
5. Avaliar / interpretar a evidncia
4. Coletar novos dados primrios (se apropriado)
Interpretao das evidncias Interpretao das evidncias
Existe uma associao
significativa no que se est
O resultado verificado tem
efetivo impacto na prtica
Relevncia Clnica X Relevncia Estatstica
significativa no que se est
medindo, que faz supor que
resultados no se deram ao acaso
efetivo impacto na prtica
clnica (manuseio dos
pacientes
Hierarquia de Evidncias Hierarquia de Evidncias
Qualidade da Evidncia Qualidade da Evidncia grau de certeza que se
pode ter de que uma estimativa de efeito ou associao
est correta.
Definio de graus de evidncia de acordo com tipo e
qualidade dos estudos.
Estudos agrupados em uma hierarquia de acordo com
sua validade ou grau de no susceptibilidade a vieses
valorizao do rigor metodolgico no delineamento da
pesquisa
Hierarquia de Evidncias Hierarquia de Evidncias
Qualidade da Evidncia Qualidade da Evidncia grau de certeza que se pode
ter de que uma estimativa de efeito ou associao est
correta.
Vis
Confiana
e Validade
GRADE GRADE
Grading of Recommendations Assessment, Development and Evaluation Grading of Recommendations Assessment, Development and Evaluation
Fornece um sistema de avaliao de qualidade de evidncia e
fora das recomendaes explcito, abrangente, transparente e
pragmtico
Pressupostos na correlao entre qualidade da evidncia e fora
da recomendao:
Autores de RS graduam qualidade de um conjunto de Autores de RS graduam qualidade de um conjunto de
evidncias separadamente para cada desfecho importante para
os pacientes.
papel dos que desenvolvem guidelines graduar a qualidade
global das evidncias entre desfechos
Grau de confiana que efeitos desejveis de aderir a uma
recomendao superam efeitos indesejveis
Qualidade da Evidncia Qualidade da Evidncia
Grading quality of evidence and strength of recommendations. BMJ 2004;328:1490.
GRADE GRADE
GRADE GRADE DEFINIO DEFINIO
ALTA ALTA

Pesquisa posterior muito improvvel de mudar
confiana na estimativa de efeito
De acordo com grau de confiana de que a estimativa do efeito
do tratamento suficiente para apoiar uma recomendao:

confiana na estimativa de efeito
MODERADA MODERADA


Pesquisa posterior provvel de ter um importante
impacto na estimativa de efeito e pode mudar essa
estimativa
BAIXA BAIXA


Pesquisa posterior muito provvel de ter um
importante impacto na estimativa de efeito e pode
mudar essa estimativa
MUITO BAIXA MUITO BAIXA


Qualquer estimativa de efeito muito incerta
In: http://www.gradeworkinggroup.org
ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS
1. Identificar e priorizar temas de avaliao
2. Especificar problema da avaliao
3. Obter evidncias
4. Coletar novos dados primrios (se apropriado)
7. Formular concluses e recomendaes
8. Divulgar resultados e recomendaes
9. Monitorar impacto da avaliao
6. Integrar / sintetizar evidncias
4. Coletar novos dados primrios (se apropriado)
5. Avaliar / interpretar a evidncia
Principais mtodos
revises de literatura no-quantitativas
meta-anlises e outras snteses quantitativas
Reviso e sntese da informao Reviso e sntese da informao
meta-anlises e outras snteses quantitativas
da literatura
anlises de deciso
tcnicas de julgamentos de grupo
avaliaes econmicas
ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS ETAPAS DE UMA ATS
1. Identificar e priorizar temas de avaliao
2. Especificar problema da avaliao
3. Obter evidncias
4. Coletar novos dados primrios (se apropriado)
8. Monitorar impacto da avaliao
7. Formular e divulgar concluses e recomendaes
4. Coletar novos dados primrios (se apropriado)
5. Avaliar / interpretar a evidncia
6. Integrar / sintetizar evidncias
Apresentao de Resultados e Apresentao de Resultados e
Recomendaes da ATS Recomendaes da ATS
Achados so os resultados ou
concluses da avaliao (evidncias)
Recomendaes Recomendaes so as sugestes que so as sugestes que
acompanham os achados acompanham os achados
concluses da avaliao (evidncias)
Definir pblico alvo
Escolher estratgia de comunicao
DISSEMINAO DOS RESULTADOS DISSEMINAO DOS RESULTADOS
Elaborao de recomendaes
Discusso dos resultados
Distribuio a outros usurios potenciais
Formas de divulgao:
protocolos de prtica
publicao na literatura mdico-cientfica
DISSEMINAO DOS RESULTADOS DISSEMINAO DOS RESULTADOS
publicao na literatura mdico-cientfica
congressos e encontros profissionais
trabalho junto s organizaes profissionais
cursos de educao continuada
redes de Informao em sade
via Internet
GUIDELINES OU GUIDELINES OU
PROTOCOLOS DE PRTICA CLNICA PROTOCOLOS DE PRTICA CLNICA
Conjunto Conjunto de de proposies proposies que que representam representam regras regras
atuais atuais ou ou futuras futuras de de condutas condutas com com oo objetivo objetivo de de
assistir assistir profissionais profissionais de de sade sade nas nas suas suas decises decises
sobre sobre oo sobre sobre oo cuidado cuidado apropriado apropriado aa uma uma ou ou mais mais
circunstncias circunstncias clnicas clnicas especficas especficas ..
sobre sobre oo sobre sobre oo cuidado cuidado apropriado apropriado aa uma uma ou ou mais mais
circunstncias circunstncias clnicas clnicas especficas especficas ..
Desenvolvidas Desenvolvidas por por sociedades sociedades profissionais, profissionais, agncias agncias
governamentais governamentais de de qualquer qualquer nvel, nvel, instituies instituies ou ou
por por painis painis de de especialistas especialistas..
Pode Pode ser ser considerado considerado um um tipo tipo particular particular de de ATS ATS ou ou
um um dos dos tipos tipos de de resultado resultado que que informado informado ou ou
suportado suportado por por uma uma ATS ATS..
Investigar o impacto das concluses e
recomendaes na situao problema
inicial
AVALIAO DO IMPACTO DA ATS AVALIAO DO IMPACTO DA ATS
inicial
AVALIAO DO IMPACTO DA ATS AVALIAO DO IMPACTO DA ATS
Vrios fatores competitivos podem influenciar processo de deciso
Poder um fator determinante nas decises mdicas
Opinio de pares, posies que prevalecem, influncia de lderes e
capacidade de mdicos de conciliar perspectivas administrativas e
clnicas influenciam processo de deciso clnicas influenciam processo de deciso
Desenvolvimento de uma cultura de ATS nas instituies de sade
condio fundamental para novo paradigma
Agncias internacionais e nacionais devem focar na produo do
conhecimento transdisciplinar
Participao dos decisores na produo, avaliao e aplicao dos
conhecimentos da ATS
Poltica de sade baseada em ATS
Monitorar Impacto das Recomendaes Monitorar Impacto das Recomendaes
Difcil Difcil associar associar mudanas mudanas eventualmente eventualmente
observadas observadas s s recomendaes recomendaes da da avaliao avaliao
fatores fatores concorrentes concorrentes:: marketing marketing do do produto, produto,
mudanas mudanas no no sistema sistema de de reembolso, reembolso, etc etc. .
Fatores Fatores que que podem podem afetar afetar oo impacto impacto da da
avaliao avaliao:: tcnica tcnica de de disseminao, disseminao, grupo grupo alvo, alvo,
ambiente, ambiente, qualidade qualidade do do relatrio relatrio
Tentativas Tentativas sistemticas sistemticas de de monitorar monitorar oo
impacto impacto das das recomendaes recomendaes so so ainda ainda pouco pouco
freqentes freqentes
Revisar a lista de tecnologias em sade /
condies clnicas e epidemiolgicas,
levando em considerao os resultados da
REVISO DAS PRIORIDADES REVISO DAS PRIORIDADES
levando em considerao os resultados da
avaliao de impacto