Tecnologia e

Saúde
AVALIAÇÃO EM SAÚDE
Processo Avaliativo
AVALIAÇÃO EM SAÚDE
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

 Já conhecemos um pouco sobre

monitoramento e avaliação e
você se apropriou dos seus
conceitos, usos, diferenças e
similaridades, e agora está
convidado a percorrer as etapas
de um estudo avaliativo
sistemático.
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

1. Envolvimento dos interessados

 O envolvimento dos interessados na

avaliação, sejam eles os
financiadores, os profissionais, os
coordenadores e os usuários diretos
ou indiretos, é considerado como
uma etapa estratégica do processo
avaliativo.

2. Descrição da intervenção
 A descrição da intervenção pode ser
feita, com o uso do modelo lógico,
como ferramenta, que é uma
maneira visual e sistemática de
apresentar as relações entre os
recursos e as atividades e os efeitos
da intervenção.
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
2. Descrição da intervenção
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
2. Descrição da intervenção

Quais são os componentes do modelo lógico de uma intervenção?

 Insumos:
 são os recursos disponíveis para a execução das atividades de uma
intervenção.
 Incluem recursos humanos, informacionais, técnicos, financeiros e imobiliários.

 Atividades:
 são os procedimentos pelos quais os insumos são mobilizados, visando à
obtenção dos efeitos esperados.

 Produtos:
 Estão relacionados com as atividades, ou seja, cada atividade tem um
efeito/resultado imediato.
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
2. Descrição da intervenção

Quais são os componentes do modelo lógico de uma intervenção?

 Resultados:
 São frequentemente de curto e médio prazo, podendo focar em mudanças no
nível de conhecimento e comportamento da população-alvo ou ainda
mudanças no desempenho da intervenção.

 Impactos:
 São, em sua maioria, em longo prazo, podendo focar em mudanças no nível de
saúde da população geral, e podem ser influenciados pelos efeitos de outros
programas
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

3. Definição de perguntas avaliativas:

 Os processos avaliativos são

conduzidos por perguntas
norteadoras, também denominadas
perguntas avaliativas.
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
3. Definição de perguntas avaliativas:
 Por que elaborar perguntas avaliativas?
 Sendo uma das funções da avaliação apoiar a tomada de decisão, é de
fundamental importância ter uma definição clara do que se pretende
responder a partir do processo avaliativo ( Tanak a & Tamaki, 2012).

 Qual é o papel das perguntas avaliativas no processo avaliativo?

 1) Apontam o foco da avaliação.
 2) Identificam aspectos da intervenção que serão observados em
profundidade.
 3) Indicam qual conjunto de informações será necessário para proceder o
julgamento da intervenção.
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
3. Definição de perguntas avaliativas:

 Como elaborar boas perguntas avaliativas?

 Formular e selecionar perguntas avaliativas adequadas e pertinentes são
processos fundamentais para o sucesso da avaliação.
 Tal processo requer uma reflexão cuidadosa em um processo de
negociação e pactuação entre sujeitos que partilham
corresponsabilidades.
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

4. Foco e desenho da avaliação:

 Avaliação de processo,
 Avaliação de resultado e
 Avaliação de impacto
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
4. Foco e desenho da avaliação:

 Avaliação de Processo:
 Equivalente à análise de implantação/implementação.
 Complementa ou explica como os recursos foram mobilizados e/ou como as
atividades foram realizadas.

 Responde à questões do tipo:

 As ações de controle estão ocorrendo em conformidade com as normas
técnicas?
 Os insumos necessários para realização das ações estão disponíveis?
 As ações se acomodam aos direitos assistenciais dos usuários? São
convenientes?
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
4. Foco e desenho da avaliação:

 Avaliação de Resultado:
 Contempla ou explica as razões pelas quais as atividades do programa
alcançaram ou não os seus resultados.
 Enfatiza as relações causais entre o ,programa e o seu efeito na população-
alvo.

 Responde à questões do tipo:

 O programa foi responsável pelo aumento da taxa de cura?
 Quais fatores influenciaram esse aumento?
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
4. Foco e desenho da avaliação:

 Avaliação de Impacto:
 Analisa as relações entre as tendências epidemiológicas da doença e os
programas de controle e outros fatores associados.
 A avaliação de impacto, além de exigir um certo tempo de consolidação
da intervenção e ter foco na população geral, requer um desenho ainda
mais complexo, usualmente de alto custo, e, por isso não é realizada com
tanta frequência.

 Responde a questões do tipo:

 A Estratégia de Saúde da Família foi responsável pela redução da
mortalidade infantil?
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

5. Definição da matriz de relevância e

julgamento:

 Matriz de relevância;
 Matriz de julgamento;
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
5. Definição da matriz de relevância e julgamento:

Matriz de relevância
 A matriz de relevância destaca:

 1. As perguntas avaliativas e dimensões:

 Podemos definir a dimensão da
avaliação como:
 Características ou atributos das
práticas , serviços, programas ou
sistemas de saúde a serem avaliados
( Vieira da Silva, 2005.)
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
5. Definição da matriz de relevância e julgamento:

Matriz de relevância
 2. Indicador
 São medidas selecionadas para
descrever um fenômeno de interesse que
não pode ser observado diretamente, ou
seja, representa a realidade
considerando referências e critérios pré-
estabelecidos (Waldman, 2010)

 3. Grau de relevância
 A matriz agrega uma escala de
relevância referida como: muito
relevante (RRR), relevante (RR) e
pouco relevante (R).
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
5. Definição da matriz de relevância e julgamento:

Matriz de julgamento
 A matriz de análise do julgamento
apresenta como serão aplicados os
critérios de julgamento e expressa as
categorias e parâmetros aplicáveis à
avaliação projetada.

 A matriz pode ser estruturada, considerando-se a pontuação máxima,

pontuação observada e os parâmetros (pontos de corte aceitáveis).
 Pontuação máxima (valor máximo que poderá ser atribuído àquele
indicador);
 Pontuação observada (valor observado na coleta das evidências);
 Parâmetros (diz respeito aos intervalos “aceitáveis” par a cada indicador).
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo
5. Definição da matriz de relevância e julgamento:

Matriz de julgamento

 Exemplo de parâmetro
 Atingiu até 25% da meta= Crítico
 Atingiu de 26% a 50% da meta= Parcial
 Atingiu de 51% a 75% da meta= Satisfatório
 Atingiu de 76% a 100% da meta= Excelente
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

6. Julgamento da avaliação:

 Os julgamentos são declarações sobre o

mérito do programa, sua validade e seu
significado.
 Eles são formados quando as evidências
coletadas e interpretadas são
comparadas com um ou mais padrões
selecionados para a avaliação.
 Esses padrões podem ser as próprias
normas técnicas da intervenção ou
padrões estabelecidos por evidências
científicas baseadas em consenso de
especialistas, em revisões sistemáticas e
experiências exitosas.
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

6. Julgamento da avaliação:

 Os padrões de julgamento utilizados

para determinar o sucesso ou insucesso
de uma intervenção são baseados em:
 Teoria;
 Experiências anteriores;
 Recursos técnicos-científicos dispo
níveis;
 Interesses de diferentes grupos
sociais.
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

7. Disseminação e garantia da
utilização dos resultados da avaliação:

Observe estas afirmações:

 Todas as avaliações têm um custo,
mas não necessariamente um valor.
Seu valor não depende do seu custo,
mas do seu uso (Feinstein, 2002:433).

 Se uma avaliação não for usada,

deve ser considerada de má
qualidade independentemente de
seus méritos técnicos, práticos e
éticos (Worthen et al, 2004:581).
 Tecnologia e saúde
Avaliação em Saúde
Etapas do processo avaliativo

7. Disseminação e garantia da
utilização dos resultados da avaliação:

 Tais afirmativas nos fazem pensar que a

utilização dos resultados de uma
avaliação é um critério de sucesso do
processo avaliativo.
Indicadores em Saúde
AVALIAÇÃO EM SAÚDE
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

 Fazemos a você um convite para ler e pensar na situação relatada por

uma enfermeira que trabalha em uma Unidade de Saúde da Família (USF)
de um município brasileiro.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

 Todos os trabalhadores de saúde têm a necessidade de conhecer seu

público, território, suas interrelações nesse meio ambiente, suas
características sociais e muito mais.

 Mas como fazê-lo? Sem essa resposta, fica difícil planejar ações que sejam
efetivas na mudança de uma dada realidade.

 Então, o que fazer? Onde procurar essas respostas?

 Mas, afinal, o que são indicadores de saúde?

 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

 Mas, afinal, o que são indicadores de saúde?

 Podemos definir Indicadores de Saúde como instrumentos utilizados para medir
uma realidade, como parâmetro norteador, instrumento de gerenciamento,
avaliação e planejamento das ações na saúde, de modo a permitir mudanças
nos processos e resultados.
 O indicador é importante para nos conduzir ao resultado final das ações
propostas em um planejamento estratégico.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

Vejamos alguns exemplos de indicadores:

 Em uma clínica ou hospital a atividade de monitorar a glicemia ou a

pressão arterial, temperatura ou a saturação de oxigênio de pacientes.
 Em muitos casos, é até mesmo padrão que tais medidas sejam feitas tão
logo o paciente chegue ao serviço.
 Nesses casos, utilizamos tais variáveis para analisar o estado clínico de um
paciente e eleger uma ação terapêutica específica, ou a definir os
pacientes prioritários para atendimento.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

Gestão em saúde

 Quando tratamos de gestão em saúde, os indicadores também são

utilizados com esse fim.
 É comum que os indicadores em saúde expressem tanto as condições de
vida da população (ou de grupos de usuários) quanto o desempenho do
próprio serviço ou sistema.
 Em seu conjunto, espera-se que os indicadores reflitam a situação de saúde
de um dado território, sirvam para a vigilância das condições de saúde e
como instrumentos de gestão e avaliação do SUS, em todos os níveis
(BRASIL, 2008).
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

Importância dos registro de informação em saúde:

 O uso de indicadores tende a facilitar o monitoramento de objetivos e

metas de um determinado serviço, estimular a capacidade analítica das
equipes e promover o desenvolvimento de sistemas de informação em
saúde.
 Por isso, ao falar de indicadores, falamos também da importância do
registro de informações em saúde.
 A disponibilidade de informações válidas e confiáveis é crucial para a
análise objetiva da situação de saúde, assim como para a tomada de
decisões e programação de ações (BRASIL, 2008).
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

Importância dos registro de informação em saúde:

 Sem dados bem coletados, documentos preenchidos com precisão e no

tempo adequado, fica difícil construir bons indicadores e mais difícil ainda
fazer gestão inteligente.
 A má qualidade da informação pode comprometer decisivamente a
qualidade dos processos de monitoramento e avaliação.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

Importância dos registro de informação em saúde:

 Os indicadores de saúde são usados como ferramenta para identificar,

monitorar, avaliar ações e subsidiar as decisões do gestor.
 Por meio deles é possível identificar áreas de risco e evidenciar tendências.
 Além desses aspectos, é importante salientar que o acompanhamento dos
resultados obtidos fortalece a equipe e auxilia no direcionamento das
atividades, evitando assim o desperdício de tempo e esforços em ações
não efetivas.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

 Mas como escolher o melhor indicador? Como ele é construído? O que é

necessário para que esse indicador seja o mais adequado a uma
situação?

 A Organização Mundial da Saúde (OMS) reuniu na década de 1950 um

comitê que pudesse propor um método capaz de definir e avaliar o nível
de vida de uma população.
 Porém, chegou-se à conclusão de que seria impossível construir um único
índice.
 Foi sugerido então que cada um dos 12 itens propostos deveria ser
avaliado separadamente. Conheça-os:
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

 1. Saúde, incluindo condições demográficas;

 2. Alimentos e nutrição;
 3. Educação, incluindo alfabetização e ensino técnico;
 4. Condições de trabalho;
 5. Situação de emprego;
 6. Consumo e economia gerais;
 7. Transporte;
 8. Moradia, incluindo saneamento e instalações domésticas;
 9. Vestuário;
 10. Recreação;
 11. Segurança social;
 12. Liberdade humana.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

 Quando falamos de Indicadores em Saúde no Brasil, é importante saber um

pouco a respeito da Rede Interagencial de Informações para a Saúde
(RIPSA), criada a partir da implementação pela Organização Pan-
Americana da Saúde (Opas) em 1995 da Iniciativa Regional de Dados
Básicos em Saúde, com objetivo de difundir informações a respeito da
situação e tendências na saúde nos países da América Latina.

 No Brasil, houve a criação da RIPSA por meio de um grupo de trabalho

com representantes do Ministério da saúde, OPAS e outras instituições de
informação em saúde (IBGE, ABRASCO, IPEA, FMUSP), que teve sua
formalização em Portaria ministerial no ano de 1996.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores em Saúde

A RIPSA tem como objetivo :

 Estabelecer as bases de dados e informações produzidos no país;

 Articular participação de instituições para produção e análise de dados;
 Implementar mecanismos de apoio à produção de dados e informações;
 Promover intercâmbio entre subsistemas de informação da administração
pública;
 Contribuir para estudos e compreensão do quadro sanitário brasileiro;
 Fomentar mecanismos que promovam o uso de informação em processos
decisórios na SUS.
 (RIPSA, 2012).
 Tecnologia e saúde
Avaliação em Saúde
Indicadores de Saúde
Atributos de um bom indicador:

 VALIDADE
 Capacidade de medir o que ele pretende medir.
 Se você quer medir a qualidade da relação entre gestantes e os médicos
que fizeram seu pré-natal, você não deve, por exemplo, utilizar um
indicador tal como mortalidade materna.

 CONFIABILIDADE
 Capacidade de reproduzir os mesmos resultados quando aplicado em
condições similares.
 Se o mesmo indicador produz resultados muitos diferentes de situações
similares, isso pode ser um sinal de que ele não sirva para medir a variável
que se pretende medir.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores de Saúde
Atributos de um bom indicador:

 SENSIBILIDADE
 Capacidade de detectar, localizar e perceber o fenômeno analisado.
 A frequência de um usuário no grupo de terapia ocupacional não é um
indicador direto da qualidade do trabalho do profissional que dirige o
grupo. Isso pode demostrar aspectos mais ligados ao usuário do que ao
grupo, por exemplo.

 ESPECIFICIDADE
 Capacidade de detectar somente o fenômeno analisado.
 Mortalidade e morbidade não podem ser medidas em um mesmo
indicador, ou, por exemplo, não podemos ter como indicador algo como
"adesão dos pacientes e disponibilidade de medicamentos para
tratamento da diabetes". Trata-se de duas variáveis, duas dimensões, dois
possíveis indicadores ligados a um mesmo objeto, mas independentes.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores de Saúde
Atributos de um bom indicador:

 MENSURABILIDADE
 Baseia-se em dados disponíveis ou viáveis.
 É muito importante utilizar dados disponíveis, já registrados, uma vez que o uso
das informações potencializa a qualidade do registro.
 É também importante estar atento para produzir ou eleger indicadores viáveis,
possíveis de serem construídos, coletados e analisados.

 RELEVÂNCIA
 Capacidade de responder a prioridades da agenda estratégica de uma
iniciativa.
 Um indicador precisa ter relação clara com aspectos fundamentais da
realidade, ou seja, aspectos críticos ou prioritários, para que o objeto possa ser
avaliado.
 Não precisamos de muitos indicadores, mas de bons indicadores.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores de Saúde
Atributos de um bom indicador:

 CUSTO-EFETIVIDADE
 Capacidade de produzir resultados que justifiquem o consumo de tempo e
recursos.
 Se haverá custos envolvidos na produção de indicadores, sejam diretos (criação
de indicadores e coleta primária de dados), sejam indiretos (uso de bases já
existentes), eles precisam ser baixos e viáveis.
 Tecnologia e saúde
Avaliação em Saúde
Indicadores de Saúde

 Um indicador não é um número qualquer, escolhido de forma aleatória, mas uma

construção com sentido particular no contexto de um determinado objeto de
avaliação.

 Nesse sentido, mesmo sabendo que muitas vezes um indicador poderá assumir a
fórmula de um número inteiro (número de consultas de pré-natais realizadas ao
longo da gestão) ou de um valor relativo (número de pacientes hipertensos que
realizam atividades físicas sobre o número total de pacientes hipertensos), eles só
poderão se tornar indicadores se tiverem sentido para responder a perguntas
avaliativas.

 Vejamos alguns exemplos de indicadores:

 Tecnologia e saúde
Avaliação em Saúde
Indicadores de Saúde

 O indicador comumente é representado

como uma variável numérica, podendo
ser um número absoluto (número de
adolescentes multiplicadores participantes
do programa) ou uma relação entre dois
eventos (número de aconselhadores/
número de adolescentes inscritos no
programa) ou uma qualidade do evento
(disponibilidade dos aconselhadores em
receber adolescentes inscritos fora do
horário agendado).
 Tecnologia e saúde
Avaliação em Saúde
Indicadores de Saúde

 Há alguns requisitos básicos para a construção de indicadores, tais como o registro

adequado e sistemático das atividades desenvolvidas, as fontes de dados
identificadas, os sistemas de informação disponíveis e o foco e clareza sobre o
objeto a ser mensurado.

 A informação produzida pelos indicadores depende muito do preenchimento

correto dos instrumentos de coleta (fichas, questionários, prontuários), bem como
da organização dos dados (arquivo, armazenamento em pastas, digitação dos
dados), que devem ser feitos de forma a permitir a análise.