20/08/2018

AVALIAÇÃO
Alguns conceitos

AVALIAR É......
CONCEITOS FOCO
A determinação (baseada em opiniões,
documentos, dados objetivos ou subjetivos) dos
ALCANCE DE
resultados obtidos por uma atividade que fora
OBJETIVOS
estabelecida para realizar um ou mais objetivos
(SUCHMAN, 1967)
A retroação planejada e sistemática de
TOMADA DE
informações necessárias para guiar a ação futura
DECISÃO
(ARNOLD, 1971)
A apreciação do funcionamento e (ou) resultados
de um programa ou de uma política em função
de critérios explícitos ou implícitos, de modo a PROCESSO
contribuir para a melhoria do programa ou
política. (WEISS, 1972; 1989)

1
 20/08/2018

AVALIAR É......
CONCEITOS FOCO
A coleta e interpretação sistemática de provas
(dos dados convincentes) que leva, de modo
inerente ao processo, a um julgamento sobre o JUÍZO DE VALOR
valor de um programa em uma perspectiva de
ação (BEEBY, 1977)
A análise fundamentada, visando a certos
objetivos, em termos de pertinência,
PERTINÊNCIA
implantação e resultados (SOCIEDADE
CANADENSE DE AVALIAÇÃO, 1985)
Processo de determinação do valor das coisas
(...) e se faz em função das necessidades SUBJETIVIDADE
goal free evaluation
interiorizadas (SCRIVEN, 1991)

AVALIAR É......
Avaliar consiste fundamentalmente em emitir juízo de valor sobre uma
intervenção, implementando um dispositivo capaz de fornecer
informações cientificamente válidas e socialmente legítimas sobre essa
intervenção ou sobre qualquer um de seus componentes, com o
objetivo de proceder de modo a que os diferentes atores envolvidos,
cujos campos de julgamento são por vezes diferentes, estejam aptos a
se posicionar sobre a intervenção para que possam construir individual
ou coletivamente um julgamento que possa se traduzir em ações
(BROUSSELLE, CHAMPAGNE, CONTANDRIOPOULOS, HARTZ, 2011)

2
 20/08/2018

AVALIAÇÃO EM SAÚDE

Avaliação em Saúde

Existem diferentes:

definições de avaliação

técnicas de avaliação

3
 20/08/2018

Avaliação em Saúde
A avaliação depende:

da concepção de saúde e suas práticas

dos parâmetros e critérios adotados

dos valores e motivações do interessado

do aspecto avaliado no objeto

Avaliação em Saúde
O enfoque adotado pode variar:

Avaliação do cuidado individual

Avaliação de programas

Avaliação de Sistemas de Saúde

(CALVO, 2007)

4
 20/08/2018

Avaliação em Saúde
A racionalidade que orienta pode
variar:
Administrativa
Sanitária
Econômica
Política

Questões para debate

◦ O que é avaliar ?

◦ O que tem sido a avaliação?

◦ O que deve ser a avaliação?

5
 20/08/2018

• Quando se faz?

• Quem faz? • Do que ?

• Para quem ? • Para que ?

• Como?

QUESTÕES DA AVALIAÇÃO

Quando se faz?
 AVALIAÇÃO DIAGNÓSTICA
inicial, linha de base, “inédito”

 AVALIAÇÃO FORMATIVA
conduzida durante a execução do
programa, auxilia seu desenvolvimento

 AVALIAÇÃO SOMATIVA
após o término do programa, prestação de contas

6
 20/08/2018

Quem faz?

Interesses econômicos
políticos
ideológicos

Pessoal interno X pessoal externo

Vantagens / desvantagens
Conhecimento das práticas, envolvimento, motivação, imparcialidade

Valores, Objetivos
motivações Para quem ?
USUARIOS
SOCIEDADE

TÉCNICO
TRABALHADOR
POLÍTICO

7
 20/08/2018

INTERESSADO

Usuário e sociedade

Acesso: consegue ser atendido?

Qualidade: é bem atendido?
Resolubilidade: resolve seu problema?
Satisfação: serviço atende suas expectativas?
Cumpre a função para qual se destina?

Qual é o espaço de decisão do usuário e da sociedade?

INTERESSADO

Trabalhador
Tem boas condições de trabalho?
Seu trabalho é reconhecido?
Seu trabalho traz recompensa adequada?
Sente-se satisfeito com seu trabalho?

Qual é o espaço de decisão

do trabalhador?

8
 20/08/2018

INTERESSADO

Técnico
Avaliar as questões técnicas envolvidas no
processo (+ diagnóstico e monitoramento)
Comparar o que foi executado com o que foi
proposto (alcance de objetivos e metas)
Usar indicadores de custo, rendimento,
produtividade, morbidade, mortalidade
Qual é o espaço de decisão
do técnico?

INTERESSADO

Decisor
Avaliar as questões políticas envolvidas no processo
Usar indicadores de viabilidade, legitimidade,
utilidade
Justificar os recursos e esforços empenhados e
conseguir novos investimentos
Qual é o espaço de decisão
do gestor?

9
 20/08/2018

O que é avaliado?

Depende da complexidade do
objeto e da abordagem de
interesse
Está bem feito?

Quanto custa?

Está bonito?

OBJETO DA AVALIAÇÃO
Uma ação
de saúde Cada um com
características,
Uma campanha de objetivos, e
saúde estratégias
diferentes

Um programa de saúde

Um sistema de saúde

PROCESSOS E
RESULTADOS
DIFERENTES

10
 20/08/2018

O que ?
Diferentes objetos e abordagens

Sistema de saúde (avaliação dos aspectos econômicos, técnicos, sociais e

culturais)

Programas e serviços de saúde (avaliação de insumos, dos produtos

intermediários e finais, e dos resultados)

Procedimentos e ações (avaliação de estrutura, processo e

resultado)

Tríade de Donabedian (1980)

ESTRUTURA: identificam o grau
de organização dos serviços
Hierarquização do atendimento
recursos físicos,
humanos, materiais e •Padronização dos procedimentos
financeiros necessários
para a atenção à saúde •Sistemas de informação

•Produção dos serviços

•Recursos humanos

ASPECTOS GERENCIAIS •Estrutura física

•Equipamentos

11
 20/08/2018

PROCESSO: afere a qualidade

do que está sendo feito
Conhecer, supervisionar, e garantir a
qualidade da prestação de serviços de
acordo com padrões de excelência
técnica

ASPECTOS SANITÁRIOS

RESULTADO: estimam os
reflexos na saúde da
população
Avaliar o impacto das ações
desenvolvidas através das alterações
de saúde na população e das
alterações nos perfis epidemiológicos

• Estudos mais
abrangentes e
demorados

ASPECTOS SÓCIO-CULTURAIS • Mudanças podem

demorar a aparecer

12
 20/08/2018

Para que ?
Será que isto
funciona?

O que
precisa ser
Estão fazendo melhorado?
de acordo com
o combinado?

PROCESSO DE AVALIAÇÃO
VISÃO CRITÉRIOS
Produtividade dos fatores
Econômica DESEMPENHO
Eficiência dos processos
(técnica)
Qualidade dos processos
Sanitária
Eficácia gerencial
Efetividade do planejamento
Social QUALIDADE
Utilidade dos produtos
(política)
Pertinência dos produtos
Cultural
Relevância dos resultados

13
 20/08/2018

Para que?

Conhecimento Gerência Decisão

Financiamento
Pesquisas Controle
científicas Prestação de
Supervisão contas
Investigações
Acompanhamento Novas propostas
acadêmicas
Reorientação Atender
Diagnósticos
de saúde Implantação determinações

FINALIDADE DA AVALIAÇÃO
Tipologia proposta por NOVAES (2000)

Caracterização das avaliações segundo três

tipologias básicas:
◦ Investigação Avaliativa

◦ Avaliação para Gestão

◦ Avaliação para Decisão

NEPAS - UFSC

14
 20/08/2018

FINALIDADE DA AVALIAÇÃO

Investigação Avaliativa
•Seu objetivo prioritário é a produção de
conhecimento
•Identificar os impactos das ações avaliadas
•Estabelecer associação entre as ações e as
alterações observadas
•É orientada por uma hipótese

NEPAS - UFSC

FINALIDADE DA AVALIAÇÃO

Avaliação para Gestão

•Seu objetivo prioritário é a produção de

informação para aprimorar o objeto
•Identificar e quantificar as condições
•Estabelecer indicadores
•Produz normas e critérios para melhorar a ação

NEPAS - UFSC

15
 20/08/2018

FINALIDADE DA AVALIAÇÃO

Avaliação para Decisão

•Seu objetivo prioritário é participar do processo de

decisão, responder questões apontadas pelos que
vivenciam o objeto avaliado
•Identificar os problemas
•Estabelecer alternativas
•Produz recomendações positivas ao problema

NEPAS - UFSC

Como avaliar?
Vou usar as Preciso de outros
informações instrumentos?
disponíveis?

Preciso de novas
informações?

16
 20/08/2018

Como ?

Qualitativo
Quantitativo

Que instrumentos
Dados primários e técnicas podem
ser utilizados na
Dados secundários avaliação?

Quando usar método Quantitativo?

 Avaliar resultados que podem ser expressos em números,

taxas, proporções
 Conhecer cobertura e concentração do programa
 Conhecer eficiência
 Responder questões de “Quanto?”
 Avaliar atividades cujos objetivos sejam bastante específicos
 Para estabelecer relações significativas entre variáveis

17
 20/08/2018

Quando usar método Qualitativo?

 Avaliar resultados individuais de participantes da atividade/

programa/ serviço

 Responder questões de “como?”, “o que?” e “por quê?”

 Avaliar dinâmica interna de processos e atividades

 Obter descrição global e destacar nuances do objeto

 Avaliar objetos com objetivos pouco específicos

AVALIAÇÃO DEVE

• Ser entendida como “meio sistemático de aprender

empiricamente e de utilizar as lições aprendidas para o
melhoramento das atividades em curso”;

• Ser entendida como parte de um processo que inclui formulação,

implantação e execução de políticas e programas de saúde;

• Ser flexível e adaptável às distintas situações e circunstâncias;

• Utilizar informações válidas, sensíveis, simples, pertinentes,

acessíveis, que permitam analisar quali e quantitativamente o
objeto, através de indicadores adequados e fidedígnos, que
diminuam o grau de subjetividade inerente ao processo de
avaliação;

• Ser bem conduzida para que seus resultados robustos e válidos,

se constituam instrumentos de gestão.

18
 20/08/2018

Avaliação
Para realizar avaliações precisa haver:
Definição precisa do objeto
Clareza dos objetivos
Vontade política
Sensatez
Sensibilidade pedagógica
Flexibilidade
Criatividade

E isso é outra conversa ....

19