CICLO DE

CAPACITAO

MDS

aula

MDULO 1

Avaliao
curso 3

INTRODUO PESQUISA DE
AVALIAO DE PROGRAMAS

Ministrio do
Desenvolvimento Social
e Combate Fome

SAGI

Secretaria de Avaliao e Gesto

da Informao

EXPEDIENTE
Presidenta da Repblica Federativa do Brasil | Dilma Rousseff
Vice-Presidente da Repblica Federativa do Brasil | Michel
Temer
Ministra do Desenvolvimento Social e Combate Fome |
Tereza Campello
Secretrio Executivo | Marcelo Cardona
Secretrio de Avaliao e Gesto da Informao | Paulo
Jannuzzi
Secretria Nacional de Assistncia Social | Denise Colin
Secretrio Nacional de Segurana Alimentar e Nutricional |
Arnoldo Anacleto de Campos
Secretrio Nacional de Renda de Cidadania | Luis Henrique
da Silva de Paiva
Secretrio Extraordinrio de Erradicao da Pobreza | Tiago
Falco
Secretaria de Avaliao e Gesto da Informao
Secretria Adjunta | Paula Montagner
Diretor de Monitoramento | Marconi Fernandes de Sousa
Diretor de Gesto da Informao | Caio Nakashima
Diretora de Formao e Disseminao | Patrcia A. F. Vilas
Boas
Diretor de Avaliao | Alexandro Rodrigues Pinto

Caderno de Estudos do Curso em Conceitos e

Instrumentos para a Avaliao de Programas
Termo de Cooperao UFRGS-MDS 01/2013

CONTEDO E EXECUO
Equipe CEGOV
Coordenao Geral | Aline Gazola Hellmann
Contedo | Marlia Patta Ramos, Paulo de
Martino Jannuzzi e Aline Gazola Hellmann
Equipe Tcnica | Ana Carolina Ribeiro Ribeiro,
Bruno Sivelli, Gabriela Perin, Gianna Vargas
Reis Salgado Dias, Gillian Cidade, Giordano
Benites Tronco, Gustavo Conde Magarites, Joo
Marcelo Conte Cornetet, Jlia da Motta, Thiago
Borne Ferreira.
Equipe Tcnica MDS | Paulo de Martino
Jannuzzi, Patricia A. F. Vilas Boas, Alexandro
Pinto, Marconi Fernandes de Sousa, Caio
Nakashima, Marcilio Marquesini Ferrari,
Antonio de Castro, Michelle Stephanou, Maria
de Jesus Rezende, Thais Kawashima, Renato
Monteiro, Maria Cristina A. M. de Lima, Janine
Cardoso Mouro Bastos, Katia Ozorio, Tarcsio
da Silva Pinto, Marco Antonio Natalino, Luciana
Sardinha, Dionara Barbosa, Jlio Cesar G.
Fonseca, Carlos Henrique Araujo Santana, Davi
Lopes Carvalho
Projeto grfico | Joana Oliveira de Oliveira
Diagramao | Joana Oliveira de Oliveira, Liza
Bastos Bischoff, Henrique Pigozzo da Silva,
Gabriel Thier.

Brasil. Ministrio do Desenvolvimento Social e Combate Fome. Caderno de Estudos do Curso em Conceitos e Instrumentos para a Avaliao de Programas - Braslia, DF: MDS, Secretaria de Avaliao e Gesto
da Informao; Secretaria Nacional de Assistncia Social, 2015. Verso 2 (Maro 2015).
93 p.
1.Polticas Pblicas 2. Avaliao. 3. Programas Sociais. I. Ministrio do Desenvolvimento Social e Combate
Fome. II. Sistema nico de Assistncia Social. III. Poltica Nacional de Educao Permanente do SUAS.

2015 Ministrio do Desenvolvimento Social e Combate Fome.

Todos os direitos reservados.
Qualquer parte desta publicao pode ser reproduzida, desde
que citada a fonte.
Secretaria de Avaliao e Gesto da Informao (SAGI)
Bloco A | 3 andar | Sala 307 | CEP 70046-900 | Braslia | DF
Telefone: (61) 2030-1770
www.mds.gov.br
CENTRAL DE RELACIONAMENTO DO MDS: 0800 707 2003

Universidade Federal do Rio Grande do Sul

(UFRGS)
Centro de Estudos Internacionais sobre
Governo (CEGOV)
Campus do Vale, prdio 43322
Av. Bento Gonalves, 9500
CEP: 91.509-900 Porto Alegre RS
Fone: (51) 3308-9860
www.ufrgs.br/cegov

aula

INTRODUO PESQUISA DE
AVALIAO DE PROGRAMAS


 Ol, gestor e gestora!

Nesta aula voc vai aprender sobre os principais aspectos da
avaliao de programas a partir de uma srie de perguntas.

leia

Boa aula!


saiba
OBJETIVOS DE APRENDIZAGEM
Nesta aula voc vai aprender:

O que um programa;
O que so estudos avaliativos;
Quais so os objetivos de uma pesquisa de avaliao;
Quais so os principais tipos de avaliaes de programas existentes.

RRAMENTAS

acesse!

o que diz a norma?

leitura
obrigatria
JANNUZZI, Paulo De
M. Sistema de Monitoramento e Avaliao de Programas
Sociais: Revisitando
Mitos e Recolocando
Premissas para sua
Maior Efetividade
na Gesto. Revista
Brasileira de Monitoramento e Avaliao,
n 5, p. 04-27, 2013.

VIDEOSFERRAMENTAS
TUTORIAIS
VIDEOTECA
AVALIAO
FINAL

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

VID

AVA
09

BIB

SUMRIO DA AULA 1

O que um programa?

10

O que pesquisa de avaliao de programa?

Qual a diferena entre monitoramento e avaliao de programa?

14
16

Qual o objetivo da pesquisa de avaliao de programa?

17

A quem se destina uma pesquisa de avaliao de programa?

18

Como avaliar um programa?

20

a) Critrios de avaliao

20

b) Indicadores

c) Constrangimentos

20
21

+
a) Segundo o agente que avalia

b) Segundo a natureza

c) Segundo o momento da avaliao

d) Segundo o objetivo da avaliao

Quais os tipos de avaliao existentes?

22
23
23
24
24

Tipos de avaliao segundo o momento do ciclo: uma proposta

integradora

26

leia

VAITSMAN, Jeni;
PAES-SOUSA,
Rmulo. Avaliao
de Programas e
Profissionalizao
da +
Gesto Pblica.
Revista Brasileira
de Monitoramento
e Avaliao. n. 1,
2011. Disponvel
em: http://
aplicacoes.mds.
gov.br/sagirmps/
ferramentas/
TemplateHTML/
PDFs/Artigo_
Revista/Avaliacao_
de_programas_e_
profissionalizacao_
da_gestao_publica.
pdf

saiba

acesse!

o que diz a norma?

10

O QUE UM PROGRAMA?
Programas sao empreendimentos complexos, que envolvem a
contratacao de pessoal tecnico; disponibilidade de instrumentos; adequacao de equipamentos publicos; alocaao de recursos monetarios; promocao de capacitacao, de forma coordenada no tempo e no territorio (JANNUZZI, 2014). Em relao a uma poltica, por exemplo, o programa tem
um grau maior de objetivao e focalizao. Nele so definidas populao
alvo, equipes tcnicas, recursos financeiros, etc. Um projeto, por sua vez,
um instrumento para alcanar os objetivos de um programa, envolvendo um conjunto de operaes, limitadas no tempo, das quais resulta um
produto final que contribui para a expanso ou aperfeioamento da ao
do governo. Quando essas operaes se realizam de modo contnuo ou
permanente, so denominadas de atividades ou aes (GARCIA, 1997).

AVALIAO FINAL

INTRODUO

VIDEOS TUTORIAIS
CEGOV | UFRGS

FERRAMENTAS

AVALIAO FINAL

Dessa forma, podemos definir que:

aula

POLTICA: o estgio onde as propostas de interveno na

realidade ganham forma e estatuto, recebendo tratamentos formais mnimos, ao serem definidos metas, objetivos e recursos. As
polticas transformam-se em programas quando explicitada a
estratgia de implementao e, por uma ao de autoridade, so
criadas as condies iniciais para sua implementao (SILVA; COSTA, 2002).
PLANO: o conjunto de programas que buscam objetivos
comuns. O plano ordena os objetivos gerais e os desagrega em
objetivos especficos, que, por sua vez, sero os objetivos gerais
dos programas. O plano organiza as aes programticas em uma
seqncia temporal, de acordo com a racionalidade tcnica e as
prioridades de atendimento (COHEN; FRANCO, 2004).
PROGRAMA: um conjunto de atividades organizadas para realizao de um objetivo, com cronograma e oramento especficos. O programa busca reunir as condies necessrias para o
alcance das metas estabelecidas.
PROJETO: instrumento para alcanar os objetivos de um programa, envolvendo um conjunto de operaes, limitadas no tempo,
das quais resulta um produto final que contribui para a expanso
ou aperfeioamento da ao do governo. Quando essas operaes se realizam de modo contnuo ou permanente, so denominadas de ATIVIDADES (GARCIA, 1997).

Confira o exemplo a seguir:

Poltica: Poltica Nacional sobre Drogas.
Plano: Plano Integrado de Enfrentamento ao Crack e outras Drogas.
Qual era o problema? Disseminao do crack e outras drogas,
com problemas relacionados ao seu consumo e ao trfico.
Qual era o objetivo? Ampliao e qualificao da rede de preveno, acolhimento aos usurios de drogas e apoio aos seus familiares nas reas da sade, assistncia social e nas escolas.
Qual eram as estratgias? Criao de leitos e unidades de atendimento, qualificao de profissionais.
Programas: Programa Crack, Possvel Vencer, Programa de
Preveno do Uso de Drogas na Escola, Programa de Preveno
na Comunidade, Consultrios na Rua.

O quadro 1 sintetiza os principais elementos de um programa:

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

11

Quadro 1- Elementos de um programa

(continua)

PROGRAMA
Instrumento de organizacao da atuacao governamental, que articula um conjunto de acoes que
concorrem para um objetivo comum preestabelecido, mensurado por indicadores, visando a solucao
de um problema, atendimento de necessidade ou demanda da sociedade, ou aproveitamento de
oportunidade.

Elemento

Descrio

Exemplo fictcio

Denominacao

O nome deve traduzir os propositos do programa.

Podendo ser um nome fantasia que identifique
claramente o programa.

CAPACITANDO EM M&A
(outros exemplos: Cisternas; Luz
para todos; CapacitaSuas)

Descricao sucinta do problema (ou demanda) que

o programa tem por objetivo solucionar e sua contribuicao esperada para o alcance das diretrizes de
governo e/ou dos objetivos setoriais.

A Poltica Nacional de Assistncia

Social de 2004 determina a realizao de polticas estratgicas de
Monitoramento e Avaliao, com
o intuito de aferir e aperfeioar
os projetos existentes e contribuir
para seu planejamento futuro.
No entanto, h um dficit de
capacidade estatal associada
falta de pessoal qualificado para
a execuo das atividades de
M&A. Pretende-se que o programa aumente a capacidade
dos municpios em Monitorar e
Avaliar a execuo dos programas sociais.

Expressa o resultado desejado em relacao ao publico-alvo descrevendo a sua finalidade, com concisao
e precisao, sempre mensuravel por um indicador.
Expresso sempre por um verbo no infinitivo.

Capacitar 2.430 trabalhadores

do SUAS, sendo 1500 em Indicadores, 500 em monitoramento e
430 em avaliao de programas
sociais.

Diagnostico /
Justificativa

Objetivo

Publico-Alvo
Horizonte
Temporal

Segmento da sociedade (pessoas, comunidades, ins- 243 mil trabalhadores municipais

tituicoes, setores, etc) que possui em comum algum
da assistncia social, atuantes
atributo, necessidade ou potencialidade e a qual
nos rgos da assistncia social:
se pretende atingir diretamente com os resultados
CRAS, CREAS, Conselhos e secreesperados pela execucao do programa.
tarias.
Prazo de execucao do programa, podendo ser de
natureza continua ou temporaria. Se for de natureza
temporaria as datas de inicio e termino devem ser
especificadas.

Anual

Data de
Inicio
Data de
Termino

Mes e ano do calendario relativo ao inicio do programa. Valido para programas de carater temporario.

mar/12

Mes e ano do calendario relativo ao termino do programa. Valido para programas de carater temporario.

mar/14

Abrangencia
Espacial

Define a area de atuacao do Programa: Estadual,

Municipal, Regies administrativas do Estado;
Regies do pas; bairros etc.

Nacional

12

CEGOV | UFRGS

Quadro 1- Elementos de um programa

(concluso)

Tipo

Setorial - Multisetorial

Setorial

Fatores de
Risco

Registro das restricoes identificadas que podem

colocar em risco o sucesso do programa.

1) (falta de) banda larga; 2)

ausncia de apoio das chefias
dos gestores; 3) o gestor no ser
liberado para cursar durante o
perodo de trabalho; 4) falta de
comprometimento pelo fato do
curso ser gratuto;

Gerente

Profissional capacitado, designado pelo Secretario

de Estado ou dirigente do Orgao, responsavel pelo
programa, a quem compete, por exemplo, a) participar da elaboracao do programa em todas as suas
fases, congruentes as diretrizes e objetivos estrategicos de Governo ou rgo; b) estabelecer as diretrizes
para o monitoramento e avaliao do programa.

Fulano de Tal

Fonte: elaborao prpria com base em So Paulo (2014). Estrutura de Programas e Aes. Manual do Usurio.
Secretaria de Planejamento e Desenvolvimento Regional do Governo do Estado de So Paulo. s/d. Disponvel em
<http://lua.planejamento.sp.gov.br/doc/manuais/epa/Manual_Aplicativo_LDO_2015.pdf>.

Na Figura 1, evidencia-se a vinculao do programa com a resoluo ou mitigao de uma problemtica social que afeta determinado pblico-alvo e seu desdobramento em atividades - servios - que resultaro
em produtos e efeitos para este pblico, com resultados e impactos sobre
a problemtica inicial.

leia

Figura 1 - Componentes de um programa

IDENTIFICAO DO
PROBLEMA E DA
MUDANA DESEJADA

DADOS PARA
DESENVOLVIMENTO
DO PROGRAMA

INSUMOS
(RECURSOS)

ATIVIDADES

PRODUTOS

RESULTADOS

IMPACTOS

(INTERVENES,
SERVIOS)

(EFEITOS
IMEDIATOS)

(EFEITOS
INTERMEDIRIOS)

(EFEITOS
FINALSTICOS)

DADOS DO
PROGRAMA

Fonte: Ministrio da Sade (2005).

saiba+

DADOS
POPULACIONAIS

videoteca

acesse!

O programa pode estar baseado em um modelo lgico, que

uma ferramenta que auxilia a compreenso sobre como um programa
funciona e quais indicadores podem ser utilizados para conferir se os obo que diz a norma?
jetivos esto sendo atingidos. Relembrando os principais elementos do
Modelo Lgico (Figura 2):
1. Insumos/Recursos (inputs): recursos financeiros, humanos,

Discusso e materiais, tecnolgicos e de informao utilizados no programa;

pecificao do
blema a avaliar

Elaborao do
Projeto de Pesquisa

Para relembrar como

se elabora um modelo lgico, reveja o
vdeo Monitoramento: Modelo Lgico

POLTICA

Disponvel em:
https://youtu.be/
zXzV3LzS3Ag?list=PLTowxHmkqeM8mpEYE-Ys_XzXWBglC9R7K

PLANO

PROGRAMA
13

FERRAMENTAS

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

aula

2. Atividades/Processo de Implementao: as aes e o trabalho empregados e atravs dos quais as entradas (inputs), tais como os
recursos financeiros, a assistncia tcnica e outros tipos de recursos, so
mobilizados para produzirem resultados especficos;

+
3. Produtos (outputs): produtos e servios resultantes direta-

mente das atividades do programa;

IDENTIFICAO DO

ATIVIDADES

INSUMOS
4. Resultados (outcomes): os efeitos
de curto
PROBLEMA
E DA e mdio prazo ad-(INTERVENES,
(RECURSOS)
vindos dos resultados da interveno;
SERVIOS)
MUDANA DESEJADA

PROD

(EFEI
IMEDI

5. Impactos: efeitos de longo prazo do contexto econmico, sociocultural, institucional, ambiental, tecnolgico e outros, em uma popuDADOS
PARA
lao ou grupo especifico, produzidos por um
programa,
direta ou indire- DADOS DO
DESENVOLVIMENTO
PROGRAMA
tamente, intencionalmente ou no.

DO PROGRAMA

leia

Figura 2 - Componentes do Modelo Lgico

MINISTRIO DO
PLANEJAMENTO.
Almanaque do Planejamento: Para
Entender e Parti+ Disponvel
cipar.
em: http://www.planejamento.gov.br/
secretarias/upload/
Arquivos/noticias/
sof/2012/121107_almanaque_do_planejamento.pdf

saiba

acesse!

RECURSOS/
INSUMOS

ATIVIDADES
1

TRABALHO PREVISTO

PRODUTOS

RESULTADOS

IMPACTOS

EFEITOS ESPERADOS

Fonte: Ministrio da Sade (2005).

AVALIAO FINAL

+
O QUE PESQUISA
DE AVALIAO DE PROGRAMA1?
INTRODUOFATORES

A avaliacao de programas tem recebido diferentes definicoes na

literatura especializada, segundo os diversos modelos conceituais, paraDE AGENDA
digmasDEFINIO
teoricos
e linhas de pesquisa da Ciencia Politica, Ciencias Sociais,
Economia e Administracao Publica. Para este curso, utilizaremos uma defiPercepo e definio
nicaodas
mais
pragmatica
e aplicada, proposta em Jannuzzi (2013), de acordo
questes
pblicas
com a qual a avaliacao refere-se ao conjunto de procedimentos tecniAVALIAO DE
INDICADORES
DESENHO
ateno! AVALIAO
DE cos para produzir informacao e DIGNSTICO
conhecimento, em perspectiva interDEMANDA
INDICADORES
FORMULAO
disciplinar, para
desenho
ex-anteSNTESE
(prvio), implementacao e validacao
Os trs principais
Diagnstico
e
desenho de
SISTEMA DE
programas
critrios que so ava- PROBLEMASex-post
INDICADORES
(posterior) de programasMONITORAMENTO
e projetos sociais, por meio das difeE
liados em programas DEMANDASrentes abordagens
AVALIAO
DE
metodologicas
da pesquisa social, com a finalidade
SOCIAIS
PROCESSO
so: eficiencia no uso
de garantir o cumprimento
dos objetivos de programas e projetos (efiIMPLEMENTAO
dos recursos, eficacia
Produo e Oferta
AVALIAO
cacia),
seus
impactos
mais
abrangentes
em outras dimensoes sociais,
dos
servios
DE
Anlise de resultados
no atingimento dos AVALIAO
EFICINCIA
e impactos
ou seja,
paraAVALIAO
alem
dos publicos-alvo atendidos (efetividade) e a custos
Deciso sobre
DE
objetivos e efetividade
IMPACTOS
continuidade
condizentes com a escala e complexidade da intervencao (eficiencia).
na mudanca social

o que diz a norma?

POLTICOS

FATORES
VIDEOS
TUTORIAIS
ECONMICOS

leia

FERRAMENTAS

AVALIAO FINAL

VIDEOTECA

BIBLIOTECA

EXERCCIOS

SOBRE OFINAL
MOODLE
AVALIAO

proporcionada pelo
+
programa (Draibe,
1999).

saiba

14

FATORES OR
E INSTIT

(1) Esta seo reproduz parcialmente o artigo Avaliaco de Programas Sociais:

Conceitos e Referenciais de Quem a Realiza. Paulo de Martino Jannuzzi. Publicado em Est. Aval. Educ., Sao Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014.

CEGOV | UFRGS

acesse!

GUIA DE ESTUDOS

SOBRE O CURSO

AF
PRO

+
Em outras palavras, a avaliao pode ser entendida como um levantamento consistente, sistematico e replicavel de dados, informacoes
e conhecimentos para aprimoramento da intervencao programatica,
versando sobre: as caracteristicas essenciais do contexto de atuacao; os
publicos-alvo; o desenho; os arranjos de implementacao; os custos de
operacao; os resultados de curto prazo; os impactos sociais e de mais longo prazo de um programa. Enfim, avaliacao tem o objetivo de produzir
evidencias, compilar dados e sistematizar informao e conhecimento que contribuam para o aperfeicoamento de programas e projetos
sociais, alem da consecucao de seus objetivos.
A definicao de avaliacao de programas tambem remete a necessidade de abordagem interdisciplinar na producao de informacao e
conhecimento sobre os problemas investigados. Pobreza, desigualdade,
desempenho escolar e mortalidade infantil sao questoes sociais determinadas e influenciadas por uma serie de dimensoes sociais mais amplas e
estruturais, assim como de aspectos mais circunscritos e relacionados a
falta de efetividade de programas publicos desenhados para o equacionamento das mesmas.
Como foi visto, programas sao empreendimentos complexos,
que envolvem a contratacao de pessoal tecnico; disponibilidade de instrumentos; adequacao de equipamentos publicos; alocacao de recursos
monetarios; promocao de capacitacao, de forma coordenada no tempo e
no territorio. Mapear, pois, as dimensoes sociais mais relevantes a formulacao de um programa ou os problemas operacionais requer uma equipe
de avaliadores com diferentes formacoes academicas e profissionais.

aula

leia

JANNUZZI, Paulo
de Martino. Avaliaco de Programas
Sociais: Conceitos
e Referenciais de
+ a Realiza.
Quem
Estudos em Avaliao Educacional.
Sao Paulo, v. 25, n.
58, p. 22-42, 2014.
Disponvel em:
http://www.fcc.org.
br/pesquisa/publicacoes/eae/arquivos/1925/1925.pdf

saiba

acesse!

Identificar o momento adequado de avaliar um programa e umo que diz a norma?

misto de tecnica, politica e arte: avaliacoes precoces podem colocar a perder a legitimidade de um programa e projeto que ainda nao teve tempo
de se estruturar; avaliacoes tardias podem comprometer recursos e esforcos que poderiam ser usados de forma mais eficiente e eficaz na mitigacao
da problematica social em questao. Se o programa e projeto produzem resultados e impactos, e necessario analisar os custos envolvidos na operacionalizacao de suas atividades, equipamento e pessoal pois esta e, certamente, uma informacao fundamental para avaliar a sustentabilidade dos
programas e projetos no futuro e em outros contextos (JANNUZZI, 2014).
Em uma perspectiva metodologica, os esforcos de Avaliacao podem se estruturar em quatro tipos de produtos (MDS, 2014):
1. Estudos avaliativos analises com base em dados secundarios ou compilacao de artigos e trabalhos ja realizados anteriormente na tematica, com maior ou menor abrangencia;

FERRAMENTA
VIDEOTECA

2. Pesquisas de avaliacao levantamentos primarios, quali ou

quantitativos, desenhados com objetivos de producao de
evidencias mais especificas necessarias ao aprimoramento
da intervencao;

EXERCCIOS

3. Meta-avaliacoes recensoes (anlise crtica) sobre estudos

avaliativos, pesquisas e experiencias nacionais, subnacionais

GUIA DE EST

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

15

e internacionais de programas e projetos implementados;

4. Relatorios-sintese de Avaliacao e portais Web com informacao
mais sumaria, na forma de indicadores em geral, para comunicacao mais objetiva acerca de aspectos do diagnostico, implementacao e resultados do programa e projetos.
As avaliaes realizadas no mbito do MDS, especificamente, podem ser denominadas pesquisas de avaliao pois tratam-se de anlises
pragmticas de caractersticas essenciais do contexto, pblicos-alvo, desenho, implementao, custos de operao, resultados de curto prazo, impactos sociais e de mais longo prazo de um programa. Assim, abrange os
insumos acerca do programa que contribuem para seu aperfeioamento e
a consecuo de seus objetivos.

QUAL A DIFERENA ENTRE MONITORAMENTO

E AVALIAO DE PROGRAMA?
Acompanhamento ou monitoramento uma atividade gerencial interna, realizada sistematicamente durante o perodo de execuo e
operao, que visa saber como a interveno evolui ao longo do tempo.
Faz uso de dados da gerncia do projeto sobre metas iniciais, indicadores
e resultados associados aos programas. Por meio do monitoramento, portanto, gestores, pesquisadores ou outros agentes conseguem examinar
como a implementao est sendo realizada, se est atingindo seus objetivos e/ou se est enfrentando algum tipo de problema que esteja interferindo nas aes e processos e, por conseguinte, na consecuo dos objetivos previstos (FARIA, 2005; CUNHA, 2006). De posse dessas informaes, o
monitoramento auxilia na recomendao dos ajustes necessrios ao plano
e s condies operacionais e da correo dos rumos.
Por sua vez, a avaliao pode ser realizada antes, durante ou mesmo algum tempo depois da implementao, dependendo do objetivo.
Mas, ao contrrio do monitoramento, a avaliao no um processo contnuo. Trata-se de uma atividade pontual que tem a finalidade de subsidiar
decisoes, apresentar recomendacoes, prestar contas a sociedade e extrair
licoes. Em ambos os instrumentos latente a funo de proviso de informaes sobre um determinado programa ou poltica governamental em
todo o seu ciclo, inclusive o momento inicial de identificao do problema.
O fato e que Monitoramento e Avaliacao sao processos analiticos organicamente articulados, que se complementam no tempo, com o
proposito de subsidiar o gestor publico de informacoes mais sinteticas e
tempestivas sobre a operacao do programa resumidas em paineis ou sistemas de indicadores de monitoramento e informacoes mais analiticas
sobre o funcionamento desse, levantadas nas pesquisas de avaliacao. Tal

16

CEGOV | UFRGS

como termometros, os indicadores de monitoramento podem apontar

sinais de normalidade ou febre em pontos criticos do desenho operacional de programas, orientando tecnicos e gestores a tomarem decisoes
cabiveis de correcao, e ate mesmo contratarem pesquisas de avaliacao
ou exames clinicos, na metafora adotada para investigar as causas e a
persistencia da febre, isto e, do problema (JANNUZZI, 2014).

aula

QUAL O OBJETIVO DA PESQUISA DE AVALIAO

DE PROGRAMA?
Pesquisas de avaliao servem para que se tenha um melhor entendimento do programa. Trata-se de atividade estratgica que propicia
a compreenso das polticas e do Estado em ao, visando o seu aprimoramento (DRAIBE, 1997), beneficiando o Estado (seus gestores e tcnicos), o usurio, os pesquisadores e, claro, a sociedade em geral.
Nesse sentido, uma pesquisa de avaliao no substitui o processo de tomada de deciso poltica, mas permite que as decises sejam
tomadas de maneira mais consciente, de posse de informaes mais atualizadas, confiveis e teis.

+
Para compreender
melhor as diferenas
entre Monitoramento
e Avaliao, faa o
exerccio Monitoramento x Avaliao
disponvel na pgina
da Aula 1, no Moodle.

Algumas das questes que as avaliaes respondem so:

Em que medida os objetivos propostos foram alcanados?
Como o programa funciona?
O que pensam os beneficirios e os gestores sobre o programa?
Quais os motivos que levam ou levaram a atingir ou no os resultados?

possvel caracterizar os principais objetivos da pesquisa de

avaliao como sendo:

LANIF OAILAVA

a melhoria do processo de tomada de deciso,

a alocao apropriada de recursos e

o aumento da responsabilidade da aes pblicas (transparncia na gesto)

OUDORTNI

Programas so avaliados basicamente porque decises tem que

ser tomadas. Hipteses e teses ajudam a sistematizar as motivaes para
realizao de uma avaliao, como, por exemplo:

SIAIROTUT SOEDIV

LANIF OAILAVA

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

SATNEMARR
17

Quadro 2 - Sistematizao de questes de avaliao de acordo com o seu objetivo

Queremos mostrar

Queremos saber (perguntas avaliativas)

Que o pblico-alvo est sendo atendido.

O pblico-alvo est sendo atendido?

Que os beneficirios esto satisfeitos com

o programa.

Os beneficirios esto satisfeitos com

o programa?

Que o programa est impactando positivamente em

algum problema social.

O programa fez alguma diferena real?

Que o programa vale a pena.

O programa merece todo o recurso investido?

Que um programa ou tipo de abordagem de um

problema melhor que outro.

A nova interveno melhor que a antiga?

Que o programa precisa de mais recursos humanos

ou financeiros.

Como melhorar o programa?

Que os recursos humanos esto sendo

bem utilizados.

Os recursos humanos fazem uso eficiente do

seu tempo no trabalho?

Fonte: elaborao prpria.

A QUEM SE DESTINA UMA PESQUISA DE AVALIAO

DE PROGRAMA?
+

leia

De acordo com Faria (2005) os usurios potenciais da pesquisa

avaliativa podem ser:
os financiadores do programa (e da prpria avaliao),
os gerentes e encarregados de mais alto escalo,
os tcnicos e profissionais que lidam de maneira mais direta com os
beneficirios, ou seja, os agentes encarregados da implementao,

saiba+

os beneficirios,

A Sagi disponibiliza
os microdados das
suas pesquisas.
Acesse: http://
aplicacoes.mds.gov.
br/sagi/portal

os gerentes de programas similares e/ou de diferentes nveis governamentais, preocupados em melhorar programas sob sua responsabilidade,
os agentes do governo central,

acesse!

AVALIAO FINAL

os representantes de fundaes,

o que diz a norma?

os interessados em conhecer projetos exitosos que meream financiamento,

INTRODUO

os membros do legislativo engajados na melhoria de programas

existentes ou na elaborao de novas propostas,
os cientistas sociais,

VIDEOS TUTORIAIS

outros avaliadores que buscam aprender com as descobertas e

com as metodologias empregadas,

18

CEGOV | UFRGS

FERRAMENTAS

AVALIAO FINAL

 as prprias organizaes que administram o programa avaliado ,

aula

o pblico em geral ou a sociedade civil.

Um aspecto relevante, portanto, a prpria divulgao dos resultados de pesquisas de avaliao, pois nada adianta avaliar se as concluses no so publicizadas. Contudo, alguns fatores podem interferir na
forma como so aproveitados os resultados da pesquisa de avaliao, tais
como (FARIA, 2005):
a existncia de crenas e interesses conflitantes na organizao
que gerencia o programa;
a ocorrncia de conflitos de interesses entre as distintas unidades do programa;

Veremos mais sobre

a questo da disseminao dos resultados
na aula 4.

as mudanas no pessoal encarregado (quando, por exemplo, os

novatos tm prioridades diferentes daquelas vigentes no incio
da avaliao);

a eventual inflexibilidade das regras e dos padres operacionais

da organizao, que podem impedir a adoo das recomendaes feitas quando da avaliao;
as mudanas nas condies externas, tais como cortes oramentrios e alteraes no ambiente poltico, que podem tornar
impossvel para a organizao responder necessidade de mudana revelada pelos avaliadores.

ateno!

LANIF OAILAVA

Para que o conhecimento em M&A produzido alcance plateias mais abrangentes, preciso tornar os produtos desenvolvidos relatrios, indicadores,
estudos avaliativos compreensveis e atrativos para os diferentes pblicos
usurios. No basta colocar disposio pblica na Internet as planilhas de
dados e indicadores de programas e os extensos relatrios de pesquisas de
avaliao realizados. Produo de dados no gera demanda por conhecimento. necessrio desenvolver produtos customizados para os diferentes
pblicos de tcnicos e gestores que se almeja atingir, adequando formato,
contedo e complexidade. Deve-se investir na disseminao dos resultados
+exibio
na forma de palestras presenciais ou gravadas em multimdia para
em um portal especfico, que rene todo o material relacionado s pesquisas
de avaliao, com recursos de consulta. Sumrios executivos de pesquisas de
avaliao, fichas tcnicas de poucas pginas (one page paper) com os resultados essenciais alm de grficos, mapas e relatrios descritivos com esses elementos podem ter repercusso e atratividade maior que tabelas, painis de
indicadores ou publicaes volumosas, com contedos impenetrveis para
aqueles sem formao especializada na temtica tratada (JANNUZZI, 2013).

leia

OUDORTNI

saiba

SIAIROTUT SOEDIV

LANIF OAILAVA

Ou seja, preciso cuidar para que os mtodos e estratgias de produo de informao e conhecimento se adequem em contedo, custos e
tempestividade para atender as demandas de seus usurios. Especialmente
aps o advento da Internet, h diferentes e criativas formas de comunicar
mensagens simples e complexas para os mais diferentes tipos de leitores.

ACETOILBIB

ELDOOM O ERBOS

acesse!

SATNEMARR

o que diz a norma?

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

ACETOE

SOICCRE

19

COMO AVALIAR UM PROGRAMA?

No processo de avaliao de um programa deve-se levar em conta o que se quer avaliar (critrios) e como avaliar (quais os indicadores
usar), alm de estar ciente de que podem surgir dificuldades no caminho
(constrangimentos). A seguir veremos esses aspectos em detalhe.

CRITRIOS DE AVALIAO: O QUE SE QUER AVALIAR?

Para avaliar o desempenho de um programa necessrio definir

critrios de avaliao. A lista dos critrios que podem ser utilizados longa
e a escolha de um, ou vrios deles, depende dos aspectos que se deseja privilegiar na avaliao. Segundo o manual da UNICEF (apud COSTA;
CASTANHAR, 2003), os mais comuns so:
Eficincia: termo originado nas cincias econmicas que significa a menor relao custo/benefcio possvel para o alcance dos
objetivos estabelecidos no programa;
Eficcia: medida do grau em que o programa atinge os seus objetivos e metas;
Impacto (ou efetividade): indica se o projeto tem efeitos (positivos) no ambiente externo em que interveio, em termos tcnicos,
econmicos, socioculturais, institucionais e/ou ambientais;
Sustentabilidade: mede a capacidade de continuidade dos efeitos benficos alcanados atravs do programa social, aps o seu
trmino;
Anlise custo-efetividade: similar ideia de custo de oportunidade e ao conceito de pertinncia; feita a comparao de formas
alternativas da ao social para a obteno de determinados impactos, para ser selecionada aquela atividade/projeto que atenda
os objetivos com o menor custo;
Satisfao do beneficirio: avalia a atitude do usurio em relao qualidade do atendimento que est obtendo do programa;
Equidade: procura avaliar o grau em que os benefcios de um
programa esto sendo distribudos de maneira justa e compatvel
com as necessidades do usurio.

INDICADORES: COMO MEDIR?

A aplicao desses critrios requer formas especficas de operacionalizao, os indicadores. De acordo com Jannuzzi (2001), um indicador
um recurso metodologico, empiricamente referido, que informa algo
sobre um aspecto da realidade social ou sobre mudancas que estao se
processando na mesma. Mais especificamente, em uma perspectiva programatica, o indicador social e um instrumento operacional para moni-

20

CEGOV | UFRGS

toramento da realidade social, para fins de formulacao e reformulacao

de politicas publicas.

aula

Conforme j visto nos Cursos de Indicadores e do Monitoramento, os indicadores podem ser classificados de acordo com sua empregabilidade no ciclo de formulao e avaliao de programa, conforme segue:

PRODUTOS

RESULTADOS

ES,
S)

(EFEITOS
IMEDIATOS)

(EFEITOS
INTERMEDIRIOS)

Figura 3 - Classificao dos Indicadores

INDICADOR
- INSUMO
INDICADOR
INDICADOR-PROCESSO
- INSUMO
IMPACTOS
(EFEITOS
INDICADOR-INSUMO
INDICADOR-PROCESSO
FINALSTICOS)

Recurso: qualidade de

DADOS Recurso: quantidade

POPULACIONAIS
mdicos
por milpor mil
de mdicos

O
A

POLTICA
PROGRAMA
PROJETO

habitantes
ouou gasto
habitantes
POLTICA
gasto
monetrio
monetrio
per capita
perem
capita
em sade
sade

PROGRAMA

INDICADOR
INDICADOR-PROCESSO
INDICADOR-PRODUTO
- INSUMO

INDICADOR-PROCESSO
INDICADOR-PRODUTO
INDICADOR-IMPACTO

INDICADOR-PRODUTO

Recurso: qualidade de
mdicos
porrecursos:
mil
recursos:
UmUmdosdos
habitantes
Consultas
ouaoaoms
msporpor
consultas
criana
atat1 ano
gasto
Criana
monetrio
1 ano
per capita em sade

mais abrangentes
Desdobramentos
mais
Melhora
do nvel
Resultado
efetivo:
abrangentes
Um dos recursos:
nutricional
Taxa de
morbidade
ou
Melhora
do
nvel nutricional
Consultas ao ms por
Melhora
do
mortalidade
infaltil
Melhora
do
desempenho
escolar
Criana atdesempenho
1 ano
escolarcom
por causa
especfica
Economia
futura
em gastos
sade Economia futura em
gastos com sade

Recurso: qualidade de
Resultado
efetivo:
Resultado
efetivo:
mdicos
Um dos
porrecursos:
mil
taxa deTaxa
morbidade
ou ou
de morbidade
habitantes
Consultasouao ms por
mortalidade
infantilinfaltil
mortalidade
gasto
Criana
monetrio
at 1 ano
por causa
especfica
por causa
especfica
per capita em sade

Fonte: JannuzziPROJETO
(2001).

AO

leia

Desdobramentos
mais abrangentes
Melhora
do nvel
Resultado
efetivo:
Taxa nutricional
de morbidade ou
Melhora do
mortalidade
infaltil
desempenho
esco
por causa
especfica
Economia futura e
gastos com sade

AO

RECURSOS

RECURSOS

RECURSOS

ATORES ORGANIZACIONAIS
HUMANOS
HUMANOS
JANNUZZI, Paulo deHUMANOS
Martino. Indicadores Sociais
na Formulao e AvaE INSTITUCIOANAIS CONSTRANGIMENTOS
CONSTRANGIMENTOS
RECURSOS
CONSTRANGIMENTOS
RECURSOS
ORES
FATORES de Politicas Pblicas. Disponvel em: http://www.cedeps.com.br/
liao
POLTICOS
POLTICOS
FINANCEIROS POLTICOS
FINANCEIROS
NTAIS
AMBIENTAIS
wp-content/uploads/2011/02/INDICADORES-SOCIAIS-JANUZZI.pdf

ACTERSTICAS
AFETAM O
PBLICOPROGRAMA
ALVO

INDICADOR-PRODUTO
INDICADOR-IMPAC

INDICADOR-IMPACTO
Desdobramentos

RECURSOS
FINANCEIROS

MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO. Indicadores

FALTA
DE INFORMAO
FALTA DE INFORMAO
CARACTERSTICAS
de
Programas:
Guia
Metodolgico. Braslia:
Ministrio
do Planejamento,
+
AVALIAO
AVALIAO
AVALIAO INTIL
TEMPO
TEMPO
TEMPO
OU
INFORMAO
INTIL
OU
INFORMAO
DO
PBLICO
ALVO
Oramento e Gesto - Secretaria de Planejamento e Investimentos EstraDE PROGRAMA
DEOUPROGRAMA
DE
PROGRAMA
DESORGANIZADA
OU DESORGANIZADA
tgicos, 2010.

saiba

FALTA DE INFORMAO
OU INFORMAO INTIL
OU DESORGANIZADA

AVALIAO FINAL

CONSTRANGIMENTOS
acesse!

A realizao de uma pesquisa de avaliao de um programa pode

enfrentar constrangimentos/dificuldades de pelo menos quatro tipos
principais:

INTRODUO
o que diz a norma?
Tempo: comum que se pense na avaliao quando o programa j est em estgio avanado de execuo, deixando pouco
tempo para o avaliador realizar o seu trabalho.

Recursos: muitas vezes o custo com a avaliao do programa

no foi includa nos recursos do projeto original e a avaliao tem
que ser adaptada a um valor menor do que o desejvel. A falta de
recursos humanos qualificados tambm prejudica a execuo e o
aproveitamento de pesquisas de avaliao.

VIDEOS TUTORIAIS

FERRAMENTAS

AVALIAO FINAL

VIDEOTECA

BIBLIOTECA

EXERCCIOS

SOBRE O MOODLE

Dados/Informao: ter a informao desde o incio do programa importante para se observar as mudanas ocorridas na realidade que se quer observar mas frequentemente no est disponvel ao avaliador no momento oportuno ou de maneira completa,

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

21

INDICADOR - INSUMO

IMPACTOS

INDICADOR-PROCESSO

INDICADOR-PRODUTO

(EFEITOS
FINALSTICOS)

Recurso: qualidade de
Resultado efetivo:
mdicos por mil
Um dos recursos:
Taxa de morbidade ou
Consultas ao ms por
habitantes ou
organizada e til.
mortalidade infaltil
gasto monetrio
Criana at 1 ano
por causa especfica
Polticos:
per capita
em sadepara Weiss (1998), por exemplo, o interesse poltico
dos altos executivos, mais focados na efetividade do programa,
diferente do interesse dos gerentes, concentrados que esto com
a estratgia de implementao, nas aes do dia a dia.

NAIS

POLTICA
PROGRAMA
PROJETO
AO

Figura 4 - Constrangimentos para a avaliao de um programa

RECURSOS
HUMANOS

CONSTRANGIMENTOS
POLTICOS

FATORES
AMBIENTAIS
CARACTERSTICAS
DO PBLICO ALVO

AVALIAO
DE PROGRAMA

TEMPO

RECURSOS
FINANCEIROS
FALTA DE INFORMAO
OU INFORMAO INTIL
OU DESORGANIZADA

Fonte: elaborao prpria.

Todos esses constrangimentos, juntos ou separados, afetam o desenho da pesquisa de avaliao que ser executada.

QUAIS OS TIPOS DE AVALIAO EXISTENTES?

As avaliaes podem ser classificadas em vrios tipos, de acordo
com diferentes critrios, tais como:
Quadro 3 - Tipos de avaliao

Critrios

Tipos
Externas

Quanto ao agente que as realiza

Internas
Mistas
Participativas

Quanto sua natureza

Quanto ao momento em que so realizadas
Quanto ao problema
Fonte: elaborao prpria.

22

CEGOV | UFRGS

Somativas
Formativas
Ex ante
Ex post
Processo
Resultado/impacto

Na prtica, esses tipos de avaliao geralmente so combinados.

Esses critrios sero explicados a seguir.

aula

SEGUNDO O AGENTE QUE AVALIA

As avaliaes realizadas com base no agente que as realiza podem ser de quatro tipos:

EXTERNA: Realizada por pessoas de fora da instituio responsvel pelo

programa e por isso tende a ser mais isenta e objetiva.
H a possibilidade de comparao dos resultados obtidos com
os de outros programas similares j analisados.

INTERNA: Realizada dentro e pela instituio responsvel pelo programa.

Principais caractersticas:
Elimina uma possvel resistncia natural dos responsveis pelo
programa a um avaliador externo;
Possibilita a reflexo e a aprendizagem, diante da observao
dos prprios integrantes sobre o processo;
Permite uma melhor compreenso sobre as atividades realizadas dentro da instituio;
Mas... pode perder sua objetividade, j que realizada por pessoas que esto envolvidas na implementao do programa.

MISTA: Combina a avaliao externa com a interna. Permite com que os

avaliadores externos tenham um contato estreito com a equipe responsvel pelo programa.

PARTICIPATIVA: Prev a participao dos beneficirios no planejamento,

execuo e avaliao do programa. utilizada principalmente para pequenos projetos.
b

SEGUNDO A NATUREZA

Quanto sua natureza, as avaliaes podem ser formativas ou

somativas:

FORMATIVAS: So avaliaes relacionadas etapa de formulao do programa, geralmente realizada por e para quem est diretamente envolvido
com o programa. O objetivo fornecer os elementos para a realizao de
correes necessrias nos procedimentos de implementao.

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

23

SOMATIVAS: Relacionadas anlise das etapas posteriores formulao do

programa e realizadas quando o programa est sendo implementado ou
aps a sua implementao. O objetivo verificar a efetividade do programa e fazer o julgamento do seu valor geral.
A avaliao somativa contrasta com a avaliao formativa, que se
concentra em maneiras de melhorar e reforar os programas em vez de render juzo definitivo sobre a eficcia, efetividade ou eficincia, por exemplo.
Em outras palavras, podemos dizer que quando o cozinheiro prova a sopa,
uma avaliao formativa; quando o cliente prova a sopa, uma avaliao
somativa.

SEGUNDO O MOMENTO DA AVALIAO

Pesquisas de avaliao devem fazer parte de todas as etapas do ciclo de toda e qualquer poltica pblica, mas podem ser agrupadas em dois
tipos: antes (ex-ante) ou depois (ex-post) da implementao do programa.

EX ANTE:
Realizada antes do incio do programa.
Visa dar suporte deciso de implementar ou no o programa e
a ordenar os vrios projetos, segundo sua eficincia para alcanar
os objetivos determinados. Seu elemento central o diagnstico,
que auxilia na alocao dos recursos disponveis de acordo com os
objetivos propostos.

EX POST:
Realizada durante a execuo de um programa ou ao seu final,
quando as decises so baseadas nos resultados alcanados.
Quando um programa est em execuo, julga-se se ele deve
continuar ou no, com base nos resultados obtidos at o momento. Se sim, decide-se se ele deve manter a formulao original ou
sofrer modificaes. Quando o programa j foi concludo, julga-se
a pertinncia do uso futuro da experincia.

SEGUNDO O OBJETIVO DA AVALIAO

A avaliao pode ser realizada, tambm, a partir de seus objetivos:

AVALIAR O PROCESSO DE IMPLEMENTAO:

Realizada durante a implementao do programa.
Diz respeito dimenso de gesto.

24

CEGOV | UFRGS

 uma avaliao peridica que procura detectar as dificuldades

que ocorrem durante o processo.

aula

Objetiva efetuar correes ou adequaes.

Serve de suporte para melhorar a eficincia operativa.

AVALIAR O PRODUTO/RESULTADO/IMPACTO:
Procura verificar em que medida o programa alcana seus objetivos e quais so os seus efeitos (imediatos, de mdio prazo e de
longo prazo).
Objetiva responder se o programa funcionou ou no. Para tanto,
indaga-se se houve modificaes na situao-problema.
Serve de suporte para deciso sobre poltica, como continuao
do programa e formulao de outros.
Segundo Figueiredo e Figueiredo (1986), tanto a avaliao de processo quanto a de produto podem chegar s seguintes concluses:
(i) O resultado esperado alcanado.
(ii) Um resultado no esperado produzido, sendo, porm, positivo.
(iii) Resultados do tipo a) e b) ocorrem e so positivos no curto
prazo, mas podem ser negativos no mdio e longo prazo.
(iv) O resultado esperado atingido no que se refere aos membros
da populao alvo, isto , cada indivduo melhorou sua situao
com a poltica pblica; no entanto, em mdio prazo, a categoria
social a que estes indivduos pertencem, ou passam a pertencer,
piora.
(v) O resultado esperado no alcanado e nenhum outro resultado produzido.
(vi) Um resultado no esperado ocorre, sendo, porm, negativo.

AVALIAR A EFICINCIA:
A avaliao de eficincia remete a avaliao para consideraes
de benefcio e custo dos programas. Anlise custo-benefcios.

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

25

TIPOS DE AVALIAO SEGUNDO O MOMENTO DO

CICLO: UMA PROPOSTA INTEGRADORA
Analisando as diferentes tipologias de avaliao at aqui apresentadas, podemos perceber que muitas delas se sobrepem, o que pode
criar alguma confuso. Com o objetivo de evitar essas imprecises, apresentaremos uma classificao que objetiva integrar diversos parmetros
utilizados em outras tipologias, baseando-se do ciclo de programas como
critrio para sua elaborao.
A classificao de acordo com o momento no ciclo apresenta 5
tipos possveis de avaliao (Jannuzzi, 2014a):
AVALIAO DE DEMANDA: Esse tipo de avaliao auxilia o
Estado na identificao e mensurao dos problemas sociais enfrentados por uma determinada comunidade. A avaliao de demanda colabora na formao da agenda governamental, dando
subsdios para a definio de quais problemticas so prioritrias
para serem combatidas por programas.
AVALIAO DE DESENHO: Antes da formulao de programa
para mitigao ou equacionamento do problema social identificado, em geral, so necessrios novos esforos de levantamentos
de campo para aprofundamento do diagnstico das condies de
vida, contexto econmico, restries ambientais, capacidade de
gesto e oferta de servios. Alm disso, cabe tambm uma compilao de estudos j realizados na temtica, abordando determinantes do problema em questo e eventuais programas e projetos j idealizados. As avaliaes dessa natureza constituem o que
se denomina Avaliao de desenho.
AVALIAO DE PROCESSO: Definidos os pblicos a atender
e os arranjos operacionais do programa preciso coloc-lo em
ao, realizando as atividades planejadas e identificando problemas na oferta, na regularidade e qualidade dos servios por meio
de pesquisas de Avaliao de processo. Essa avaliao realizada
durante a implementao, para verificar se o programa est sendo
colocado em prtica da maneira planejada.
AVALIAO DE RESULTADO OU IMPACTO: Aps a implementao do programa, as demandas de informao e conhecimento
voltam-se para a Avaliao de resultados e impactos do programa. Trata-se de momento de investigao mais exaustiva sobre os
diversos componentes de uma interveno, abordando no apenas o cumprimento dos seus objetivos, mas seus impactos sociais
mais abrangentes. Cabe nesse momento avaliar se a interveno
conseguiu provocar mudanas na realidade social que a originou,
considerando a complexidade do seu desenho, alm da gravidade da questo social enfrentada.

26

CEGOV | UFRGS

 AVALIAO DE EFICINCIA: As avaliaes de eficincia, ou custo-efetividade, tambm so realizadas aps a implementao do

programa. O custo-efetividade das intervenes a relao entre
valor gasto para produzir unidades de resultados e os impactos
do programa em um perodo de tempo e territrio especficos. Em
outras palavras, esse tipo de avaliao estuda a adequao entre o
custo do programa tendo em vista o resultado obtido. Avaliaes
dessa natureza so fundamentais para avaliar a sustentabilidade
dos programas e projetos no futuro e em outros contextos.

A figura a seguir sintetiza cada um dos tipos de avaliao e seu

momento no ciclo da poltica pblica:
Figura 5 - Tipos de Avaliao

Percepo e definio
das questes pblicas
Avaliao de
Demanda

DEFINIO

DEMA
ND
AS

DA AGENDA

INDICADORES
DIAGNSTICO
INDICADORES
SNTESE

Dados e Indicadores
Avaliao de
de Pesquisa de
Eficincia
Avaliao

SISTEMA DE
INDICADORES
MONITORAMENTO

LI
A
O

Diagnstico e
desenho de programas

Avaliao de
Processo
A
O

A
AV

Anlise de resultados
e impactos
Deciso sobre continuidade

O
ULA
RM
FO

Problemas e
Demandas sociais

Sistema de Dados e
Avaliao
de para o
Indicadores
Desenho
Diagnstico

T
EN
M
E
IMPL

Produo e
Oferta dos Servios

Avaliao de
Painel de Indicadores
Impactos
para Monitoramento
Fonte: elaborao prpria com base em Jannuzzi, 2012.

Na prxima aula veremos brevemente como surge, por que surge

e como se d o desenvolvimento das atividades de avaliao de programas no Brasil.

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

27

NESTA AULA VOC APRENDEU QUE

Programa um conjunto de atividades organizadas para realizao de um objetivo, com cronograma e oramento especficos;

Estudos de avaliao so uma anlise pragmtica de caractersticas

essenciais do contexto, pblicos-alvo, desenho, implementao, custos
de operao, resultados de curto prazo, impactos sociais e de mais longo
prazo de um programa, enfim, insumos acerca do programa que contribuam para seu aperfeioamento e a consecuo de seus objetivos;
Existem 3 objetivos principais de uma pesquisa de avaliao de
programa: a melhoria do processo de tomada de deciso, a alocao
apropriada de recursos e o aumento da responsabilidade das aes pblicas (transparncia na gesto);
Existem diversos usurios potenciais de uma pesquisa de avaliao.
Dentre eles esto os beneficirios dos programas, gestores pblicos de
diferentes nveis, organizaes da sociedade, cientistas sociais, dentre
outros;
Existem vrios tipos de pesquisas de avaliao, destacando-se a
perspectiva integradora que utiliza o ciclo de um programas para elaborar sua classificao.

REFERNCIAS

COHEN, Ernesto; FRANCO, Rolando. Avaliao de Projetos Sociais.

Petrpolis: Vozes, 2004.

VIDEOS TUTORIAIS

COSTA, Frederico L. da; CASTANHAR, Jos C. Avaliao de Programas

Pblicos: Desafios Conceituais e Metodolgicos. Revista de Administrao
Pblica, Rio de Janeiro, v. 37, n. 5, p. 969-992, set/out 2003.

FERRAMENTAS

BIBLIOTECA

VIDEOTECA

DRAIBE, Snia M. Uma Nova Institucionalidade das Polticas Sociais?

Reflexes a Propsito da Experincia Latino-Americana Recente de
Reformas dos Programas Sociais. So Paulo em Perspectiva, v. 11, n. 4,
p. 03-15, 1997.

EXERCCIOS

SOBRE O MOODLE

FARIA, Carlos. A Poltica da Avaliao de Polticas Pblicas. Revista

Brasileira de Cincias Sociais, So Paulo, v. 20, n. 50, p. 97-169, out 2005.

GUIA DE ESTUDOS
28

AVALIAO FINAL

CUNHA, Carla da. Avaliao de Polticas Pblicas e Programas

Governamentais: Tendncias Recentes e Experincias no Brasil.
Trabalho elaborado durante o curso The Theory and Operation of a
Modern National Economy, ministrado na George Washington University,
no mbito do Programa Minerva, em 2006.

CEGOV | UFRGS

SOBRE O CURSO

FIGUEIREDO, Marcus; FIGUEIREDO, Argelina M. Avaliao Poltica e

Avaliao de Polticas: Um Quadro de Referncia Terica. Anlise e
Conjuntura, Belo Horizonte, v. 1, n. 3, p. 107-127, 1986.

aula

GARCIA, Ronaldo. Avaliao de Aes Governamentais: Pontos para um

Comeo de Conversa. Braslia: IPEA, 1997.
JANNUZZI, Paulo de Martino. Indicadores Sociais no Brasil: Conceitos,
Fontes de Dados e Aplicaes. Campinas: Alnea: 2001.
JANNUZZI, Paulo de Martino. Avaliaco de Programas Sociais: Conceitos e
Referenciais de Quem a Realiza. In: Estudos em Avaliao Educacional.
Sao Paulo, v. 25, n. 58, p. 22-42, mai/ago 2014.
JANNUZZI, Paulo de Martino. Indicadores, Painis de Monitoramento e
Pesquisas de Avaliao como Instrumentos para Aprimoramento de
Programas e Projetos Sociais. 2012.
JANNUZZI, Paulo de Martino. A produo de Informao e Conhecimento
para Aprimoramento das Polticas e Programas de Desenvolvimento
Social: Princpios, Conceitos e Caracterizao das Pesquisas de
Avaliao Realizadas pela SAGI/MDS de 2011 a 2014. In: MINISTRIO DO
DESENVOLVIMENTO SOCIAL E COMBATE FOME. Cadernos de Estudos:
Desenvolvimento Social em Debate, Braslia, n. 16, 2014a.
JANNUZZI, Paulo de Martino. Sistema de Monitoramento e Avaliao de
Programas sociais: revisitando mitos e recolocando premissas para sua
maior efetividade na gesto. Revista Brasileira de Monitoramento e
Avaliao, v. 1, p. 04-27, 2013.
MINISTRIO DA SADE. Manual da Oficina de Capacitao em Avaliao
com Foco na Melhoria do Programa DST-AIDS. Braslia: Assessoria de
Monitoramento e Avalio, 2005.
MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME.
Avaliao de Polticas Pblicas: Reflexes Acadmicas Sobre o
Desenvolvimento Social e o Combate Fome Vol. 1: Introduo e Temas
Transversais. Braslia: Secretaria de Avaliao e Gesto da Informao SAGI, 2014.
MINISTRIO DO DESENVOLVIMENTO SOCIAL E COMBATE FOME.
Estudo Tcnico - Monitoramento e Avaliao de Programas Sociais
no Brasil: Apontamentos Conceituais, Consideraes Metodolgicas e
Reflexes Sobre as Prticas. Braslia: Secretaria de Avaliao e Gesto da
Informao - SAGI, n. 7, 2013.
SILVA, Pedro; COSTA, Nilson. A Avaliao de Programas Pblicos:
Reflexes Sobre a Experincia Brasileira (Relatrio Tcnico). Braslia: IPEABID, 2002.
WEISS, Carol. Evaluation: Methods for Studying Programs & Policies.
London: Prentice Hall, 1998.

CICLO DE CAPACITAO MDS | CURSO 3: AVALIAO

29