IV Seminrio de Polticas Culturais:

REFLEXES E AES
Rio de Janeiro, 23 a 25 de novembro de 2009

Formulao e Avaliao de Polticas Pblicas:

conceitos, tcnicas e indicadores
Paulo de Martino Jannuzzi
ENCE/IBGE
 Objetivo da apresentao

Introduzir conceitos e tcnicas acerca do uso dos

indicadores no Ciclo de Polticas Pblicas

Apresentar fontes de dados e de indicadores para

diagnsticos para formulao e gesto de programas
sociais no Brasil
 H um certo desencanto com a Avaliao...

Constatao 1

As metodologias de avaliao de programas sociais tm sido objeto de

severas crticas. Basicamente, afirma-se que, na prtica, as avaliaes
no subsidiam o processo decisrio porque seus resultados so
inconclusivos, inoportunos e irrelevantes. Inconclusivos em funo das
prprias limitaes deste tipo de estudo, inoportunos devido
morosidade do processo avaliativo e irrelevantes, porque no
respondem s demandas informacionais de todos os agentes sociais
afetos interveno (COTTA 1998, p. 118).
 H um certo desencanto com a Avaliao...

Constatao 2

De vez em quando, uma avaliao mal concebida ou mal executada

produz informaes que, no melhor dos casos, seriam enganosas e, no
pior, absolutamente falsas. Embora essas ocorrncias sejam raras,
podem causar problemas graves. Como geralmente tem ar de
respeitabilidade, essas avaliaes no costumam ser questionadas, e o
resultado que decises importantes sobre programas e servios
essenciais baseiam-se inadvertidamente em informaes falaciosas.
(WORTHEN et al. 2004, p. 44).
Possveis fatores que contribuem para o desencanto
com a Avaliao

1) Tecnocratismo ingnuo Capacidade de implementao

superestimada, desconsiderando contribuio dos agentes envolvidos
na implementao e a capacidade de gesto dos mesmos
2) Desconhecimento sobre o estgio de Avaliabilidade dos Programas
antecipao de avaliaes externas de natureza mais de auditoria ou
medio de resultados e impactos em detrimento de avaliaes de
processos voltados ao aprimoramento do programa
1) Cultura de avaliao de programas incipiente, assim como seu
principal elemento estruturador Gesto de Programas-
mobilizado pela complexificao do Sistema de Proteo Social
2) Avaliao de programas tm sido realizadas por equipes com
boa experincia em Anlise de Macro-Polticas, Conjuntura
Social ou projetos de pesquisa acadmicos, mas sem experincia
na implementao real de programas e sem a
interdisciplinaridade exigida
 Institucionalizao da Avaliao de
Programas em outros pases
American Evatuation Evaluation Practice
Association New Directions for Program Evatuation
www.eval.org Encontro anual em outubro-novembro nos EUA
No site h material de treinamento, instrumentos de pesquisa
usados, meios de consulta e busca de consultores e instituies
especializadas
Canadian Evaluation Society Canadian Journal of Program Evatuation
www.evatuationcanada.ca Conferncia anual em maio
Material de consulta
European Evaluation Society Evaluation
www.europeanevaluation.org Conferncia bi-anual em novembro
Material de consulta
Societ Franaise Evaluation et mesure de la performance
dEvaluation Jornadas de Estudos anuais nacional e internacional
http://www.sfe.asso.fr Material de consulta
Possveis fatores que contribuem para o desencanto
com a Avaliao

3) Desconhecimento sobre a complexidade da Gesto de Programas no

setor pblico
1) Gesto de servios so mais complexos que gesto de produtos
2) Articulao entre Ministrios e entre entes federativos
3) Diversidade de Pblicos-alvos de programas pblicos

4) Inexistncia, deficincia ou problemas na estruturao de

Diagnsticos e de Sistemas de Indicadores de Monitoramento de
Programas
 Ciclo de Polticas Pblicas:
do reconhecimento da relevncia avaliao

Definio de
Agenda
Percepo e
definio de
problemas, agenda
setting Formulao
Identificao de
Problemas sociais alternativas e avaliao
Novas/recorrentes; das opes, deciso e
nacionais/ elaborao de
internacionais programas

Avaliao Implementao
Resultados, Plano de aes,
impactos, monitoramento.
eventual correo
da ao, trmino
ou reincio do
ciclo.
 Ciclo de Polticas Pblicas:
os diversos focos da avaliao segundo Rossi
(2008)
Avaliao de
Definio de
Necessidade
Agenda
de Programa
Percepo e
definio de
problemas,
agenda setting Formulao
Identificao de Avaliao
alternativas e avaliao de Desenho
Problemas sociais
Novas/recorrentes; das opes, deciso e
nacionais/ elaborao de
internacionais programas

Avaliao
de
Eficincia
Avaliao Implementao
Resultados, Plano de aes, Avaliao
impactos, monitoramento. de
eventual correo Processo
da ao, trmino
Avaliao ou reincio do
de Impacto ciclo.
 Ciclo de Polticas Pblicas:
os indicadores requeridos em cada etapa
Sistema de Dados
e Indicadores para
Definio de o Diagnstico
Agenda
Percepo e
definio de
problemas,
agenda setting Formulao
Identificao de
Demandas alternativas e avaliao
Novas/recorrentes; das opes, deciso e
nacionais/ elaborao de
internacionais programas

Indicadores para
tomada de deciso
Dados e quanto aos
Indicadores de Avaliao Implementao programas
Pesquisas de Resultados, Plano de aes,
impactos, monitoramento.
Avaliao
eventual correo
da ao, trmino
ou reincio do Painel de
ciclo. Indicadores para
Monitoramento
 O que um Indicador ?

Para que serve ?

Que indicadores usar na elaborao de um

Diagnstico ?

E no monitoramento das aes

governamentais ?
A fotografia como tentativa de sntese da
realidade social
 Indicadores Sociais

Recurso metodolgico para retratar a realidade social, de

forma simplificada, mas objetiva e padronizada

Medidas que operacionalizam um conceito abstrato ou

dimenso de interesse da ao pblica
Conceito Indicadores a construir
Composio material da habitao
Condies de vida Infraestrutura urbana e entorno
da populao Disponibilidade de alimentos
Rendimentos
Insero no mercado de trabalho
Taxa de analfabetismo
Indicador de Conforto Domiciliar
Indicadores de Oferta
Indicador de Despesas Familiares
Indicador de Despesas Familiares
ndice de Gini
 ndice de Desenvolvimento Humano

Esperana IDH entre 0 e 1

de vida
0 a 0,5 - baixo
Serra Leoa 0,25
PIB capita Mtodo de Nger - 0,29
ajustado aglutinao
0,5 a 0,8 mdio
Brasil - 0,75
Mxico 0,78

Indic.comp. 0,8 a 1,0 alto

Sucia 0,926
Tx alfabetiz
Canad - 0,935
Tx escolariz
ndice Sinttico : O IDH
 Mapa do IDH Municipal - 2000

Disponvel para download nos seguintes endereos:

www.pnud.org.br
www.ipea.gov.br
www.fjp.gov.br
Indicadores sintticos construdos por Anlise Multicritrio
(aplicativo Pradin em www.anipes.org.br)
Indicadores institucionais do Controle Social
Indicadores institucionais do Controle Social
Indicadores institucionais da Cap.Gesto
Indicadores institucionais do Cap.Gesto
Tipologia construda a partir de indicadores
Tipologia construda a partir de indicadores
 Indicadores de Monitoramento da
Ao Governamental

Recurso metodolgico para filmar as atividades, aes e

programas promovidas pelo setor pblico, assim como a
mudana social impactada pelos mesmos
 Indicadores de Monitoramento da
Ao Governamental

Recurso metodolgico para filmar as atividades, aes e

programas promovidas pelo setor pblico, assim como a
mudana social impactada pelos mesmos
 Indicadores de Monitoramento e
Avaliao da Ao Governamental

Recurso metodolgico para filmar as atividades, aes e

programas promovidas pelo setor pblico, assim como a
mudana social impactada pelos mesmos

Medidas que operacionalizam o acompanhamento da ao

pblica
Alocao e execuo do gasto
Oferta de servios
Realizao de etapas e processos
Entrega de produtos e obras
Medio de efeitos das aes
resultados mais imediatos
impactos mais de mdio/longo prazo e mais abrangentes
Coeficiente tcnicos de recursos
 Violncia

Em 100 mil
Taxa de mortalidade infantil
Coeficiente tcnicos de recursos
ndice de Desenvolvimento da Educao Bsica

Mdia da Taxa mdia M= Taxa

P= Tx. mdia de IDEB = N IDEB+=
nota de mdia de
Ano aprovao xP NxPxM
padronizada abandono % permanncia

1999 78,00 4,56 3,55 10,20 89,8 3,19

2001 79,70 4,33 3,45 8,20 91,8 3,17
2003 80,80 4,42 3,57 6,60 93,4 3,34
2005 81,60 4,61 3,76 5,70 94,3 3,55

Var. 1999-2005 4,62 1,27 5,94 -44,12 5,01 11,25

 Indicadores de Monitoramento
Medido o esforo e efeitos
Indicador-
Indicador-insumo Indicador- Indicador-produto impacto
processo Resultado efetivo:
Quantidade de arte- Taxa de concluso Taxa de evaso
educadores por mil Nmero de de alunos escolar
jovens residentes na oficinas de
comunidade artesanato Parcela de alunos Percepo de
oferecidas por atendidos pelo mudana pelas
Volume de recursos aluno inscrito nmero de jovens famlias
gastos/ recursos da comunidade
liberados Taxa de Taxa de
frequncia mortalidade de
jovens por
agresses

Ciclo de formulao e avaliao

Painel de Indicadores de Monitoramento pelo MONIT
(disponvel em dezembro em www.anipes.org.br)
Quais so as principais fontes de
dados para construo de
indicadores ?
 Sistema Estatstico Nacional

IBGE Ministrios
Agncias
estaduais
Estatsticas
Min
INEP Trab
FEE
Senarc Datasus
Unidades Unidades
e Sagi/
Regionais Regionais SEADE
MDS Data-
prev SEI
Agncias IPARDES
Agncias Municipais Min
Municipais C&T
Agncias FJP
Municipais IDESP

Sec
Planej
 Principais fontes de estatsticas

Subsistema de Estatsticas sociais

1. Censos Demogrficos decenais/Contagens

2. Pesquisa Nacional por Amostra Domiclios

3. Pesquisas amostrais especficas

4. Reg. Administrativos e Pesquisas dos Ministrios

5. Estatsticas Vitais
 Censos Demogrficos

Primeiro: 1872 Depois de 1940, decenal

Contagens populacionais no meio do decnio

Cobertura total do territrio nacional

40 milhes de domiclios em 2000

Mais de 150 mil recenseadores

Principal fonte de dados municipais

Questionrio bsico (dom, famlia, sexo, idade, alfabetizao)

Questionrio da amostra (10% dos domiclios)

Coleta de informaes comparativa/e detalhada (educao,

ocupao, rendimentos, migrao, nupcialidade, etc.)
 Registros Administrativos
* IBGE
Estatsticas do Registro Civil anual
Pesq. Inf. Bsicas Municipais anual
* Ministrio do Trabalho
RAIS anual
CAGED mensal
* Ministrio da Educao
Censo Escolar anual
Censo do Ensino Superior anual
Sist Aval Educ Basica Pv Brasil bi-anual

* Ministrio da Sade:
Estatsticas de mortalidade anual
Registro de Vacinaes anual
Assistncia Mdico-Sanitria irregular
Notificao de Nascidos Vivos anual
Estatsticas Produo SUS mensal

* Outros
Anurio da Previdncia Social anual
Estatsticas Arrecad. Federal anual
Pesquisa de Informaes Bsicas
Municipais (MUNIC)
Informaes municipais sobre:
Estrutura administrativa
Nvel de participao e formas de controle social
(conselhos municipais)
Instrumentos de planejamento municipal (Plano
Plurianual, Plano Diretor, Lei de Parcelamento do solo,
etc)
Justia e segurana (delegacia de mulheres, juizado de
pequenas causas, etc)
Cultura e lazer (bibliotecas pblicas, livrarias, jornais
locais, ginsios de esporte, etc)

Indicadores para:
Grau de participao e controle popular da ao
pblica
Estgio de desenvolvimento institucional do
planejamento e gesto pblica municipal