Você está na página 1de 48

IV Seminrio de Polticas Culturais:

REFLEXES E AES

Rio de Janeiro, 23 a 25 de novembro de 2009

Formulao e Avaliao de Polticas Pblicas: conceitos, tcnicas e indicadores


Paulo de Martino Jannuzzi ENCE/IBGE

Objetivo da apresentao

Introduzir conceitos e tcnicas acerca do uso dos indicadores no Ciclo de Polticas Pblicas Apresentar fontes de dados e de indicadores para diagnsticos para formulao e gesto de programas sociais no Brasil

H um certo desencanto com a Avaliao...


Constatao 1
As metodologias de avaliao de programas sociais tm sido objeto de severas crticas. Basicamente, afirma-se que, na prtica, as avaliaes no subsidiam o processo decisrio porque seus resultados so inconclusivos, inoportunos e irrelevantes. Inconclusivos em funo das prprias limitaes deste tipo de estudo, inoportunos devido morosidade do processo avaliativo e irrelevantes, porque no respondem s demandas informacionais de todos os agentes sociais afetos interveno (COTTA 1998, p. 118).

H um certo desencanto com a Avaliao...


Constatao 2
De vez em quando, uma avaliao mal concebida ou mal executada produz informaes que, no melhor dos casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrncias sejam raras, podem causar problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliaes no costumam ser questionadas, e o resultado que decises importantes sobre programas e servios essenciais baseiam-se inadvertidamente em informaes falaciosas. (WORTHEN et al. 2004, p. 44).

Possveis fatores que contribuem para o desencanto com a Avaliao


1) Tecnocratismo ingnuo Capacidade de implementao superestimada, desconsiderando contribuio dos agentes envolvidos na implementao e a capacidade de gesto dos mesmos 2) Desconhecimento sobre o estgio de Avaliabilidade dos Programas antecipao de avaliaes externas de natureza mais de auditoria ou medio de resultados e impactos em detrimento de avaliaes de processos voltados ao aprimoramento do programa 1) Cultura de avaliao de programas incipiente, assim como seu principal elemento estruturador Gesto de Programasmobilizado pela complexificao do Sistema de Proteo Social 2) Avaliao de programas tm sido realizadas por equipes com boa experincia em Anlise de Macro-Polticas, Conjuntura Social ou projetos de pesquisa acadmicos, mas sem experincia na implementao real de programas e sem a interdisciplinaridade exigida

Institucionalizao da Avaliao de Programas em outros pases


American Evatuation Association www.eval.org
Evaluation Practice New Directions for Program Evatuation Encontro anual em outubro-novembro nos EUA No site h material de treinamento, instrumentos de pesquisa usados, meios de consulta e busca de consultores e instituies especializadas Canadian Journal of Program Evatuation Conferncia anual em maio Material de consulta Evaluation Conferncia bi-anual em novembro Material de consulta Evaluation et mesure de la performance Jornadas de Estudos anuais nacional e internacional Material de consulta

Canadian Evaluation Society www.evatuationcanada.ca European Evaluation Society www.europeanevaluation.org Societ Franaise dEvaluation http://www.sfe.asso.fr

Possveis fatores que contribuem para o desencanto com a Avaliao

3)

Desconhecimento sobre a complexidade da Gesto de Programas no setor pblico 1) Gesto de servios so mais complexos que gesto de produtos 2) Articulao entre Ministrios e entre entes federativos 3) Diversidade de Pblicos-alvos de programas pblicos Inexistncia, deficincia ou problemas na estruturao de Diagnsticos e de Sistemas de Indicadores de Monitoramento de Programas

4)

Ciclo de Polticas Pblicas: do reconhecimento da relevncia avaliao


Definio de Agenda Percepo e definio de problemas, agenda setting Problemas sociais Novas/recorrentes; nacionais/ internacionais

Formulao Identificao de alternativas e avaliao das opes, deciso e elaborao de programas

Avaliao Resultados, impactos, eventual correo da ao, trmino ou reincio do ciclo.

Implementao Plano de aes, monitoramento.

Ciclo de Polticas Pblicas: os diversos focos da avaliao segundo Rossi (2008)


Avaliao de Necessidade de Programa Definio de Agenda Percepo e definio de problemas, agenda setting

Problemas sociais Novas/recorrentes; nacionais/ internacionais Avaliao de Eficincia

Formulao Identificao de alternativas e avaliao das opes, deciso e elaborao de programas

Avaliao de Desenho

Avaliao de Impacto

Avaliao Resultados, impactos, eventual correo da ao, trmino ou reincio do ciclo.

Implementao Plano de aes, monitoramento.

Avaliao de Processo

Ciclo de Polticas Pblicas: os indicadores requeridos em cada etapa


Definio de Agenda Percepo e definio de problemas, agenda setting Demandas Novas/recorrentes; nacionais/ internacionais

Sistema de Dados e Indicadores para o Diagnstico

Formulao Identificao de alternativas e avaliao das opes, deciso e elaborao de programas

Dados e Indicadores de Pesquisas de Avaliao

Avaliao Resultados, impactos, eventual correo da ao, trmino ou reincio do ciclo.

Implementao Plano de aes, monitoramento.

Indicadores para tomada de deciso quanto aos programas

Painel de Indicadores para Monitoramento

O que um Indicador ? Para que serve ? Que indicadores usar na elaborao de um Diagnstico ? E no monitoramento das aes governamentais ?

A fotografia como tentativa de sntese da realidade social

Indicadores Sociais

Recurso metodolgico para retratar a realidade social, de forma simplificada, mas objetiva e padronizada Medidas que operacionalizam um conceito abstrato ou dimenso de interesse da ao pblica Conceito Indicadores a construir Composio material da habitao Infraestrutura urbana e entorno Disponibilidade de alimentos Rendimentos Insero no mercado de trabalho

Condies de vida da populao

Taxa de analfabetismo

Indicador de Conforto Domiciliar

Indicadores de Oferta

Indicador de Despesas Familiares

Indicador de Despesas Familiares

ndice de Gini

ndice de Desenvolvimento Humano

Esperana de vida PIB capita ajustado Mtodo de aglutinao

IDH entre 0 e 1 0 a 0,5 - baixo Serra Leoa 0,25 Nger - 0,29 0,5 a 0,8 mdio Brasil - 0,75 Mxico 0,78 0,8 a 1,0 alto Sucia 0,926 Canad - 0,935

Indic.comp. Tx alfabetiz Tx escolariz

ndice Sinttico : O IDH

Mapa do IDH Municipal - 2000

Disponvel para download nos seguintes endereos:


www.pnud.org.br www.ipea.gov.br www.fjp.gov.br

Indicadores sintticos construdos por Anlise Multicritrio (aplicativo Pradin em www.anipes.org.br)

Indicadores institucionais do Controle Social

Indicadores institucionais do Controle Social

Indicadores institucionais da Cap.Gesto

Indicadores institucionais do Cap.Gesto

Tipologia construda a partir de indicadores

Tipologia construda a partir de indicadores

Indicadores de Monitoramento da Ao Governamental

Recurso metodolgico para filmar as atividades, aes e programas promovidas pelo setor pblico, assim como a mudana social impactada pelos mesmos

Indicadores de Monitoramento da Ao Governamental

Recurso metodolgico para filmar as atividades, aes e programas promovidas pelo setor pblico, assim como a mudana social impactada pelos mesmos

Indicadores de Monitoramento e Avaliao da Ao Governamental

Recurso metodolgico para filmar as atividades, aes e programas promovidas pelo setor pblico, assim como a mudana social impactada pelos mesmos Medidas que operacionalizam o acompanhamento da ao pblica

Alocao e execuo do gasto Oferta de servios Realizao de etapas e processos Entrega de produtos e obras Medio de efeitos das aes

resultados mais imediatos impactos mais de mdio/longo prazo e mais abrangentes

Coeficiente tcnicos de recursos

Violncia

Em 100 mil

Taxa de mortalidade infantil

Coeficiente tcnicos de recursos

ndice de Desenvolvimento da Educao Bsica

Ano 1999 2001 2003 2005 Var. 1999-2005

P= Tx. mdia de aprovao 78,00 79,70 80,80 81,60 4,62

Mdia da nota padronizada 4,56 4,33 4,42 4,61 1,27

IDEB = N xP 3,55 3,45 3,57 3,76 5,94

Taxa mdia de abandono % 10,20 8,20 6,60 5,70 -44,12

M= Taxa mdia de permanncia 89,8 91,8 93,4 94,3 5,01

IDEB+= NxPxM 3,19 3,17 3,34 3,55 11,25

Indicadores de Monitoramento Medido o esforo e efeitos


Indicador-insumo Quantidade de arteeducadores por mil jovens residentes na comunidade Volume de recursos gastos/ recursos liberados Indicadorprocesso Nmero de oficinas de artesanato oferecidas por aluno inscrito Taxa de frequncia Indicador-produto Resultado efetivo: Taxa de concluso de alunos Parcela de alunos atendidos pelo nmero de jovens da comunidade Indicadorimpacto Taxa de evaso escolar Percepo de mudana pelas famlias Taxa de mortalidade de jovens por agresses

Ciclo de formulao e avaliao

Painel de Indicadores de Monitoramento pelo MONIT (disponvel em dezembro em www.anipes.org.br)

Quais so as principais fontes de dados para construo de indicadores ?

Sistema Estatstico Nacional

IBGE

Ministrios
Agncias estaduais Estatsticas INEP Min Trab FEE Datasus Dataprev SEADE SEI IPARDES FJP IDESP Sec Planej

Unidades Regionais

Unidades Regionais

Senarc e Sagi/ MDS

Agncias Municipais Agncias Municipais

Agncias Municipais

Min C&T

Principais fontes de estatsticas

Subsistema de Estatsticas sociais 1. Censos Demogrficos decenais/Contagens 2. Pesquisa Nacional por Amostra Domiclios 3. Pesquisas amostrais especficas 4. Reg. Administrativos e Pesquisas dos Ministrios 5. Estatsticas Vitais

Censos Demogrficos

Primeiro: 1872

Depois de 1940, decenal

Contagens populacionais no meio do decnio Cobertura total do territrio nacional 40 milhes de domiclios em 2000 Mais de 150 mil recenseadores Principal fonte de dados municipais Questionrio bsico (dom, famlia, sexo, idade, alfabetizao) Questionrio da amostra (10% dos domiclios) Coleta de informaes comparativa/e detalhada (educao, ocupao, rendimentos, migrao, nupcialidade, etc.)

Registros Administrativos
* IBGE Estatsticas do Registro Civil Pesq. Inf. Bsicas Municipais * Ministrio do Trabalho RAIS CAGED * Ministrio da Educao Censo Escolar Censo do Ensino Superior Sist Aval Educ Basica Pv Brasil * Ministrio da Sade: Estatsticas de mortalidade Registro de Vacinaes Assistncia Mdico-Sanitria Notificao de Nascidos Vivos Estatsticas Produo SUS * Outros Anurio da Previdncia Social Estatsticas Arrecad. Federal anual anual anual mensal anual anual bi-anual

anual anual irregular anual mensal anual anual

Pesquisa de Informaes Bsicas Municipais (MUNIC)

Informaes municipais sobre:


Estrutura administrativa Nvel de participao e formas de controle social (conselhos municipais) Instrumentos de planejamento municipal (Plano Plurianual, Plano Diretor, Lei de Parcelamento do solo, etc) Justia e segurana (delegacia de mulheres, juizado de pequenas causas, etc) Cultura e lazer (bibliotecas pblicas, livrarias, jornais locais, ginsios de esporte, etc)

Indicadores para:

Grau de participao e controle popular da ao pblica Estgio de desenvolvimento institucional do planejamento e gesto pblica municipal