Gesto de Polticas Pblicas no Paran

FORTALECIMENTO DA FUNO AVALIAO DE POLTICAS

PBLICAS: ESTUDO DE CASO DO PROCESSO DE AVALIAO
DA POLTICA DE EMPREGO E RENDA DA SECRETARIA DE
ESTADO DO TRABALHO, EMPREGO E PROMOO SOCIAL DO
PARAN

Doralice Lopes Bernardoni - SETU

Marta Cristina de Souza - SEEC
Blnio Csar Severo Peixe - UFPR

1 Introduo
O Plano Diretor da Reforma do Aparelho
do Estado, apresentado pelo Ministrio da
Administrao Federal e Reforma do Estado, foi
aprovado em 1995 pela Cmara Federal visando
uma reforma administrativa e propondo um novo
modelo de gerenciamento, de modo a permitir uma
maior eficincia do Estado.

O processo de avaliao de programas

constitui, por si s, um eficiente instrumento
de transformao e modernizao da gesto
governamental.
Nesse sentido, pergunta-se: Os formuladores
e gestores de Polticas Pblicas no Estado do
Paran esto conscientes da importncia da funo
Avaliao e executam essa poltica?

A partir de 1998, novos requerimentos

constitucionais/legais surgiram, definindo novas
metodologias operacionais para o planejamento,
oramento e gesto pblica no Brasil, levando a
uma nova forma de planejar: o modelo de gesto
por programas.

A nova realidade exige que se reavalie a forma

de atuao do Estado, seu papel frente sociedade,
adotando princpios mais adequados de gesto,
que aumentem a eficincia da ao estatal, sem
abandonar a eficcia e o papel de coordenao das
polticas econmicas e sociais.

Uma das caractersticas do novo modelo

consiste na avaliao anual dos programas e do
plano (avaliao de desempenho), que se constitui
em uma das etapas mais importantes do ciclo de
gesto.

H um entendimento de que a falta de uma

melhor qualidade na gesto pblica pe em risco
a obteno do crescimento econmico e obstrui
o objetivo de uma melhor distribuio de seus
benefcios, e o adequado e eficiente atendimento
das demandas sociais.

Nesse contexto, o processo de avaliao

reveste-se num instrumento de gesto que integra
ao conjunto de ferramentas do novo modelo de
gesto, ganhando destaque o reconhecimento da
necessidade do governo dispor de processos de
monitoramento e avaliao que lhe possibilite
controlar e articular suas aes.
Mais que controlar custos, assegurar a
conformidade legal de procedimentos ou medir a
capacidade de implementao do governo, avaliar
significa, neste caso, comparar o esforo realizado
com a demanda e a satisfao do beneficirio,
adequando crescentemente os programas s
expectativas da sociedade.

Nesse sentido, este trabalho tem por objetivo

incitar uma discusso acerca da necessidade do
fortalecimento da funo avaliao de polticas
pblicas, enfatizando a necessidade de se
analisar estudos, pesquisas e informaes que
levem ao desenvolvimento de bases conceituais,
diagnsticos e desenho de cenrios e tendncias
que alimentem a monitorao e avaliao das
Polticas Pblicas, possibilitando analisar, por
meio de estudo de caso, o processo de Avaliao
da Poltica de Emprego e Renda da Secretaria de
Trabalho, Emprego e Promoo Social do Estado
do Paran.

Captulo 6 - Trabalho, Emprego e Promoo Social

381

Gesto de Polticas Pblicas no Paran

Com o presente estudo de caso, pretende-se

ajudar a instituio a desenvolver uma estratgia
de monitoramento e avaliao, que poder ser
aplicada no s neste programa objeto de estudo,
como tambm nos demais programas existentes
no governo do Estado. Para tanto, h que se
considerar as seguintes aes:
Analisar as aes propostas do ponto de
vista de sua adequao Poltica de Gerao de
Emprego e Renda, ao atendimento dos impactos
sociais.
Mapear os sistemas de informaes e bancos
de dados gerenciais, documentais existentes na
coordenadoria e avaliar sua cobertura em termos
de reas temticas, cobertura geogrfica, nvel
de atualizao, tecnologias utilizadas, nvel de
qualidade de acesso etc.
Identificar experincias nacionais e
internacionais bem sucedidas na rea de avaliao
com vistas a uma proposio de alterao e reviso
do modelo adotado pela organizao objeto de
estudo.
Articular com outros rgos das esferas federal
e municipal para conhecimento dos seus sistemas
de monitoria e avaliao de programas.
Ao final dessas aes, propor, em linhas gerais,
um modelo para fortalecer a funo avaliao a
partir dos dados pesquisados e analisados.
A metodologia da pesquisa do presente estudo
foi estruturada em duas etapas. A primeira,
embasada em uma reviso de literatura onde
conceitos de polticas pblicas e de avaliao de
polticas pblicas, alm de todo o escopo que
envolveu a reforma gerencial, ocorreu por meio
de pesquisas em livros, teses, artigos e peridicos
especializados sobre o assunto, objeto de estudo,
levantando as diversas opinies dos tericos para
enriquecer a discusso. Por meio de pesquisa
documental e eletrnica, que complementou as
informaes obtidas na citada reviso identificou-se
experincias internacionais e nacionais de prticas
de avaliao de polticas pblicas, apontando os
avanos ocorridos no campo da avaliao e tambm
a possibilidade de utilizao dessas experincias
de carter tcnico e poltico. Na segunda etapa,
foi apresentado o estudo de caso da poltica de
gerao de emprego e renda da Secretaria de
Estado do Trabalho, Emprego e Promoo Social,
mapeando as informaes existentes e verificando

382

sua abrangncia, analisando sua adequao s

diretrizes do governo e ao atendimento dos
impactos sociais.

2 Reviso de literatura
Para efeitos desta publicao, consideraram-se
apenas os aspectos histricos da avaliao, entre
outros itens constantes da reviso de literatura
proposta no trabalho.

2.1 Aspectos Histricos da Avaliao

Este tpico tem por objetivo apresentar os
antecedentes da avaliao abordando vrios
conceitos e fundamentos destacando-se: poltica
pblica; funo avaliao de polticas pblicas;
tipos de avaliao; e critrios de avaliao.

2.1.1 Antecedentes
Nos pases desenvolvidos, ganhou destaque
a institucionalizao dos processos de avaliao
de polticas pblicas, exigindo dos organismos
governamentais a adoo da avaliao como
prtica regular e sistemtica criando uma cultura
de avaliao integrada aos processos de tomada
de deciso.
Foi nos Estados Unidos, na dcada de 60, que
a avaliao passou a ter uma importncia a ponto
de ser o alicerce dos programas pblicos e polticas
pblicas na rea social. Procurava-se um modelo
que permitisse verificar com que grau de sucesso
ou no o Estado conseguia com sua interveno
mudar a realidade social.
O governo britnico, em 1982, graas a um
movimento da administrao Thatcher, adotou
uma srie de iniciativas administrativas destinadas
a criar organizaes que compreendessem
claramente sua misso e que avaliassem os
resultados obtidos.
Nas dcadas de 1980 e 1990, as reformas de
Estado das democracias ocidentais tiveram como
tema predominante o monitoramento e a avaliao
das polticas pblicas como forma de mensurar o
desempenho da ao estatal.
Segundo CAIDEN e CAIDEN, citado por
FARIA (2005, p.100) a medio de desempenho,
o monitoramento e a avaliao no foram apenas
ornamentais nem tiveram uma significao incidental

Fortalecimento da Funo Avaliao de Polticas Pblicas: Estudo de Caso do Processo...

Gesto de Polticas Pblicas no Paran

nas reformas. Foram (ou deveriam ter sido) as alavancas

essenciais da mudana.
Na Amrica Latina, o processo iniciou-se a
partir de 1980, pela necessidade de maior controle
dos gastos pblicos de forma a permitir uma maior
e melhor alocao dos recursos pblicos dada as
conseqncias que a crise econmica mundial
provocou nos oramentos pblicos e na capacidade
do Estado de arrecadao.
No Brasil, na dcada de 1980, a avaliao das
polticas pblicas ganha espao em documentos
oficiais e em estudos cientficos, porm, como
prtica sistemtica ainda muito tmida.
Entretanto, j na dcada de 90, com a
estabilidade econmica do pas garantida, fazia-se
necessrio a retomada do desenvolvimento. Dessa
forma, as diferentes instncias governamentais
comearam a envidar esforos no sentido de
modernizar a administrao pblica, minimizando
custos e maximizando resultados.
Neste cenrio, o monitoramento e a avaliao de
polticas pblicas comea a ter maior importncia,
tendo em vista a necessidade de o governo dispor
de ferramentas que lhe possibilitasse o controle e
a articulao de suas aes na busca de resultados
com foco no cidado.
Surge, ento, a necessidade de uma reforma
administrativa para a for mao de uma
administrao pblica mais eficaz, eficiente,
flexvel, transparente, profissionalizante e,
principalmente, comprometida com os resultados
efetivos ao bem estar da sociedade.
J nesta poca, consenso dos especialistas
considerarem a avaliao como um procedimento
estratgico para a transparncia das aes dos
governantes democratizando o Estado e a
sociedade civil.
COHEN e FRANCO (1993, p. 16) determinam,
de forma contundente, a importncia da avaliao
em programas governamentais: A avaliao de
projetos sociais tem um papel central neste processo de
racionalizao e um elemento bsico de planejamento.
No possvel que estes sejam eficazes se no forem
avaliados os resultados de sua aplicao.
Vale ressaltar, que apesar de todo esse
contexto, foi a partir de 1998 que termos como
responsabilidade, performance e resultado,
ganharam destaque e reconhecimento no interior

das organizaes governamentais, levando a um

novo modelo de se planejar as aes do governo:
O modelo de gesto por programas. Uma das
caractersticas fundamentais desse novo modelo
consiste na avaliao anual dos programas e do
plano, chamada de: avaliao de desempenho.

2.1.2 Polticas Pblicas

Entende-se por Polticas Pblicas, segundo
GUARESCHI, COMUNELLO, NARDINI,
HOENISCH (2004, p. 180) o conjunto de aes
coletivas voltadas para a garantia dos direitos sociais,
configurando um compromisso pblico que visa dar
conta de determinada problemtica, em diversas reas.
Expressa a transformao daquilo que do mbito
privado em aes coletivas no espao pblico.
O termo Poltica Pblica deriva do ingls public
policy. Neste idioma, existem palavras distintas
para designar o que entendemos por poltica.
A palavra policy se relaciona com iniciativas
governamentais, diretrizes, aes, planos e
interesses sociais, enquanto a palavra politics
refere-se poltica partidria, polticos, interesses
partidrios e interesses particulares.
A expresso Poltica Pblica possui conotaes
das mais diversas possveis. comumente
associada: a um rtulo de campo ou atividade
(poltica industrial, poltica econmica); a uma
proposta geral (poltica progressista); a um meio
(poltica de um sindicato); como sinnimo de
deciso do governo (como poltica externa do
governo); como diretrizes (gastos em determinado
setor); como um conjunto de programas (programa
de concesso de crditos) e a vrios outros
termos.
Segundo ORTOLANI (2006, p.1), poltica
pblica a combinao dos seguintes fatores: a
substituio de um paradigma disciplinar por outro;
o reflexo dos traos da estrutura governamental e a
coalizo social.
As vises clssicas sobre Poltica Pblica
apontam a importncia da implementao como
um processo que envolve a ao de diversos
atores os quais devem atuar contando com uma
coordenao interinstitucional, descentralizada
e com a participao de diferentes agentes.
Assim sendo, a implementao vista como uma
engenharia social e um aprendizado coletivo que
permite a criao de uma rede de agentes os quais

Captulo 6 - Trabalho, Emprego e Promoo Social

383

Gesto de Polticas Pblicas no Paran

se constituem em sinnimo de formuladores de

polticas pblicas.
A gesto de Poltica Pblica se faz a partir do
emprego de instrumentos como o planejamento
e s e i n s e re n o c a m p o d o p l a n e j a m e n t o
governamental.
De acordo com CORE (2001, p. 26), o
planejamento moderno corresponde ao trabalho a partir
da realidade problematizadora, quando ento, o problema
passa a ser categoria central para a estruturao do
plano e no apenas elemento de diagnstico. O autor
acrescenta que o planejamento impe uma viso
estratgica, buscando solucionar os aspectos identificados
em diagnsticos. Indicadores, dados e informaes so
o suporte para a definio clara de objetivos e metas.
Ao planejar necessrio conceber programas (os quais
incluem um conjunto de aes), prever recursos (dotaes
oramentrias).
Em relao a esta questo CORE (2001, p.
32) tambm destaca: os programas devem funcionar
como unidade autnoma de gesto, e concentrar a
responsabilidade personalizada no gerente.
Assim, pode-se considerar a Poltica Pblica
como o principal instrumento utilizado para
coordenar programas e aes pblicas, de forma a
efetivar direitos e intervindo na realidade social.
Deve ser ainda resultado de um compromisso
pblico entre Estado e Sociedade com o objetivo
de modificar uma situao em uma rea especfica
promovendo a igualdade.
A Cincia Poltica tem privilegiado o estudo
dos conceitos e modelos explicativos de poltica
pblica. Nos diferentes enfoques tm-se buscado as
causas e os efeitos para um melhor entendimento
da Poltica Pblica, uma vez que os seus reflexos
influenciam diretamente a vida do cidado.
Finalizando, as Polticas Pblicas podem ser
definidas como o conjunto de aes que traduzem
a orientao estratgica e poltica do Estado, em
atividades diretas de produo de bens e servios
pelo prprio Estado, como tambm, em atividades
de regulao de outros agentes econmicos com
vistas ao atendimento do bem comum.
Outro ponto importante a salientar : ainda
que a execuo e a implementao de uma poltica
pblica envolvam agentes privados, ela possui
sempre carter estatal.

384

2.1.3 Funo Avaliao de Polticas

Pblicas
reconhecida a ausncia ou fragilidade das
atividades de monitoria e avaliao de programas
e projetos governamentais. Embora o Plano
Plurianual PPA tenha institudo a monitoria e
avaliao sistemtica de seus programas, definindo
responsabilidades e gestores, essa prtica est em
fase bastante incipiente, sendo mais freqente
nos programas e projetos includos no PPA e nos
projetos que contam com financiamento externo,
por exigncia dos organismos financiadores. Por
outro lado, cresce a demanda pelo controle social
dos investimentos pblicos pelas organizaes
da sociedade civil e mdia, o que requer a
disponibilidade de informaes atualizadas e
de fcil acesso sobre o desempenho do setor
pblico.
Para ARRETCHE (2006, p.31) somente a
avaliao de programas efetivamente implementados
poder estabelecer uma relao causal entre uma
determinada modalidade de polticas pblicas e o sucesso
ou fracasso na realizao de seus propsitos ou ainda,
entre esta poltica e um dado resultado ou impacto
sobre a situao social prvia sua implementao.
A autora ainda esclarece: o objetivo da avaliao
realimentar aes, buscando aferir resultados e impactos
na alterao de qualidade de vida da populao, bem
como redimensionar as opes tomadas.
Como bem reforam ARAUJO e LOUREIRO
(2005, p.1236-1237), a avaliao parte integrante
do processo de polticas pblicas e deve conter preocupaes
metodolgicas muito especiais. Em outras palavras, s
possvel avaliar uma poltica tendo como referncia todo
o processo do qual ela faz parte.
Com relao avaliao de uma dada poltica
pblica, alguns autores ressaltam a importncia
de diferenciar avaliao poltica de anlise de
poltica pblica.
No que tange definio de avaliao
poltica, ARRETCHE (2006, p. 30), recorre a
Figueiredo e Figueiredo: por avaliao
poltica entende-se a anlise e elucidao do critrio ou
critrios que fundamentam determinada poltica: as
razes que a tornam prefervel a qualquer outra. J,
por anlise de polticas pblicas, a autora conceitua
da seguinte forma: Por anlise de poltica pblica
entende-se o exame da engenharia institucional e dos
traos constitutivos dos programas. Qualquer poltica

Fortalecimento da Funo Avaliao de Polticas Pblicas: Estudo de Caso do Processo...

Gesto de Polticas Pblicas no Paran

pblica pode ser formulada e implementada de diversos

modos.
Para ARAUJO e LOUREIRO (2005, p.12371238) toda avaliao de poltica pblica deve ser
capaz de responder seguinte questo bsica: a poltica
pblica avaliada foi um sucesso ou um fracasso?
Na mesma linha de raciocnio FIGUEIREDO e
FIGUEIREDO (1986, p.109) acrescentam: a
noo de sucesso ou fracasso de uma poltica depende
obviamente dos propsitos dessa poltica e das razes que
levaram o analista a avaliar tal poltica.
ARAUJO e LOUREIRO (2005, p.1239)
afirmam que a importncia da avaliao extrapola
sua capacidade de quantificar resultados. Em uma
concepo mais ampla, avaliar polticas pblicas
significa preocupar-se e comprometer-se com um melhor
entendimento do Estado em ao.
O processo de formulao, implementao e
avaliao de polticas pblicas vem sendo estudado
e conceituado por vrios pesquisadores.
FARIA (2006, p. 44-45) apresenta a avaliao
como a ltima etapa do chamado ciclo das polticas,
definindo-a como: atividade destinada a aquilatar os
resultados de um curso de ao cujo ciclo de vida se
encerra; a fornecer elementos para o desenho de novas
intervenes ou para o aprimoramento de polticas e
programas em curso; e como parte da prestao de contas
e da responsabilizao dos agentes.
Mas o que avaliao? um processo que
envolve medio, comparao e tomada de deciso.
Deve estabelecer relaes causais entre produtos
e resultados, entre metas e objetivos que tenham
efeitos e determinem impactos, que produzam
mudanas de certas realidades.
Acrescenta, ainda, CASTRO (1989, p.5) que o
acompanhamento e avaliao devem ser efetuados antes,
durante e ao trmino das atividades, contemplando,
inclusive, a realizao de visitas in loco, principalmente
no caso de envolvimento de grandes volumes de recursos
financeiros.
Este consenso encontra-se em CARVALHO
(2006, p.88) quando diz: preciso uma concepo
totalizante de avaliao que busque apreender a
ao desde sua formulao, implementao, execuo,
resultados e impactos.
Para a UNICEF (1990, p.972), trata-se do
exame sistemtico e objetivo de um projeto ou programa,
finalizado ou em curso, que contemple o seu desempenho,

implementao e resultado, com vistas determinao

de sua eficincia, efetividade, impacto, sustentabilidade e
a relevncia de seus objetivos. A UNICEF considera
ainda que o propsito da avaliao guiar os tomadores
de deciso, orientando-os quanto continuidade,
necessidade de correes ou mesmo suspenso de uma
determinada poltica ou programa.
A avaliao deve estar sempre associada
ao planejamento estratgico, estruturado
com objetivos definidos, metas qualificadas e
quantificadas, deve ser delimitado e realizado
de acordo com a possibilidade e a capacidade de
cada executor.
Um outro ponto a considerar refere-se
avaliao de polticas sociais. De acordo com o
registro de RICO (1998, p. 8), avaliar polticas
sociais importante para: dar transparncia s
aes pblicas, democratizar o Estado e a sociedade civil;
conhecer as polticas e compreender o Estado em ao;
melhorar as polticas e a ao do Estado, recomendando,
sugerindo modificaes na formulao, na implementao
e nos resultados.
CARVALHO (2006, p. 92) se reporta
avaliao no campo social como processo para
realimentar aes buscando aferir resultados e impactos
na alterao da qualidade de vida da populao
beneficiria ou ainda mais precisamente repensar as
opes polticas e programticas.
J para MELO (2006, p. 11) a avaliao est
fortemente ancorada num conjunto de valores e noes
sobre a realidade social partilhados pelos membros
relevantes de uma maioria de governo a includos
elites polticas e burocrticas que os permite distinguir
a boa da m poltica.
Dessa forma, para ARAUJO e LOUREIRO
(2005, p.1239) avaliar processo que pode ser
entendido como uma forma de accountability, isto , como
um mecanismo de prestao de contas dos governantes,
especialmente quando feita ou incentivada pelo prprio
poder pblico.
ARRETCHE (2006, p. 29) coloca que: certo
que qualquer forma de avaliao envolve necessariamente
um julgamento, vale dizer, trata-se precipuamente
de atribuir um valor, uma medida de aprovao ou
desaprovao a uma poltica ou programa pblico
particular, de analis-la a partir de uma certa concepo
de justia (explcita ou implcita). A autora ainda
continua: Nesse sentido, no existe possibilidade
de qualquer modalidade de avaliao ou anlise de

Captulo 6 - Trabalho, Emprego e Promoo Social

385

Gesto de Polticas Pblicas no Paran

polticas pblicas possa ser apenas instrumental, tcnica

ou neutra. Na mesma perspectiva ARRETCHE
(2006, p, 29-30) aponta que: qualquer linha e
abordagem das polticas pblicas, supe, de parte do
analista, um conjunto de princpios cuja demonstrao
, no limite, impossvel, dado que corresponde a opes
valorativas pessoais.
Dessa forma, SPINK (2001, p.14) defende
que a avaliao como prtica social precisa ser
compreendida, antes de qualquer coisa, como ao a favor
de uma cidadania ativa; cidadania esta que engloba
todos, incluindo os cidados que so gestores de projetos
e avaliadores.
O processo de avaliao, como se observa,
possui mecanismos prprios, estabelecidos pelos
pesquisadores. Estes concordam, que a avaliao
sem seus arcabouos metodolgicos, compostos
por critrios bem definidos, objetivos limitados,
metas definidas e realsticas e indicadores precisos
no se consolida nem garante que determinada
ao atingiu seu objetivo inicial ou no.

2.1.4 Tipos de Avaliao

Apesar do arcabouo terico desse assunto
ser bastante complexo, possvel encontrar na
literatura vrios pontos comuns entre os autores.
Como bem coloca SAUL (2006, p.96) no
existe a priori um nico ou melhor mtodo de avaliao.
Todavia, a opo por uma proposta de avaliao no se
reduz a uma escolha ou combinao de mtodos e tcnicas
em funo de preferncia, familiaridade, ou facilidade
do avaliador.
FARIA destaca a especificidade da avaliao
sob trs dimenses:
Do ponto de vista metodolgico, a avaliao
uma atividade que obtm, combina e compara
dados de desempenho com um conjunto de metas
escalonadas; Do pondo de vista de sua finalidade,
a avaliao responde a questes sobre a eficcia/
efetividade dos programas e, neste sentido, sua
tarefa julgar e informar; Do ponto de vista de
seu papel, a avaliao detecta eventuais falhas
e afere os mritos dos programas durante sua
elaborao. Neste sentido sua tarefa formativa,
permitindo a correo ou confirmao de rumos.
(FARIA, 2006, p.42)
Observa-se um avano metodolgico no

386

campo da avaliao ao se distinguir seus fins de

seus papis. Do ponto de vista de suas finalidades
muitos autores classificam a avaliao como
somativa, enquanto que do ponto de vista de seu
papel, como formativa.
Aps analisar as diversas questes relativas ao
tema, FARIA classifica os estudos da avaliao em
quatro tipos:
O primeiro, conhecido como ex-ante, consiste
no levantamento das necessidades e estudos de
factibilidade que iro orientar a formulao e o
desenvolvimento do programa. Inclui a definio de
seus objetivos, mbito de aplicao, caracterizao
dos beneficirios e suas necessidades. O segundo
inclui atividades destinadas ao acompanhamento
e monitoramento dos programas. Em geral, esse
tipo de avaliao busca a adequao entre o plano
e sua execuo. Trata-se de avaliar a eficincia.
o fazer certo as coisas, posto que as atividades
de monitoramento permitem intervir no processo
da execuo, corrigindo os rumos cada vez que
desvios so detectados. comum o entendimento
que corrigir rumos significa interferir apenas
no contedo do programa. Na maioria das vezes,
esta interveno exige iniciativa, criatividade
e busca de solues alternativas aos entraves
surgidos no processo de implementao. Corrigir
os rumos, neste caso significa (ou pode significar)
modificar cenrios jurdico-administrativo,
financeiro, organizacional, bem como requalificar
os recursos humanos a cargo dos trabalhos. O
terceiro pode ser identificado como avaliao
formativa, avaliao de processo ou de eficcia
e tem por objetivo fazer as coisas certas. A
essncia do trabalho do avaliador acompanhar,
observar e testar o desempenho do programa
para aprimor-lo. Este acompanhamento
inclui o diagnstico das eventuais falhas dos
instrumentos, procedimentos, contedos e
mtodos, bem como da adequao ao pblicoalvo e do impacto do programa, aumentando
sua adequao aos seus objetivos e metas. A
interferncia orientada plos resultados da
avaliao, nos casos de avaliao formativa,
direcionada para os aspectos intrnsecos ao
Programa. Se a merenda escolar oferecida
deixou as crianas obesas, isso pode significar a
necessidade de focalizar o programa, oferecendo-o
a um pblico-alvo especfico e mais carente. O
quarto conjunto identificado como avaliao
somativa, de resultado, ou ex-post. Envolve

Fortalecimento da Funo Avaliao de Polticas Pblicas: Estudo de Caso do Processo...

Gesto de Polticas Pblicas no Paran

estudos comparativos entre programas rivais,

subsidia a deciso e avalia, principalmente,
a maior ou menor efetividade de diferentes
tratamentos oferecidos ao grupo-alvo. Seu
objetivo primordial permitir a escolha do melhor
programa para alcanar as metas de mdio e
longo prazos. (FARIA, 2006, p.44-45)
A autora chama a ateno para o fato de que
na literatura sobre avaliao, os termos eficcia e
efetividade, no raro, aparecem como sinnimos.
Entretanto, salienta que na tipologia de avaliao
por ela referenciada, estes dois termos tm
significados diferentes: eficcia uma dimenso
do processo de desenvolvimento e implementao do
programa, enquanto efetividade uma dimenso do
resultado, ex-post, destinada a averiguar o alcance das
metas.
Segundo SULBRANDT, citado por COSTA e
CASTANHAR(2003, p.979) (...) as experincias
de avaliao de programas podem ser agrupadas, para
fins analticos, em trs metodologias bsicas: avaliao de
metas; avaliao de impacto; e avaliao de processos.
Encontra-se em CUNHA, citando COHEN e
FRANCO e ainda COTTA, uma sistemtica
que classifica os tipos de avaliao levando em
considerao: o agente que as realiza; a natureza
da avaliao; e o momento em que ela ocorre.
(www.spc.rs.gov.br/upload/avaliacao, CUNHA,
2006, p. 9-11)
Como se observa, existe uma multiplicidade
de metodologias de avaliao e o grande dilema
est na focalizao. Para CAVALCANTI (2006)
a proposta a de focalizar os tipos de avaliaes
que respondem bem aos problemas de formulao
e implementao de polticas pblicas e programas
governamentais, oferecendo subsdios efetivos para a
tomada de deciso. Ressalta ainda a autora que
reconhecido que grande parte dos problemas encontrados
se situa na fase de implementao de um programa ou
projeto, quando so reveladas as necessidades de ajustes,
aperfeioamento e mesmo de substituio do programa.
Entretanto, CAVALCANTI acrescenta que
tambm um consenso que esses problemas tm conexo
direta com as demais fases que compem a poltica, por
ser ela um ciclo, que produz feed-back e retroalimenta
as demais fases, e no um sistema linear de via nica.
Portanto, a opo de estudo adotada, alm de enfocar a
varivel tempo, o momento em que se realiza a avaliao,
focaliza tambm, o funcionamento e o resultado do
programa.

Dessa forma, apresenta-se quatro tipos de

avaliao: avaliao ex-ante; avaliao ex-post
ou somativa focada nos resultados; avaliao
formativa ou de processos e o monitoramento.
Diante desse quadro, constata-se que a
avaliao ex-ante est focada na formulao e
desenvolvimento de determinado programa, como
destaca COHEN e FRANCO (1993, p.16): {...}
a avaliao ex-ante permite escolher a melhor opo
dos programas e projetos nos quais se concretizam as
polticas.
J a avaliao ex-post focaliza a relao entre
processo, resultados e impacto, comparando
os diferentes programas, analisando sua
efetividade.
No que tange varivel resultados, o relatrio
do NEPP, de Campinas alerta para a necessidade
de se considerar algumas indagaes essenciais:
a) que tipos de servios ou benefcios os beneficirios
do programa esto recebendo? b) em que medida
os servios ou benefcios realmente recebidos plos
beneficirios do programa esto de acordo com
as intenes originais dos formuladores? c) os
beneficirios esto satisfeitos com os resultados
atingidos pelo programa? d) os resultados
atingidos so compatveis com os resultados
esperados? e) como e porque os programas
implementados geram resultados no esperados?
(UNIVERSIDADE DE CAMPINAS, 1999,
p. 43)
Quanto avaliao de processos, a qual tem
seu foco voltado para a gesto e funcionamento
do programa, constitui numa ferramenta para se
corrigir as distores diagnosticadas. Recorrendo
novamente em FARIA (2006, p. 45) este tipo de
avaliao tem por objetivo fazer as coisas certas.
No que concerne ao monitoramento, nota-se
que o foco est na implementao do programa,
procurando identificar possvel desvio na execuo
das aes programadas versus executadas.
GARCIA (2001, p.32) o define da seguinte
forma: O monitoramento um processo sistemtico
e contnuo que, produzindo informaes sintticas e em
tempo eficaz, permite rpida avaliao situacional e a
interveno oportuna que corrige ou confirma as aes
monitoradas.
Por outro lado, bom lembrar, que comum
para os leigos, os termos monitoramento e

Captulo 6 - Trabalho, Emprego e Promoo Social

387

Gesto de Polticas Pblicas no Paran

avaliao serem utilizados como sinnimos. Porm,

vrios autores chamam a ateno para a diferena
que existe entre avaliao e monitoramento ou
acompanhamento. CUNHA (2006, p.12) destaca
que: enquanto o acompanhamento ou monitoramento
uma atividade gerencial interna, realizada durante
o perodo de execuo e operao, a avaliao pode ser
realizada antes, durante a implementao ou mesmo
algum tempo depois, aps o programa provocar todo o seu
impacto, e com a preocupao centrada no modo, medida
e razo dos benefcios advindos.
Finalizando, pode-se concluir que os diversos
tipos de avaliao apresentados permitem a escolha
de mecanismos que possibilitam acompanhar e
medir os programas ou aes governamentais,
porm, mais do que isso necessrio saber o que
fazer e como aplicar os resultados obtidos de
forma que os administradores e gestores pblicos
conjuguem as aes governamentais com as aes
polticas.

2.1.5 Critrios de Avaliao

Assim como nos tipos de avaliao, os
estudiosos apontam neste tema uma variedade de
critrios que consistem na definio de medidas
com vistas aferio do resultado obtido em
determinada ao.
Segundo COSTA & CASTANHAR (2003,
p.973) embora se associe normalmente a avaliao
de desempenho mensurao de eficincia na gesto de
programas pblicos, este no evidentemente, o nico
e, eventualmente, nem o mais importante critrio a ser
usado na avaliao. Ressaltam ainda que a lista dos
critrios que podem ser utilizados longa e a escolha de
um, ou vrios deles, depende dos aspectos que se deseja
privilegiar na avaliao.
Ainda sob a percepo do conceito da eficincia
na avaliao de polticas pblicas BELLONI,
MAGALHES e SOUZA (2000, p. 64) fazem a
seguinte sntese: em resumo, a eficincia, traduz-se
por respostas dadas a questionamentos ou indicadores
relativos a necessidades atendidas, recursos utilizados
e gesto desenvolvida. A interao entre a poltica
examinada e outras a ela relacionadas, assim como a no
sobreposio de duplicao de esforos so indicadores de
eficincia no apenas da poltica em foco, mas de aes
governamentais como um todo.
No que tange ao conceito de eficcia, na mesma
perspectiva de anlise, BELLONI, MAGALHES

388

e SOUZA acrescentam: a eficcia corresponde

ao resultado de um processo, entretanto contempla
tambm a orientao metodolgica adotada e a atuao
estabelecida na consecuo dos objetivos e metas em um
tempo determinado, tendo em vista o plano, programa
ou projeto originalmente proposto. Nesse sentido,
CAVALCANTI (2006) diz que: A anlise e a
constatao da eficcia esto associadas verificao dos
indicadores de eficincia. Sendo assim, a maximizao
dos resultados alcanados de um programa ser revelada
atravs da resposta efetiva ao grau de eficincia e
eficcia. Para a autora, portanto, os conceitos
de eficincia e eficcia no so conceitos excludentes,
especialmente no caso de avaliao de polticas pblicas,
em que de fundamental importncia assegurar uma
metodologia que envolva a avaliao de planejamento, dos
recursos (humanos, materiais e financeiros) e do sistema
de gesto. No entanto, BELLONI, MAGALHES
e SOUZA (2000, p.66) enfatizam a importncia
de tais conceitos estarem inter-relacionados no
processo de avaliao de programas ou polticas
pblicas no que diz respeito aos seus resultados:
Assim, considera-se que o resultado alcanado a
resposta efetiva ao grau de eficincia e eficcia aplicado
no desenvolvimento da ao ou poltica programada.
COHEN e FRANCO (1999, p. 102) definem:
operacionalmente, a eficcia o grau em que se alcana
os objetivos e metas do projeto na populao beneficiria,
em um determinado perodo de tempo, independentemente
dos custos aplicados.
Quanto ao conceito de efetividade BELLONI,
MAGALHES e SOUZA (2000, p. 67) se
reportam como um critrio de avaliao que procura
dar conta dos resultados, tanto econmicos quanto sociais
da poltica pblica. Acrescentam ainda: a efetividade
o conceito que revela em que medida a correspondncia
entre os objetivos traados em um programa e seus
resultados foram atingidos.
J para CAVALCANTI (2006) trata-se de uma
avaliao de impactos, pois, ao contrrio da avaliao
de resultados, que procura investigar os efeitos de uma
interveno sobre a clientela atendida, ela procura
diagnosticar os reflexos desta mesma interveno no
contexto maior.
Em COTTA (1998, p. 115), encontram-se
alguns pr-requisitos que a autora considera
relevantes: a) os objetivos da interveno devem estar
definidos de maneira a permitir a identificao de metas
mensurveis; b) sua implementao deve ter ocorrido de
maneira minimamente satisfatria, pois, caso contrrio,
no faria sentido tentar aferir impacto.

Fortalecimento da Funo Avaliao de Polticas Pblicas: Estudo de Caso do Processo...

Gesto de Polticas Pblicas no Paran

COHEN e FRANCO (2004, p.107) definem

assim a efetividade: a relao entre os resultados e
o objetivo. a medida do impacto ou do grau de alcance
dos objetivos.
Deste modo, atravs de um aprofundamento
terico sobre esta temtica, constatou-se que
a aplicao desses critrios de avaliao requer
formas especficas de operacionalizao
conhecidas como indicadores para o adequado
desenvolvimento da anlise.
CORE (2001, p.33-34), apontando a
enorme dificuldade na escolha de indicadores
representantes da realidade dos problemas ressalta:
Mesmo em condies de normalidade, bom lembrar que
a determinao de indicadores sempre tarefa complexa,
com significativo vis acadmico, e, como fundamental
para a avaliao da ao pblica, constitui-se, s
vezes, em uma escolha politicamente delicada. Assumir
compromisso de resultado em um contexto de elevada
incerteza em que o governo apenas parte da soluo,
sempre uma deciso difcil.
No processo de implementao das aes
podero ser utilizados muitos indicadores que
atendam os objetivos especficos de cada ao,
pois os indicadores devem refletir a realidade
mostrando quais as necessidades e se demandam
por mudanas.
Dentro dos processos de avaliao, o indicador
constitui uma varivel, caracterstica ou atributo de
estrutura, processo ou resultado, capaz de sintetizar
e ou representar e ou dar maior significado ao que
se quer avaliar. Para a escolha dos indicadores
mais apropriados algumas perguntas devem ser
respondidas. Estas podem, por exemplo, ser em
relao a se os objetivos esto sendo atingidos,
se o que est se fazendo satisfatrio ou deve
ser feito de maneira diferente, se as informaes
que se dispem so suficientes para o melhor
conhecimento da situao problema.
ROB VOS, citado por COSTA e CASTANHAR,
classifica os indicadores em trs categorias: de
resultado, de insumo e de acesso.
Os indicadores de resultado refletem os nveis de
satisfao de necessidades bsicas alcanados.
So tambm denominados de indicadores de
nvel de vida. Por exemplo: esperana de vida,
mortalidade infantil, grau de alfabetizao,
nveis de educao e nutrio entre outros.

Os indicadores de insumo se referem aos

meios (recursos) disponveis para se obter um
determinado padro de vida. Esses meios para
atender necessidades bsicas distintas podem
incluir, por exemplo, no campo da nutrio, a
renda e a disponibilidade de alimentos; no campo
da sade, a disponibilidade de gua potvel,
de centros e sade e o nmero de mdicos por
habitantes e; na rea da educao, o nmero
de escolas e de professores por aluno. J os
indicadores de acesso identificam os determinantes
que permitem tornar efetiva (e em que grau) a
utilizao de recursos disponveis para atender
determinadas necessidades bsicas. Para fins de
avaliao de polticas e programas sociais esse
terceiro tipo de indicadores particularmente
relevante. (COSTA e CASTANHAR, 2003,
p. 974)
Segundo RUA (2006) indicadores no so
simplesmente dados, mas uma balana que nos permite
pesar os dados ou uma rgua, que nos permite aferir
os dados em termos de qualidade, resultado, impacto etc.,
dos processos e dos objetivos dos eventos. RUA, ainda
complementa: os indicadores so medidas, ou seja, so
uma atribuio de nmeros a objetos, acontecimentos, ou
situaes, de acordo com certas regras. Enquanto medidas,
os indicadores referem-se s informaes que, em termos
conceituais so mensurveis.
Portanto, frente a todas essas consideraes
dos estudiosos verifica-se que a escolha dos
indicadores fator de extrema relevncia quando
o tema for avaliao e como bem alertam ARAUJO
e LOUREIRO (2005, p. 142) indicadores podem ser
confundidos com produtos ou representam to somente
instrumento de medida de impacto dos propsitos.

3 Concluses e Recomendaes
A reviso de literatura demonstrou o grau de
dificuldade quando se prope a avaliar poltica
pblica. Embora quase a totalidade dos autores
apresente uma metodologia de avaliao ou passos
necessrios, ou quaisquer outras sistemticas, o
tema requer uma anlise ainda mais crtica, pois
em se tratando de poltica pblica nada pode ser
to complexo no envolvimento e trato de atores
diversos, haja vista que a cultura avaliativa na
administrao pblica, de modo geral, tem se
prestado mais ao demonstrativo fsico/financeiro
do que indicador de mudana.

Captulo 6 - Trabalho, Emprego e Promoo Social

389

Gesto de Polticas Pblicas no Paran

A elaborao de uma estratgia de

monitoramento e avaliao para a Poltica de
Gerao de Emprego e Renda da Secretaria de
Estado do Trabalho, Emprego e Promoo Social,
requer uma deciso sobre quais programas devem
ser avaliados, a definio dos resultados esperados,
a seleo de uma metodologia de avaliao e a
obteno dos dados necessrios.
Primeiramente, deve-se considerar se os
programas concebidos so estrategicamente
relevantes para o aumento da gerao de emprego
e renda e se a avaliao do programa contribui
para preencher as lacunas de conhecimento do que
funciona e do que no funciona para o aumento
da gerao de emprego e renda. Outra forte razo
refere-se ao carter inovador dos programas, cujos
objetivos devem ser claramente definidos, assim
como as metas, aes e indicadores devem ser
muito bem delineados e, principalmente o contexto
institucional favorvel sua implementao, fato
no presente no atual momento da Secretaria do
Trabalho.
Para analisar as aes propostas pela Secretaria
de Trabalho, Emprego e Promoo Social do ponto
de vista de sua adequao Poltica de Gerao de
Emprego e Renda ao atendimento dos impactos
sociais, como j mencionado anteriormente na
anlise dos resultados, no foi possvel realiz-la
na sua plenitude em razo dos programas terem
sido paralisados.
Outro ponto crtico a considerar quanto
ao mapeamento dos sistemas de informaes e
bancos de dados gerenciais. Como apenas alguns
programas dispem de informaes sistematizadas,
o principal desafio aqui como aproveitar as fontes
existentes de dados e como planejar a coleta
de outros dados a fim de maximizar o seu uso,
tanto para a avaliao de impacto quanto para o
monitoramento de resultados.
Por outro lado, as experincias internacionais
demonstram que os principais interesses das
atuais avaliaes so os resultados, a alocao
oramentria racional e a reorganizao dos
programas de modo a alcanar os objetivos de
planejamento.
Em articulao com outros rgos das esferas
federal, estadual e municipal, com efeito, observase que esta uma prtica nova na administrao
pblica, especialmente com a abrangncia de todos
os programas do plano plurianual.

390

Assim como no governo federal, a preocupao

do governo do Estado do Paran em estabelecer
mecanismos de controles e avaliao de programas
recente. O sistema E-CAR Controle,
Acompanhamento e Avaliao de Resultados um
sistema que acompanha somente alguns programas
definidos como prioritrios pelo governador. Como
parte desse esforo, recentemente foi institudo na
administrao pblica estadual o controle interno,
em cumprimento s exigncias constitucionais
estabelecidas na Constituio.
Apesar de todos os esforos, o presente estudo
mostrou que so necessrios alguns avanos
no sistema de avaliao de ambos os nveis de
governo, o que muito natural em um processo
implantado to recentemente.
Um dos ajustes a necessidade de maior
integrao entre os processos de monitoramento e
de avaliao e os outros estgios do ciclo de gesto,
especialmente no que est relacionado alocao
de recursos oramentrios e tomada de deciso
dos gerentes.
O desenvolvimento de atividades sistemticas
de monitoria e avaliao da ao governamental
esbarra, no entanto, com a insuficincia de quadros
tcnicos, mtodos e tcnicas de avaliao, bem
como de sistemas de informao preparados para
responder adequadamente complexidade das
aes governamentais.
Outro ponto fundamental a considerar a
capacitao. O treinamento sobre conceitos,
mtodos e tcnicas de monitoramento e avaliao
de programas deve se estender a toda a equipe
que participa da implementao do programa,
com vistas a fortalecer a funo avaliao na
administrao pblica.
Um outro ponto crtico diz respeito ao grau
de subjetividade nas avaliaes. E isto precisa ser
minimizado mediante a utilizao de informaes
mais precisas e confiveis. A utilizao de
avaliadores externos e a incorporao da dimenso
dos stakeholders, com certeza, podem contribuir
para melhorar a qualidade das avaliaes.
O grande desafio para a disseminao da
prtica de avaliao de projetos no setor pblico
, sem dvida, encontrar formas prticas de
mensurar o desempenho e fornecer aos gestores
de programas bem como, aos demais atores
envolvidos, informaes teis para avaliao

Fortalecimento da Funo Avaliao de Polticas Pblicas: Estudo de Caso do Processo...

Gesto de Polticas Pblicas no Paran

sobre os efeitos de tal programa. As dificuldades

metodolgicas acabam levando utilizao de
indicadores que se aplicam, principalmente, aos
aspectos da concepo do programa, tais como o
alcance das metas e objetivos.
A tnica destas consideraes no deixar que
essas dificuldades prticas levem os gestores de
programas a considerar os processos de aferio,
principalmente os de concepo, como um fim
em si mesmo, esquecendo-se que o objetivo
maior no produzir nmeros e sim, melhorar
os resultados.
Do ponto de vista conceitual, o trabalho de
acompanhamento e avaliao de poltica pblica
deve abranger todo o seu ciclo de vida. Por isso
a metodologia de avaliao aqui proposta como
modelo para fortalecer essa funo deve contemplar
os trs momentos: ex-ante, intermediria ou de
processo e a ex-post.
As avaliaes realizadas antes e depois da
execuo so teis para avaliar a consistncia do
desenho e da estratgia do programa e servem de
base para o estabelecimento de metas e objetivos
a serem atingidos.
Quando realizada aps a execuo normalmente
refere-se anlise da eficcia e efetividade do
programa e til para rever, repensar e redesenhar
a poltica pblica.
A avaliao realizada durante a execuo do
programa, por sua vez, tem a particularidade de ser
preventiva da eficincia e at mesmo da eficcia,
dependendo da metodologia e dos instrumentais
que so utilizados.
De qualquer forma, o sistema de informaes
gerado pelo acompanhamento e avaliao de

polticas pblicas deve ter algumas caractersticas

principais: constituir-se em um ferramental
potente de apoio gesto; permitir a comparao
entre os distintos projetos que compem o
programa e contribuir para a formulao de ajustes
e o redesenho do programa.
Alm destas caractersticas o sistema de
informaes tem que ser dinmico e disponibilizar
dados atualizados e, tambm, contribuir para a
aprendizagem contnua dos diversos parceiros
envolvidos na ao pblica.
O desenho metodolgico e operacional para o
acompanhamento e avaliao de polticas pblicas
de gerao de emprego e renda deve ser concebido
para se constituir em instrumento de gesto para o
alcance de melhores ndices de eficincia e eficcia
dos programas.
A p ro p o s i o a q u i a p re s e n t a d a p a r a
o desenvolvimento de uma estratgia de
monitoramento e avaliao poder ser aplicada
no s na SETP, como tambm em outros rgos
do governo. Elaborada com base nos conceitos
e fundamentos tericos contidos na reviso de
literatura, complementados com a aplicao
prtica desses conceitos e fundamentos, por
meio das experincias e prticas de avaliao
estudadas neste trabalho, a presente proposta
ainda no est acabada. H que se elaborar, para
que seja garantida a qualidade dos resultados e
a uniformidade de procedimentos, um Manual
de Monitoramento e Avaliao de Programas
contendo toda a metodologia a ser adotada,
especificando as rotinas e os instrumentos de
cada etapa do processo, assim como, os rgos e
as pessoas responsveis pela execuo.

Captulo 6 - Trabalho, Emprego e Promoo Social

391

Gesto de Polticas Pblicas no Paran

Referncias
ARAUJO, F. C. & LOUREIRO, M. R. Por uma Metodologia Pluridimensional de Avaliao da LRF.
Revista de Administrao Pblica, Rio de Janeiro, 39 (6), p.123-152, nov./dez. 2005.
ARRETCH, M. T. S. Tendncias no Estudo sobre Avaliao. In: RICO, Elizabeth M. (Org). Avaliao
de Polticas Sociais: uma questo em debate. So Paulo: Cortez, 1998.
BELLONI, I., MAGALHES, H. & SOUZA, L. C. Metodologia de Avaliao em Polticas Pblicas:
uma experincia em educao profissional. So Paulo: Cortez, 2000.
CARVALHO, M. C. B. Avaliao participativa: uma escolha metodolgica. In: RICO, Elizabeth M.
(Org). Avaliao de Polticas Sociais: uma questo em debate. So Paulo: Cortez, 1998.
CASTRO, M. H. G. Avaliao de Polticas e Programas Sociais. Caderno Pesquisa n. 12, NEPP.
www.unicamp.nepp.gov.br. 18hs/09/09/2006.
CAVALCANTI, M. M. A. Avaliao de Polticas Pblicas e Programas Governamentais Uma
abordagem conceitual. www.interfacesdesaberes.fafica.com/seer/. 20hs/16/10/2006.
COHEN, E. & FRANCO, R. A Avaliao de Projetos Sociais. Petrpolis: Vozes, 1993.
CORE, F. G. Reforma Gerencial dos Processos de Planejamento e Oramento. www.enap.gov.br.
20hs/14/04/2005.
COSTA, F. L. & CASTANHAR, J. C. Avaliao Programas Pblicos: Desafios Conceituais e
Metodolgicos. Revista de Administrao Pblica, Rio de Janeiro, 37 (5), p.969-992, set./out., 2003.
COTTA, T. C. Metodologia de Avaliao de Programas Sociais: Anlise de Resultados e de Impactos.
Revista do Servio Pblico, Braslia, a. 49, n. 2, p.105-126, abr./jun., 1998.
CUNHA, C. G. S. Avaliao de Polticas Pblicas e Programas Governamentais: Tendncias
Recentes e Experincias no Brasil. www.scp.rs.gov.br. 11:30hs/21/03/2007.
DRAIBE, S. M. Metodologia de Anlise Comparativa de Programas Sociais. Cepal. Paper elaborado
para o Projeto Regional Reformas de Polticas para Aumentar a Efetividade do Estado na Amrica
Latina, 1991.
FARIA, C. A. P. A Poltica da Avaliao de Polticas Pblicas: Desafios Conceituais e Metodolgicos.
Revista Brasileira de Cincias Sociais, v. 20, n. 99, 2005.
FARIA, R. Avaliao de Programas Sociais: Evolues e Tendncias. In: RICO, Elizabeth M. (Org).
Avaliao de Polticas Sociais: uma questo em debate. So Paulo: Cortez, 1998.
FIGUEIREDO, M. F. & FIGUEIREDO, A. M. C. Avaliao Poltica e Avaliao de Polticas: Um
Quadro de Referncia Terica. Anlise & Conjuntura, Belo Horizonte, v. 1, n. 3, p.107 127, set./
dez. 1986.
GARCIA, R. C. Subsdios para Organizar Avaliaes da Ao Governamental. Planejamento e Polticas
Pblicas, Braslia, n. 23, p.7 70, jun. 2001.
GUARESCHI, N. et al. Problematizando as Prticas Psicolgicas no Modo de entender a Violncia.
In: Violncia, Gnero e Polticas Pblicas. 2004, p. 180.
MELO, M. A. As Sete Vidas da Agenda Pblica Brasileira. In: RICO, Elizabeth M. (Org.). Avaliao
de polticas sociais: uma questo em debate. So Paulo: Cortez, 1998.
ORTOLANI, L. F. B. Poltica Pblica. www.pr.gov.br/batebyte/edicoes/1993/bb/politica.htm.
21hs/08/09/2006.
PEDONE, L. Formulao, Implementao e Avaliao de Polticas Pblicas. Braslia: Fundao
Centro de Formao do Servidor Pblico, 1986.

392

Fortalecimento da Funo Avaliao de Polticas Pblicas: Estudo de Caso do Processo...

Gesto de Polticas Pblicas no Paran

RICO, E. M.(Org.). Avaliao de Polticas Sociais: uma questo em debate. So Paulo: Cortez, 1998.
RUA, M. G. Desmistificando o problema: Uma Rpida Introduo ao Estudo dos Indicadores. www.
sare.pe.gov.br/escola/oficina/teoria_de_MeMa_dest.doc. 20hs/18/08/2006.
SAUL, A. M. Avaliao Participante Uma Abordagem Crtico-transformadora. In: RICO, Elizabeth
M. (Org.). Avaliao de Polticas Sociais: uma questo em debate. So Paulo: Cortez, 1998.
SPINK, P. K. Avaliao Democrtica: Propostas e Prticas. Rio de Janeiro. Associao Brasileira
Interdisciplinar de Aids, 2001.
UNIVERSIDADE DE CAMPINAS. Ncleo de Estudos de Polticas Pblicas NEPP. Modelos de
Avaliao de Programas Sociais Prioritrios. Relatrio Final. Campinas, 1999, p. 43. www.unicamp.
nepp.gov.br. 19hs/08/09/2006.

Captulo 6 - Trabalho, Emprego e Promoo Social

393

Gesto de Polticas Pblicas no Paran

394

Fortalecimento da Funo Avaliao de Polticas Pblicas: Estudo de Caso do Processo...