Red de Revistas Cientficas de Amrica Latina, el Caribe, Espaa y Portugal

Sistema de Informacin Cientfica

Cavalcanti Vaz Mendes, Geisa do Socorro; Lemes de Sordi, Mara Regina Metodologia de avaliao de implementao de programas e polticas pblicas Eccos Revista Cientfica, nm. 30, enero-abril, 2013, pp. 93-111 Universidade Nove de Julho So Paulo, Brasil
Disponvel em: http://www.redalyc.org/articulo.oa?id=71525769006

Eccos Revista Cientfica, ISSN (Verso impressa): 1517-1949 eccos@uninove.br Universidade Nove de Julho Brasil

Como citar este artigo

Nmero completo

Mais informaes do artigo

Site da revista

www.redalyc.org
Projeto acadmico no lucrativo, desenvolvido pela iniciativa Acesso Aberto

doi: 10.5585/EccoS.n30.3697

METODOLOGIA DE AVALIAO
DE ImPLEmENTAO DE PROGRAmAS E POLTICAS PBLICAS
EVALUATION mETHODOLOGY OF POLICIES AND PROGRAmS
ImPLEmENTATION

Professora Doutora da PUC-Campinas. Integrante do grupo de pesquisa do Laboratrio de Observao e Estudos Descritivos (LOED) da FE/Unicamp. Campinas, SP Brasil geisavaz@gmail.com

Geisa do Socorro Cavalcanti Vaz Mendes

Professora Doutora da Unicamp; Pesquisadora do Laboratrio de Observao e Estudos Descritivos (LOED) da FE/Unicamp. Campinas, SP Brasil maradesordi@uol.com.br

Mara Regina Lemes de Sordi

Resumo: Objetiva-se situar um marco de referncia terico-conceitual voltado ao estudo da implementao de programas, polticas ou projetos educacionais. Dado o destaque da avaliao nas polticas pblicas atuais ao qual se associa certo desconhecimento dos atores sociais envolvidos, observa-se a necessidade de investigaes que auxiliem a entender os meandros do processo avaliativo desde a concepo dos modelos at a sua implementao. As concepes de avaliao e de avaliao de programas/poltica so inicialmente apresentadas discorrendo-se sobre as funes, objetivos e finalidades da avaliao. Examina-se a distino entre pesquisa acadmica e pesquisa avaliativa, com destaque para os sujeitos envolvidos no processo. Por ltimo, destacam-se as contribuies dessa metodologia avaliao de implementao de programa ou polticas de avaliao institucional. Palavras-chave: Implementao de poltica. Metodologia de avaliao de poltica. Pesquisa acadmica. Pesquisa avaliativa. Abstract: The objective of this article is to place theoretical and conceptual reference mark for the study of programs, policies or educational projects implementation. Given the prominence of the assessment at the current public policies which associates certain ignorance of the involved social subjects verifies the need for studies that help to understand the evaluation process meanders passing through its model design to its implementation. The conceptions of assessment and policy/programs assessment are initially presented by discoursing over the evaluation functions, objectives and purposes. It is analyzed the difference between academic and evaluative research, focusing on the

D o s s i t e m t i c o

EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

93

Metodologia de avaliao de implementao de programas e polticas pblicas

subjects that are involved in the process. Finally, it is highlighted the contributions of this methodology to the evaluation of program implementation or policies of institutional evaluation. Key words: Academic research. Evaluative research. Implementation policy. Policy evaluation methodology.

Introduo

E c c o S R e v i s t a C i e n t f i c a

No Estado brasileiro e em outras naes as reformas na rea da educao, das ltimas dcadas do sculo XX, tm sido institudas nas polticas de avaliao da educao superior e da educao bsica, por meio de exames externos de desempenho e da Avaliao Institucional (AI) das instituies de ensino superior (IES). Essas aes, praticadas no Brasil pelo Ministrio da Educao (MEC), tornaram-se objeto de estudo no meio acadmico, voltados anlise e explicao dos efeitos dos resultados desses exames no setor educacional, principalmente no ensino superior. Constata-se uma lacuna quanto a metodologias de anlise do processo de implementao de polticas. O desconhecimento, dos mecanismos constitutivos dessa fase, por parte dos sistemas de ensino, em especial das redes pblicas voltadas educao bsica, tem ratificado a lgica meritocrtica da avaliao externa, as quais desconsideram as condies em que so produzidos os resultados, corroborando para aceitao da responsabilizao da escola pelos ndices alcanados nos dispositivos avaliativos. O reconhecimento de que a avaliao, por ser um recurso potente de contra-regulao, tem papel preponderante tomada de deciso acerca de processos educativos, favorecendo a emancipao dos sujeitos histricos dos processos sociais (FREITAS, 2005), instiga-nos a compreender como tem sido forjada a fase de implementao de polticas de avaliao, por meio de uma metodologia de anlise, de natureza qualitativa, que se apresenta pertinente ao estudo de formulao de programas e polticas. Pretende-se neste artigo descrever uma metodologia de pesquisa avaliativa de implementao de poltica, defendida como uma possibilidade de promover aprendizagens aos gestores ou profissionais da educao acerca da implementao de poltica pblicas.
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

94

MENDES, G. S. C. V.; SORDI, M. R. L.

Avaliao de programas e polticas

A avaliao, alm de constituir um objeto de destaque nas discusses dos ltimos anos, um dos temas ao qual, ao longo de perodos histricos especficos, se lhe atribuiu significados diversos com a evoluo prpria da sociedade, forjados pelas alteraes polticas, sociais, econmicas e culturais. Essas alteraes interferiram na origem de diferentes concepes de educao, consequentemente, nos diferentes modelos de ensino, de aprendizagem e de abordagens de avaliao. Com isso, ela se apresenta de forma distinta, segundo a concepo, funes, finalidades, valores, procedimentos, critrios e os interesses de quem a utiliza, os avaliadores. Isso pode interferir em determinada realidade/contexto, nas decises ou mesmo provocar mudanas e transformaes na realidade. A avaliao no uma ao neutra, reflete a concepo de mundo, indivduo e de sociedade, condicionando a tomada de decises no plano das polticas educacionais, norteando e orientando s prticas pedaggicas nos ambientes educacionais (DIAS SOBRINHO, 2003). No campo do trabalho social, das tecnologias sociais, a avaliao entendida como um mecanismo de regulao de aes e polticas sociais, que pode permitir uma notvel diminuio das possibilidades de fracasso de um programa de interesse social. Para Ballart (1992), no h um consenso na literatura em torno da definio de avaliao de programas. Encontram-se termos, tais como: program evaluation, policy evaluation e evaluation research, os quais tm sido objeto de uma gama variada de interpretaes, segundo a funo dos investigadores e/ou o referencial terico do seu campo de investigao. Inicialmente, pode-se dizer que a avaliao de programas percebida como a avaliao dos efeitos ntidos dos programas em relao aos objetivos propostos, [] la evaluacin es, pues, un anlisis de resultados, entendiendo a stos como el efecto o impacto real de un programa en sus destinatarios (BALLART, 1992, p. 71). Segundo Viedma (1996), a avaliao um processo que compara o observado com o que esperado, requer que decidamos como se relaciona o observado com o padro, ou o que se esperava alcanar. Para comparar necessrio, antes, definir o que se deseja alcanar. A avaliao enquanto um processo consiste em monitorar o quanto se tem realizado durante o
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

D o s s i t e m t i c o

95

Metodologia de avaliao de implementao de programas e polticas pblicas

E c c o S R e v i s t a C i e n t f i c a

desenvolvimento do programa/projeto. Permite identificar barreiras que interferem no desenvolvimento, para a tomada de decises de novas aes para super-las, necessrio um corpo sistemtico de procedimentos que se implementam ao longo do projeto. Um conceito mais amplo de avaliao de programas, consiste em: [] la aplicacin sistemtica de procedimientos de investigacin social para valorar la conceptualizacin y diseo, implementacin y utilidad, de los programas de intervencin social (BALLART, 1992, p. 73). Para Aguilar e Ander-Egg (1994) uma pr-condio de qualquer estudo avaliativo a presena de alguma atividade cujos objetivos tenham algum tipo de valor. A meta da avaliao de programas fazer um juzo sobre uma atividade, um recurso ou um resultado, para determinar o grau ou xito na consecuo de um objetivo determinado, abarcando a estrutura, o processo e o impacto do programa em um dado contexto social, de forma sistemtica. Minayo (2008) conceitua que a avaliao de programas/polticas sociais procura emitir um juzo de valor sobre determinada interveno, deve estar includa no planejamento das aes, tem o papel de subsidiar a gesto, pois no objetiva castigar as pessoas atingidas ou envolvidas nela, mas melhorar seu desempenho. Destaca que h uma distino entre uma investigao avaliativa e uma pesquisa acadmica, pesquisadores e avaliadores trabalham dentro do mesmo paradigma de investigao, contudo assumem papis diferenciados na gesto do processo segundo os envolvidos. Faz-se necessrio distinguir a definio de avaliao do termo pesquisa avaliatria. Apresentamos a seguir um esquema com as caractersticas que distinguem uma avaliao de programas, enquanto pesquisa avaliativa, de uma investigao avaliativa. Apesar de se apresentem como opositoras, so complementares, conforme ilustrado no Quadro 1. Outro aspecto a ser considerado acerca da pesquisa avaliativa diz respeito ao seu objetivo. Os trs objetivos mais frequentes da avaliao de programas so: [] fazer julgamentos do valor de um programa; ajudar os responsveis pela tomada de decises a definir suas polticas; e assumir uma funo poltica (WORTHEN; SANDERS; FITZPATRICK, 2004, p. 40). Busca-se
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

96

MENDES, G. S. C. V.; SORDI, M. R. L.

Caractersticas Motivao Objetivo Autonomia Propriedades do fenmeno Critrios de adequao Cliente

Pesquisa acadmica avaliativa Satisfaz curiosidades por meio de avanos no campo do conhecimento Busca concluses Possui autonomia relativa A pesquisa se faz, primordialmente, para gerar conhecimento Julgada pela validade interna e externa Conduzida a partir de uma ideia muito genrica de quem usar os resultados Organiza o cronograma segundo critrios cientficos e oramentrios

Investigao avaliativa Contribui para a soluo de problemas prticos Leva a decises conduzida de acordo com o escopo delimitado pelo cliente A avaliao visa analisar a utilidade social e o valor de uma proposta O julgamento deve levar em conta: preciso, credibilidade, utilidade, viabilidade e propriedade. Identifica seus destinatrios e seu alvo Atende aos cronogramas restritos dos rumos da interveno e da demanda dos destinatrios
D o s s i t e m t i c o

Limites de tempo Aspectos disciplinares

Preparao

Lana mo de amplo espectro Pode ou no ser de perspectivas e tcnicas para interdisciplinar aferir resultados qualitativos e quantitativos de vrias ordens O avaliador precisa estar familiarizado com uma grande variedade de mtodos Geralmente o e tcnicas, visando diversificao pesquisador atua dentro e a combinao de informaes de sua disciplina requeridas pelos destinatrios: sociais, econmicos, organizacionais e outras.

Quadro 1: Distino entre os papis da avaliao de programa/poltica pesquisa e investigao

Fonte: Elaborado pela pesquisadora por meio dos estudos de Minayo (2008).

[] apresentar provas objetivas, sistemticas e completas do grau em que foram atingidos os fins do programa e do grau em que gerou outras consequncias imprevistas que, uma vez conheciEccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

97

Metodologia de avaliao de implementao de programas e polticas pblicas

das, tambm sejam de interesse para a organizao responsvel pelo programa. (AGUILAR; ANDER-EGG,1994, p. 62).

Tomando-se essas observaes como referncia, os objetivos especificos da avaliao de programas preconizados por Ballart, Aguilar e Ander-Egg e Viedma so: estabelecer o grau de pertinncia, idoneidade, efetividade/eficcia e eficincia/rendimento de um programa, projeto ou servio; determinar as razes dos xitos e fracassos, levando em conta a situao contextual que condiciona a realizao do programa, analisando-o em si. Isso abrange diferentes aspectos: disposies legais, existncia ou no de vontade poltica de levar adiante o programa, disponibilidade financeira dentro do oramento, condies sociais e econmicas (conjunturais ou estruturais) e valores culturais; facilitar o processo de tomada de decises para melhorar e/ou modificar o programa ou projeto, introduzindo modificaes no programa, melhorar a metodologia, inovar a estrutura e/ou o funcionamento, mudar as estratgias de desenvolvimento, e aumentar ou diminuir as verbas do oramento destinadas ao projeto; estabelecer at que ponto ocorreram outras consequncias ou imprevistos, por fim alcanar outros objetivos no previstos no programa. Apresentadas essas consideraes, passamos a discorrer acerca da tipologia da avaliao, presente na literatura pesquisada.

E c c o S R e v i s t a C i e n t f i c a

Tipologia de avaliao de programas e/ou polticas

As formas ou tipos de avaliao de polticas e programas podem ser classificadas recorrendo a diferentes critrios: segundo o momento em que se avalia; segundo o papel ou funo da avaliao; segundo a procedncia dos avaliadores (interna e externa) e segundo os aspectos do programa que so objeto de avaliao (BALLART, 1992; AGUILAR; ANDER-EGG, 1994; VIEDMA, 1996; WORTHEN; SANDERS; FITZPATRICK, 2004).
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

98

MENDES, G. S. C. V.; SORDI, M. R. L.

O momento em que se avalia o programa/projeto ou poltica contempla as seguintes etapas: a) Avaliao antes (ou ex ante) fase inicial ou de predeciso, necessria tomada de decises antes de empreender ou aprovar sua realizao. Pretende abarcar trs aspectos: pertinncia do projeto em relao realidade, verificando-se a coerncia e congruncias internas por meio da anlise dos meios/recursos e objetivos e metas; diagnstico e proposies; rentabilidade econmica das diferentes aes para alcanar os objetivos propostos. b) Avaliao durante a execuo busca fornecer informaes sobre o andamento do programa ponderando os resultados. Avalia as mudanas situacionais, para identificar at que ponto est sendo cumprido e realizado o programa estabelecido. c) Avaliao expost realiza-se ao trmino do programa, chamada avaliao de impacto ou avaliao ps-deciso, visa avaliar quanto e como mudou a situao inicial, ou quanto se alcanou a situao objetiva, segundo o referncial traado. A avaliao pode ser formativa ou somativa. A primeira ocorre durante o processo de execuo, com vistas a dar informaes para melhoria do programa ou projeto, levando a decises sobre o desenvolvimento do programa. A modalidade somativa, refere-se ao estudo dos resultados ou efeitos de um programa, para oferecer, aos responsveis pela tomada de decises ou consumidores, critrios de julgamento sobre o seu valor ou mrito. Permite determinar at que ponto foram cumpridos os objetivos ou produzidos os efeitos previstos, levando decises relativas continuidade ou a seu encerramento, a sua ampliao, adoo, entre outros procedimentos. Aguilar e Ander-Egg (1994) defendem a validade dessa distino, considerando-as complementares, pois o contexto e a situao que vo indicar qual a forma mais recomendvel a se utilizar, o elemento essencial a participao contnua em todo o processo avaliativo, tanto dos que decidem como dos destinatrios da informao. Worthen, Sanders e Fitzpatrick (2004) destacam que tanto a avaliao formativa quanto a somativa so essenciais, em razo das decises necessrias durante os estgios de desenvolvimento de um programa, pois
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.
D o s s i t e m t i c o

99

Metodologia de avaliao de implementao de programas e polticas pblicas

permitem melhor-lo e fortalec-lo. Para esses autores, a linha divisria entre uma forma e outra nem sempre fcil de se identificar. As duas esto profundamente entrelaadas, quando um programa continua aps um estudo de avaliao somativa, os resultados podem servir para uma avaliao formativa. Essa distino tida como relevante, pois contribui para classificao de avaliao externa e interna, que diz respeito aos responsveis por sua realizao, segundo: a procedncia dos avaliadores do programa; e os aspectos objetos de avaliao. A avaliao pode ser realizada por agentes externos, internos e pela combinao entre esses agentes: a) Avaliao externa recorre-se a avaliadores que no so vinculados instituio executora do programa ou ao projeto em avaliao, por meio de contratao de especialistas para avaliar em parte ou a totalidade das atividades. b) Avaliao interna realiza-se com a participao de pessoas que pertencem instituio, porm no so responsveis diretas pela execuo do programa/projeto. c) Avaliao mista combina-se os modelos anteriores por meio de uma equipe externa e interna de avaliadores. d) Autoavaliao as pessoas envolvidas na execuo do programa/ projeto so encarregadas das atividades avaliativas para avaliar e julgar suas prprias atividades, a fim de determinar se esto cumprindo as metas propostas. Alerta-se sobre as vantagens e desvantagens em relao a cada uma dessas opes. Quando se realiza a avaliao interna, principalmente em rgos pblicos, corre-se o risco de os responsveis ressaltarem aspectos bons ou positivos e minimizar os aspectos negativos. Em outros casos, procurase o responsvel pelo fracasso, quer seja interno ou externo instituio. As vantagens da avaliao interna se ancoram na familiaridade com o objeto a ser avaliado, porm pode haver riscos provenientes da subjetividade, pois h menor objetividade em consequncia do envolvimento dos avaliadores com o que se avalia, por ser ao mesmo tempo juiz e parte interessada. Os avaliadores alheios organiao apresentam maior objetividade, porm h dificuldade de captar plenamente todos os fatores em jogo de acordo com a
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

E c c o S R e v i s t a C i e n t f i c a

100

MENDES, G. S. C. V.; SORDI, M. R. L.

natureza e funcionamento do programa. Assim, defende-se uma avaliao mista que busque equilibrar os fatores desfavorveis ou favorveis ao programa (WORTHEN; SANDERS; FITZPATRICK, 2004; AGUILAR; ANDER-EGG, 1994). O passo seguinte para se avaliar uma poltica/programa ou projeto definir os aspectos objetos de avaliao, o estudo desses autores apresentam caractersticas que contribuem para o processo avaliativo: a) Avaliao do plano e conceitualizao do programa julga-se a pertinncia formal e potencial de um programa, ancorada em trs aspectos: avaliao da situao-problema ou aspecto da realidade na qual se pretende atuar; avaliao do diagnstico estabelecer a natureza, magnitude e caractersticas bsicas do problema, os recursos e os meios operacionais de interveno, e os fatores contextuais relevantes que incidem no mesmo; e a avaliao do plano e concepo do programa avaliar o modelo de interveno social ao qual se recorre para resolver determinada situao problemtica. b) Avaliao da instrumentao e seguimento do programa (avaliao do processo) avalia o funcionamento do programa, de forma global ou de alguns aspectos pontuais. Compreende vrios aspectos ou dimenses: a cobertura do programa - a populao conhece o programa, ele acessvel e aceito, at que ponto, efetivamente, coberta a rea de atuao. avaliao da implementao avalia-se se os aspectos tcnicos da operacionalizao do programa, dos aspectos estruturais, os instrumentos e meios utilizados so: necessrios, suficientes; idneos, potentes e, eficazes em relao aos objetivos e propsitos que buscam. avaliao do ambiente: avalia-se se a organizao responsvel favorece ou dificulta o andamento do programa, quer em seus aspectos estruturais ou funcionais. avaliao do rendimento pessoal: mede-se a capacidade, competncia e habilidade de um indivduo para realizar determinadas atividades e tarefas que lhes so atribudas, dentro de um programa, considerando: as habilidades; a atitude face ao trabalho e as motivaEccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

D o s s i t e m t i c o

101

Metodologia de avaliao de implementao de programas e polticas pblicas

es para realiz-lo; a capacidade de aplicar conhecimentos (tericos e prticos) e de sistematizar a prpria experincia; forma e capacidade de organizar o trabalho e de solucionar os problemas concretos. c) Avaliao da eficcia (resultados) e eficincia (rentabilidade) do programa (avaliao de resultados) analisa se os resultados previstos esto sendo alcanados, em relao aos usurios/beneficirios do programa. Realiza-se o que se denomina avaliao de impacto. d) Avaliao da eficincia ou rentabilidade econmica de um programa leva-se em conta: o custo do programa, em relao aos resultados que obteve, em funo de trs tipos de anlise: custo-efetividade, ou custo eficcia; custo-utilidade; e custo-benefcio. Figueiredo e Figueiredo (1986), chamam a ateno para a necessidade de se distinguir Avaliao Poltica de Avaliao de Poltica, colocam a seguinte premissa: se avaliar atribuir valor, determinar se as coisas esto boas ou ms, a [] avaliao poltica consiste, portanto, em atribuir valor s polticas, s suas consequncias, ao aparato institucional em que elas se do e aos prprios atos que pretendem modificar o contedo dessas polticas (p. 108). Para tanto, necessrio estabelecer critrios de avaliao que permitam dizer se e porque uma poltica prefervel a outra. Denominam a Avaliao Poltica de etapa preliminar, correspondendo anlise e elucidao do critrio ou critrios que fundamentam determinada poltica, as razes que a tornam prefervel a outra. , portanto, a fase preparatria do que se chama Avaliao de Poltica. As razes para se estabelecer uma poltica tm que ser relevantes, contribuir para o bemestar humano. De maneira geral, a avaliao de polticas sociais usa mtodos prprios da pesquisa social. A escolha do mtodo a ser utilizado decorre mais do objetivo da poltica ou programa sob observao e de seu escopo social do que da preferncia do analista [pesquisador]. O mais importante
[] o estabelecimento de conexes lgicas entre os objetivos da avaliao, os critrios de avaliao e os modelos anliticos capazes de responder a questo bsica da pesquisa de avaliao: a poltica ou programa social sob observao foi um sucesso ou um fracasso? (FIGUEIREDO; FIGUEIREDO, 1986, p. 109).
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

E c c o S R e v i s t a C i e n t f i c a

102

MENDES, G. S. C. V.; SORDI, M. R. L.

Assinalam que o sucesso ou o fracasso de uma poltica depende dos seus prpositos e das razes que levaram o analista a avaliar tal poltica. Quanto aos propsitos, deve-se considerar que as polticas pblicas as decises governamentais tm geralmente dois aspectos: gerar um produto fsico, tangvel e mensurvel; gerar um impacto, que tanto pode ser fsico, tangvel e mensurvel, quanto subjetivo, alterando atitudes, comportamentos e/ou opinies. O impacto de uma poltica uma medida do desempenho da ao pblica, sobre o alcance dos seus objetivos ou propsitos. Entretanto, para se promover a avaliao de polticas h razes e motivaes. Em relao s primeiras, destacam-se: razes morais e razes instrumentais. A motivao instrumental est intimamente ligada com a implementao da poltica ou programa. Neste caso, o objetivo bsico da avaliao a gerao contnua de informaes para monitorar a execuo do programa (FIGUEIREDO; FIGUEIREDO, 1986, p. 110). Conclui-se do exposto, segundo esses autores, que as pesquisas de avaliao se enquadram em dois tipos bsicos: avaliao do processo e avaliao de impacto. Ao contemplarmos as etapas ou aspectos objetos de avaliao de uma pesquisa, entendemos que a fase de Avaliao do Plano e Conceitualizao do Programa, bem como a Avaliao do Processo so pertinentes para atender aos objetivos de pesquisas acadmicas, especificamente, a anlise de implementao de poltica pblica voltadas educao. Meter e Horn (1996, p. 100), referem que a implementao de polticas pblicas,
[] abarca aquellas acciones efectuadas por individuos (o grupo) pblicos y privados, con miras a la realizacin de objetivos previamente decididos. A estas acciones pertenecen tanto los esfuerzos momentneos por traducir las decisiones en propuestas operativas, como los esfuerzos prolongados para realizar los cambios, grandes y pequeos, ordenados por las decisiones polticas.

D o s s i t e m t i c o

Para esses autores uma investigao que trate da implementao de polticas, procura compreender se uma instituio capaz de conjugar recursos humanos e materiais em uma unidade organizativa, coerente que
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.
103

Metodologia de avaliao de implementao de programas e polticas pblicas

possa motivar as pessoas de tal modo que sejam capazes de levar ao alcance dos objetivos explicitados na poltica. A implementao envolve etapas: a) as decises prvias que tenham estabelecido os objetivos e metas; b) promulgao da legislao e os recursos assegurados. Um estudo sobre a implementao de uma poltica deve considerar, entre outros, a natureza das decises; os mecanismos e procedimentos institucionais; o contexto poltico-cultural; e, os interesses, prioridades, preferncias e comportamentos dos atores polticos (METER; HORN, 1996). Isso nos remete ao conceito de que
[] poltica em primeiro lugar um comportamento propositivo, intencional, planejado, no simplesmente reativo, casual. Pe-se em movimento com a deciso de alcanar certos objetivos atravs de certos meios: uma ao com sentido. (AGUILAR VILLANUEVA, 1996, p. 240).

4
E c c o S R e v i s t a C i e n t f i c a

Investigao de implementao de polticas pblicas: o desenho prospectivo e o desenho retrospectivo

Elmore (1996) menciona que os estudiosos de implementao de polticas devem levar em considerao os problemas durante o processo de sua elaborao, tendo em vista que estas poderiam ser melhores se quem as elabora pensasse na viabilidade de sua execuo. Destaca a necessidade de as anlises dos estudos avaliativos contriburem mais para os planejadores na tomada de deciso ao elaborarem uma poltica. No entanto, isso depende da escolha do marco analtico adotado em detrimento de outros. Aponta que h, pelo menos, dois enfoques de anlise de implementao de polticas, quais sejam: [] o diseo prospectivo ( forward mapping) e o diseo retrospectivo (bacward mapping) (ELMORE, 1996, p. 253). A lgica do diseo prospectivo, de acordo com o autor, uma metodologia ainda muito utilizada, tanto por formuladores de polticas, quanto por analistas. Configura-se por meio de uma estrutura centralizadora, com uma presena forte do controle hierrquico, em que se constata,
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

104

MENDES, G. S. C. V.; SORDI, M. R. L.

nas esferas governamentais, tomada de decises de cima para baixo, de acordo com as seguintes caractersticas: a) uma estratgia que vem de imediato mente quando se pensa sobre a maneira como o elaborador da poltica pode interferir no processo de implementao; b) comea pela cpula [decisor da poltica] do processo, a partir de uma declarao precisa da inteno de quem decide a poltica, desenvolvendo-se ao longo de uma sequncia de passos cada vez mais especficos para definir o que se espera de cada um dos responsveis pela implementao em cada nvel; c) ao final do processo, se estabelece, de novo e com a maior preciso possvel, qual seria o resultado satisfatrio, considerado luz da inteno original. Um exemplo desse desenho pode ser ilustrado, pela Figura 1. Este enfoque pode ter vrias formas, pois no se trata apenas de estabelecer aes e distribui-las administrativamente para garantir a sua efetividade. Por isso, a sua viabilidade pode vir a ser um problema, devendo-se, nesse caso, incluir a descrio dos principais atores polticos, os acordos que devem se estabelecer entre estes e cada nvel, caso a implementao dependa de algum tipo de tecnologia, tambm descreve-se cada tecnologia para cada etapa do processo. Esta abordagem criticada por Elmore. Para ele os detalhes do desenho so menos importantes que os propsitos de sua lgica subjacente, por corresponderem ao marco tradicional das anlises polticas e das tcnicas da cincia da administrao e das anlises de decises. A lgica do Diseo prospectivo contempla: planejamento de um objetivo; elaborao de um conjunto, cada vez mais especfico, de etapas para o cumprimento desse objetivo; determinao de um resultado que permita medir o xito ou o fracasso da poltica. O maior problema do desenho prospectivo
[] el supuesto implcito e incuestionado de que los elaboradores de polticas controlan los procesos organizativos, polticos y tecnolgicos que condicionan a la implementacin. La ideia de que quienes elaboran las polticas ejercen o deberan ejercer
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

D o s s i t e m t i c o

105

Metodologia de avaliao de implementao de programas e polticas pblicas

E c c o S R e v i s t a C i e n t f i c a

Figura 1: Etapas do Diseo prospectivo

Fonte: Elaborado pela pesquisadora, fundamentada em Elmore (1996, p. 253-254).

algn tipo de control directo y determinante sobre la implementacin, puede denominada como la ilustre mentira de la administracin pblica y del anlisis poltico convencionales. (ELMORE, 1996, p. 254-255, grifos do autor).

O erro dos administradores e analistas de polticas pblicas reside no fato de defenderem que diretrizes polticas bem detalhadas, com uma maior ateno s responsabilidades administrativas e uma exposio clara dos resultados esperados, melhorariam a implementao. Isso refora o mito de que o processo de implementao se controla de cima. Contrapondo-se a essa lgica, o diseo retrospectivo questiona o pressuposto de que quem elabora a poltica deveria exercer, ou tem exercido, uma influncia decisiva sobre o que ocorre durante o processo de impleEccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

106

MENDES, G. S. C. V.; SORDI, M. R. L.

mentao. Tambm pe em dvida se as diretrizes polticas, determinando explicitamente as responsabilidades administrativas e a definio exata dos resultados, aumentariam a probabilidade de as polticas se implementarem com xito. Esse desenho contempla as seguintes caractersticas: 1. parte da ltima das etapas possveis, do ponto em que as aes administrativas se entrecruzam com as decises privadas (pessoais); 2. no comea com uma declarao de intenes, mas com a definio do comportamento especfico que, em nvel inferior do processo de implementao, d origem necessidade de uma poltica; 3. depois de descrever esse comportamento, segue para a anlise e estabelecimento dos objetivos; 4. os objetivos se definem, inicialmente, como um conjunto de operaes e, depois, como um conjunto de efeitos e resultados, que cedero lugar s operaes. Cumpridas essas etapas e estabelecidos os objetivos para atender o nvel inferior do sistema, a anlise retrocede, por meio da estrutura das instncias responsveis pela implementao, para em cada nvel refletir sobre: que capacidade tem o setor ou unidade para afetar o comportamento esperado pela poltica? Quais recursos so necessrios para os efeitos desejados? Por ltimo, o analista ou o funcionrio responsvel por formular uma poltica certifica-se dos recursos necessrios de cada unidade organizativa para que tenha a capacidade de conseguir maior efeito possvel. Este desenho pode ser representado pela figura que segue. (Figura 2) Encaminhando-nos concluso desse tpico, dois conceitos importantes, apontados por esse autor no processo de implementao de polticas, so os de reciprocidade e de negociao. Para ele, nas organizaes, a autoridade formal vai da cpula/topo para a base, porm a autoridade informal, que nasce da experincia, da habilidade e da proximidade das tarefas essenciais de uma organizao, vai em direo oposta. Nesse sentido, as discries delegadas constituem uma via para capitalizar esta relao recproca. Neste caso, deve-se delegar aos nveis da base da organizao responsabilidades que exigem experincia especializada e familiaridade com o problema, alm de permitir aos nveis superiores assumirem responsabilidades mais gerais,
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

D o s s i t e m t i c o

107

Metodologia de avaliao de implementao de programas e polticas pblicas

E c c o S R e v i s t a C i e n t f i c a

Figura 2: Etapas do Diseo retrospectivo Fonte: Elaborado pela pesquisadora, fundamentada em Elmore (1996, p. 255-257).
[] la comprensin de las relaciones de dependencia recproca dentro de las organizaciones contribuye en gran medida a simplificar el anlisis, que deja de preocuparse por trazar todas las relaciones de autoridad formal que pudiesen incidir en un problema y se dedica a aislar aquellos puntos crticos de una organizacin compleja que estn ms prximos al problema y a describir qu es lo que debe ocurrir en esos puntos para resolverlo. (ELMORE, 1996, p. 261-262).

As negociaes so um elemento decisivo para implementao de uma poltica. Os resultados das polticas nunca sero definitivos, no podero ser definidos com absoluta preciso, tampouco podero ser medidos objetivamente. Os pactos no podem ser estabelecidos antecipadamente em lei ou regulamentos, pois o desenho de uma poltica deve ser flexvel
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

108

MENDES, G. S. C. V.; SORDI, M. R. L.

para permitir que se desenvolva livremente o processo local de negociao. As polticas que se baseiam em controles hierrquicos estritos e que contm especificao super detalhada desencorajam a conformao de coalizes locais vigorosas (ELMORE, 1996). Em sntese,
[] es necesario formular un marco analtico que tome en cuenta la reciprocidad caracterstica de las interacciones entre superiores y subordinados en la organizaciones, la relacin entre el control jerrquico y el incremento de la complejidad, la discrecionalidad como mecanismo de adaptacin y la negociacin como precondicin para obtener efectos en el nvel local. (ELMORE, 1996, p. 270).

Consideraes finais

A avaliao da implementao de politicas pblicas tem se mostrado campo que pouca ateno tem merecido dos gestores e ou pesquisadores e dada sua relevncia parece-nos importante oferecer subsdios tericometodolgicos que auxiliem a monitorar esta fase. Descuidos nesta etapa podem por a perder propostas que concepo mostram-se inovadoras. Igualmente, parece-nos vital municiar os profissionais da educao para que procedam leituras dos formatos avaliativos de que participam ou que concebem para que os efeitos positvos ou nefastos decorrentes no sejam subestimados, especialmente, compreender os efeitos das polticas educacionais, especialmente, advindas das reformas regulatrias dos anos de 1990, as quais trazem consequncias significativas organizao e gesto da escola pblica. O conhecimento de metodologias de avaliao de politicas pblicas fortalece o gestor para que possa auxiliar o coletivo escolar a melhor participar de processos de anlise qualitativa dos ndices produzidos pelos exames externos, para promover construo da sua qualidade, inclusive corrigindo os rumos das polticas propostas. Esta aprendizagem permitir que gestores assumam posicionamentos claros, reveladores de sua capacidade
EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

D o s s i t e m t i c o

109

Metodologia de avaliao de implementao de programas e polticas pblicas

de leitura tico epistemolgica das polticas e de seus formatos avaliativos, favorecendo novas formas de participao no interior a instituio pblica. Os referenciais anteriormente referidos revelam a complexidade inerente formulao e implementao de polticas, destacam a necessidade de um amplo envolvimento dos atores sociais a serem envolvidos nos processos de tomada de deciso, a nosso ver, so relevantes e podem trazer importantes contribuies compreenso de pesquisa em poltica educacional e definio metodolgica, para se avaliar a fase de implementao da poltica. Conclui-se que este quadro metodolgico ajuda a analisar no s a implementao de polticas, mas contribui para situar o marco de referncia dos formuladores das polticas pblicas, bem como os significados e sentidos atribudos a avaliao.

Referncias
AGUILAR, M. J.; ANDER-EGG, E. Avaliao de servios e programas sociais. 2. ed. Petrpolis: Vozes, 1994.
E c c o S R e v i s t a C i e n t f i c a

AGUILAR VILLANUEVA, L. F. La implementacin de las Polticas- antologia de poltica Pblica. Mxico: Porrua, 1996. BALLART, X. Cmo evaluar programas y servicios pblicos? Aproximacin sistemtica y estudios de caso. Madrid, Espanha: Ministrio para las Administraciones Pblicas Secretaria General Tcnica 1992, (Coleccin: Estudios). Disponvel em: <http://books. google.com.br/books?hl=ptBR&lr=&id=HEAfcrVGjZoC&oi=fnd&pg=PA54&dq=BA LLART#v=onepage&q&f=false>. Acesso em: 3 jan. 2011 DIAS SOBRINHO, J. Avaliao da Educao Superior Regulao e Emancipao. In: DIAS SOBRINHO, Jos; RISTOFF, Dilvo. I. (Org.). Avaliao e compromisso pblico: a educao superior em debate. Florianpolis: Insular, 2003. ELMORE, R. F. Diseo retrospectivo: la investigacin de la implementacin y las decisiones polticas. In: AGUILAR VILLANUEVA, L. F. La implementacin de las polticas: estudio introdutorio y edicin. 2. ed. Mxico: Miguel Angel Porrua, 1996. FIGUEIREDO, M. F.; FIGUEIREDO, A. M. Avaliao Poltia e Avaliao de polticas: um quadro de referncia terica. Anlise e Conjuntura , 1, p. 107-127, set./dez. 1986. Belo Horizonte, 1987. FREITAS, L. C. Qualidade Negociada: avaliao e contra-regulao na escola pblica. Educao e Sociedade. Campinas, v. 26, n. 92, Especial, p. 911-933, out. 2005.

110

EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

MENDES, G. S. C. V.; SORDI, M. R. L.

METER, D. S. VAN; HORN, C. E. VAN. El proceso de implementacin de las polticas. Um marco conceptual. In: AGUILAR VILLANUEVA, L. F. La implementacin de ls Polticas: estudio introdutrio y edicin. Mxico: Miguel Angel Porrua, 1996. MINAYO, M. C. Conceito de avaliao por triangulao de mtodos Introduo. In: MINAYO, M. C. et AL. (Org.). Avaliao por triangulao de mtodos: abordagem de programas sociais. 2. reimp. Rio de Janeiro: Fiocruz, 2008. VIEDMA, C. A. Introduccin a la evaluacin. In: VIEDMA, C. A.; LARA, A. J. Evaluacin de programas sociales. Madrid, Espanha: Diaz de Santos, 1996. WORTEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. l. Avaliao de programas: concepes e prticas. Traduo D. d. Azevedo. So Paulo: Gente, 2004.

D o s s i t e m t i c o

Recebido em 31 mai. 2012 / Aprovado em 16 nov. 2012 Para referenciar este texto
MENDES, G. S. C. V.; SORDI, M. R. L. Metodologia de avaliao de implementao de programas e polticas pblicas. EccoS, So Paulo, n. 30, p. 93-111. jan./abr. 2013.

EccoS Rev. Cient., So Paulo, n. 30, p. 93-111, jan./abr. 2013.

111