Avaliao d e p rogramas p b licos: d esafios conceituais e metodolgicos*

Frederico Lustosa da Costa** Jos Cezar Castanhar**

S U M R I O : 1. Introduo; 2. O arcabouo terico; 3. As metodologias usuais de avaliao; 4. Uma aplicao da metodologia de avaliao de programas sociais; 5. Concluses. S U M M A R Y: 1. Introduction; 2. Theoretical framework; 3. The usual evaluation methodologies; 4. An application of the methodology for social program evaluation; 5. Concluding remarks. P A L A VR A S - C H A VE : programas pblicos; avaliao; metodologia. KEY
WORDS:

public programs; evaluation; methodology.

Este artigo enfatiza a necessidade de avaliar programas pblicos diante do aprofundamento da crise fiscal, da escassez de recursos do setor pblico e da imprescindvel interveno governamental para atender populao mais necessitada. A avaliao sistemtica, contnua e eficaz surge como ferramenta gerencial poderosa, fornecendo aos formuladores de polticas pblicas e aos gestores de programas condies para aumentar a eficincia e efetividade dos recursos aplicados em programas sociais. O texto tece consideraes sobre o em aranhado conceitual que ainda prevalece nesse campo, demonstrado pela multiplicidade de conceitos aplicveis, por diferentes tipos de avaliao e pela variedade de critrios apontados pelos estudiosos da matria. A aplicao dos critrios requer, por sua vez, formas especficas de operacionalizao, que so conhecidas como indicadores sociais, cuja definio tambm no um ponto pacfico. A avaliao um conjunto de

* Artigo recebido em set. 2002 e aceito em maio 2003. Uma primeira verso menos abrangente, com o ttulo Avaliao de programas sociais: limites e possibilidades, foi apresentada no 22 o Encontro Anual da Anpad, Foz do Iguau, de 27 a 30-9-1998. ** Professores da Ebape/ FGV. E-mails: fred@fgv.br; castanhar@fgv.br.

RAP

Rio de Janeiro 37(5):969-92, Set./Out. 2003

970

Frederico Lustosa da Costa e Jos Cezar Castanhar

tcnicas que adota conceitos diferenciados para se referir muitas vezes aos mesmos procedimentos. Portanto, enquanto no se avanar na teorizao da prtica e buscar os consensos necessrios construo de paradigmas conceituais, cada esforo de avaliao vai requerer o estabelecimento prvio de uma estrutura de referncia para a anlise e o treinamento supervisionado do pessoal envolvido. Profissionais experimentados podem adotar esse procedimento na conduo do trabalho de consultoria, mas nem todo o pessoal tcnico pode assumir essa tarefa sem tornar a prtica da avaliao ainda mais difcil. De qualquer maneira, nem a dificuldade nem o risco devem ser obstculo insupervel para as tentativas de se aplicar de forma sistemtica essa metodologia. Afinal, esse um campo, como muitos outros na administrao, em que o aprendizado com as experincias prticas contribui para a superao das dificuldades conceituais e operacionais. Eva lu a tin g p u blic p r ogr a m s: m eth od ologica l a n d con cep tu a l ch a llen ges This paper emphasizes the importance of evaluating public programs, considering the acuteness of the fiscal crisis, the lack of public sector funding, and the indispensable government intervention in order to meet the needs of the underprivileged. Systematic, continuous and effective evaluation is a powerful managerial tool, allowing policymakers and program managers to increase the efficiency and effectiveness of social program funding. The paper discusses the conceptual maze that still prevails in this field, revealed by the multiple concepts that can be applied, by the different types of evaluation and by the variety of criteria presented by specialists. Criteria application, on the other hand, requires specific operational forms, known as social indicators , whose definition is not unanimous either. Evaluation is a set of techniques which use distinctive concepts often to refer to the same procedures. Therefore, until there is some progress in theorizing the practice and finding the necessary consensus for the construction of conceptual paradigms every evaluation effort will require the previous establishment of a reference framework for analysis and supervised personnel training. Experienced professionals may adopt this procedure for consultancies, but not all technical personnel can undertake this job without making evaluation even more difficult. But neither difficulties nor risks should be an overwhelming obstacle for trying to apply such methodology systematically. After all, this is a field such as many others in administration in which learning with practice contributes for overcoming conceptual and operational hindrances.

1. Introduo
Historicamente, na administrao pblica brasileira no h a preocupao de avaliar programas pblicos, em geral, e programas sociais, em particular. Durante anos, a produo de conhecimento tcnico na busca da melhoria dos padres de gerenciamento do setor pblico sempre esteve muito mais volta-

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

971

da para os processos de formulao de programas do que para os relacionados a sua implementao e avaliao. Existem, entretanto, evidncias de que esse desinteresse histrico est diminuindo rapidamente. As razes dessa mudana decorrem das profundas transformaes observadas na sociedade e no Estado brasileiros desde meados dos anos 1980 e, particularmente, em anos mais recentes. Com efeito, nos anos 1980, a crise da dvida externa e a interrupo de um longo ciclo de crescimento econmico aprofundaram as desigualdades sociais presentes na realidade do pas. Por seu turno, as reformas estruturais empreendidas nos anos 1990 abertura comercial e integrao, reforma do Estado, desestatizao, entre outras alargaram ainda mais essas assimetrias na medida em que aumentaram o desemprego, tornaram precrio o emprego remanescente e, conseqentemente, reduziram os salrios reais. A conjuntura econmica desfavorvel provocou um crescimento da demanda por aes e servios sociais, especialmente os de natureza compensatria. Na contramo dessa demanda crescente, verificou-se ainda um agravamento da crise fiscal, ampliando ainda mais a crnica escassez de recursos do setor pblico, justamente num momento em que se torna essencial e inadivel a sua interveno para atender populao mais necessitada. A interveno governamental nessas circunstncias essencial, tanto pelo imperativo moral a ela inerente, quanto por questes de estratgia econmica, pois j se sabe que a pobreza representa um srio obstculo ao desenvolvimento sustentvel. O que se coloca, ento, a necessidade crucial e urgente de se obter maior eficincia e maior impacto nos investimentos governamentais em programas sociais. A avaliao sistemtica, contnua e eficaz desses programas pode ser um instrumento fundamental para se alcanar melhores resultados e proporcionar uma melhor utilizao e controle dos recursos neles aplicados, alm de fornecer aos formuladores de polticas sociais e aos gestores de programas dados importantes para o desenho de polticas mais consistentes e para a gesto pblica mais eficaz. Independentemente da conjuntura de crise, a avaliao de desempenho sempre teve importncia no setor pblico. Na medida em que os servios pblicos no tm um mercado consumidor competitivo que possa servir como medida da qualidade e eficcia de sua prestao, sobretudo pelo comportamento da demanda, o Estado obrigado a proceder avaliao regular de seus programas e atividades. As iniciativas de reforma do Estado que se realizam em todos os cantos do planeta h mais de uma dcada e meia trazem em seu bojo um desafio portentoso: faz-lo funcionar m elhor , porm, com um custo m enor (Kettl, 1998:74-6) . A busca dessa melhoria passa pela avaliao do desempenho dos programas pblicos, o que enseja a possibilidade de avaliar a prpria performance do aparelho estatal. Ou seja, quando se estabelecem a eficincia,

972

Frederico Lustosa da Costa e Jos Cezar Castanhar

eficcia e efetividade como medidas de sucesso da ao governamental, impe-se criar tambm m eios de avaliar diferentes alternativas para se obter resultados equivalentes ( Kettl, 1998:87) . Uma vez que o poder pblico passa a delegar a agncias autnomas e empresas privadas a execuo de seus servios, cresce a necessidade de avaliao. De fato, a desestatizao dos servios pblicos e a crescente autonomia conferida s agncias pblicas, exigindo a adoo de formas de definio de desempenho em contrato, baseadas na prvia definio de indicadores e medidas de sucesso, impe administrao pblica a necessidade de desenvolver instrumentos e metodologias de avaliao, geis e de baixo custo, capazes de oferecer aos dirigentes bases mais slidas para a tomada de decises em matria de polticas pblicas e sociedade em geral uma apreciao mais precisa sobre o desempenho de tais agncias. A avaliao de resultados passa a ser, portanto, pedra fundamental na sustentao da reforma do Estado. A seguir, o arcabouo terico exposto ressaltando a variedade de conceitos e metodologias de avaliao utilizados pelos estudiosos da matria e pelos organismos internacionais, caracterizando o que se denomina aqui de em aranhado conceitual. O conhecimento das diversas opes tericas fundamental na escolha do mtodo mais adequado para cada tipo de programa em todas as etapas do processo, desde a elaborao da metodologia at a aferio dos resultados. E tambm uma explanao das metodologias mais usadas na avaliao dos programas sociais, detalhando todos os processos envolvidos. A apresentao de uma metodologia de avaliao e acompanhamento dos programas sociais desenvolvida para a Secretaria Municipal de Desenvolvimento Social ( SMDS) do municpio do Rio de Janeiro constitui a parte final do artigo. Mostra-se, atravs de uma experincia dos autores, os desafios e possibilidades de operacionalizao de uma metodologia de avaliao que leva em conta a natureza do programa e os meios disponveis.

2. O arcabouo terico
A definio do que seja avaliao parece ser quase consensual. De acordo, com a Unicef ( 1990) , por exemplo, trata-se do exame sistemtico e objetivo de um projeto ou programa, finalizado ou em curso, que contemple o seu desempenho, implementao e resultados, com vistas determinao de sua eficincia, efetividade, impacto, sustentabilidade e a relevncia de seus objetivos. O propsito da avaliao guiar os tomadores de deciso, orientandoos quanto continuidade, necessidade de correes ou mesmo suspenso de uma determinada poltica ou programa.

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

973

Critrios
Se a avaliao uma forma de mensurar o desempenho de programas, necessrio definir medidas para a aferio do resultado obtido. Elas so denominadas de critrios de avaliao e nesse ponto se encerra o consenso sobre aspectos conceituais e metodolgicos no campo da avaliao de programas ou polticas pblicas, dando lugar ao que se poderia chamar de um autntico em aranhado conceitual, que representa um obstculo ao uso mais freqente dessa ferramenta gerencial no setor pblico. Embora se associe normalmente a avaliao de desempenho mensurao de eficincia na gesto de programas pblicos, este no , evidentemente, o nico e, eventualmente, nem o mais importante critrio a ser utilizado na avaliao. A lista dos critrios que podem ser utilizados longa e a escolha de um, ou vrios deles, depende dos aspectos que se deseja privilegiar na avaliao. Segundo o manual da Unicef, os mais comuns so:
t

eficincia termo originado nas cincias econmicas que significa a menor relao custo/ benefcio possvel para o alcance dos objetivos estabelecidos no programa; eficcia medida do grau em que o programa atinge os seus objetivos e metas; im pacto ( ou efetividade) indica se o projeto tem efeitos ( positivos) no ambiente externo em que interveio, em termos tcnicos, econmicos, socioculturais, institucionais e ambientais; sustentabilidade mede a capacidade de continuidade dos efeitos benficos alcanados atravs do programa social, aps o seu trmino; anlise custo-efetividade similar idia de custo de oportunidade e ao conceito de pertinncia; feita a comparao de formas alternativas da ao social para a obteno de determinados impactos, para ser selecionada aquela atividade/ projeto que atenda os objetivos com o menor custo; satisfao do beneficirio avalia a atitude do usurio em relao qualidade do atendimento que est obtendo do programa; eqidade procura avaliar o grau em que os benefcios de um programa esto sendo distribudos de maneira justa e compatvel com as necessidades do usurio.

Indicadores
A aplicao desses critrios requer formas especficas de operacionalizao, j que constituem medidas indiretas, ou seja, que devem ser calculadas a partir

974

Frederico Lustosa da Costa e Jos Cezar Castanhar

da identificao e quantificao dos resultados obtidos. Em geral, denominase essa outra categoria de medidas de indicadores. Aqui tambm encontramos uma variedade de formas de definir e utilizar essa medida, dependendo da rea e do propsito da avaliao. Ao propor um sistema de indicadores para as universidades brasileiras, Schwartzman ( 1994) define trs tipos: sim ples , definidos como aqueles que so expressos em termos absolutos ( nmero de professores, rea construda etc.) ; de desem penho, que requerem um padro ou um objetivo para comparao e so relativos ( custo por aluno, relao aluno/ professor etc.) ; gerais, aqueles que so gerados fora da instituio ( ou programa) , com base em estatsticas gerais ou em opinies de especialistas ( por exemplo, a avaliao dos programas de ps-graduao realizada pela Capes) . Um outro exemplo de definio de indicadores para a avaliao do desempenho de programas pblicos pode ser encontrado na proposta de Indicadores de excelncia , elaborada pelo Ministrio de Previdncia e Assistncia Social, para serem utilizados como uma ferramenta para a mensurao e o acompanhamento do desempenho das gerncias do seguro social do INSS. O trabalho prope e define trs tipos de indicadores: prim rios, que expressam medidas elementares de eficincia ( tempo mdio de espera para a concesso de benefcios, participao de benefcios com demora superior a 45 dias no total de benefcios concedidos etc.) ; parciais de excelncia , que procuram indicar a eficcia da operao ( ndices de cumprimento de prazos, de velocidade na concesso etc.); globais de desem penho , construdos a partir dos indicadores parciais e que visam a expressar o desempenho da gesto do programa, atravs de uma medida nica. Uma tentativa de sistematizar essa discusso, resguardando ao mesmo tempo a diversidade inerente ao tema, pode ser encontrada em Rob Vos ( 1993) , que distingue, do ponto de vista metodolgico, pelo menos trs categorias de indicadores sociais: de resultado ; de insum o e de acesso. Os indicadores de resultado refletem os nveis de satisfao de necessidades bsicas alcanados. So tambm denominados de indicadores de nvel de vida . Por exemplo: esperana de vida, mortalidade infantil, grau de alfabetizao, nveis de educao e nutrio, entre outros. Os indicadores de insum o se referem aos meios (recursos) disponveis para se obter um determinado padro de vida. Esses meios para atender necessidades bsicas distintas podem incluir, por exemplo, no campo da nutrio, a renda e a disponibilidade de alimentos; no campo da sade, a disponibilidade de gua potvel, de centros de sade e o nmero de mdicos por habitante e; na rea da educao, o nmero de escolas e de professores por aluno. J os indicadores de acesso identificam os determinantes que permitem tornar efetiva ( e em que grau) a utilizao de recursos disponveis para atender determinadas necessidades bsicas. Para fins de avaliao de polticas e programas sociais esse terceiro tipo de indicadores particularmente relevan-

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

975

te, j que a existncia de servios bsicos no lhes assegura o acesso universal. Na realidade, comum a existncia de fatores que dificultam a utilizao dos servios disponveis, como, por exemplo, a distncia geogrfica ( sobretudo em reas de populao dispersa) e os custos privados relacionados com o uso de servios pblicos ( material escolar, transporte, remdios etc.) . Pode-se mencionar tambm elementos mais difceis de serem quantificados, como a qualidade dos servios oferecidos, caractersticas culturais da regio etc.

Padres
A avaliao do desempenho de um programa requer ainda que se definam padres de referncia para julgar esse desempenho. Eles poderiam ser: absolutos , as metas estabelecidas por um programa so consideradas como o padro a ser alcanado e os desvios devem ser registrados e analisados; histricos, comparam resultados de um perodo com o obtido em perodos anteriores; norm ativos, comparam o desempenho de um programa com outros similares ou com programas semelhantes realizados em outros nveis de governo, regio, ou no exterior; tericos, so os estabelecidos na prpria elaborao do programa, sob a hiptese da obteno dos resultados esperados, dado os recursos disponveis; negociados ou de com prom isso, so aqueles que se baseiam em algum procedimento especfico para sua fixao, geralmente decorrente de acordo entre as partes envolvidas na gesto de programa e os formuladores. Uma metodologia de avaliao de programas sociais envolve, ento, a escolha de um conjunto de critrios e o uso de um elenco de indicadores ( ou outras formas de mensurao) consistentes com os critrios escolhidos e que permitam efetuar um julgamento continuado e eficaz acerca do desempenho de um programa ou conjunto de programas, mediante o confronto com os padres de desempenho anteriormente estabelecidos.

O que avaliar?
Permanece, todavia, uma questo crucial e preliminar: o que avaliar? Segundo Donald Kettl ( 1998:87-92) , o desenho de um programa pblico ou a ao de uma agncia governamental pode ser sintetizado em uma seqncia de definies correspondentes a graus sucessivos de agregao de objetivos, no caso m isso > m etas > objetivos . Outros autores podero hierarquizar de outra maneira essa seqncia de agregao de compromissos, colocando depois da misso ( ou propsito) os objetivos e s em seguida as metas. Este trabalho adota esta ltima perspectiva, mais consistente com a tradio brasileira nesse campo ( propsito > objetivo > m eta > atividade ) .

976

Frederico Lustosa da Costa e Jos Cezar Castanhar

Tomando como exemplo um programa de sade pblica, a misso consistiria na preveno de doenas, o objetivo poderia ser definido como uma campanha de vacinao e a meta expressa como o compromisso de vacinar toda a populao em idade pr-escolar. A aferio do desempenho pode se referir aos resultados dos program as , que mediriam o alcance da misso ou os produtos gerados pela implementao dos programas. 1 O processo de avaliao ser facilitado e mais til se baseado em um planejamento consistente, capaz de estabelecer: relaes causais entre atividades e produtos; produtos e resultados que permitam atingir as metas visadas; resultados que causem efeitos mais ou menos precisos e respondam pelo alcance de um objetivo especfico; e efeitos que produzam o impacto pretendido pelo propsito ou misso do programa, de tal sorte que se busque fazer com que as atividades de fato contribuam para o alcance desse mesmo propsito. a factibilidade dessas relaes causais que d conta da consistncia do planejamento e permite esperar que a interveno numa instncia ( ou varivel) particular desse processo, como que uma particular definio de atividades, produza um determinado efeito numa instncia ( ou varivel) mais abrangente, como no objetivo de um determinado programa:

t t t t

propsito ou misso objetivos metas atividades

impactos efeitos resultados produtos

Uma maneira de permitir que a avaliao de programas pblicos possa contribuir para testar a prpria consistncia do planejamento atravs da definio prvia da matriz lgica do programa. 2 Segundo Wholey ( 1994:1520) , a construo da matriz lgica comea pela identificao dos objetivos gerais e especficos do programa e dos indicadores de performance ( tipos de evidncia) pelos quais o programa ser avaliado, bem como a indicao das fontes de dados que sero usadas para as mensuraes, comparaes e anlis-

Aqui tambm existem muitas perspectivas diferentes para designar os tipos de avaliao de resultados que podem se concentrar nas metas ( produtos) ou no impacto ( alcance do propsito ou misso) , adotando denominaes diversas para as mesmas tarefas. 2 Adotamos aqui a denominao m atriz lgica do programa, com o mesmo sentido de m arco lgico, termo consagrado pelo BID e pela Cepal ( BID, 1994) . J na literatura norte-americana so usuais as denominaes lgica do program a ( program logic) ou estrutura do program a ( program design) , para designar instrumentos semelhantes aos definidos pelo BID/ Cepal ( Wholey et al., 1994).

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

977

es necessrias. Num segundo momento a metodologia da matriz lgica voltase para a identificao dos recursos ( financeiros, humanos e de infra-estrutura) alocados ao programa, as atividades previstas, os resultados esperados e as relaes causais ( uma particular combinao de recursos, permitindo a realizao de um determinado conjunto de atividades, que levar produo de determinados resultados, que, presume-se, permitiro que se alcancem determinados objetivos associados ao programa) que a teoria por trs do programa pressupe que podem ser assumidas. Note-se que um aspecto prtico importante no desenvolvimento da matriz lgica a identificao de resultados intermedirios ( Wholey et al., 1994:20) que associem determinadas atividades do programa a um ou mais objetivos do mesmo. O quadro 1 ilustra, para o caso hipottico de um programa de agricultura irrigada, a maneira como se pode proceder para identificar a matriz lgica de um programa e como esse modelo pode contribuir para uma avaliao adequada e eficaz. Ressalte-se que se trata apenas de um esboo, j que a matriz definitiva depende do estudo detalhado do programa.

Quadr o 1

Esb o o d a m atriz l g ic a d o s p ro jeto s d e ag ric ultura irrig ad a

Atividades do programa Resultados imediatos Fatores contextuais Recursos financeiros Financiamento produo Apoio comercializao Pessoal alocado ao programa Treinamento Assistncia tcnica Apoio comercializao Treinamento Assistncia tcnica Realizao de obras de irrigao
continua

Inputs do programa

Resultados (impactos) de mdio prazo

Resultados (impactos) de longo prazo

Recursos de treinamento (material instrucional) Infra-estrutura

Mudana nos sistemas Instalao de Mudana nos produtivos agroindstrias e padres de vida servios correlatos das populaes beneficiadas Melhoria de volume Mudanas nos de produo e valor sistemas de Reduo da agregado comercializao ingerncia do da produo setor pblico na operao do programa Melhoria de Aumento nos renda nveis de associao e Manuteno de integrao entre nveis adequados os usurios de endividamento

978

Frederico Lustosa da Costa e Jos Cezar Castanhar

Atividades Inputs do programa do programa

Resultados imediatos Fatores contextuais

Resultados (impactos) de mdio prazo

Resultados (impactos) de longo prazo

Equipamentos

Aquisio e distribuio de equipamentos para irrigao Cadastramento e identificao dos perfis dos beneficirios

Manuteno de nveis adequados de arrecadao x custos de operao Manuteno de nveis mnimos de inadimplncia Manuteno de nveis mnimos de transferncia de lotes

Produtores rurais elegveis para o projeto

Os fatores contextuais mencionados na matriz acima referem-se a aspectos que esto fora de controle da equipe de planejamento e gesto do projeto, mas que podem exercer impacto positivo ou negativo sobre os resultados do projeto, tais como: caractersticas empreendedoras dos beneficirios, caractersticas de lideranas comunitrias, perfis de gerentes envolvidos na execuo do projeto, atuao de lideranas polticas locais e regionais, entre outros. A identificao desses fatores e a sua relao com os resultados do projeto so importantes para uma melhor compreenso da dinmica do programa, especialmente quando se almeja replic-lo. O modelo lgico do projeto pode ser desenhado de outra forma, que complementa a anterior, relacionando objetivos do projeto ( explcitos ou implcitos) a variveis operacionais e a indicadores ( formas de mensurao) que permitam mensurar o grau em que os objetivos gerais e especficos do projeto vo sendo atingidos, como mostra o quadro 2.

Quadr o 2

Exem p l o d e m o d el o l g ic o
Objetivo Aumentar a produo agrcola dos beneficirios do projeto Varivel Volume da produo agrcola Valor da produo agrcola Indicador Quantidade produzida por cultura Faturamento com a produo (por cultura) Informao necessria Dados sobre produo Dados sobre receita financeira Mtodo de coleta de dados Pesquisa secundria (anurios de produo) Pesquisa de campo

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

979

evidente que avaliar desempenho atravs de resultados ( ou impactos de longo prazo) mais importante ( e politicamente tentador) quando se deseja aferir as mudanas efetivas que um programa poderia estar promovendo. Ocorre, todavia, que quase sempre impossvel isolar o efeito de fatores externos ao programa sobre as mudanas ocorridas. Na prtica, as avaliaes da produo ( expressa na matriz lgica pelos inputs e atividades do programa) e dos resultados imediatos so as nicas que envolvem, efetivamente, apenas os fatores ( variveis) que podem ser controlados pelos gestores do programa e que devem fazer parte, portanto, do processo gerencial. A avaliao de resultados ( ou impactos) de mdio e longo prazos, embora no deva ser desconsiderada, deve ser empreendida com metodologias e estratgias de implementao mais complexas, complementando, periodicamente, a avaliao de produo ( Kettl, 1998) . O dilema sobre qual deve ser o foco da avaliao reflete-se na existncia de diferentes metodologias de avaliao, que sero descritas de forma sucinta a seguir.

3. As metodologias usuais de avaliao

As experincias de avaliao de programas podem ser agrupadas, para fins analticos, em trs metodologias bsicas ( Sulbrandt, 1993) .

Avaliao de metas (realizao de produo ou produtos)

o tipo mais tradicional e tem como propsito medir o grau de xito que um programa obtm com relao ao alcance de metas previamente estabelecidas. Metas do programa so os produtos mais imediatos ( ou concretos) que dele decorrem pessoas atendidas em centros de sade; nmero de leitos hospitalares; nmero de horas de aula, entre outros. Essa modalidade de avaliao pressupe que se atribuam valores a um conjunto de metas, definindo-se o xito relativo do programa em funo do grau em que tais metas tenham sido cumpridas. Trata-se, portanto, de uma avaliao ex-post facto , ou seja, requer que o programa ( ou uma etapa do mesmo) tenha sido concludo para se poder avali-lo. Entre as principais limitaes desse tipo de avaliao, pode-se citar: a dificuldade de especificar as metas de forma precisa; a existncia de vrias metas; a seleo de metas a serem includas no processo de avaliao; mudanas nas metas ao longo da prpria execuo do programa.

980

Frederico Lustosa da Costa e Jos Cezar Castanhar

Avaliao de impacto (alcance do propsito ou misso)

A avaliao de impacto procura identificar os efeitos produzidos sobre uma populao-alvo de um programa social. Busca-se verificar no apenas se as atividades previstas foram executadas, como tambm se os resultados finais que se esperavam foram igualmente alcanados. O foco desse tipo de estudo , em sntese, detectar mudanas nas condies de vida de um grupo-alvo ou de uma comunidade, como resultado de um programa e em que medida as mudanas ocorreram na direo desejada. O problema central a investigar nesse caso a efetividade do programa e, para conseguir esse intento, se recorre a mecanismos que permitam estabelecer relaes causais entre as aes de um programa e o resultado final obtido. O objetivo desse tipo de avaliao pode ser definido como sendo o de identificar os efeitos lquidos de uma interveno social. semelhana da avaliao de metas, descrita anteriormente, essa abordagem realizada aps o encerramento do programa ou de etapas do mesmo.

Avaliao de processos
Essa modalidade de avaliao investiga de forma sistemtica o desenvolvimento de programas sociais com o propsito de: m edir a cobertura do program a social ; estabelecer o grau em que est alcanando a populao beneficiria; e, principalmente, acom panhar seus processos internos. Seu objetivo detectar possveis defeitos na elaborao dos procedimentos, identificar barreiras e obstculos sua implementao e gerar dados importantes para sua reprogramao, atravs do registro de eventos e de atividades. Assim, o uso adequado das informaes produzidas durante o desenvolvimento do programa permite introduzir mudanas no seu contedo durante a prpria execuo. Ao contrrio, portanto, dos enfoques anteriores, essa modalidade de avaliao se realiza simultaneamente com o desenvolvimento do programa, sendo tambm chamada de avaliao form ativa . Sua aplicao requer, todavia, que se possa desenhar os fluxos e processos de programa. Alm disso, pressupe a existncia de um adequado sistema de informaes gerenciais, que serviram de base ao trabalho dos gestores e dos avaliadores na poca oportuna.

4. Uma aplicao da metodologia de avaliao de programas sociais

Um sistema de avaliao completo utiliza metodologias que prevem a avaliao de resultados e a avaliao de processos. Na seqncia, so apresenta-

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

981

das as definies e as formas de operacionalizao utilizadas no modelo proposto. No fim deste artigo, como exemplo, as categorias metodolgicas so aplicadas em um programa da Secretaria Municipal de Desenvolvimento Social do municpio do Rio de Janeiro.

Avaliao de resultados
Aqui, resultados so definidos como constitudos por resultados im ediatos, resultados (im pactos) de m dio prazo e resultados (im pactos) de longo prazo . Assim, para a avaliao sugere-se o uso de indicadores de im pacto para a mensurao dos resultados de longo prazo, relacionados aos objetivos gerais do programa e de indicadores de resultado para mensurar os resultados imediatos e de mdio prazo. Os indicadores de resultado m ensuram os efeitos do programa: junto populao-alvo como um todo e junto aos usurios do programa. No primeiro caso, devem ser levantados dois tipos de indicadores de resultado, com pesquisas de campo ou o auxlio de bases de dados e/ ou cadastros j existentes:
t

grau de cobertura geral mede os ndices de cobertura da populaoalvo pelo programa. Tanto o dficit como o supervit de pessoas beneficiadas so motivos para mudanas de rota no programa. O primeiro demonstra a necessidade de expanso, e o segundo, que est havendo desperdcio de recursos ( pessoas no-elegveis como populao-alvo esto se beneficiando) ; grau de cobertura diferenciada do programa mede a participao diferenciada dos subgrupos da populao-alvo proposta. Essa taxa pode retratar a discriminao ( ou vis) na seleo dos clientes do programa em funo de regio, faixa etria, sexo etc.

Quanto ao segundo ponto, ou seja, a avaliao de resultados junto aos usurios do programa, podem ser utilizados indicadores de aferio de benefcios, que levam em considerao os objetivos especficos de cada programa ou projeto. Rob Vos ( 1993) cita alguns exemplos de indicadores normalmente mais utilizados junto aos usurios do programa e populao-alvo:
t

para programas de nutrio taxas de desnutrio por faixa etria; de mortalidade e de morbidade; para programas de educao taxas de analfabetismo; de repetncia; de evaso; coeficientes de escolarizao e graus de escolaridade;

982

Frederico Lustosa da Costa e Jos Cezar Castanhar

para programas de sade taxas de mortalidade em geral; de mortalidade infantil; de mortalidade materna; de natalidade; de fecundidade e esperana de vida ao nascer; para programas de habitao dficit quantitativo de moradias; qualidade de construo da moradia e disponibilidade de servios bsicos.

Os indicadores de insum o apontam os meios ou os recursos disponveis para o alcance dos objetivos propostos. Recursos escassos e inadequados ( em termos financeiros, de mo-de-obra, de material etc.) tendem quase sempre a comprometer os resultados esperados. Vos ( 1993) menciona alguns exemplos mais comuns de indicadores de insumo, como:
t

para programas de nutrio disponibilidade de alimentos por pessoa; para programas de educao relaes aluno/ professor; aluno/ escola; nmero de sries oferecidas por estabelecimento escolar e disponibilidade de material didtico por aluno; para programas de sade nmero de mdicos por habitante; de postos de sade por habitante; de leitos por habitante e de vacinas disponveis por habitante.

J os indicadores de acesso identificam os determinantes que permitem tornar efetiva a utilizao dos recursos disponveis nos programas para o alcance das metas previstas. Os mais comuns so:
t

para programas de sade nmero de consultas mdicas por adulto equivalente; distncia geogrfica ao servio de sade mais perto; renda disponvel por famlia ( dado til para viabilizar a compra de medicamentos, por exemplo) e fatores culturais; para programas de educao distncia da escola; adequao curricular e renda disponvel por famlia ( para possibilitar, por exemplo, a compra de material escolar).

Alm disso, a aplicao de questionrios permite medir a satisfao da clientela, sendo um bom indicador de qualidade, mas no o nico nem o mais completo. Nesse sentido ainda possvel estabelecer indicadores compostos atravs da construo de ndices formados por um conjunto de atributos definido a partir das caractersticas do servio.

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

983

Avaliao de processo
A avaliao de processo pode ser definida como a maneira de identificar o verdadeiro contedo de um programa pblico, se ele est sendo realizado como previsto, se est alcanando o pblico para o qual foi concebido e se os benefcios esto sendo distribudos na intensidade prevista (Scheirer, 1994:40). A avaliao de processos requer, portanto, que se desenvolvam mtodos para responder a trs perguntas ( Scheirer, 1994:40-41) : de que ( e como) se constitui o programa em pauta? ( mtodos para desenvolver e especificar os componentes de um programa) ; o que , na realidade, entregue aos beneficirios? ( mtodos para mensurar a implementao do programa) ; por que existem diferenas entre os objetivos ( e intenes) do programa e os que so realmente realizados? ( avaliar fatores que influenciam a implementao, provocando mudanas entre o previsto e o realizado) .

Componentes de um programa
A descrio completa e adequada dos componentes de um programa essencial para se avaliar a sua execuo. Componentes so as estratgias, atividades, comportamentos, formas de comunicao e tecnologias necessrios para a implementao do programa, bem como a especificao dos beneficirios e as situaes em que se d a implementao. O quadro 3 resume as categorias includas em componentes de um programa, exemplificando-as.

Quadr o 3

Exem p lo s d e c o m p o nentes d e um p ro g ram a

Tipos de componentes Beneficirios pretendidos
s

Exemplos

Caractersticas sociodemogrficas apropriadas para o programa Requisitos de elegibilidade Mecanismos de recrutamento Processo de seleo de beneficirios

Faixa etria; etnia; nvel de renda; situao de sade; gnero Somente minorias; somente desempregados h mais de trs meses; somente idosos Por organizaes existentes; anncios na mdia; divulgao informal Auto-seleo por critrio do programa; primeiros a chegar; exame
continua

984
Tipos de componentes Contexto institucional previsto para a implementao do programa
s

Frederico Lustosa da Costa e Jos Cezar Castanhar

Exemplos

Tipos de organizaes pblicas que vo participar da execuo do programa e suas caractersticas Organizaes sociais comunitrias

Escritrios descentralizados de rgos federais; secretarias estaduais; rgos municipais Parcerias com o setor privado; parcerias com organizaes comunitrias

Forma prevista de execuo

s

Atividades: quem faz o qu? Com quem?

Funcionrios do informaes a usurios; agentes sociais abordam crianas de rua; profissionais participam voluntariamente de programas de treinamento (artes, informtica) Mdicos ou agentes de sade para programas de sade da famlia; assistentes sociais para programas de assistncia a meninos de rua Livros e material didtico adequado; material para treinamento de funcionrios envolvidos Acessar registros informatizados de beneficirios elegveis; manter registros sobre atendimento para avaliao Nmero de rgos e unidades envolvidos no programa; nmero de beneficirios previsto

Recursos humanos: de que tipo, com que formao e experincia? Materiais (equipamentos, infra-estrutura) necessrios para a execuo do programa Informao e sistema de informao

Escopo previsto para o programa

Fonte: Scheirer, 1994:46.

A adequada e precisa identificao dos componentes do programa permitir que se avalie quais aspectos do programa foram implementados como previsto, quais no foram e quais fatores influenciaram eventuais discrepncias na implementao. Um outro aspecto que a correta especificao dos componentes permite avaliar diz respeito medida que o escopo do programa ( beneficirios pretendidos) foi observado. Alm disso, possibilitar conjecturar sobre os elos entre os resultados da implementao e os resultados do programa propriamente dito ( em termos de produo, resultados intermedirios, impactos etc.) . Um aspecto interessante a ser observado que, ao mesmo tempo em que a especificao ( ou detalhamento) do contedo do programa uma condio preliminar para a avaliao de processo, a prpria iniciativa de se planejar e realizar a avaliao de processo contribui para uma especificao m ais adequada e realista do contedo do program a . Note-se que isso uma condio importante para, de um lado, assegurar que o programa seja mais efetivo ( j que a consistncia interna do programa ter passado por um crivo preliminar) e, de outro, que a avaliao de resultados e impacto seja mais efi-

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

985

caz uma vez que o desempenho do programa ser comparado com metas e expectativas mais coerentes e realistas. Para permitir que a avaliao de processo possa melhorar o desenho e a especificao de um programa pblico, algumas tcnicas podem ser utilizadas.
t

Avaliao form ativa : baseada em dados coletados de projetos pilotos e de beneficirios, ao longo da realizao de uma determinada interveno e que permite obter informaes sobre a viabilidade de determinados atividades e instrumentos e em que medida eles so adequados ao desenho planejado e aos beneficirios previstos; Verificao da avaliabilidade: conjunto de processos sistemticos para o desenvolvimento adequado da teoria subjacente a um dado programa pblico, e detalhar e clarificar os usos previstos para os dados no processo de avaliao, antes do incio de uma avaliao em escala completa. Seus passos mais importantes incluem ( Scheirer, 1994:49-50) : a) envolver os principais formuladores de poltica, gerentes e funcionrios atravs de uma srie de reunies para clarificar suas expectativas para o programa e para a avaliao propriamente dita; b) usando um modelo de diagrama denominado matriz lgica, detalhar as relaes causais esperadas entre trs aspectos do programa: recursos alocados ao programa, realizao das atividades especficas previstas pelo programa e resultados esperados; c) refinamento da teoria subjacente ao programa, por um processo iterativo, usando visitas aos locais do projeto e informaes disponveis, para examinar a realidade das operaes no campo e em que medida a teoria proposta plausvel; d) clarificar os usos previstos para as informaes obtidas com a avaliao, mediante discusses com formuladores de poltica e gerentes do programa, incluindo mudanas no prprio programa.

Uso da teoria para ajudar na especificao do program a : aplicao de teorias relevantes para o tema substantivo do qual trata o programa, e o uso de dados para elucidar processos subjacentes. Esse tipo de avaliao de processo importante no apenas para especificar o contedo do programa como tambm para vincular atividades do programa com medidas ( indicadores) de resultado a serem utilizados em posteriores avaliaes de impacto.

986

Frederico Lustosa da Costa e Jos Cezar Castanhar

O termo teoria refere-se aqui a princpios inter-relacionados que explicam e permitem supor o comportamento de uma pessoa, grupo ou organizao. Chen (1990) distingue dois grandes tipos de teorias: a normativa, que define o que um programa deveria ser e a causal, que descreve empiricamente as relaes causais entre solues propostas (incluindo fatores contextuais) e os resultados obtidos.

Um exemplo prtico
Os autores deste artigo participaram da equipe da Ebape da FGV encarregada de desenvolver uma proposta de metodologia de avaliao e monitorao dos programas administrados pela Secretaria Municipal de Desenvolvimento Social ( SMDS) do municpio do Rio de Janeiro. A proposta apresentada, e descrita resumidamente no anexo, foi uma oportunidade interessante de testar os limites e as possibilidades da avaliao de programas pblicos. O exerccio s chega at o segundo nvel de agregao dos compromissos programticos (objetivos gerais e objetivos especficos) e define apenas indicadores de impacto (para os objetivos gerais) e de resultado (para todos os objetivos especficos). Embora no tenham sido detalhados os procedimentos necessrios para a avaliao de processo, procurou-se identificar na matriz lgica, sob o ttulo fontes de verificao, as fontes de dados e os instrumentos de coleta de informao necessrios para realizar-se a avaliao. Procurou-se indicar na mesma matriz, sob o ttulo pressupostos, eventos e procedimentos para que as informaes necessrias para a avaliao fossem obtidas e os indicadores sugeridos calculados. Esses elementos podem auxiliar no estabelecimento posterior dos passos e mecanismos necessrios para a avaliao de processos, bem como na reflexo sobre o aprimoramento da lgica do programa. Um aspecto interessante a ressaltar sobre o exemplo apresentado refere-se ao fato de que a matriz proposta foi construda a partir de uma ampla participao e envolvimento dos formuladores da poltica e gerentes do programa, bem como resultou de um processo iterativo no qual a proposta foi gradualmente aprimorada, utilizando assim a seqncia analtica proposta na metodologia denominada acima de verificao de avaliabilidade, que, espera-se, pode fazer com que o processo de avaliao ocorra de forma mais harmoniosa e eficaz e seus resultados sejam efetivamente utilizados.

5. Concluses

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

987

O grande desafio para a disseminao da prtica da avaliao de projetos no setor pblico , sem dvida, encontrar formas prticas de mensurar o desempenho e fornecer ao responsvel pela gesto dos programas sociais, bem como para os demais atores envolvidos, informaes teis para a avaliao sobre os efeitos de tais programas, necessidade de correes, ou mesmo da inviabilidade do programa. Como vimos, as dificuldades metodolgicas acabam levando utilizao de indicadores que se aplicam, predominantemente, aos aspectos da produo dos programas (alcance das metas, ou objetivos). claro que essa dificuldade prtica pode levar os gestores de programas pblicos a carem na armadilha de considerar os processos de aferio, especialmente os de produo, como um fim em si mesmo. Mas, conforme lembra Kettl, o objetivo bsico do processo no produzir nmeros e sim m elhorar os resultados. Deve-se ter sempre em mente que a inovao administrativa importante praticar a adm inistrao por desem penho e no a aferio do desem penho. A avaliao um conjunto de tcnicas que adota conceitos diferenciados para se referir muitas vezes aos mesmos procedimentos. Enquanto no se avanar na teorizao da prtica e buscar os consensos necessrios construo de paradigmas conceituais, cada esforo de avaliao vai requerer o estabelecimento prvio de uma estrutura de referncia para a anlise e o treinamento supervisionado do pessoal envolvido. Profissionais experimentados podem adotar esse procedimento na conduo do trabalho de consultoria, mas nem todo o pessoal tcnico pode assumir essa tarefa sem tornar a prtica da avaliao ainda mais difcil. A condio de possibilidade da avaliao a consistncia do planejamento. De qualquer maneira, nem a dificuldade nem o risco mencionados acima devem se constituir num obstculo insupervel para as tentativas de se aplicar de forma sistemtica essa metodologia. Afinal, esse um campo, como muitos outros na administrao, em que o aprendizado com as experincias prticas contribui para a superao das dificuldades conceituais e operacionais.

Referncias bibliogrficas
BID/ INDES/ OFICINA DE EVALUACIN. El m arco lgico . 1994. BRASIL. MPAS. SUBSECRETARIA DE PLANEJAMENTO E ORAMENTO. Indicadores de excelncia. s/ d. ( mimeo) . CHEN, H. T. Theory driven evaluations. Newbury Park: Sage, 1990. COHEN, Ernesto; FRANCO, Rolando. Evaluacin de proyetos sociales. Madrid: Siglo XXI, 1993.

988

Frederico Lustosa da Costa e Jos Cezar Castanhar

COSTA, Frederico Lustosa da ( Coord.) . Fortalecim ento institucional da Secretaria de Desenvolvim ento Social da Prefeitura da Cidade do Rio de Janeiro. Quarto mdulo: proposta de um sistema de monitoramento e avaliao para a SMDS/ RJ. Rio de Janeiro: FGV, 1998. FAYOL, Henri. Adm inistration industrielle et generale: prevoyance, organisation, com m andem ent, coordination, controle . Paris: Dunod, 1950. JENKINS, Bill; GRAY, Andrew. Evaluacin y el usuario: la experiencia del Reino Unido. Gestin y Anlisis de Polticas Pblicas. Madrid, set./ dic. 1994. KETTL, Donald F. ( 1996) A revoluo global: reforma da administrao do setor pblico. In: BRESSER-PEREIRA, Luiz Carlos; SPINK, Peter. Reform a do Estado e adm inistrao pblica gerencial. Rio de Janeiro: FGV, 1998. RICO, Elizabeth Melo ( org.) . Avaliao de polticas sociais: um a questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais, 1998. ROSSI, Peter; FREEMAN, Howard. Evalucin: un enfoque sistem tico. Thousand Oaks: Sage, 1989. SCHEIRER, Mary Ann. Designing and using process evaluation. In: WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. ( Eds.) . Handbook of practical program evaluation . San Francisco: Jossey-Bass Publishers, 1994. SCHWARTZMAN, Jacques. Um sistem a de indicadores para as universidades brasileiras. S o Paulo: Nupes/ USP, 1994. ( Documento de trabalho 5/ 94) . SFEZ, Lucien. Critique de la decisin . 4. ed. Paris: Presses de la Fondation Nationale des Sciences Politiques, 1992. SUBIRATS, Joan. Los instrum entos de las polticas, el debate pblico y el processo de evaluacin. [ s.l.] : [ s.ed.] , [ s.d.] . SULBRANDT, Jos. La evaluacin de los programas sociales: una perspectiva crtica de los modelos usuales. In: KLIKSBERG, Bernardo ( Org.) . Pobreza: un tem a im postergable. Mxico: Fondo de Cultura Economica, 1993. TENRIO, Fernando Guilherme ( Coord.) et al. Avaliao de projetos com unitrios um a abordagem prtica . So Paulo: Edies Loyola, 1995. UNICEF. Guide for m onitoring and evaluation . New York: Unicef, 1990. VOS, Rob. Hacia un sistem a de indicadores sociales. Washington: BID/ Indes, 1993. WHOLEY, Joseph S. Assessing the feasibility and likely usefulness of evaluation. In: WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. ( Eds.) . Handbook of practical program evaluation . San Francisco: Jossey-Bass Publishers, 1994. WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. ( Eds.) . Handbook of practical program evaluation . San Francisco: Jossey-Bass Publishers, 1994.

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

989

Anexo

Programa Rio Criana Maravilhosa

Este programa do Bird engloba o Programa Rio Creche da Secretaria Municipal de Desenvolvimento Social e as aes de outras secretarias municipais.

Objetivo geral
s

Indicadores de impacto
s

Fontes de verificao
s

Pressupostos Criar procedimentos para a obteno dessas estatsticas pelo menos de cinco em cinco anos, e com razovel grau de atualizao.

Contribuir para ampliar e melhorar a qualidade dos servios prestados s crianas de 0 a seis anos nas reas de sade, educao e desenvolvimento social.

Taxa de mortalidade de menores de cinco anos (por mil nativivos).

Censo demogrfico (IBGE) para o municpio e/ou estimativas preliminares do IBGE.

Taxa de desnutrio infantil: menores de cinco anos com peso deficiente para a altura (desnutrio aguda) e altura deficiente para a idade (desnutrio crnica).

Estatstica do Benfam.

Objetivos especficos
s

Indicadores de resultado
s

Fontes de verificao
s

Pressupostos Criar procedimentos para coleta da informao.

Reduzir as taxas de morbidade e de mortalidade infantil de crianas menores de cinco anos.

s s

Nmero de casos de diarria por 100 mil. Nmero de casos de IRA (infeces respiratrias agudas) por 100 mil. Nmero de casos de desnutrio por 100 mil. Nmero de casos de doenas de notificao compulsria por 100 mil. Cobertura vacinal (%). Taxa de mortalidade infantil (por mil nativivos). Taxa de mortalidade de crianas menores de cinco anos (por mil nativivos).

SMS/SIG (mensal).

continua

990

Frederico Lustosa da Costa e Jos Cezar Castanhar

Objetivos especficos

Indicadores de resultado
s

Fontes de verificao
s

Pressupostos Montar questionrio de avaliao com o auxlio de especialistas, definindo atributos e ponderaes(padres de qualidade). Criar procedimentos para coleta da informao.

ndice geral de qualidade do servio (ndice com intervalo de variao entre 0 e 100) nos postos de sade/hospitais do municpio para atendimento de crianas de 0 a seis anos. Cobertura do pr-natal: percentual de gestantes matriculadas no prnatal (%). Taxa de mortalidade materna (por mil mulheres). Nmero de crianas com amamentao natural em relao ao total de crianas com at seis meses de vida (%). Nmero de crianas com necessidades especficas na creche em relao ao total de crianas com necessidades especficas em idade de creche (%).

Questionrio a ser aplicado pela superviso nas unidades de execuo da SMS (anual).

Reduzir as taxas de morbidade e de mortalidade materna.

SMS/SIG (mensal).

SMS/campanha de vacinao.

Criar procedimentos para coleta da informao.

Garantir o acesso e a permanncia das crianas com necessidades especficas1 e em situao de risco2 aos servios de educao, sade e desenvolvimento social (SMDS).

SMDS/STE/CR/ unidade de servio (anual).

Criar procedimentos para coleta da informao.

Nmero de crianas em situao de risco na creche em relao ao total de crianas em situao de risco em idade de creche (%). Nmero de crianas com necessidades especficas na prescola em relao ao total de crianas com necessidades especficas em idade de pr-escola.

SMDS/STE/CR/ unidade de servio (anual).

SME/ATP (Assessoria Tcnica de Planejamento)/ CRE (Coordenadoria Regional de Educao)/ Unidade Escolar (UE) (anual).
continua

Avaliao de Programas Pblicos: Desafios Conceituais e Metodolgicos

991

Objetivos especficos

Indicadores de resultado
s

Fontes de verificao
s

Pressupostos

Nmero de crianas em situao de risco na prescola em relao ao total de crianas em situao de risco em idade de pr-escola (%). Profissionais treinados em relao ao total de profissionais que necessitam ser treinados (%).

SME/ATP/CRE/ Unidade Escolar (anual).

Aperfeioar as prticas socioeducativas dos profissionais que trabalham nos servios de atendimento s crianas de 0 a seis anos (SMDS: crianas at quatro anos incompletos).

SMDS/ATE; SME; SMS/CRH (anual).

Taxa de rotatividade: percentual de profissionais treinados que se desligam no 1 ano aps o treinamento (%). Periodicidade da superviso (meses).

SMDS/ATE, SME; SMS/CRH (anual).

Criar procedimentos para coleta da informao.

SMDS/CR; SMS; SME: superviso a partir da unidade de execuo. Superviso peridica. Montar questionrio de avaliao com o auxlio de especialistas e usurios, definindo atributos e ponderaes.

ndice geral de avaliao da capacitao (ndice com intervalo de variao entre 0 e 100).

Periodicidade da superviso (meses).

SMDS/CR; SMS; SME: superviso a partir da unidade de execuo. Superviso peridica. Montar questionrio de avaliao com o auxlio de especialistas e usurios, definindo atributos e ponderaes.
continua

ndice geral de avaliao da capacitao (ndice com intervalo de variao entre 0 e 100).

992

Frederico Lustosa da Costa e Jos Cezar Castanhar

Objetivos especficos
s

Indicadores de resultado
s

Fontes de verificao
s

Pressupostos Criar procedimentos para coleta da informao.

Aumentar a participao das famlias e das comunidades nas questes relativas primeira infncia (SMDS).

Nmero de conselhos ou representaes comunitrias existentes em cada setor (sade, educao e desenvolvimento social) por rea de planejamento (AP). Nmero de atividades socioeducativas realizadas por ms pelos conselhos ou representaes comunitrias. Taxa de adeso nas atividades promovidas pelos conselhos e representaes comunitrias: mdia de presenas em relao ao pblico esperado (%). Nmero de atividades socioeducativas promovidas por ms pela unidade de execuo para as famlias dos usurios. Taxa de adeso das famlias nessas atividades socioeducativas: mdia de presenas em relao ao pblico esperado (%). ndice geral de satisfao das famlias (ndice com intervalo de variao entre 0 e 100).

Criao e implementao de conselhos e representaes comunitrias.

SMDS/CR (mensal).

SMDS/CR (mensal).

SMDS/CR (mensal).

SMDS/CR (mensal).

A partir de questionrio a ser proposto (anual).

Montar questionrio de avaliao com o auxlio de especialistas, definindo atributos e ponderaes.

Crianas com necessidades especficas so aquelas portadoras de deficincia, de sndromes, de altas habilidades e de doenas crnicas; e ainda crianas hospitalizadas e imobilizadas. 2 Crianas em situao de risco so aquelas portadoras de HIV, em situao de rua e as vitimizadas.