O MONITORAMENTO E AVALIAO E O DESAFIO DA GESTO PARA A MELHORIA DOS RESULTADOS SOCIAIS

Malco Braga Camargos1 Isabel dos Anjos2

RESUMO A dcada de noventa representa um marco na gesto de projetos sociais. Monitoramento, avaliao, foco em resultados e busca de melhorias contnuas so aspectos do novo paradigma em gesto social. O presente texto analisa tais mudanas a partir da implementao da Assessoria de Monitoramento do Espao Criana Esperana de Belo Horizonte, cujo desafio principal gerar instrumentos capazes de monitorar e avaliar aes que buscam contribuir para a educao para valores propostas por Jacques Dellors. Os avanos e desafios nascidos da necessidade de fornecer informaes necessrias para a gesto das diversas prticas educacionais, culturais e esportivas do projeto so emblemticos para assegurarmos que monitorar e avaliar as atividades do ECE- BH requer a sensibilidade e perspiccia de adequar metodologias e envolver continuamente a equipe.

PALAVRAS-CHAVE: Monitoramento. Avaliao. Gesto Social. Projetos sociais.

1 Introduo

Neste trabalho, ser apresentado o processo de implantao do monitoramento e avaliao no Espao Criana Esperana de Belo Horizonte (ECE-BH), um projeto social que atende crianas, adolescentes, suas famlias e a comunidade do Aglomerado da Serra, regio centro-sul da capital mineira, que vivem em situaes e reas de excluso social. Fruto de uma parceria entre UNESCO e Rede Globo de Televiso, o Projeto em Belo Horizonte tem como parceiros locais a Pontifcia Universidade Catlica de Minas Gerais (PUC Minas) e a Prefeitura Municipal de Belo Horizonte (PBH). O projeto ECE-BH est vinculado ao ICA Instituto da Criana e do Adolescente, ncleo temtico da PROEX Pr-reitoria de Extenso da PUC Minas. O projeto desenvolvido por meio de atividades realizadas em uma estrutura funcional organizada em
1

Coordenador da Assessoria de Monitoramento e Avaliao do Espao Criana Esperana de Belo Horizonte. Graduao em Cincias Sociais pela Universidade Federal de Minas Gerais, mestrado e doutorado em Cincia Poltica (Cincia Poltica e Sociologia) pela Sociedade Brasileira de Instruo - SBI/IUPERJ. Tcnica da Assessoria de Monitoramento e Avaliao do Espao Criana Esperana de Belo Horizonte. Graduao em Cincias Sociais. Pontifcia Universidade Catlica de Minas Gerais. Mestranda em Cincias Sociais pela Pontifcia Universidade Catlica de Minas Gerais.

duas assessorias (monitoramento e avaliao e administrativa) e quatro ncleos: Educacional, Comunicao e Cultura, Esportes e Ateno Psicossocial. A equipe do projeto multidisciplinar, com a participao de professores da PUC Minas, tcnicos e estagirios de diversas reas acadmicas dessa Universidade, como a rea de psicologia, de comunicao social, de cincias sociais, de educao fsica, de pedagogia, de servio social e de histria, alm de educadores da comunidade local. Neste texto abordaremos conceitualmente o novo paradigma da avaliao e monitoramento no cenrio brasileiro, especificamente no caso de projetos sociais. Em seguida, discorremos sobre a implantao do monitoramento e avaliao no ECE-BH,

avanos e desafios nascidos da necessidade de fornecer informaes necessrias para a gesto das diversas prticas educacionais, culturais e esportivas do projeto. As atividades so estruturadas pela educao para valores, proposta por Dellors e orientadas por esse novo paradigma, que trazem a necessidade de adequarmos continuamente os instrumentos, uma vez que a pluralidade da equipe e a complexidade das intervenes exige instrumentos especficos. Monitorar e avaliar aes que buscam contribuir para a educao para valores, requer a sensibilidade e perspiccia de adequar metodologias e envolver continuamente a equipe. A partir da dcada de 1990, ocorreu um deslocamento no foco de atuao dos programas sociais no Brasil, ou seja, no bastavam intervenes com o desejo de mudanas, tornaram-se necessrios projetos estruturados que promovessem tais mudanas. A forma de atuao assistencialista, caritativa e paliativa cedeu lugar, gradativamente, a projetos que utilizam ferramentas gerenciais como planejamento (nos diversos nveis do programa, rotina, superviso, coordenao), monitoramento, avaliao e foco em resultados. O monitoramento e a avaliao so instrumentos inovadores desse novo paradigma em gesto social. Neste texto, discorre-se, especificamente, sobre a avaliao e o monitoramento de programas sociais. O monitoramento consiste em acompanhar a implementao e a rotina de desenvolvimento do projeto. Isto , a documentao sistemtica dos aspectos-chaves da performance do programa, indicativos de como ele est funcionando. As principais funes do monitoramento so:

a. Prover os gestores, financiadores e o pblico-alvo de informaes sobre o dia-a-dia do projeto, visando correo de rumos; b. Documentar a implementao do projeto, justificando os gastos; c. Ajudar na avaliao de impacto do programa.

Nesse sentido, o paradigma moderno de gesto social compreende o monitoramento com duas dimenses: a prestao de contas do investimento e a utilizao como instrumento de gesto. Conforme Buvinich (1999, p. 21), o monitoramento um processo contnuo e sistemtico de superviso e reviso do gerenciamento com o objetivo de garantir a eficincia e eficcia no gerenciamento. Portanto, o primeiro aspecto aponta para a mensurao dos resultados obtidos com o menor custo possvel. Assim, o monitoramento corrobora para a promoo da accountability, ou seja, que a prestao de contas seja feita periodicamente, demonstrando que os investimentos so realmente transformados em insumos e produtos que buscam contribuir para as mudanas sociais. J o segundo aspecto expressa o grau de consecuo dos objetivos do programa (BUVINICH, 1999, p. 20). Atualmente, o monitoramento das atividades do ECE-BH tem atingido apenas a primeira dimenso, como se demonstra adiante. Com relao avaliao, pode-se afirmar que sua principal funo fornecer informaes aos gestores quanto ao alcance dos objetivos, avanos e gargalos do processo de implementao do programa, bem como a percepo e satisfao do pblico-alvo e os impactos alcanados. Isto ,
[...] um processo conduzido antes (ex-ante), durante e/ou depois da implementao do projeto ou programa, onde se efetua um juzo sobre seu valor ou mrito, considerando a relevncia dos objetivos e estratgias, a eficcia (ou efetividade) no alcance dos objetivos e metas esperados, a eficincia no uso dos recursos, o impacto e a sustentabilidade da interveno. (BUVINICH, 1999, p. 21).

As avaliaes do programa buscam responder a questes mais amplas que o monitoramento. No entanto, so complementares, uma vez que o monitoramento consiste no acompanhamento processual das atividades e a avaliao visa verificao do alcance dos objetivos. Nas palavras de Mokate:
Monitoramento e avaliao so estratgias e momentos complementares: para se realizar, a avaliao necessita de boa informao gerada pelo monitoramento. Por outro lado, o monitoramento sem avaliao algo incompleto, no permite saber muita coisa sobre a relevncia ou a pertinncia do projeto para o alcance dos objetivos. (MOKATE, 2000, p. 88).

Assim, o monitoramento e a avaliao so instrumentos que possibilitam correes de processos, melhorias no plano operacional, aumento da eficincia e eficcia, alm da execuo de atividades focadas em resultados. Nesse sentido, a Assessoria de Monitoramento

e Avaliao do ECE-BH empreende esforos constantes para que a sinergia mencionada entre avaliao e monitoramento contribua para a gerao de resultados na efetivao da educao para valores. Atualmente, so geradas informaes sistemticas sobre a atividade de cada ncleo. Abaixo, apresentamos atividades e desafios dessa assessoria.

2 Atividades e desafios

Os primeiros desafios da Assessoria de Monitoramento e Avaliao foram: monitorar as diferentes atividades realizadas pelo programa a partir de ferramentas simples e com uma equipe reduzida, alm de construir a cultura do monitoramento e da avaliao na equipe. Com relao s duas primeiras dificuldades, a equipe superou-as, criando formas de monitorar de acordo com as demandas, especificidades e disponibilidades de cada ncleo, conforme demonstraremos adiante. No entanto, isso gerou a fragmentao das informaes. Assim, cada ncleo recebe mensalmente o seu relatrio, mas as informaes no so generalizadas, uma vez que cada ncleo gera suas informaes em base de dados separadas. Isso dificulta o acompanhamento sistemtico dos avanos e entraves encontrados. Devido necessidade de padronizao de instrumentos de avaliao e monitoramento capazes de produzir resultados, levando-se em considerao a diversidade na forma de atuao dos Espaos, a avaliao dos resultados das atividades, possibilitando correo de rumos e, a necessidade de prestao de contas sociedade/parceiros/financiadores e usurios, a equipe da PUC Minas est desenvolvendo o Sistema de Monitoramento dos Espaos Criana Esperana. Esse sistema tem como objetivos: criar um banco de dados que reflita a realidade da execuo do projeto, possibilitando a anlise das informaes envolvidas em todos os processos e desenvolver uma ferramenta capaz de automatizar e auxiliar o tratamento das informaes, mantendo a consistncia dos dados e simplificando a execuo de tarefas. Assim, esperamos que o sistema de monitoramento permita o aumento da capacidade de redimensionamento e consequente assertividade nas aes; o acompanhamento constante de resultados; maior justificativa dos investimentos financeiros; automao dos processos de monitoramento e desenvolvimento de ferramentas que permitam acesso ao sistema via web e de fcil manuseio. No que diz respeito cultura da avaliao, existiam desafios em dois nveis: os educadores percebiam a avaliao e o monitoramento de forma punitiva e a equipe tcnica agregava a essa dimenso a incompreenso das informaes. No caso dos educadores, essa

dimenso agrava-se quando eles desconhecem a funo do monitoramento do ponto de vista tcnico. Alguns educadores no compreendiam a importncia do monitoramento de programas sociais. Permanecia a cultura de projetos sociais distante de gesto social, ou seja, apenas a inteno e a forma de realizar a atividade j demonstram o resultado do trabalho. Outra dimenso que dificultava a relao entre a assessoria e os educadores era que a assessoria3 localizava-se fora da sede do projeto. Os educadores no a reconheciam como uma parte do projeto, mas como um corpo estranho que quer medir o trabalho desenvolvido. Portanto, havia tanto a resistncia ao monitoramento e avaliao prprios da cultura da avaliao quanto uma ciso entre a equipe que executava as atividades e a assessoria. Para superar essa percepo, foram necessrias uma aproximao e integrao da assessoria nas diversas atividades, bem como intensas conversas (formais e informais) reafirmando que os objetivos da avaliao no eram, de maneira alguma, de carter punitivo. So processos necessrios aprendizagem institucional e ao fortalecimento do conhecimento das alternativas e estratgias de intervenes possveis (MOKATE, 2000, p.89). Um fator que facilitou a aproximao e a interao com a equipe foi a mudana da assessoria para o ECE-BH. As interaes com a equipe de forma diria, os contatos diretos para a execuo do trabalho, o acompanhamento em eventos e atividades, bem como a permanncia no ECE-BH, fizeram com que a assessoria fosse reconhecida como parte do programa. Atualmente, monitoramos mensalmente as atividades realizadas nas oficinas, na gesto noturna, no atendimento psicossocial e no Centro de Informao Digital. Com relao s oficinas, as informaes so levantadas atravs de listas de frequncias preenchidas diariamente pelos educadores. As informaes so sistematizadas e disponibilizadas mensalmente para a equipe. Os resultados abrangem: frequncia do educando nas oficinas; tipos de oficinas frequentadas; jovens atendidos por oficina; jovens atendidos por local; jovens atendidos por educador; jovens atendidos por dia e horrio; atendimentos por oficina; atendimentos por local; atendimentos por educador. Desde a implementao do monitoramento, a qualidade dos dados vem melhorando gradativamente. Hoje os educadores j interiorizaram a importncia do correto preenchimento das listas e da entrega delas, em tempo hbil. No entanto, permanece uma dificuldade primria: os dados do monitoramento so subutilizados pela equipe tcnica. Os dados gerados nem sempre se tornam informaes teis para a tomada de deciso. Isso se deve a dois fatores: primeiramente ausncia de indicadores e tambm pluralidade da equipe, o que, s
3

At 2006 a Assessoria de Monitoramento e Avaliao desenvolvia suas atividades no Laboratrio de Pesquisa Social (LPS) da PUC Minas devido falta de infraestrutura do ECE-BH.

vezes, gera dificuldade de apropriao dessas informaes. Embora tenhamos superado a noo punitiva de monitoramento e avaliao (MOKATE, 2000; SULBRANT, 1994; BUNIVICH, 1999), ainda no otimizamos a utilizao das informaes. Para aperfeioar essa utilizao, a partir da reviso dos objetivos, realizada em setembro, construiremos as metas e indicadores para 2009. No caso da gesto noturna, as informaes levantadas so: nmero de frequentadores por grupos e atividades; atendimentos por grupo e atividades. Nesse caso, a principal dificuldade ter recurso humano suficiente para manter atualizadas as informaes sobre esse pblico indireto. A equipe reduzida e dedica-se mobilizao e articulao com os grupos culturais e esportivos do Aglomerado da Serra. O monitoramento utiliza mtodos quantitativos e passveis de comparao. Quando iniciamos o monitoramento das atividades psicossociais, esse foi o primeiro desafio encontrado pela equipe. Devido ao carter subjetivo e pontual das atividades, a equipe temia que o trabalho realizado no pudesse ser mensurado numericamente. As demandas que o Ncleo de Ateno Psicossocial (Naps) atende so jovens em situao de vulnerabilidade social, que lidam com problemas complexos e de causas multivariadas.

Um aspecto central refere-se s caractersticas dos problemas sociais e situaes as quais os programas sociais buscam equacionar. So situaes nas quais se sobrepem diversos fatores ou vetores de vulnerabilidade, todos contribuindo em maior ou menor intensidade para a produo do problema. difcil estabelecer as cadeias de causalidade. O que existe de fato um conjunto de causas imbricadas e interdependentes, sem clareza suficiente da causa dominante. (COSTA; DINIZ, 2004, p. 70).

Desse modo, o atendimento psicossocial realizado de forma subjetiva, pontual e em mdio prazo. O monitoramento precisou adequar-se a essas dimenses e a equipe do Naps (Ncleo de Ateno Psicossocial) suplantar a dificuldade de lidar com as mensuraes do atendimento. Depois de vrias conversas e adequaes na forma de levantamento essa dificuldade foi superada. Porm, a falta de disponibilidade dos educadores para o preenchimento das informaes compromete a viabilidade da entrega da informao em tempo hbil. Parte-se do seguinte pressuposto:
O sistema e o fluxo de informao devem ser guiados pela definio das necessidades de informao por parte de diferentes interessados no processo de monitoramento e avaliao. Um sistema de informao que sirva apenas ao topo da instituio deficitrio e marca um estilo autoritrio de gesto. (MOKATE apud COSTA; DINIZ, 2004, p. 87).

Alm dos entraves mencionados em cada ncleo, percebe-se uma dificuldade comum: divulgar os dados do monitoramento e avaliao para toda a equipe. Para promover o acesso s informaes, foi criado o TransparECE, informativo mensal (publicado na primeira quinzena pelo Ncleo de Comunicao e Cultura), que apresenta de forma simples e criativa os dados mensais (Oficinas, Gesto Noturna, Centro de Informao Digital, Centro de Educao de Jovens e Adultos). As avaliaes so realizadas semestralmente com os jovens sobre a sua percepo quanto oficina, educador e aprendizado. As informaes so disponibilizadas para a equipe, que discute os pontos frgeis e prope novas aes. Alm disso, feita pesquisa de imagem com os cinco pblicos (educandos, famlias dos educandos, funcionrios, grupos culturais e esportivos e comunidade) para avaliar a percepo desses pblicos com relao ao ECE-BH, avaliar eventos e atualizar o mapa dos equipamentos sociais do Aglomerado da Serra. A partir da implementao do sistema, poderemos avanar na construo de sinergia entre as informaes do monitoramento, os indicadores e as avaliaes. Assim, as informaes geradas pelo monitoramento e avaliao sero vistas como recurso gerencial de primeira linha (COSTA; DINIZ, 2004, p. 84). Segundo comprovado pela literatura, (MOKATE; RUAS; NEVES apud COSTA; DINIZ, 2004), s possvel eficincia e eficcia no programa a partir de uma gesto focada em resultados. Tais dimenses so reforadas quando o nosso objetivo promover mudanas significativas na vida das crianas e jovens atendidos, tendo como referncia a educao para valores.

3 Consideraes finais Diante dos desafios propostos por Delors e pelo ECA, principalmente os pilares da educao aprender a conhecer, aprender a fazer, aprender a viver juntos e aprender a ser acredita-se que necessrio empenhar esforos para se mensurar os resultados alcanados, atravs da construo de indicadores e avaliaes capazes de captar os impactos gerados. Em linhas gerais, o objetivo decodificar ideais intangveis em consideraes de natureza emprica e definir os indicadores, especificar as metas, apontar os sinais que permitiro verificar se os resultados foram alcanados ou no, fundamentados nos pilares da educao (COSTA; DINIZ, 2004, p. 88). Conforme mencionado acima alguns dos desafios iniciais do Monitoramento e Avaliao das atividades foram superados, no entanto, ainda h muito para se percorrer para a consolidao da gesto social no ECE-BH.

REFERNCIAS BUVINICH, Manuel Rojas. Ferramentas para o monitoramento e avaliao de projetos. Cadernos de Polticas Sociais (CSD), n 10, Braslia: 1999, Unicef, Brasil. COSTA, Carla Bronzo Ladeira Carneiro e; DINIZ, Bruno Lazarrotti. Interveno com foco em resultados: elementos para o desenho e avaliao de projetos sociais. In: FUNDAO JOO PINHEIRO. Gesto social: o que h de novo? Belo Horizonte: Fundao Joo Pinheiro, 2004. p. 70-93. MOKATE, Karen. Convertendo um monstro em aliado: avaliao como ferramenta de gerncia social. 2000. Disponvel em: <http://indes.iadb.org/main.asp>. Acesso em: 15 maio 2006. SULBRANT, Jos. Avaliao dos programas sociais: uma perspectiva crtica dos modelos usuais. In: KLIBSBERG, B. Pobreza: uma questo inadivel. Braslia: Enap, 1994. p. 365408.