Guia Metodologico para Monitoramente e AvaliacaoParticipativa 2012

Empoderando vidas. Fortalecendo naes.
GUIA METODOLGICO PARA
DE AES MUNICIPAIS
Monitoramente a Avaliao Participativa de Aes Municipais
CAPACIDADES | 3
2012. Todos dos direitos reservados Confederao Nacional de Municpios CNM e ao Programa das Naes Unidas para o Desenvolvimento Pnud/Brasil. Qualquer parte desta publicao poder ser reproduzida, desde que citada a fonte e sem fins comerciais.
Presidente da CNM:
Assistente de Projeto:
Paulo Ziulkoski
Andrea Brito Theorga

Auxiliar de Projeto:
Coordenador-Residente do Sistema ONU no Brasil e Representante-Residente do PNUD no Brasil:
Jorge Chediek
Rafhael Vaz dos Santos

Autores:
Coordenao CNM:
Elena Pacita Lois Garrido Jeconias Rosendo da Silva Jnior Moacir Luiz Rangel
Representante-Residente Assistente para Programa e Coordenadora da Unidade de Polticas Sociais e Cidadania:
Mrcia Paterno Joppert Rogrio Renato Silva

Reviso:
Keila Mariana de A. Oliveira

Design grfico:
Maristela Marques Baioni
Themaz Comunicao Ltda.
Coordenadora da Unidade de Planejamento Estratgico e Desenvolvimento de Capacidades:
Maria Celina Arraes
Coordenao de Projeto CapaCidades:
Denise Bocorny Messias Ieva Lazareviciute Joo Pedro Kaempf
Ficha Catalogrfica JOPPERT, Mrcia Paterno e SILVA, Rogrio Renato. Guia Metodolgico para Monitoramento e Avaliao Participativa de Aes Municipais / Confederao Nacional de Municpios CNM e Programa das Naes Unidas para o Desenvolvimento PNUD/Brasil Braslia: CNM/Pnud, 2012 ISBN 978-85-99129-46-3 [76 p.] 1. Monitoramento e avaliao. 2. Gesto municipal 3. Desenvolvimento de capacidades. 4. Desenvolvimento humano local. 5. Polticas pblicas integradas. I. Ttulo: Guia Metodolgico para Monitoramento e Avaliao Participativa de Aes Municipais.
Apresentao
Esta publicao fruto do trabalho conjunto de construo metodolgica entre a CNM e o PNUD (Programa das Naes Unidas para o Desenvolvimento), implementada e construda com os quatro municpios piloto do projeto CapaCidades escolhidos por processo seletivo pblico O sucesso de qualquer iniciativa depende de quatro pontos fundamentais: um plano bem construdo participativamente, o pblico beneficirio, sua implementao e controle. Para tanto, faz-se necessrio um acompanhamento de todos os processos (de incio, meio e fim) para que aquele plano, programa ou projeto, no seja apenas mais um e ainda desconhecido ou, na pior das hipteses, desacreditado, sem bons resultados para as municipalidades. O que apresentamos neste documento o resultado da experincia do Projeto CapaCidades na formao em Monitoramento & Avaliao (M&A) participativo para aes municipais, de maneira a articular conceitos tericos e prticos adaptados s suas diferentes realidades, geografias e prioridades. Num primeiro momento, abordada as nuances do desenvolvimento na perspectiva da gesto integrada, corroborando a importncia do acompanhamento contnuo e sistemtico das atividades de planos, programas ou projetos. Em seguida, tratamos da conceituao do M&A e pontuamos as relaes com aes prioritrias estabelecidas pelos municpios para s ento, nos concentrarmos em criar elementos de produo do Plano Participativo de Monitoramento & Avaliao. Politicas de desenvolvimento humano demandam esforos de todos: da gesto pblica, da sociedade civil e do setor privado. Este o esprito da promoo dos Objetivos de Desenvolvimento do Milnio (ODM) e da utilizao do ndice de Desenvolvimento Humano (IDH) como ferramentas essenciais para o desenvolvimento humano local. O PNUD acredita que estas referncias consagradas pela comunidade mundial so instrumentos importantes de Monitoramento e Avaliao de polticas pblicas.
A CNM atravs de suas reas tcnicas, tem oferecido novas alternativas para o desenvolvimento das municipalidades e, agora, inova mais uma vez, com a incluso da perspectiva do desenvolvimento humano local, mostrando que sustentabilidade se constri no dia-a-dia dos municpios, respeitando suas prxis e regionalidades, sem ignorar suas dificuldades. Queremos desejar uma boa leitura e aproveitamento das sugestes e solues que aqui esto descritas.
Embaixador Jorge Chediek, Representante Residente do PNUD e Coordenador Residente do Sistema ONU no Brasil
Paulo Ziulkoski Presidente da CNM
Sumrio
Agradecimentos ................................................................................................. 9 Para quem este guia foi escrito? ...................................................................... 10 Uma sugesto para incrementar a aprendizagem ........................................... 12 1. Gesto Integrada e Desenvolvimento .................................................... 14 2. Monitoramento e Avaliao: alguns conceitos ...................................... 16 3. Construindo um Plano Participativo de Monitoramento e Avaliao.....37 4. Consideraes finais .............................................................................. 58 Anexo I ............................................................................................................ 60 Anexo II ........................................................................................................... 64
8 | CAPACIDADES
Monitoramento e Avaliao Participativa de Aes Municipais
Agradecimentos
O material que voc tem em mos uma das produes concebidas no mbito do Projeto Fortalecimento de Capacidades para o Desenvolvimento Humano Local (FCDHL),1 parceria entre o Programa das Naes Unidas para o Desenvolvimento (Pnud)2 e a Confederao Nacional de Municpios (CNM)3. Em sua primeira fase de confeco, este material serviu de apoio didtico estratgia de formao em monitoramento e avaliao utilizada pelo Projeto. Ao longo de todo o ano de 2011, mais de 50 pessoas tomaram parte de um conjunto de oficinas com o propsito de fortalecer a cultura e as prticas de monitoramento e avaliao nos Municpios participantes do projeto-piloto: Abaetetuba/PA; Marliria/ MG, Jaguaro/RS e Barbalha/CE. Em razo dessas mltiplas participaes, englobando tcnicos do Pnud e da CNM, consultores que apoiaram as diversas fases do Projeto e, sobretudo, das dezenas de gestores, tcnicos e lideranas municipais que interagiram com este material, reconhecendo suas potncias e limitaes, e apontado caminhos que o enriquecessem, queremos agradecer intensamente a todos vocs, sem os quais este material no teria qualidade, tampouco, sentido. Mrcia Joppert e Rogrio Silva Os autores
1 2 3
Mais informaes disponveis em: <http://cdhl.cnm.org.br/>. Disponvel em: <http://www.pnud.org.br/home/>. Disponvel em: <http://www.cnm.org.br/>.
Mrcia Paterno Joppert Diretora Geral da Agncia Brasileira de Avaliao, mestre em administrao pblica pelo Instituto Universitrio de Lisboa em 2010 e engenheira civil pela Escola Politcnica da USP em 1988. Contato: marciapaterno@agenciadeavaliacao.org.br Rogrio Renato Silva Diretor de Pesquisa e Desenvolvimento da Move Avaliao e Estratgia em Desenvolvimento Social, doutor em Sade Pblica pela Universidade de So Paulo e psicanalista pelo Centro de Estudos Psicanalticos. Contato: rogerio@movesocial.com.br.
CAPACIDADES | 9
Para quem este guia foi escrito?
Este material foi produzido com a inteno de alcanar gestores, tcnicos e lideranas municipais envolvidos com a gesto de programas ou com projetos voltados ao desenvolvimento humano local municipal.4 Estejam os gestores e tcnicos em diferentes setores da administrao pblica, tais como assistncia social, sade, educao, agropecuria, turismo, habitao, administrao, finanas, entre outros, este guia procura articular conceitos tericos, ferramentas de gesto e tcnicas de trabalho da forma mais clara e til possvel, visando a estabelecer ou fortalecer as prticas de avaliao e monitoramento. Da mesma forma, sejam as lideranas locais pertencentes ao setor empresarial, sejam do campo das organizaes no governamentais, ou dos poderes Legislativo e Judicirio, este material procura apresentar casos e trazer sugestes que favoream o amplo envolvimento da sociedade civil na vida dos Municpios, em particular o envolvimento dos cidados no monitoramento e na avaliao das polticas, dos programas e dos projetos comprometidos a produzir as transformaes sociais prioritrias para o Brasil, como as representadas nos Objetivos de Desenvolvimento do Milnio,5 a saber: a) erradicar a fome e a misria; b) garantir educao bsica de qualidade par todos; c) garantir igualdade entre os sexos e valorizao da mulher; d) reduzir ao mnimo a mortalidade infantil; e) melhorar a sade das gestantes; f) combater a Aids, a malria e outras doenas; g) garantir qualidade de vida e
Desenvolvimento Humano Local: Um processo de expanso das reais liberdades das pessoas e seu empoderamento como agentes ativos de desenvolvimento equitativo e de longo prazo no local onde vivem, atuando, ao mesmo tempo, como beneficirias e agentes, tanto em nvel individual como coletivo. o desenvolvimento das pessoas, alcanado pelas pessoas para as pessoas, no local onde vivem. 5 Saiba mais sobre os Objetivos de Desenvolvimento do Milnio em: <http://www.objetivosdomilenio.org.br/>. E acompanhe as metas em seu Municpio pelo site: <http://www.portalodm.com.br/>.
4
10 | CAPACIDADES
respeito ao meio ambiente; e h) agregando todos os cidados nos trabalhos em prol do desenvolvimento. Em funo da diversidade de atores compreendida nas aes de desenvolvimento humano local, premissa com a qual atuam o Pnud e a CNM, procuramos fazer deste guia um material de fcil manuseio, entendimento e uso, evitando os textos mais densos ou complexos e buscando trabalhar com boas histrias capazes de inserir o leitor em sua prpria realidade e engaj-lo em um processo de aprendizagem sensvel e eficaz. Nesse sentido, o guia que voc tem em mos pode ser um importante material de apoio para o fortalecimento da cultura e para o aprimoramento das prticas de monitoramento e avaliao em seu Municpio, em especial o passo a passo apresentado no captulo 3, seguindo os princpios de gesto integrada e levando em conta os objetivos de desenvolvimento humano. Como auxiliar de um processo de aprendizagem, o guia ganhar mais fora medida que for estudado e discutido entre os diferentes atores envolvidos na realizao de um projeto. Mais ainda, o guia ter tanto mais fora quanto mais for utilizado como inspirador de aes concretas de monitoramento e avaliao. Sem a experincia do fazer, a aprendizagem que aqui nos propomos a apoiar pode ficar bastante enfraquecida.
CAPACIDADES | 11
Uma sugesto para incrementar a aprendizagem
Ainda que este guia seja um material passvel de leitura e uso individual, as experincias mostram que sua relevncia pode ser bastante ampliada quando tomado como material base para uma estratgia de Formao em Servio. Ou seja, se h um grupo de pessoas interessadas em avaliar determinado projeto, programa ou poltica, este guia poder auxiliar o grupo a estudar e praticar junto, ampliando coletivamente sua capacidade de realizar monitoramento e avaliao. Orientaes fundamentais Rena um grupo interessado em aprender sobre monitoramento e avaliao. Escolham juntos um mesmo objeto (projeto, programa ou poltica) para avaliar. fundamental que o grupo sinta-se interessado e motivado pelo objeto escolhido. Distribuam o guia para os participantes, para que cada pessoa faa sua leitura, registre suas dvidas e descobertas. Tenham uma primeira sesso do grupo em torno da tarefa de trocar as impresses sobre o guia, explorando as dvidas, relendo os trechos, analisando as histrias e procurando apontar as principais aprendizagens do grupo, bem como os principais desafios para se realizar monitoramento e avaliao. Nas sesses seguintes de trabalho do grupo, passem a trabalhar as sugestes metodolgicas apresentadas nos captulos 2 e
12 | CAPACIDADES
3 deste guia para construir o plano de monitoramento ou plano de avaliao. Definam um nmero especfico e limitado de reunies, distribuam as tarefas entre os participantes e reservem sempre um tempo para avaliar o processo de trabalho no grupo, a cada sesso. No parem por a: mergulhem na produo de conhecimento e coloquem as aes de monitoramento e avaliao em prtica. Mesmo tmida no incio, as aes vo sendo aperfeioadas medida que o grupo amadurece e aprende. No deixem de comunicar os resultados do trabalho. Isso os ajuda a ganhar fora!
CAPACIDADES | 13
1. Gesto Integrada e Desenvolvimento
O Municpio o local para onde convergem as polticas da Unio, dos Estados e do prprio Municpio; nele que os diversos atores da sociedade realizam suas misses e operam suas relaes, conformando um ambiente de extrema complexidade. Um dos fatores valorizados pelo conceito de desenvolvimento humano local justamente a integrao entre as polticas e seus atores, apontando a necessidade de interconexo das aes para responder aos dilemas complexos da realidade. Ao buscar a convergncia de tantos fatores e atores, o conceito de Gesto Integrada ganha relevncia, mas tambm evoca muitos desafios. Tentamos explicitar a seguir certas dimenses que merecem ateno central. Governana essa dimenso est associada ao nvel de engajamento de toda a sociedade nos processos de formulao, implementao e avaliao das polticas locais. Enquanto o poder pblico tem o dever de garantir a boa aplicao dos recursos e promover direitos, a sociedade civil complementa este papel, advogando por causas especficas. Por sua vez, o setor privado deve cumprir o seu papel de provedor de bens e servios. Ao papel de formulao e implementao de polticas, desempenhado principalmente pelo setor pblico, soma-se o de regulador e articulador das diversas organizaes presentes no territrio. Intersetorialidade o territrio reflete as aes de diversos setores, que devem ser geridas tambm de forma integrada. E vrios desses setores podem ser considerados transversais em um determinado territrio, como o
14 | CAPACIDADES
turismo, que envolve aes de infraestrutura, capacitao profissional, educao, saneamento, servios de transporte, hospedagem e alimentao, meio ambiente, saneamento, segurana e at sade. Gesto de redes esta terceira dimenso demonstra como os desafios locais so cada vez mais globais. Ao buscar solues para as questes municipais, fundamental considerar dinmicas estaduais, nacionais, regionais e at internacionais. Conceber a sociedade como essa constelao multicntrica exige uma gesto em redes que conecta diferentes atores, vinculados entre si a partir de objetivos comuns e de uma dinmica gerencial compatvel. Mais do que um instrumento gerencial, trata-se da construo de relaes de confiana, baseadas na reciprocidade, que amplia a disseminao da informao e a otimizao dos recursos dentro de competncias legtimas. Gesto por resultados esta ltima dimenso enfatiza a necessidade de alinhar os objetivos a serem alcanados (viso) com a realidade da implementao de polticas. A integrao, nesse caso, significa conectar os diferentes insumos e processos de modo a alcanar os produtos esperados. Um conjunto de estratgias deve ser definido para alcanar mxima eficcia (conseguir cumprir metas), eficincia (usar recursos da melhor forma possvel) e efetividade (alcanar as transformaes desejadas). As prticas de monitoramento e avaliao tornam-se aqui fundamentais, apoiando os processos de coordenao setoriais, entre atores, bem como garantindo os atributos de desempenho quanto eficcia, eficincia e efetividade da gesto integrada.
CAPACIDADES | 15
2. Monitoramento e Avaliao: alguns conceitos
As organizaes nas quais trabalhamos tm muitos papis e obrigaes a cumprir. No caso das instituies governamentais, cabe a elas a importante tarefa de definir polticas e prioridades para determinado territrio, fazer cumprir os direitos e os deveres, priorizar as aes, garantindo o princpio da equidade, usar os recursos pblicos com responsabilidade e transparncia, entre vrias outras coisas que tornam o ato de governar um desafio cada vez maior. No caso das empresas, preciso fazer produtos e prestar servios que atendam s demandas do mercado e remunerem adequadamente seus scios e acionistas, assim como preciso cumprir as leis e atuar de forma cada vez mais responsvel junto sociedade. Para as organizaes da sociedade civil, que tm se tornado parceiras importantes dos governos nos ltimos anos, os papis so muitos. Seja na cooperao ou no combate, na prestao de um servio ou na luta por uma causa ou um direito social fundamental, espera-se que essas organizaes participem ativamente do desenvolvimento da sociedade. Em cada um desses casos, h vrias maneiras de cumprir essas misses. Ainda que, para alguns, as atividades de gesto possam ser resumidas a decises autoritrias nenhum compromisso pblico e descompromisso tcnico , para outros, a gesto uma prtica sria e responsvel, que precisa sinalizar com transparncia seus objetivos, os recursos que utiliza e, sobretudo, os resultados alcanados. Como temos aprendido no vigoroso processo democrtico brasileiro, os modelos mais responsveis de gesto partem do princpio de que
16 | CAPACIDADES
cada sujeito tem o direito de saber e influenciar as decises que possam ter impacto em sua vida. Cada cidado pode participar com voz e voto e, dessa maneira interferir na gesto da escola de seus filhos, do centro de sade de seu bairro, na economia de sua cidade, nas prioridades do oramento municipal, e assim por diante. Por isso afirmamos que a participao ativa e o exerccio firme da democracia tornam-se mais robustos e eficazes quando a sociedade dispe de espao poltico e de mecanismos para acompanhar as aes pblicas, para monitor-las e avali-las. Que resultados foram alcanados? O recurso pblico arrecadado nos impostos foi bem utilizado? A populao est tendo seus direitos garantidos? Por que as crianas esto sem professores na escola? Porque o agendamento de uma consulta no ambulatrio leva tanto tempo? Se voc tem vontade de responder a perguntas assim sobre seu Municpio, se voc j se viu pensando sobre isso ou debatendo em sua empresa, setor ou organizao este tipo de pergunta, seja bem-vindo s prticas de monitoramento e avaliao. Elas so um convite ao dilogo entre os diferentes atores componentes do ambiente democrtico. Monitorar e avaliar so maneiras de aprender coletivamente e, em ltima instncia, de favorecer o desenvolvimento de cada cidado e da sociedade como um todo. O que monitorar? bem provvel que cada um de ns j tenha vivido situaes onde foi necessrio usar conceitos de monitoramento. Quem j no enfrentou uma febre, por exemplo? Nesses casos, sabemos que quando o termmetro acusa uma temperatura superior a 37oC, a pessoa est com febre. Nesses momentos, antes de apelar para os antitrmicos, pode ser que tomemos a deciso de medir a temperatura a cada meia hora, para saber se a febre est diminuindo, se permanece igual, ou se est aumentando.
CAPACIDADES | 17
Considerando que a febre indica um problema, seja uma intoxicao ou uma infeco, seu aumento pode nos ajudar a decidir ir at o centro de sade mais prximo, por exemplo. Se a febre estvel e no muito elevada, talvez optemos por um banho morno e por esperar mais algum tempo. Caso ela esteja menor, bastar esperar at que desaparea, sem grandes alarmes. Monitorar realizar uma observao criteriosa (medir a temperatura de tempos em tempos) de algo que est ocorrendo e comparar os resultados com aquilo que entendemos como limite ou expectativa. Tomando outros exemplos, quando um motorista olha para o ponteiro de combustvel de seu carro, ele pode decidir viajar um pouco mais ou parar no prximo posto. J no caso de uma papelaria, se o proprietrio observa que as vendas esperadas para o ms ainda esto muito baixas, os estoques no baixaram e o faturamento menor do que o esperado, ele pode decidir realizar uma ao para mudar isso, com propagandas no rdio, distribuio de panfletos na porta das escolas ou mesmo uma promoo de preos ou sorteio de brindes para os consumidores. Na lavoura, depois de semear o milho, monitoramos as chuvas para saber se ser necessrio entrar ou no com irrigao ou alguma outra medida que garanta uma boa colheita. Monitorar acompanhar algo para saber se seu desenvolvimento ou crescimento est se dando conforme esperado. Trata-se de uma ao de cuidado. O que se monitora? Vrias coisas podem ser alvo de monitoramento, como percebemos nos exemplos anteriores. No caso de projetos, programas e polticas pblicas, o que costuma ser objeto de monitoramento o conjunto de metas estabelecidas em um plano de ao ou outro instrumento de planejamento. O monitoramento a prtica que permite a um gestor ou a um grupo interessado perceber se aquilo que foi planejado est sendo realizado, est alcanando os resultados esperados e est contribuindo para as transformaes desejadas.
18 | CAPACIDADES
Quando ressaltamos os planos de ao e as metas como objetos de monitoramento, destacamos tambm a sua importncia como um conjunto de compromissos entre diferentes atores que participam da vida de um Municpio e que tiveram participao ou interferncia neste planejamento. O compromisso pressupe objetivos de trabalho e, sobretudo, resultados a serem alcanados para que a escolaridade, o recolhimento dos resduos slidos, o pr-natal, a produo agrcola ou o turismo sustentvel possam melhorar e, assim, resultar em mudanas na vida de cada cidado. Como as mudanas exigem tempo e, em geral, se do em etapas bem definidas, com investimentos contnuos e avanos passo a passo, as prticas de monitoramento so fundamentais para que os compromissos sejam alcanados, para que as etapas sejam realizadas e os investimentos sejam garantidos. Nesse sentido, quanto mais qualidade h nas prticas de monitoramento, maiores so as chances de sucesso no Municpio.
Certa vez, uma organizao no governamental conseguiu importantes recursos financeiros de uma empresa da rea de minerao para melhorar a qualidade das escolas de um pequeno Municpio do interior do Esprito Santo. As aes foram planejadas com entusiasmo e consistiam na formao de 50 educadoras da Rede Municipal de Ensino para trabalhar a leitura e a escrita das crianas de forma mais efetiva. Parte do projeto inclua atividades de formao a distncia com os professores, que receberiam ttulos de especialista em educao por uma universidade capixaba. Trs meses depois de a formao ter comeado, os coordenadores do Projeto perceberam que 30% das educadoras estavam ausentes da formao e que o clima entre os participantes era de completo desnimo. Ao perceber esses
CAPACIDADES | 19
problemas, em razo de monitorar a frequncia aos mdulos da formao e as fichas de opinio preenchidas pelas professoras, o projeto descobriu algumas falhas e conseguiu se reorganizar. Alguns diretores no apoiavam a formao e no liberavam as professoras para as atividades. Havia ainda problemas de acesso Internet na cidade, e muitas professoras no conseguiam realizar os exerccios, frustrando suas expectativas. As diretoras participaram, ento, de cuidadosas conversas com a secretria de educao, compreendendo a importncia da formao e passando a apoiar as educadoras. Algumas delas tambm ganharam o direito de fazer o curso. Quanto ao acesso Internet, houve uma nova doao de recursos por parte do financiador e um novo servio de acesso internet via rdio foi implantado em convnio com uma empresa de telefonia local. O cronograma foi reajustado e o curso foi reiniciado a todo vapor. Trs anos depois, o Municpio foi premiado pelo MEC em razo do salto de qualidade na educao das crianas, medido pela Prova Brasil.
Para que se monitora? Com o risco de ser repetitivos, queremos reafirmar que as aes de monitoramento so aquelas realizadas ao longo de uma iniciativa (projeto, programa, plano ou poltica),6 a fim de que, com as suas informaes, decises possam ser tomadas sobre o futuro da iniciativa, corrigindo rumos, fortalecendo boas prticas, reconhecendo avanos etc. Quanto mais observamos
Ao longo do texto procuramos utilizar a palavra iniciativa como conceito intercambivel por Projeto, Programa, Plano ou Poltica. Esta escolha tende a favorecer a leitura, ainda que as definies de cada um desses conceitos meream discusso especfica, por no se tratar de sinnimos.
20 | CAPACIDADES
e acompanhamos as aes com qualidade, produzindo informaes precisas e detalhadas sobre elas, com intenes de produzir superaes e melhorias, mais somos capazes de tomar decises para aprimorar seu desenvolvimento. Monitoramos porque isso nos traz possibilidades incrveis de aprender com a experincia, de descobrir como as coisas funcionam, o que d certo e o que no d certo, o que vai bem e mal, o que tem sucesso e aquilo que falha. Monitoramos para favorecer, corrigir e evitar erros, desvios e desperdcio. Monitorar serve ainda para dar transparncia aos processos, permitindo, por exemplo, que outros cidados e outros atores interessados saibam o que est acontecendo em uma determinada iniciativa.
Um exemplo marcante da falta de monitoramento advm dos Planos Diretores Municipais. Com a publicao do Estatuto das Cidades, orientao poltico-jurdica fundamental para os Municpios brasileiros, muitos investiram na elaborao de seus Planos Diretores, inclusive de forma participativa. Em diversos casos. No entanto, em razo de a implantao dos Planos Diretores no estar acompanhada de boas estratgias de monitoramento, muitos planos acabam engavetados, frustrando expectativas e impedindo que os Municpios possam avanar em temas cruciais para seu desenvolvimento, como zoneamento urbano, regularizao fundiria e proteo ambiental.
Como se monitora? Existem diversas maneiras de se fazer monitoramento e, nesse sentido, muitas ferramentas a se utilizar. A escolha dos melhores instrumentos depender muito da realidade particular de cada grupo. Contudo, importan-
CAPACIDADES | 21
te saber que qualquer processo de monitoramento comea com o desejo de conhecer e melhorar, enxergar acertos e erros, com abertura para corrigir as coisas e dar transparncia ao que pblico. Sem desejo, disposio e abertura, principalmente por parte dos gestores responsveis pelos projetos, no haver ferramenta capaz de sustentar um bom processo de monitoramento. Em linhas gerais, alguns passos podem ser dados para que um processo de monitoramento seja realizado. E claro que, ao falar de monitoramento, estamos supondo que um Plano de Trabalho, um Plano de Ao ou um Plano de Atividades foi construdo de forma cuidadosa, apontando objetivos e resultados esperados, estratgias e operaes, seguindo determinado modelo de planejamento. O quadro a seguir ilustra estes passos fundamentais, para que, depois, um exemplo, baseado em um Projeto de Eletrificao Rural, possa ajudar a enxergar um processo de monitoramento sendo construdo. Quadro 1: Passos metodolgicos e Perguntas orientadoras
Passos metodolgicos Definir o objeto de monitoramento Definir o propsito do monitoramento Definir que perguntas se quer responder Definir como coletar informaes Definir como analisar as informaes Definir para quem e como comunicar Definir maneiras de usar as informaes Perguntas orientadoras O que vai ser monitorado? Com que finalidade se ir monitorar? Que aspectos da iniciativa precisamos conhecer melhor e investigar? Como vamos obter e coletar essas informaes? Como analisar as informaes coletadas? Para quem e como vamos comunicar os resultados das anlises? Que decises sero tomadas com base no que foi descoberto?
22 | CAPACIDADES
Um Projeto de Eletrificao Rural Os membros do Conselho de Desenvolvimento Local que acompanham os projetos que influenciam a qualidade de vida de um Municpio brasileiro chegaram s seguintes definies sobre como monitorar um Projeto de Eletrificao Rural.
Etapas Metodolgicas O que vai ser monitorado? Com que finalidade se ir monitorar?
Plano de Monitoramento Um projeto de eletrificao rural que estamos implantando na zona rural do Municpio em 2011 e que ser executado por uma empresa terceirizada. Para saber se as metas planejadas esto sendo cumpridas, identificar obstculos e corrigir problemas, a fim de garantir os resultados prometidos pelo projeto. a) o cronograma financeiro, para saber em que medida os recursos esto sendo gastos de acordo com ele; b) o cronograma fsico de instalao de postes e de ligaes domiciliares, para acompanhar o processo de cabeamento e de ligaes domiciliares; c) verificao da instalao de postes; d) os prazos previstos e se as etapas do Projeto sero concludas nas datas previstas; e) a opinio da populao da rea rural sobre a qualidade do que est sendo feito. a) relatrios da secretaria de finanas de Municpio; b) relatrios de atividades da empresa terceirizada; c) relatrios da concessionria de energia eltrica; d) entrevistas com moradores da regio beneficiada; e) relatrios das visitas ao local de instalao.
Que aspectos do projeto precisamos conhecer melhor e investigar?
Como ser possvel coletar as informaes?
CAPACIDADES | 23
Etapas Metodolgicas Como analisar as informaes coletadas?
Plano de Monitoramento Por meio de comparaes entre o planejado e o observado, procurando explicar o porqu dos alcances e dos no alcances e sugerindo caminhos para recuperar os desvios e os atrasos. Para os responsveis pelo Projeto, com informaes mais tcnicas, e para a populao beneficiada, por meio de audincias pblicas na Cmara Municipal, a cada 60 dias, para apresentao das informaes atualizadas sobre alcances e no alcances e que medidas esto sendo tomadas a respeito. A partir das audincias, responsveis pelo Projeto e executores pactuam ajustes e os realizam, enviando relatrios peridicos para a Cmara Municipal.
Para quem e como comunicar os resultados?
Que decises sero tomadas com base no monitoramento?
No exemplo anterior, reparemos que a equipe responsvel pelo monitoramento decidiu tanto solicitar os cronogramas financeiro e fsico do projeto, quanto ir a campo para verificar a instalao dos postes e para conversar com a comunidade e saber em que medida as ligaes de energia eltrica esto sendo feitas e que qualidade tem tido o servio de abastecimento de energia. Como afirmado anteriormente, o projeto original de eletrificao rural estabelecia metas de instalao e ligao, metas de fornecimento de energia e alguns padres de qualidade para o abastecimento, entre outras coisas. So essas metas que sero tomadas pela equipe de monitoramento como compromisso a ser verificado, constatado, demonstrado publicamente e, se for o caso, utilizado para corrigir o projeto.
24 | CAPACIDADES
Agora que j apresentamos as definies gerais sobre monitoramento, vamos falar um pouco sobre avaliao. A ideia diferenciar os dois conceitos e, dessa maneira, permitir que sua complementaridade seja reconhecida e trabalhada na prtica. O que avaliao? Vamos agora abordar outras possibilidades de conhecer e acompanhar nossas iniciativas, avanando do conceito de monitoramento para o de avaliao. Neste guia, queremos tratar monitoramento e avaliao como prticas complementares e interdependentes no ciclo de gesto de um projeto, programa ou poltica. Prticas capazes de ampliar a relevncia das iniciativas, contribuindo para que as transformaes sociais desejadas sejam alcanadas. Enquanto um projeto est sendo formulado, procuramos estar atentos aos seus propsitos (objetivos), a seus resultados esperados, s suas estratgias e programao (a forma como as coisas sero feitas e quando). Prestar ateno nesses elementos nos ajuda a conceber aes nas quais temos confiana, e que tenham o potencial de provocar as transformaes desejadas. Se no desenvolvimento das iniciativas cabe ao monitoramento seguir atenta e detalhadamente as metas estabelecidas e a maneira como a programao executada, espera-se que as prticas de avaliao sejam capazes de analisar as mesmas iniciativas de maneira mais profunda e sistmica, auxiliando um determinado grupo a produzir julgamentos criteriosos e a fazer escolhas que podem influenciar no apenas a iniciativa em questo, mas muitos outros aspectos. A figura a seguir pretende mostrar as principais etapas do que costumamos chamar ciclo de vida de uma iniciativa, podendo ser aplicada a diferentes objetos. Uma primeira etapa, denominada diagnstico, destina-se a conhecer a realidade sobre a qual se deseja incidir, intervir ou trabalhar. Como voc j sabe, o diagnstico pode ser feito de diversas maneiras, seja
CAPACIDADES | 25
tendo como base indicadores publicados por rgos de pesquisa e estatstica, tais como o Instituto Brasileiro de Geografia e Estatstica (IBGE) ou o Instituto de Pesquisa Econmica Aplicada (Ipea), seja por meio da construo comunitria de mapas que localizem os principais problemas e os possveis recursos para solucion-los. Os estudos diagnsticos costumam ser bases importantes para a elaborao de planejamentos estratgicos e, em particular, para o preparo de Planos de Ao. Os Planos so os dispositivos que definem, de maneira mais tangvel e detalhada, o conjunto de aes que sero realizadas a fim de produzir as mudanas desejadas e necessrias. Os planos exprimem compromissos e responsabilidades de diferentes atores e sinalizam populao o qu, quando, quem e com que recursos as aes sero realizadas. Com o Plano elaborado e as aes sendo implementadas e executadas, passamos a realizar monitoramento, ou seja, a acompanhar a realizao daquilo que est prometido. J em momentos pontuais da implementao, ou ao final da iniciativa, quando se costuma realizar avaliaes. Elas so investigaes mais profundas sobre o que foi feito e, sobretudo, sobre os seus resultados. A ideia de ciclo quer nos ajudar a pensar as iniciativas em seus diferentes momentos, reconhecendo as nfases que so esperadas em cada um deles. Figura 1: monitoramento e avaliao no ciclo de uma iniciativa
26 | CAPACIDADES
Sabemos que esta diferenciao entre monitoramento e avaliao no bvia, tampouco consensual entre muitos dos especialistas, instituies e escolas de planejamento e avaliao. De toda forma, queremos valorizar um atributo como forma de diferenciar. Enquanto o monitoramento opera de maneira permanente ao longo de uma iniciativa e tem como foco o alcance das metas preestabelecidas e o desenvolvimento da programao (etapas, cronogramas, desembolsos etc.), a avaliao ir operar de forma mais pontual, em momentos especficos, procurando investigar questes previstas e imprevistas, dentro e fora da iniciativa, com a inteno de alcanar uma anlise mais ampla e sistmica dos vrios elementos que influenciam o desenvolvimento de um projeto, programa ou poltica. Essa amplitude que associamos ao conceito de avaliao responsvel pelo desenvolvimento de diversos modelos e abordagens avaliativas, que daro avaliao orientaes bastante diferentes: do enlogo ao patologista, dos consumidores aos promotores, dos professores aos membros de uma banca de concurso pblico, do psiclogo ao responsvel pelos recursos humanos de uma empresa, dos consultores de determinada organizao multilateral aos membros do Poder Legislativo, todos tero maneiras particulares de definir e realizar avaliaes, demonstrando a fora dessa prtica e a dificuldade de traduzir avaliao em poucas palavras. Considerando as iniciativas municipais voltadas a influenciar o desenvolvimento humano, compreendemos que avaliar implica o ato de medir, descrever e julgar o valor de determinada iniciativa, com vistas a produzir aprendizagens a seu respeito e decidir sobre seu futuro. Colocando de maneira mais detalhada, avaliar implica o uso de critrios consistentes e explcitos para medir, descrever e julgar o valor de uma iniciativa, ou seja, sua relevncia, efetividade,7 eficincia8 e sustentabilidade, com vistas a produzir
7 8
Alcanar as mudanas ou transformaes desejadas e almejadas por uma iniciativa. Obter o melhor desempenho ao menor custo possvel para uma iniciativa.
CAPACIDADES | 27
aprendizagens para os interessados diretos e para a sociedade em geral, bem como apoiar decises a respeito da continuidade, interrupo, fortalecimento ou substituio da iniciativa. Quando evocamos a ideia de julgamento de valor, queremos abrir possibilidades de que os resultados de uma iniciativa possam ser mensurados segundo dimenses sociais, econmicas, ambientais, institucionais, polticas e subjetivas, ou seja, dimenses que influenciam e so influenciadas pelas iniciativas e que compem o que se define como desenvolvimento humano local. O julgamento e as aprendizagens produzidas a partir desses critrios podero favorecer o potencial das iniciativas de influir positivamente no desenvolvimento humano em um territrio. Vejamos o caso a seguir como ilustrativo de um processo de avaliao.
Na Secretaria de Assistncia Social de um dado Municpio, a questo dos abrigos sempre foi tema polmico. Pouco investimento, muita crtica, presses da vara da infncia e das ONGs9 e a necessidade de garantir os direitos de vinte duas crianas menores de sete anos, ali abrigadas. Depois de muita negociao entre a prefeitura e o CMDCA,10 um Programa de Fortalecimento dos Abrigos (Abraa) foi criado. Como estratgias centrais, o Programa previa: a) novos investimentos em obras de melhoria da estrutura dos abrigos j existentes por meio dos convnios com a prefeitura; b) mais recursos para pagamento de pessoal; c) aes de formao de cuidadores em parceria com a Universidade Local; d) profissionalizao dos
9 10
Organizao No Governamental. Conselho Municipal dos Direitos da Criana e do Adolescente.
28 | CAPACIDADES
gestores; e e) incentivo a atividades colaborativas com os outros atores locais diretamente relacionados garantia de direitos das crianas. Dois anos depois da implantao do Abraa, o CMDCA e a Vara da Infncia exigiram que uma avaliao criteriosa fosse realizada para responder a algumas perguntas: Em que medida as aes realizadas para reduzir o tempo de permanncia das crianas nos abrigos tm sido eficazes? Que mudanas so percebidas na forma de trabalhar dos cuidadores e educadores, depois das atividades de formao? Que mudanas foram produzidas na gesto dos abrigos depois do Abraa? Em que medida as prticas socioeducativas desenvolvidas nos abrigos tm apoiado a plena insero das crianas na sociedade? Que novas alianas ou prticas colaborativas nasceram e se sustentam entre os abrigos e os demais atores do Sistema de Garantia dos Direitos da Criana e do Adolescente? Depois de dois meses de entrevistas, leituras e conversas, os resultados apareceram, e o Programa Abraa foi estendido por mais dois anos, com nfase na formao dos cuidadores e na realizao de campanhas que esclarecessem a populao sobre os processos de adoo e o papel dos abrigos no Municpio.
O que se avalia em uma iniciativa? Muitas coisas podem ser avaliadas em uma iniciativa (projeto, programa, plano ou poltica). Essa escolha de foco depender principalmente do interesse dos atores que se relacionam iniciativa avaliada. Por isso, fundamental que estejamos preparados para saber definir quem so esses atores. Em linhas gerais, so aquelas pessoas e organizaes que possuem relaes
CAPACIDADES | 29
diretas com o projeto, programa ou poltica em questo, que podem ser positiva ou negativamente afetados por eles, que os financiam ou os apoiam tecnicamente e que so capazes de influenciar sua sustentabilidade. No caso apresentado anteriormente, eram atores interessados no Programa Abraa: os membros do CMDCA local, os gestores e os profissionais dos abrigos, a Secretaria de Assistncia Social, a universidade e a imprensa local e as prprias crianas em situao de abrigo, bem como suas famlias. Vejamos que neste grupo h atores com diferentes capacidades de influenciar o Programa, ou atores passveis de serem influenciados por ele. Entre esses atores, h pessoas a serem ouvidas em um processo de avaliao, bem como pessoas que tomariam decises a partir de seus resultados. Para cada projeto, programa ou poltica, necessrio que os atores interessados sejam identificados para que o processo de avaliao possa ser realizado. Mais adiante retomaremos essa questo. Retornando a O que avaliar?, podemos afirmar que, a partir da identificao dos atores envolvidos, toda boa avaliao comea com boas perguntas. As perguntas so pontos de partida, guias de processo e chaves capazes de abrir cuidadosamente as portas e as janelas para o ato de investigao e conhecimento representado por uma avaliao. As perguntas mostram o desejo de descoberta, os pontos que precisam ser esclarecidos e as supostas verdades que precisam ser questionadas. Como no exemplo anterior, as perguntas so especficas para o Programa Abraa e serviro para responder aos pblicos nele interessados. Toda vez que importamos perguntas de um projeto para outro, corremos o risco de avaliar o que no interessa a ningum. Da mesma forma, se as perguntas so construdas com pouca reflexo e com pouca participao, podem tambm resultar em uma avaliao sem sentido.
30 | CAPACIDADES
H mtodos consagrados para fazer avaliao? Toda vez que fazemos avaliao, estamos em busca de estabelecer relaes entre as coisas, sobretudo relaes de causa e efeito. A residem boas oportunidades, mas tambm algumas armadilhas para olhar para o mundo das iniciativas que esto sob nosso olhar neste guia. Usemos algumas imagens e teorias para pensar sobre isso. Quando estamos segurando um copo cheio dgua e o levando a algum que tem sede, evitamos virar este copo ou mesmo soltar as mos dele. Sabemos que, quando soltamos um copo, ele cai no cho e que, quando tombamos o copo, a gua derramada. E sabemos isso tanto porque nossa prpria experincia nos confirma esta regra, quanto porque conhecemos a Lei da Gravidade. Uma lei universal que opera em nosso cotidiano, sobre a qual no temos influncia. Entre a causa (tombar o copo) e o efeito (derramar a gua), sabemos que opera uma lei natural que implica uma relao causal. Quando estamos no campo das polticas pblicas ou das relaes humanas, muito provvel que no sejamos capazes de reconhecer todo o conjunto de regras que regem os acordos, as promessas, as expectativas e os segredos, e assim por diante. Portanto, causas (aes) e efeitos desejados (resultados) nem sempre esto diretamente relacionados, muitas vezes possuem mecanismos complexos de entendimento e algumas vezes podem at operar de forma contraditria, com efeitos contrrios ao esperado sendo produzidos por uma ao. Um exemplo de relaes contraditrias encontra-se em uma escola que participou de determinado Programa de Melhoria da Gesto. Em funo de como os professores tomaram os contedos que estudaram e assumiram os resultados que deveriam alcanar, passaram a adotar mecanismos bastante rgidos para melhorar as notas dos alunos nas avaliaes estaduais e nacionais. Sentindo-se ameaados e pressionados pelos professores, os alunos comeam a estudar menos, a colar nas provas mensais, a faltar nas aulas e nos plantes
CAPACIDADES | 31
de reforo escolar e a entrar em atrito com os professores, o que prejudica ainda mais a aprendizagem e apresenta influncia negativa no desempenho dos alunos nas avaliaes estaduais e nacionais. No campo social, ainda que muitas vezes queiramos estabelecer relaes causais entre as coisas, os caminhos costumam ser bastante desafiadores e diferentes daqueles utilizados nas cincias naturais. Para cada lei fsica universal que os fsicos descobrem e nos apresentam, como a Lei da Gravidade, somos capazes de descobrir centenas de leis no fsicas, particulares a cada contexto organizacional ou comunitrio. Ainda assim, comum nos depararmos com modelos de avaliao cuja linguagem mais se aproxima dos chamados mtodos experimentais, oriundos das pesquisas no campo das cincias naturais. Tais mtodos consistem basicamente na comparao entre grupos semelhantes que recebem (experimentam) e no recebem (no experimentam) a interveno, a fim de se isolar a causa e relacion-la aos efeitos. como se um Municpio X recebesse um Projeto de Transferncia de Renda, e uma avaliao de resultados o comparasse a um Municpio Y, que no recebe o mesmo Projeto de Transferncia de Renda. Os mtodos experimentais utilizam ento tcnicas quantitativas bastante avanadas para comparar os resultados. Vejamos outro exemplo: na Figura 2, a seguir, uma populao de pessoas que sofre constantemente de fortes dores de cabea convidada para participar do teste de um novo medicamento. Alm das dores de cabea, essas pessoas so selecionadas por possurem determinadas caractersticas semelhantes, tais como faixa etria, etnia, padres de alimentao, hbitos esportivos e ocupao profissional. Divididas em dois grupos de igual tamanho, em um deles os participantes recebem de-
32 | CAPACIDADES
terminada dose do Remdio A, um analgsico. Enquanto isso, o grupo 2 no recebe o Remdio A. Imaginemos ento que no grupo 1 os usurios relatem reduo das dores de cabea em um percentual maior do que os usurios do grupo 2, que no utilizou o medicamento. Figura 2: exemPlo de anlise utilizando modelo exPerimental
Imaginemos, ento, que alguns testes matemticos mostrem que os resultados do grupo 1 so realmente maiores que os do grupo 2, atestando que o Remdio A tem efeitos benficos para o grupo 1, em comparao ao grupo 2, que no usou Remdio. Aqui teramos boas chances de dizer que o uso do Remdio A contribui fortemente para a melhoria das dores de cabea. Grosso modo, assim podemos exemplificar a lgica dos estudos experimentais, ainda que vrios tipos de combinaes diferentes dessa aqui ilustrada sejam possveis. Mesmo que estudos dessa natureza sejam feitos em algumas situaes sociais, sabemos que muitas vezes invivel realizar tais comparaes. Isolar populaes, equivaler grupos, realizar testes estatsticos complexos, definir grupos para testar uma nova poltica, quando todos precisam ter acesso a um direito bsico, so muitas vezes tarefas poltica e financeiramente inviveis. Por isso, costumamos utilizar outras maneiras para identificar a causalidade nas aes sociais, para comparar pontos de partida e de chegada
CAPACIDADES | 33
e para reunir elementos que ajudem a produzir aprendizagem e deciso. Vejamos uma dessas possibilidades. Muitas vezes, quando queremos comparar um ponto de partida com um ponto de chegada, ou seja, quando queremos saber se determinada iniciativa mudou a realidade, depois de realizada, podemos usar os chamados estudos comparativos. Para sua realizao, esses estudos podem se beneficiar muito de critrios que possam ser comparados ao longo do tempo, havendo um antes e um depois ou, como definem alguns autores, um ex-ante e um ex-post. Para estabelecer a base de comparao, usamos os chamados estudos de Linha de Base. Esses estudos consistem no uso de critrios claros para definir como a realidade que receber a iniciativa. Se trabalhamos com um Programa de Incentivo ao Emprego Formal em um dado Municpio, pode ser importante que o estudo de linha de base nos aponte que ao incio do Programa havia um nmero de pessoas na informalidade. Algum tempo depois, este um nmero que servir de base (por isso Linha de Base) comparativa para a afirmao de que o Programa contribuiu para diminuir ou no o nmero de trabalhadores na informalidade. Os estudos de linha de base iro produzir retratos precisos das condies iniciais de um conjunto de indicadores que a iniciativa deseja transformar. Serviro para traar que os interessados possuam uma base de referncia (ponto de partida) a partir da qual as mudanas podero ser medidas. So estudos que podero permitir que a potncia de uma iniciativa seja conhecida. Se muitas vezes se escuta dizer algo como, reduzimos em 80% o nmero de crianas em condio de trabalho infantil, os estudos de linha de base querem trazer dados consistentes para respaldar ou questionar esse tipo de afirmao.
34 | CAPACIDADES
Figura 3: estudos de linha de base e sua utilidade

na avaliao de resultados
Na figura anterior, reparemos que a Taxa de Mortalidade Infantil tomada como um dos indicadores do estudo de linha de base. Depois do Projeto realizado, passado o tempo em que se esperava observar mudanas, percebe-se que o indicador cai pela metade, indo de 25 para 12, demonstrando boa variao. Mas ser que esse resultado se deu apenas em consequncia das aes realizadas? Ser que outra populao no beneficiada apresenta a mesma reduo? Tocamos aqui em uma questo importante. As relaes de causalidade entre uma ao e um resultado podero sempre ser questionadas, e isso um fato comum ao campo da avaliao. No caso em questo, pode-se utilizar alternativas metodolgicas para construir explicaes que nos levem a afirmar que a iniciativa contribuiu de maneira decisiva para a reduo da mortalidade infantil. A relao entre a iniciativa (a ao) e o resultado (a queda na mortalidade) poderia ser investigada qualitativamente, por meio de entrevistas com a comunidade e com os profissionais de sade. Seria fundamental, nesse caso, compreender se alguma outra ao poderia ter melhorado o indicador. Vejamos na histria a seguir, um caso em que este fenmeno aparece.
CAPACIDADES | 35
Uma cidade estava bastante preocupada com a sua Taxa de Mortalidade Infantil. Nas regies perifricas, que apresentavam nveis de mortalidade equivalentes a 35 por Mil nascidos vivos, a populao estava revoltada com a morte de crianas, j histrica na regio. Depois de muita presso sobre a prefeitura e a Secretaria de Estado da Sade, as equipes do Programa Sade da Famlia foram ampliadas e um novo sistema de referncia e contrarreferncia foi inaugurado para garantir que houvesse mais qualidade no atendimento pr-natal e mais leitos obsttricos para o nascimento das crianas. Dois anos depois, o nmero de bitos havia cado em 40% e a prefeitura comemorava o nmero apontado pelo sistema de informao da Secretaria Municipal de Sade. Uma avaliao realizada pela Secretaria do Estado, no entanto, produziu descobertas surpreendentes para todos. Ao mesmo tempo em que os servios de sade municipais haviam melhorado, a partir da ampliao do nmero mdio de consultas por gestante e garantindo seu acesso ao parto normal e humanizado, vinha da Secretaria Estadual de Educao uma outra grande contribuio para a diminuio da mortalidade. O Programa de Educao de Jovens e Adultos (EJA) tinha alcanado enorme sucesso nos bairros mais perifricos da cidade e garantido a ampliao da escolarizao da populao, bem como sua participao em diversas atividades de gerao de renda, fomentando cooperativas de mes e gestantes trabalhadoras, em parceria com as associaes de moradores. Com acesso escola e Renda, as futuras mes melhoravam o cuidado consigo mesmas e com o futuro beb, o que garantia um pr-natal mais adequado e, sobretudo, um primeiro ano de vida mais saudvel para as crianas.
36 | CAPACIDADES
3. Construindo um Plano Participativo de Monitoramento e Avaliao
Neste captulo, queremos articular alguns dos principais conceitos ilustrados no captulo anterior, com a premissa da participao. Tomamos essa premissa pelo reconhecimento de que no se influencia positivamente o desenvolvimento humano de uma comunidade de maneira autocrtica e centralizada. A participao um valor democrtico que embasa prticas consistentes de transformao da sociedade e, nesse sentido, embasa tambm os processos de monitoramento e avaliao. Antes, contudo, de ingressar de maneira mais direta no manejo da participao, tomemos o esquema a seguir como ilustrativo das sete etapas metodolgicas, s quais queremos dar nfase neste captulo. Depois de apresent-lo na figura a seguir, queremos percorrer cada uma de suas etapas com a premissa de que cada uma delas ser fruto de construo coletiva.
CAPACIDADES | 37
Figura 4: etaPas de Processos ParticiPativos

de avaliao e monitoramento
Etapa 1 Reunir os atores interessados A depender de como se deu o processo de planejamento de determinado projeto, programa ou poltica, pode estar evidente quais so seus principais atores interessados. Como abordado nos conceitos de planejamento participativo e estratgico, a participao de diferentes atores dos governos, das empresas e das organizaes da sociedade civil uma etapa fundamental para construir estratgias que favoream o desenvolvimento humano em um territrio. Em complemento, so tambm estes os grupos de atores a serem envolvidos nos processos de monitoramento e avaliao. Como apresentamos no captulo anterior, os atores interessados so as pessoas e as organizaes que possuem relaes diretas com o projeto, programa ou poltica em questo, que podem ser positiva ou negativamente afetados por eles, que os financiam ou os apoiam tecnicamente e que so capazes de influenciar sua sustentabilidade.
38 | CAPACIDADES
Nesse sentido, seu envolvimento nas etapas de planejamento, monitoramento e avaliao de uma iniciativa visto como crucial para o sucesso das aes. com eles que se deve pactuar os processos e com eles que se deve discutir os sucessos e os fracassos, os ajustes ou as mudanas de caminho. Qualquer iniciativa que escolha um caminho de centralizao e de desateno para com os atores interessados corre grandes riscos de perder o sentido e o apoio da comunidade.
Em determinado Municpio da regio Norte do Brasil, surgiu a oportunidade de um bom investimento com foco na infncia. O investidor props a criao de um Frum de Desenvolvimento Comunitrio, inicialmente coordenado pela secretaria de assistncia social local. Percebendo a oportunidade, a secretaria estendeu o convite ao presidente do CMDCA, a trs ONGs que trabalhavam com apoio infncia no Municpio, alm de dois tcnicos da secretaria de sade, e coordenadora dos servios de educao infantil, da secretaria de educao. A associao comercial foi tambm convidada para a reunio, em razo de que ela coordenava aes de doao de roupas e brinquedos dos lojistas para os abrigos e as escolas. Com esses atores reunidos, o investidor apoiou um processo de planejamento que ajudou na identificao de prioridades para a infncia e na construo de estratgias que pudessem superar os principais problemas. O grupo optou por reformar as trs creches municipais, por realizar um cuidadoso processo de formao das educadoras das creches e pela implantao de um sistema de informao que ajudasse os diferentes atores a trocarem informaes sobre o atendimento das crianas e suas famlias. Depois de implantadas, as trs aes foram monitoradas men-
CAPACIDADES | 39
salmente nas reunies do Frum e obtiveram grande sucesso no Municpio. A cobertura das creches foi ampliada, a qualidade da educao infantil melhorou e os tcnicos do SUS,11 do SUAS12 e das creches passaram a colaborar e a acompanhar os casos mais dramticos, ampliando em muito sua resolutividade.
Para concluir, fundamental o reconhecimento de que um grupo ser capaz de sustentar bons processos de planejamento, monitoramento e avaliao, medida que estiver mobilizado, motivado e nutrido por suas lideranas e que, em momentos de mudanas, o basto seja passado de forma responsvel. Nesse sentido, importante que uma ou duas pessoas responsabilizem-se pela mobilizao e manuteno do grupo. Com atitudes de incentivo, organizao dos encontros, apoio, acolhimento, integrao, registro e manejo de diferenas e conflitos, a coordenao do grupo funo essencial para o desenvolvimento deste trabalho. Etapa 2 Formular perguntas Como afirmamos anteriormente, as perguntas so o ponto de partida dos processos de monitoramento e avaliao. Elas definem e comunicam aquilo que necessrio saber, do direo ao trabalho e permitem que diferentes atores partilhem os mesmos focos de observao, ainda que com interesses diversos. As perguntas podem estar voltadas a diferentes focos e podem estar tanto mais relacionadas quilo que se planejou (os objetivos, as estratgias e as metas), quanto a outros contedos que emergiram ao longo do desenvolvimento do trabalho.
11 12
Sistema nico de Sade. Sistema nico da Assistncia Social.
40 | CAPACIDADES
Se o processo de planejamento foi consistente o suficiente para apontar objetivos (resultados esperados), estratgias (maneiras de alcanar os resultados esperados) e metas para cada uma delas (resultados intermedirios para cada etapa), possvel que as perguntas de avaliao j estejam evidentes e precisem ser apenas reconhecidas e respaldadas pelos interessados. Tomemos um exemplo:
Um programa governamental voltado a jovens gestantes, entre 15 e 19 anos, tinha o objetivo de garantir que estas meninas no abandonassem a escola em razo da gravidez. O projeto fora elaborado quando as secretarias de sade e educao reconheceram que uma menina que no engravidava entre 15 e 19 anos tinha 10 vezes mais chance de concluir o ensino mdio, em comparao a uma adolescente gestante. Depois de montar estratgias que compreendiam ateno domiciliar, reforo escolar, apoio ao enxoval, grupos teraputicos e ofertas de incremento de renda para sua famlia, diferentes perguntas guiavam os processos de monitoramento e avaliao, conforme mostra o quadro a seguir.
CAPACIDADES | 41
Quadro 2: exemPlos de Perguntas e indicadores

de monitoramento e avaliao
Perguntas de Monitoramento As visitas domiciliares tm sido capazes de implicar a famlia no cuidado com as jovens gestantes? As aes de reforo escolar tm ajudado as jovens a no perderem rendimento na escola? Pergunta de Avaliao
Indicadores de Monitoramento 1. Cobertura das visitas ao conjunto de jovens gestantes 2. Compromisso das famlias com o programa 1. Nmero de jovens participando das atividades de reforo 2. Desempenho das jovens nas disciplinas escolares Indicadores de Resultado 1. Porcentual de jovens gestantes que aderiram ao programa 2. Porcentual de jovens gestantes (mes jovens) que concluram o ensino mdio 3. Percepo das jovens sobre seu futuro educacional 4. Percepo das jovens sobre seu futuro profissional
Em que medida o Programa contribuiu para que as jovens gestantes conclussem o ensino mdio?
Haver outros casos, no entanto, nos quais as perguntas de avaliao podero no estar evidentes na etapa de planejamento, ou ainda, que novas perguntas precisem ser realizadas do ponto de vista dos atores interessados. So nessas situaes que os objetivos do projeto, do programa ou da poltica devem ser considerados, mas que outras perguntas podero surgir. Uma dica para apoiar um grupo a construir perguntas sugerir que as pessoas trabalhem individualmente e, depois, coletivamente, a seguinte sentena: o que realmente eu quero saber sobre esta iniciativa?
42 | CAPACIDADES
Etapa 3 Construir e eleger indicadores Assim como os ponteiros de um relgio indicam as horas ou as marcas de um termmetro indicam a temperatura, tambm em monitoramento e avaliao utilizamos ponteiros ou marcas, com a funo de indicar as coisas. A essas marcas costumamos denominar indicadores. Indicadores so informaes que demonstram o estado de determinada situao, como a Taxa de Mortalidade Infantil tomada como um indicador da condio de sade de uma populao de um Municpio. Se o resultado alto, como 25 por mil nascidos vivos, supomos que h graves problemas no sistema de sade, porque no normal ou esperado, atualmente, que 25 crianas morram at o primeiro ano de vida, a cada mil nascimentos, de acordo com parmetros mdios observados nos diferentes pases. Os indicadores podem ser capazes de nos ajudar a perceber se algo vai bem ou vai mal, se muito ou pouco, se forte ou fraco, se grande ou pequeno, sendo formas auxiliares para medir as coisas. Muitas vezes, pensamos apenas nos indicadores como conceitos quantitativos, tais como o grau de alfabetizao, a evaso escolar, a mortalidade proporcional, o nmero de casos de HIV positivo, o IDH,13 a taxa de desemprego, a taxa de homicdios, entre tantos outros. Mas podemos tambm trabalhar com indicadores qualitativos, j que variveis qualitativas nos ajudaro a compreender uma situao, tais como: vnculo com o projeto, autoestima dos participantes, habilidades de gesto etc. Nesta relao entre indicadores quantitativos e qualitativos, devemos estar atentos ao fato de que tendemos a tratar com mais desenvoltura os indicadores quantitativos, sobretudo porque muitos deles j fazem parte de nossa cultura. Ouvimos falar do crescimento do Produto Interno Bruto (PIB) quase todos os dias nos jornais; do Saldo da Balana Comercial; do IDH;
13
ndice de Desenvolvimento Humano.
CAPACIDADES | 43
das dezenas de dados publicados por rgos estatsticos como o IBGE14 e o Ipea,15 e assim por diante. J os indicadores qualitativos tendem a fazer mais sentido quando construdos para situaes particulares, ou muitas vezes quando explicitados de maneira mais detalhada, o que desnecessrio para boa parte dos indicadores quantitativos. Voltaremos a isso mais adiante.
Qual a diferena entre indicador e ndice? Em uma anlise superficial, ndice e indicador possuem um mesmo significado. Mas, na verdade, um ndice um valor agregado, ou seja, um valor obtido por meio de uma operao matemtica que agrega diferentes valores neste clculo. Por exemplo, para se calcular o IDH, levam-se em conta os seguintes indicadores: expectativa de vida ao nascer (que indica a provvel longevidade de um sujeito), os anos mdios de estudo e anos esperados de escolaridade e o Produto Nacional Bruto (PNB) por pessoa. Esses trs indicadores so tratados em uma equao e produzem um novo nmero, um ndice composto, que em uma escala de 0 (mnimo) a 1 (mximo) representar a classificao da populao correspondente. Um ndice como o IDH fornece uma medida sobre o desenvolvimento e permite a comparao entre pases, Estados, Municpios ou regies, bem como consigo mesmos, ao longo do tempo. Assim, nem todo indicador um ndice, mas todo ndice pode ser um indicador.
14 15
Instituto Brasileiro de Geografia e Estatstica. Instituto de Pesquisas Econmicas Aplicadas.
44 | CAPACIDADES
Como se seleciona ou se constri um indicador? Para definir um indicador, preciso ir fundo em algo que est na base de todo bom processo de monitoramento e avaliao: formular boas perguntas e ir atrs do que realmente necessrio para respond-las. Quando fazemos perguntas que queremos responder, passamos imediatamente a pensar em como iremos respond-las, e nesse momento que podemos pensar em indicadores. Se quisermos saber, por exemplo, em que medida a ampliao da coleta e tratamento de resduo slido no Municpio contribuiu para a melhoria das condies de vida da populao?, nos ocorre questionar: mas o que demonstrar (indicar) que as condies de vida mudaram? No caso em questo, podemos esperar uma variao positiva do Coeficiente de Mortalidade Infantil. Podemos tambm esperar uma reduo na mortalidade proporcional por doenas infectocontagiosas. Isso dentro de um ou dois anos, a partir da mudana da coleta e do tratamento dos resduos slidos. Contudo, podemos tambm construir um indicador qualitativo, tal como o pertencimento dos moradores ao bairro, supondo que, depois da coleta e do fim do lixo espalhado pelas ruas e do mau cheiro, os moradores passaro a ter outro comportamento em relao ao lixo produzido, a circular com mais alegria no bairro onde moram e a no mais se envergonhar de viver em um lugar ridicularizado pela populao do Municpio. Nos processos de monitoramento, os indicadores em geral esto mais relacionados s metas que foram compromissadas ou a alguns aspectos da programao do projeto, programa ou poltica que se quer investigar. J nos processos de avaliao, os indicadores nascero das perguntas de avaliao construdas e pactuadas pelos atores interessados. Nesse sentido, os indicadores so to passveis de pactuao quanto as prprias perguntas, pois eles sero complementos fundamentais s perguntas de avaliao. Vejamos alguns exemplos nos quadros a seguir.
CAPACIDADES | 45
Quadro 3: exemPlo de Perguntas e indicadores de monitoramento

Perguntas de Monitoramento Em que medida as metas financeiras esto sendo cumpridas conforme o cronograma estabelecido ao incio do Programa? As educadoras tm frequentado as atividades de superviso oferecidas nos centros de educao infantil? Indicadores de Monitoramento 1. Porcentual do investimento realizado em relao ao previsto 2. Cumprimento dos prazos de envio dos relatrios de prestao de contas 3. Cumprimento dos prazos de desembolso por parte da fonte pagadora 1. Frequncia das professoras nos encontros de superviso 2. Qualidade da relao estabelecida entre as supervisoras e as educadoras 1. Nmero de participantes por reunio 2. Presena das principais lideranas das regies foco 3. Capacidade da comunidade de influenciar a agenda das reunies 4. Influncia da comunidade nas decises tomadas nas reunies 1. Nmero de centros de sade com obras em andamento 2. Cumprimento do cronograma especfico para cada centro social em reforma 3. Qualidade das obras sendo realizadas nos centros sociais
Qual qualidade tem a presena da comunidade nas reunies mensais das associaes rurais?
Em que medida os centros de sade tm sido reformados com qualidade e em conformidade com o cronograma pactuado no Programa?
No quadro anterior, as prticas de monitoramento de diferentes projetos ou programas tomam diferentes direes, com aspectos quantitativos e qualitativos sendo apontados nos indicadores. O quadro nos d noo de quo importantes podem ser as prticas de monitoramento para dar transparncia aos processos e para corrigir eventuais falhas capazes de comprometer tudo aquilo que est compromissado. No haver gesto por resultado que no se ancore em um forte processo de monitoramento.
46 | CAPACIDADES
Quadro 4: exemPlo de Perguntas e indicadores de avaliao

Perguntas de avaliao Em que medida o Programa contribuiu para erradicar a misria na zona rural do Municpio? Indicadores de resultado 1. Nmero de famlias em situao de misria 2. Renda familiar nas comunidades rurais 3. Nmero de famlias que comercializam sua produo 4. Porcentual da populao no alfabetizada 1. Nvel de compromisso dos gestores com gesto por resultados 2. Capacidade de os gestores implementarem prticas consistentes de gesto por resultados 3. Adeso dos servidores s novas prticas de gesto 4. Satisfao dos servidores com a nova poltica de carreira e remunerao implementada pela prefeitura 5. Nmero de servidores que ingressaram em cursos de graduao e ps-graduao 6. Grau de disseminao dos conhecimentos adquiridos 7. Qualidade das Cmaras de Ouvidoria tripartite implantadas no Municpio 1. Taxa municipal de concluso do ensino mdio 2. ndice de ingresso em curso superior entre os participantes 3. Relao de adolescentes e jovens com a aprendizagem 4. Qualidade da participao das famlias na educao
Em que medida os resultados alcanados no Programa de Melhoria da Gesto Pblica so sustentveis a partir do encerramento do Programa?
Que transformaes o Programa de Acelerao de Aprendizagem provocou nos adolescentes e nos jovens alcanados por ele?
Como vimos, os indicadores so ferramentas auxiliares para responder s perguntas de avaliao, podendo atuar como sentinelas de aspectos que precisam ser percebidos e tratados. Como podemos ver nos quadros anteriores, uma pergunta de avaliao pode ser ampla demais, complexa demais.
CAPACIDADES | 47
Da mesma forma, a realidade cheia de detalhes e nuances, de aspectos que podem ser mais ou menos conhecidos. A ideia que os indicadores funcionem como recortes daquilo que mais interessa, recortes de aspectos sensveis o suficiente para nos mostrar que algo no vai bem no conjunto da interveno. nesse sentido que se tornou uma recomendao clssica dizer que os indicadores precisam ser especficos, mensurveis, atingveis (alcanveis), relevantes e rastreveis. Ou seja, precisos na sua definio daquilo que medem, passveis de mensurao para que produzam conhecimento, possveis de serem alcanados para que as mudanas sejam percebidas, sensveis para atestar as transformaes desejadas e passveis de comparao ao longo do tempo. Etapa 4 Definir formas de colher informao Uma vez que as perguntas e os indicadores j foram pactuados, os processos de monitoramento e de avaliao entram na fase chamada coleta de dados e informaes. nessa etapa que aquilo que se deseja saber poder ser conhecido na realidade, a fase de pesquisa no campo, de escuta, de leitura. A fase de coleta possui dois componentes: a) as fontes de informao; e b) as tcnicas de coleta de informaes. As fontes de informao so o que ou quem pode revelar aquilo que preciso saber, podendo ser pessoas, relatrios ou objetos inanimados (um prdio abandonado, por exemplo). As tcnicas de coleta de informaes so as maneiras mais adequadas para que as fontes de informao revelem aquilo que se deseja saber. Vejamos, no quadro a seguir, um resumo das principais fontes de informao e formas de coleta de dados a elas associadas.
48 | CAPACIDADES
Quadro 5: exemPlos de Fontes e Formas de coleta de dados

Fontes de Informao Pblico-alvo ou beneficirio do projeto (moradores, educadoras, crianas, tcnicos da prefeitura, empresrios, jovens gestantes, jovens em liberdade assistida, trabalhadores rurais) Fontes secundrias de informao (relatrios de gesto, sistema de informao de determinada secretaria, indicadores consolidados por instituies pblicas (MEC,16 Datasus17 etc.), ou rgos de pesquisa e estatstica (Ipea, IBGE etc.) Canteiros de obra, instalaes construdas ou reformadas Rotina dos servios (salas de espera de centros de sade, salas de aula em escolas, reunies pedaggicas etc.)
1617
Formas de coleta de informaes 1. Entrevistas individuais presenciais; 2. Entrevistas individuais por telefone; 3. Entrevistas coletivas (grupos focais, reunies); 4. Questionrios autoaplicveis, por e-mail, por correio, pela Internet; 5. fruns e mdias sociais.
1. Pesquisa e leitura de bases de dados ou relatrios [pode incluir dilogo com tcnicos e especialistas nas bases de dados].
1. visita no local para verificao; 2. registro fotogrfico ou filmagem. 2. Observao e registro de atividades.
Para cada fonte de informao, haver uma tcnica mais ou menos adequada para colher informaes. Para populaes no alfabetizadas (crianas e adultos), no se deve, por exemplo, utilizar questionrios autoaplicveis. Para coleta de dados em salas de espera ou na rua, quando as pessoas esto circulando, no se deve utilizar roteiros extensos. Em situaes de grupos que esto em conflito, inadequado usar entrevistas em grupo, como os grupos focais ou as reunies. Outra lembrana importante que cada atividade de coleta preci-
16 17
Ministrio da Educao. Sistema de informaes do SUS.
CAPACIDADES | 49
sar de um roteiro especfico, seja um questionrio mais estruturado, seja um roteiro com perguntas-guia. O preparo desses instrumentos e o preparo dos profissionais entrevistadores, observadores ou visitadores, determinante para a qualidade do processo. Para ajudar nas escolhas que cada grupo precisar fazer, resumimos no quadro a seguir alguns critrios de deciso. Quadro 6: PrinciPais tcnicas de coleta de dados
Anlise Questionrios de autoaplicveis relatrios Entrevistas individuais e coletivas Observaes no local (in loco) Elevado (pode ser baixo, se houver parceiros) Elevada
Custos
Baixo
Mdio
Elevado
Capacitao tcnica necessria
Mdia
Mdia
Elevada
Tempo necessrio ndice de retorno das respostas Complexidade da anlise
Mdio
Mdio
Mdio (a depender da amostra) Elevado
Mdio (a depender da amostra) Elevado
Alto
Baixo
Mdia
Mdia
Elevada
Baixa
Um fator que pode baixar os custos e ampliar a qualidade tcnica dos processos de monitoramento e avaliao o envolvimento de faculdades ou universidades locais como parceiras do projeto, programa ou poltica, ainda que sejam como parceiros avaliadores. A contratao de empresas ou consultores que realizam avaliao tambm pode elevar bastante os custos, mas deve ser avaliada caso a caso. A seguir, listamos alguns critrios que podem
50 | CAPACIDADES
ser utilizados para a contratao de empresas e consultores. No tratamos aqui do conjunto de exigncias associadas aos processos de licitao, mas apenas de algumas variveis complementares. So elas: Comprovada capacidade tcnica de realizar avaliaes, o que pode ser verificado em um portflio da empresa e em seu site, com eventual dilogo com clientes anteriormente atendidos. Idoneidade poltica e fiscal, que pode ser verificada tanto com clientes anteriormente atendidos, quanto com as informaes fiscais. Capacidade tcnica dos profissionais avaliadores, o que pode ser verificado pela anlise de currculos e em dilogos com clientes atendidos. Seriedade e capacidade de escuta dos profissionais avaliadores, que podem ser observadas em reunies prvias contratao. Contratao de empresas ou consultores cuja residncia seja prxima ao local do projeto, pois isso baixa radicalmente os investimentos em viagens. Etapa 5 Analisar as informaes O processo de anlise de informaes diz respeito a transformar as informaes coletadas em concluses ou juzos que tragam respostas diretas, consistentes e cuidadosas para as perguntas de avaliao. Grficos, tabelas, fotografias, vdeos e textos de diferentes orientaes (mais descritivos ou mais analticos, mais jornalsticos ou mais literrios) podero ser definidos como os produtos da anlise. Sejam quais forem os produtos da anlise, fundamental que se leve em conta quatro questes.
CAPACIDADES | 51
a) As anlises das informaes e dos dados respondem s perguntas de avaliao? b) Elas esto bem organizadas, com clareza e objetividade? c) Elas esto consistentes e trazem segurana para os interessados? d) Elas so cuidadosas com as pessoas e as organizaes envolvidas? Uma dica importante reservar tempo para a atividade de anlise de informaes e dados. O tempo necessrio sempre maior do que o estimado e, a depender da orientao do estudo, sobretudo da presena de muitas questes qualitativas, comum que a fase de anlise tome muito tempo. Como os processos de monitoramento e avaliao precisam trazer respostas nos momentos combinados e adequados, preciso tomar muito cuidado para que, a partir da coleta de dados, o processo no se perca, distanciando-se das necessidades dos atores interessados. Mais uma vez, sugerimos que, se voc vai trabalhar com muitos nmeros, grficos e tabelas, tenha ajuda de um tcnico em matemtica ou estatstica e de algum que lide bem com softwares (planilhas eletrnicas ou programas especficos de gesto de dados). Se voc vai lidar com muitas informaes qualitativas, procure ajuda de algum que j trabalhou com isso, com um pesquisador ou mesmo algum que tenha feito mestrado usando tcnicas qualitativas de anlise. Os processos de monitoramento e avaliao podem se beneficiar muito de sua capacidade de agregar diferentes talentos. Etapa 6 Comunicar resultados A comunicao de resultados uma atividade bastante relacionada fase de anlise. medida que a anlise precisa saber que produtos ir produzir para poder ser realizada e medida que esses produtos esto voltados a produzir conhecimento, dilogo e apoio tomada de deciso pelos atores
52 | CAPACIDADES
interessados, fundamental que os produtos e as estratgias de comunicao sejam pensados em razo dos atores interessados, de suas demandas, expectativas, interesses geopolticos e sejam trabalhadas concomitantemente com as atividades de anlise. A seguir, listamos algumas perguntas que podero ajudar a planejar os processos de comunicao de resultados, para depois exibir um quadro em que procuramos tratar dos contedos tradicionalmente esperados para os relatrios de monitoramento e avaliao. a) Que atores sero comunicados dos resultados da avaliao? b) Que tipos de produtos e linguagens so mais adequados a cada um desses atores? (relatrios extensos, relatrios executivos, apresentaes em slides, entrevistas em meios de comunicao, informaes pela Internet, vdeos, histrias em quadrinhos, peas teatrais, cordel ou fotografias) c) De tudo aquilo que o monitoramento e/ou avaliao revelaram, o que deve constar em cada produto ou pea de comunicao? d) Como cuidar para que no sejamos acusados de esconder, maquiar ou falsear informaes?
CAPACIDADES | 53
Quadro 7: orientaes Para a comunicao de resultados

Componentes e padres para os principais produtos dos processos de monitoramento e avaliao 1 pgina de apresentao e propsitos do monitoramento, 1 pgina descrevendo a metodologia, 6 pginas descrevendo os resultados encontrados (evidenciando os indicadores qualitativos e quantitativos) e 2 pginas trazendo recomendaes e consideraes finais. 1 pgina de apresentao da avaliao, 2 pginas de contextualizao do projeto, programa ou poltica, 3 pginas de descrio metodolgica, 10 a 15 pginas de resultados e anlises, 3 a 5 pginas de recomendaes e consideraes finais, 2 pginas de referncias bibliogrficas + anexar apenas documentos fundamentais que ajudem a atestar os resultados. 2 pargrafos de introduo, 2 pargrafos de metodologia, 10 pargrafos com resultados e no mais do que 3 ou 4 grficos fundamentais, 6 pargrafos com recomendaes e consideraes finais. 1 slide com apresentao do projeto, programa ou poltica, 1 slide com objetivos do monitoramento ou avaliao, 1 slide com resumo da metodologia, 15 a 20 slides com resultados, 2 a 3 slides com recomendaes.
Relatrio de monitoramento
Relatrios com a extenso mxima de 10 pginas
Relatrio final de avaliao
Relatrio executivo de avaliao
Apresentao em slides do processo de avaliao
Apresentaes com o nmero mximo de 25 slides
54 | CAPACIDADES
Outras mdias ou recursos locais
Um pequeno filme de 5 a 10 minutos, produzido caseiramente
Ator envolvido falando sobre o projeto, o programa ou a poltica; outro ator fala sobre os objetivos do monitoramento e da avaliao; outro ator descreve a metodologia; projetam-se os resultados e, no final, uma fala sobre recomendaes. Que descreva o Projeto, diga sobre a importncia de monitorar e avaliar e o que se aprendeu com isso.
Um cordel ou uma pea de teatro
Tambm nesta etapa pode ser interessante lanar mo de um profissional de comunicao pblica que domine as diferentes tcnicas. Na pgina a seguir, demonstramos como um pequeno Municpio brasileiro organizou sua matriz de monitoramento do projeto e a utilizava nas reunies mensais do comit de gesto participativa.
CAPACIDADES | 55
56 | CAPACIDADES
CAPACIDADES | 57
4. Consideraes finais
A gesto de iniciativas que visam ao desenvolvimento humano local um dos principais desafios de nossa civilizao ao longo das prximas dcadas. A Unio, os Estados e os Municpios, as organizaes multilaterais, as empresas, as organizaes da sociedade civil, os movimentos e cada cidado so cada vez mais sabedores de quantos recursos esto disponveis para superar os histricos padres de desigualdade e para ajudar na construo de padres de desenvolvimento cada vez mais inclusivos, responsveis e sustentveis. Na longa caminhada que temos pela frente, somos tambm sabedores do quanto os processos de gesto plurais, transparentes e responsveis podero favorecer os resultados das iniciativas, com o compromisso de erradicar a pobreza, de garantir os direitos fundamentais de todos os seres humanos e de utilizar os recursos naturais de maneira sustentvel. Dispositivos de gesto, tais como o planejamento, o monitoramento e a avaliao, tero mais sentido medida que estiverem a servio desses propsitos, que cultivarem seu sentido social para os interessados e evitarem estruturas paralisantes, cerceadoras e burocrticas. Como procuramos trabalhar ao longo deste texto, produzir processos de formulao, monitoramento e avaliao participativos pode operar mudanas significativas na direo do pluralismo, da transparncia e da responsabilidade pelas quais advogamos, crentes que somos na potncia dos processos micropolticos, em cada organizao, em cada instituio, territrio e grupo, como ativadores da implicao atenta e ativa dos sujeitos nos processos sociais ao seu redor. Sustentar a participao exercer e dar vazo aos valores democrticos que fundamentam nossos contratos sociais. Dessa maneira, trazer e inscrever a democracia em cada iniciativa com as quais nos compromete-
58 | CAPACIDADES
mos, como gestores, tcnicos, consultores, usurios ou investidores, dar democracia campo para seu florescimento e fortalecimento. Cidados que governam, cidados que influenciam, cidados que se reconhecem, observam e formulam, na qualidade de agentes de um processo democrtico forte em seus princpios e sentido, mas sensvel, responsivo e inclusivo na sua capacidade de perceber as vrias formas de diferenas para fazer a vida social e a cidade, a partir delas. Talvez estejam a as grandes oportunidades com que nos brindam os processos de monitoramento e avaliao. Pelo quanto nos pedem de pluralismo ao identificar atores e com eles pactuar critrios que iremos investigar, debater, aprender e decidir sobre aquilo que afeta a vida social e particular de cada cidado. Pelo quanto nos pedem de sensibilidade, ao julgar um objeto no apenas pela sua eficincia econmica, mas por sua potncia poltica, seu sentido tico e sua relevncia socioambiental para determinada populao ou para um pas inteiro. Pela coragem que nos exigem ao confrontar os grupos com a necessidade de fazer escolhas, de apontar falhas, de fortalecer prticas, de influenciar as polticas e de corrigir rumos. Se h entre os leitores aqueles um tanto amedrontados com a quantidade de tcnica cabvel nos processos de monitoramento e avaliao, nosso convite para que a tcnica seja estudada em seus sentidos polticos, e que as prticas de monitoramento e avaliao possam ser experimentadas na qualidade de uma aliana indissocivel entre tcnica e poltica, entre tcnica e tica. Ser a qualidade das relaes entre os atores, bem como suas intenes, o que poder criar os espaos necessrios para monitorar e avaliar. Da em diante, manter o dilogo e cuidar do processo para que o ato de avaliar no se distancie dos atores e sequestre para si o poder de anunciar verdades, sua grande e principal armadilha. Caber a cada grupo fazer suas construes e suas escolhas, enquanto forja nos espaos criativos que for capaz de produzir, tanto a potncia investigativa quanto a capacidade cuidadora que precisaro caminhar juntas para fazer das prticas de monitoramento e avaliao tributrias da democracia forte.
CAPACIDADES | 59
Anexo I - Bibliografia para aprofundamento, organizaes e sites de referncia
[CNS/CONEP] Conselho Nacional de Sade. Comisso Nacional de tica em Pesquisa. Normas para pesquisa envolvendo seres humanos: Resoluo CNS 196/1996 e outras. (Srie Cadernos Tcnicos). Braslia: Ministrio da Sade, 2000. BARREIRA, M. Avaliao Participativa de Programas Sociais. 2a Ed. So Paulo Lisboa: Veras Editora CPIHTS, 2002. BRANDO, DB. et al. (2005) Da Construo de Capacidade Avaliatria em Iniciativas Sociais: algumas reflexes. In: Ensaio: Avaliao e Polticas Pblicas em Educao, n. 48, v. 13, p. 361374. Rio de Janeiro: Fundao Cesgranrio. CANO, I. Introduo Avaliao de Programas Sociais. 1a Ed. Rio de Janeiro: FGV Editora, 2002. CHIANCA, T. K. et al. Desenvolvendo a cultura de avaliao em organizaes da sociedade civil. (Coleo Gesto e Sustentabilidade). So Paulo: I. Fonte/Editora Global, 2001. DEMO, P. Avaliao Qualitativa. 2a edio. So Paulo: Cortez Editora, 1988.
60 | CAPACIDADES
______. Mitologias da Avaliao. 2a edio. So Paulo: Ed. Autores Associados, 2002. GUBA, E. & LINCOLN, Y. Uma abordagem naturalstica para avaliao. O amadurecimento da avaliao. In: SANDERS, J. (Org). Introduo avaliao de programas sociais. So Paulo: Instituto Fonte, 2003, p. 94-109. NOVIB. Indicadores, ONGs e Cidadania: contribuies polticas e metodolgicas. 1a ed. Curitiba: Adittepp, 2003. OTERO, MR. (Org). Contexto e prtica da avaliao de iniciativas sociais no Brasil: temas atuais. So Paulo: Editora Peirpolis/Instituto Fonte, 2012. REIS, LC. Avaliao de projetos como instrumento de gesto. In: Apoio gesto. Rio de Janeiro: site da Rits, 1999. SAUL, A. Avaliao Emancipatria: desafio teoria e prtica de avaliao e reformulao de currculo. 5a ed. So Paulo: Cortez; 2000. SCRIVEN M. Metodologia da avaliao. In: SANDERS, J. (Org). Introduo avaliao de programas sociais. So Paulo: Fonte, 2003, p. 8-33. SILVA, RR. Avaliao de Polticas Pblicas: leituras possveis. Transcrio revisada de exposio na Seo Especial do III ENAPEGS. So Paulo: Instituto Fonte, 2009. ______. Avaliao Participativa: leituras e questionamentos. Transcrio revisada de exposio no debate homnimo. So Paulo: Instituto Fonte, 2009.
CAPACIDADES | 61
______. & BRANDO, DB. Nas Rodas da Avaliao Educadora. In: CAMPOS, Rosana Onocko; FURTADO, Juarez P. (Orgs). Novas tendncias e questes emergentes: os desafios da avaliao de programas e servios em sade. Campinas: Unicamp, 2011. ______. Os quatro elementos da avaliao. Olho Mgico, abr./jun., 2003, v. 10, n. 2, p. 59-66. THIOLLENT M. Metodologia da pesquisa-ao. 8a ed. So Paulo: Cortez, 1998. WORTHEN, BR; et al. Avaliao de Programas Sociais. 1a Ed. So Paulo: Instituto Fonte; Ed. Gente, 2004. Sites: Associao Americana de Avaliao: <http://www.eval.org>. (Em ingls) Confederao Nacional de Municpios: <http://www.cnm.org.br>. Departamento de Informtica do SUS (Datasus): <http://www2.datasus.gov. br/DATASUS/index.php>. ndice de Desempenho do Sistema nico de Sade (Idsus): <http://portal. saude.gov.br/portal/saude/area.cfm?id_area=1080>. Instituto Brasileiro de Geografia e Estatstica (IBGE): <http://www.ibge.gov. br>. Instituto de Pesquisa Econmica Aplicada (Ipea): <http://www.ipea.gov.br>.
62 | CAPACIDADES
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep): <http://portal.inep.gov.br/>. Objetivos de Desenvolvimento do Milnio: <http://www.objetivosdomilenio. org.br/>. Indicadores e metas com base municipal: <http://www.portalodm.com.br/>. Secretaria de Avaliao e Gesto da Informao do Ministrio do Desenvolvimento Social e Combate Fome (SAGI/MDS): <http://aplicacoes.mds.gov. br/sagi/FerramentasSAGI/index.php?group=1>. Portal MyMandE: <http://www.mymande.org/>. (Em ingls, com traduo pelo Google) Programa das Naes Unidas para o Desenvolvimento Escritrio Brasil: <http://www.pnud.org.br/home/>. Projeto Desenvolvimento de Capacidades para o Desenvolvimento Humano Local: <http://cdhl.cnm.org.br/>. Red de Monitoreo de Monitoreo e Evaluacin de Amrica Latina y el Caribe: <http://redlacme.org>. Red de Seguimiento, Evaluacin y Sistematizacin de Amrica Latina y El Caribe: <http://www.relacweb.org>. Rede Brasileira de Monitoramento e Avaliao: <http://redebrasileirademea. ning.com>.
CAPACIDADES | 63
Anexo II Orientaes para atividades de formao
Este anexo tem por objetivo orientar atividades de formao relacionadas a fortalecer a capacidade de monitoramento e avaliao de iniciativas no mbito do desenvolvimento humano, realizadas em Municpios. Tais orientaes esto ancoradas na experincia do Projeto CapaCidades Fortalecimento de Capacidades para o Desenvolvimento Humano Local, inspirador desta publicao A ideia de um processo de formao deve ser a de construir conceitos a partir da realidade de cada local, respeitando culturas e linguagens, desejos e necessidades, com base em casos prticos que ajudem a entender e a fixar a metodologia. A seguir, no formato de perguntas e respostas, procuramos apresentar parte da experincia vivida junto aos Municpios do CapaCidades. Quais princpios guiaram as atividades de formao? Por menos que haja prtica, cada participante possui conhecimentos e experincias relacionados a monitoramento e avaliao adquiridos ao longo de suas histrias pessoais e profissionais, de onde deve partir qualquer processo construdo no sentido de fortalecer ou desenvolver capacidades. Qualquer processo deve respeitar a realidade, a linguagem e a cultura local. Garantir o uso sustentvel dos conhecimentos adquiridos, de forma a evitar que o conhecimento fique encerrado na sala de aula ou com as pessoas que passaram pelo processo de formao.
64 | CAPACIDADES
Grupos de Estudo, encontros para leitura, exerccios coletivos so tcnicas auxiliares de ampliao dos sentidos da formao para mais e mais atores. Procurar mobilizar e comprometer os participantes, desde o incio do processo, com a formao, principalmente por meio de metodologias ativas de aprendizagem, incluindo dilogos, estudos de caso, exerccios prticos, tarefas coletivas, evitando processos estticos e ancorados na pura transmisso de conhecimento. Possuir mecanismos de avaliao da aprendizagem que permitam preencher eventuais lacunas e aprimorar o processo em oportunidades futuras. Que estratgia de formao foram utilizadas? Em razo da baixa disponibilidade de oferta deste tipo de contedo de formao no Brasil, bem como do grande volume de Municpios em todo o territrio nacional, optamos pela oferta de cursos de mdia durao, semipresenciais. Realizamos trs oficinas presenciais, de dois dias cada, e um acompanhamento remoto do grupo pela Internet e pelo telefone, totalizando 120 horas de formao para cada participante. O intervalo entre as oficinas presenciais procurou no superar 45 dias, tentando reduzir o risco de desmobilizao. Que produtos eram esperados para a formao? O produto da formao, alm do aprendizado do grupo e da possibilidade de multiplicao dos conhecimentos construdos, concretizado em um Plano de Monitoramento e um Plano de Avaliao. No captulo 3 desta publicao voc poder conhecer melhor os detalhes desses planos.
CAPACIDADES | 65
Como os grupos que fizeram a formao escolheram seus objetos de trabalho? Foi fundamental eleger um objeto concreto que apoiasse o processo de aprendizagem, associando teoria e prtica. Tal objeto correspondia a um problema crtico ou uma ao estratgica que precisava ou estivesse sendo realizada no Municpio. Possveis objetos foram, e so: planos organizacionais estratgicos, planos setoriais, planejamentos de programas ou projetos, consrcios municipais, planos diretores, programas municipais, polticas pblicas federais e estaduais em execuo no Municpio, entre outros. Esses objetos foram escolhidos em funo de alguns critrios: i) explicitao de objetivos gerais e especficos de curto, mdio e longo prazos; ii) definio de aes e atividades para alcanar os objetivos definidos; iii) as metas relacionadas s aes e s atividades; iv) os recursos necessrios (financeiros, humanos, tecnolgicos); v) a programao, ou seja, a distribuio dos recursos no tempo; vi) os responsveis e os possveis parceiros. Como as turmas eram compostas? Incluindo diversos segmentos: setor pblico, setor privado e sociedade civil. Incluindo membros dos diferentes conselhos participativos municipais (sade, educao, segurana, assistncia social, agricultura etc.). Considerando a presena de lideranas locais como possveis multiplicadores da formao ou do conhecimento como fator de sustentabilidade. Aferindo o possvel interesse dos candidatos em aprender o contedo e/ou trabalhar futuramente como conselheiros ou avalia-
66 | CAPACIDADES
dores de iniciativas locais. Contemplando diversidade de gnero, raa, local de moradia (urbano e rural), condies socioeconmicas e faixa etria. Checando a anuncia das instituies para participao de seus tcnicos e gestores. Como optamos por parte da formao a distncia, desejava-se que os candidatos tivessem alguma familiaridade com o uso de computadores e da Internet, alm de acesso a esses recursos. Com relao ao nmero de alunos por turma, procuramos trabalhar com, no mximo, 15 participantes. Como alguns grupos terminaram com um nmero 30% menor de participantes, cabe iniciar as turmas com um grupo pouco maior que o recomendvel. Que infraestrutura foi necessria? A infraestrutura necessria foi bastante simples: uma sala com cadeiras mveis, uma lousa, quadro branco ou quadro negro para registros, computador e projetor multimdia (ainda que no seja determinante), papis e pincis atmicos. O agendamento das oficinas funcionou? A experincia mostrou no ser simples agendar e manter as datas. recomendvel que a agenda das oficinas seja pactuada com os participantes desde o anncio da formao e que haja flexibilidade para ajustes no calendrio. sempre fundamental que algum assuma o papel de convite e confirmao de presena para cada oficina, o que favorece a participao.
CAPACIDADES | 67
Qual foi o caminho do processo de formao nos Municpios? Primeira oficina a) Objetivos: Acessar traos da cultura de avaliao dos participantes; consolidar o objeto de trabalho; alinhar conceitos de M&A; sensibilizar os participantes sobre a importncia de reconhecer os interessados; construir perguntas de avaliao. b) Desenvolvimento da oficina: Acessar traos da cultura de avaliao dos participantes fundamental para identificar quais os preconceitos e os conceitos que pautam a presena dos participantes na formao. A sugesto realizar uma dinmica de grupo com as seguintes perguntas norteadoras: i) Que experincias de avaliao eu vivi at aqui? ii) De que maneira elas me marcaram? iii) O que aprendi com elas? A discusso plenria desta dinmica leva construo de uma carta de princpios para a avaliao do objeto selecionado, explicitando que avaliao o grupo deseja e que avaliao o grupo no deseja. Vejamos o exemplo a seguir:
68 | CAPACIDADES
carta de PrincPios de barbalha/ce
A consolidao do objeto uma etapa importante do processo de formao, pois ser a base de todo o exerccio prtico de monitoramento e avaliao. Uma boa compreenso do problema ou situao a ser transformado, bem como uma anlise de causas e efeitos, pode elucidar bastante o objeto e dar objetividade ao trabalho da para frente. Uma situao interessante foi vivenciada no Municpio de Abaetetuba/PA, em que o grupo no tinha clareza sobre a prioridade a selecionar. Estava em dvida sobre trabalhar a ao Elaborao do Plano Municipal de Gesto Integrada de Resduos Slidos ou um projeto de Coleta Seletiva no Municpio. Foi ento que fizemos um exerccio que ajudou o grupo a escolher o caminho a seguir.
CAPACIDADES | 69
o entendimento do Problema: causas e eFeitos
o entendimento dos objetivos a Perseguir e seus eFeitos
70 | CAPACIDADES
A partir da, ficou mais fcil construir os elementos de planejamento necessrios para trabalhar os aspectos de monitoramento e avaliao. Uma vez consolidado o objeto, parte-se para o exerccio coletivo de identificao dos atores interessados no seu monitoramento e avaliao (que podem ou no ser coincidentes com os atores interessados na realizao do objeto), os quais, idealmente, devem ser envolvidos no processo de construo de perguntas, indicadores e mtodos de coleta, bem como comunicados sobre os resultados de M&A. O passo seguinte um alinhamento conceitual. Uma contribuio dos instrutores do processo de formao tendo em vista construir uma linguagem comum e preencher lacunas conceituais. Da em diante, mergulha-se na construo conjunta das perguntas avaliativas, ou seja, as que do base ao processo de monitoramento e da avaliao. Elas iro apontar a direo que esses processos iro seguir, sendo capazes de demonstrar o propsito que os sustentam. Elas precisam ser reconhecidas como fonte, como me desses processos e, para tanto, devem: ter sentido e relevncia para os interessados; estar relacionadas a aspectos crticos do objeto; ter carter de investigao; ser capazes de gerar aprendizagens; ser viveis (informaes e recursos); ser claras (objetivas) e capazes de guiar o processo de monitoramento e avaliao. c) Resultados da primeira oficina: a carta de princpios; o objeto consolidado e pronto para ser trabalhado em relao ao M&A; um alinhamento conceitual sobre M&A; o mapeamento dos atores; as perguntas de avaliao. Segunda oficina a) Objetivos: usar indicadores para responder perguntas de monitoramento e de
CAPACIDADES | 71
avaliao; construir diferenciao entre monitoramento e avaliao; definir o processo de coleta e anlise das informaes de monitoramento (instrumentos, frequncia, processamento das informaes). b) Desenvolvimento da oficina: a partir de uma contribuio conceitual que aporta definio de indicadores, seus diversos tipos e sua relao com as perguntas, realiza-se a construo conjunta de indicadores para cada pergunta de monitoramento e de avaliao definida. Define-se aqui quais dimenses sero monitoradas (cronolgica, fsica, oramentrio-financeira). O exerccio de identificao de indicadores leva diferenciao entre monitoramento e avaliao, constantemente apontada. Uma contribuio conceitual indica os passos e as condies necessrias para se realizar o monitoramento. Em grupo, constri-se o plano de monitoramento, a partir dos indicadores e das dimenses selecionados, definindo, agora, para cada dimenso, quem ir monitorar o responsvel (um tcnico, um setor, um grupo gestor etc. ); com qual periodicidade (diria, semanal, quinzenal, mensal, semestral etc.) e como e para quem sero comunicados os resultados, visando a influenciar a tomada de deciso. c) Resultados da oficina: indicadores de monitoramento e avaliao; Plano de Monitoramento. Terceira oficina a) Objetivos: definio do processo de coleta e anlise das informaes de avaliao (instrumentos, frequncia, processamento das informaes); construo do plano de avaliao; exerccio de anlise de resultados.
72 | CAPACIDADES
b) Desenvolvimento da oficina: em grupo, constri-se o plano de avaliao, que, de maneira similar ao plano de monitoramento, parte dos indicadores selecionados, define responsveis (um tcnico, um setor, um grupo gestor etc. ), mtodos e como e para quem sero comunicados os resultados, visando a influenciar julgamentos sobre o que est sendo avaliado. Em seguida, realiza-se um exerccio de anlise de resultados. c) Resultados da oficina: plano de avaliao; prtica sobre anlise de resultados. Quarta oficina a) Objetivos: discutir estratgias de comunicao; construir um plano de comunicao; avaliar as quatro oficinas. b) Desenvolvimento da oficina: Esta quarta e ltima oficina pretende, por meio de contribuies conceituais, conscientizar os participantes sobre a importncia da comunicao para o uso e a apropriao dos resultados de atividades de M&A. Reflexes sobre o que comunicar, para quem e como so realizadas em conjunto com os participantes, buscando construir um plano de comunicao para dar visibilidade/comunicar as avaliaes, de acordo com o pblico beneficirio, conforme modelo abaixo:
CAPACIDADES | 73
Mais do que uma discusso sobre o aprendizado adquirido no conjunto de 4 (quatro) oficinas, importante discutir com os participantes as chances de ter efetivamente implementado este modelo em suas iniciativas, chegando inclusive a discutir possveis estratgias para novos arranjos institucionais e/ou o fortalecimento das parcerias j existentes. Para isso, resgata-se a carta de princpios com os atributos de que avaliao queremos. Por fim, uma avaliao final sobre o que se aprendeu e o quanto este aprendizado pode ser considerado uma evoluo em relao ao nvel inicial dos participantes. c) Resultados da oficina: plano de comunicao; avaliao da oficina.
74 | CAPACIDADES

Guia Metodologico para Monitoramente e AvaliacaoParticipativa 2012

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Guia Metodologico para Monitoramente e AvaliacaoParticipativa 2012

Enviado por

Direitos autorais:

Formatos disponíveis

Empoderando vidas. Fortalecendo naes.

GUIA METODOLGICO PARA

Monitoramente a Avaliao Participativa de Aes Municipais

Andrea Brito Theorga

Coordenador-Residente do Sistema ONU no Brasil e Representante-Residente do PNUD no Brasil:

Rafhael Vaz dos Santos

Mrcia Paterno Joppert Rogrio Renato Silva

Keila Mariana de A. Oliveira

Maristela Marques Baioni

Themaz Comunicao Ltda.

Coordenadora da Unidade de Planejamento Estratgico e Desenvolvimento de Capacidades:

Maria Celina Arraes

Coordenao de Projeto CapaCidades:

Denise Bocorny Messias Ieva Lazareviciute Joo Pedro Kaempf

Paulo Ziulkoski Presidente da CNM

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Para quem este guia foi escrito?

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Uma sugesto para incrementar a aprendizagem

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

1. Gesto Integrada e Desenvolvimento

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

2. Monitoramento e Avaliao: alguns conceitos

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Que aspectos do projeto precisamos conhecer melhor e investigar?

Como ser possvel coletar as informaes?

Monitoramento e Avaliao Participativa de Aes Municipais

Etapas Metodolgicas Como analisar as informaes coletadas?

Para quem e como comunicar os resultados?

Que decises sero tomadas com base no monitoramento?

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Organizao No Governamental. Conselho Municipal dos Direitos da Criana e do Adolescente.

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Figura 3: estudos de linha de base e sua utilidade

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

3. Construindo um Plano Participativo de Monitoramento e Avaliao

Monitoramento e Avaliao Participativa de Aes Municipais

Figura 4: etaPas de Processos ParticiPativos

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais

Sistema nico de Sade. Sistema nico da Assistncia Social.

Monitoramento e Avaliao Participativa de Aes Municipais

Monitoramento e Avaliao Participativa de Aes Municipais