Você está na página 1de 51

Monitoramento e Avaliao

VISO GERAL
Breve resumo Esse pacote de ferramentas lida com os elementos bsicos para se inserir e utilizar um sistema de avaliao e monitoramento para um projeto ou uma organizao. Ele esclarece o que monitoramento e avaliao so, como planejar a sua execuo, como desenhar um sistema de monitoramento e como criar um processo de avaliao que associe tudo isso de uma maneira til. Ele analisa como coletar informaes, evitando que voc se afogue numa anlise de dados relativamente descabida ou excessiva em informaes desnecessrias. Por fim, este pacote suscita e tenta aplicar diretamente sua frmula a alguns dos tpicos a serem revigorados com base no que foi ensinado. Por que um pacote detalhado de ferramentas para monitoramento e avaliao? Se voc no se importa com a maneira como conduz seu trabalho ou qual o impacto tm suas atitudes, por que se importar com qualquer outra coisa? Avaliao e monitoramento possibilitam analisar a qualidade e o impacto de seu trabalho em relao ao seu plano de ao e seu plano estratgico. Para que a avaliao e o monitoramento sejam realmente vlidos, voc precisa ter planejado corretamente. Um planejamento correto tratado com detalhes em outros pacotes de ferramentas nesta mesma pgina da internet. Quem deve se utilizar deste pacote de ferramentas? Este pacote ser til ao leitor e leitora interessados na eficincia, na eficcia e no impacto de seus trabalhos em um projeto ou em uma organizao. Quando este pacote ser til? Este pacote ser til quando: Voc estiver estruturando sistemas para a coleta de dados durante as fases de planejamento de um projeto ou uma organizao; Voc quiser analisar os dados coletados atravs de um processo de monitoramento; Voc estiver interessado em descobrir como est a eficincia e a eficcia de seu trabalho; Voc atingir um estgio de seu projeto ou um perodo na vida da sua organizao, no qual imagine ser til avaliar o tamanho do impacto do trabalho que est obtendo; Doadores solicitam uma avaliao externa de sua organizao e/ou trabalho.

Ainda que haja uma tendncia de enxergar em organizaes de sociedade civil uma avaliao como algo que acontece quando um doador insiste em ter uma, de fato, uma avaliao e um monitoramento so ferramentas imprescindveis de trabalho. Sem uma noo de como se est caminhando em relao a indicadores e metas, os recursos terminam sendo desperdiados e no modificam a situao inicialmente identificada. O monitoramento e a avaliao habilitam para que se faa essa anlise corretamente.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao

VISO GERAL
Pg. 1

PRINCPIOS BSICOS
Pgs. 2-40

MELHORES PRTICAS
Pgs. 41-46

RECURSOS
Pg. 49

GLOSSRIO
Pgs. 50-52

Exemplos

Exemplos de indicadores pgs. 42-43

Estudo de Caso: Desenhando um sistema de Monitoramento


pgs. 44-46

Formato do Relatrio de Campo pgs. 47-48

O que Monitoramento e Avaliao? Pgs. 3-4


Por que fazer Monitoramento e avaliao? Pgs. 4-5 Mais informaes a respeito de monitoramento e avaliao o que est envolvido e suas diferentes ligaes pgs. 6-10

Planejamento para Monitoramento e Avaliao pg. 11


O que queremos saber? pg. 12-15 Tipos diferentes de informao quantitativa e qualitativa pg. 16 Como obteremos a informao? pg. 17 Quem deve estar envolvido? Pg. 18

Estruturando um processo de monitoramento e/ou avaliao pg. 19


Indicadores

Coletando Informaes p. 27
Diretrizes e controles de dano
pg. 28-29

Analisando Informaes
pg. 35

Tomando atitudes
pgs. 36

Relatrio pg. 37 Aprendendo pg. 39 Tomada de decises eficazes pg. 40 Lidando com contrariedades
pg. 41

Monitoramento
pg. 20-22

Avaliao
pg. 23

Mtodos pgs. 30-33

Propsito pg. 24 Questes centrais para a avaliao pg. 25 Metodologia pg. 26

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao
PRINCPIOS BSICOS O que monitoramento e avaliao?
Por mais que a expresso monitoramento e avaliao tenda a ser escrita como se as duas coisas parecessem uma nica coisa, monitoramento e avaliao so de fato, duas formas distintas de atividades organizacionais, relacionadas, porm jamais idnticas. O Monitoramento uma coleta sistemtica e uma anlise da informao de como um projeto progride. criado para melhorar a eficincia e a eficcia de um projeto ou organizao. baseado em metas e atividades dirigidas durante as fases de planejamento do trabalho. Auxilia a manter o trabalho em sua linha geral e possibilita ao gerenciamento identificar quando as coisas no esto andando corretamente. Se utilizado corretamente, torna-se uma ferramenta inestimvel para um bom gerenciamento e fornece uma base de avaliao muito til. Habilita saber se os recursos esto sendo bem utilizados e se sero suficientes para o que est sendo feito; se sua capacidade de trabalho suficiente e apropriada; e se voc est realizando aquilo que planejou fazer (verifique tambm o pacote de ferramentas para o planejamento de aes). A Avaliao a comparao do real impacto do projeto em relao ao planejamento estratgico estudado anteriormente. Averigua o que foi formulado para ser realizado com o que foi feito e como isso foi alcanado. Pode ser formativa (sendo elaborada ao mesmo tempo em que ocorre o projeto ou existe a organizao, com a inteno de melhorar a estratgia ou a forma do funcionamento de um projeto ou organizao). E pode tambm ser resumida (aferindo aspectos de ensinamentos para um projeto finalizado ou uma organizao que deixou de existir). Uma vez, uma pessoa descreveu a diferena entre os dois como sendo a diferena entre uma avaliao mdica geral e uma autpsia! O que a avaliao e o monitoramento tm em comum que ambos so estruturados durante o aprendizado do que se est fazendo e como se est fazendo, focalizando: Eficincia Eficcia Impacto A Eficincia diz que o insumo empreendido em seu trabalho apropriado em termos de resultados. Isso pode ser insumo em termos de dinheiro, tempo, equipe, equipamento e assim por diante. Quando voc trilha um projeto e est preocupado com sua replicabilidade, ou com a maneira como ele se desenvolver numa projeo de escala (veja o Glossrio), ento, muito importante que se tenha o elemento de eficincia corretamente. Eficcia a medida de extenso do qual um programa de desenvolvimento ou projeto alcana com os objetivos especficos que traou para si. Se, por exemplo, foi traado melhorar as qualificaes de todos os professores de segundo grau de uma determinada rea, ns conseguimos? Impacto diz se o que voc realizou fez ou no alguma diferena em relao ao problema da situao que voc tentou solucionar. Em outras palavras, sua estratgia foi til? Houve uma melhora, ao final de contas, na taxa de aprovao dos alunos no final do ano quando se assegurou uma maior qualificao dos professores? Antes de se decidir por crescer ou

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao
duplicar o projeto voc precisa estar certo de que o que est sendo realizado est fazendo sentido nos termos do impacto que se quer atingir. A partir disso, deveria estar claro que o monitoramento e avaliao so mais bem realizados quando foi estruturado previamente um planejamento que vislumbre seus alcances e progressos. Existem trs pacotes de ferramentas que lidam diretamente com relao a isso a viso geral de planejamento, um planejamento estratgico e um planejamento de ao. Nesta seo, analisamos com mais profundidade por que fazer uma avaliao e um monitoramento? e mais a respeito de monitoramento e avaliao, e o que isso envolve. Isso inclui uma discusso das diferentes abordagens de monitoramento e avaliao e o que pensar a respeito de quando se utiliza um avaliador externo.

POR QUE FAZER MONITORAMENTO E AVALIAO?


O monitoramento e a avaliao habilitam que se averige o ponto fundamental (consulte o Glossrio) de um desenvolvimento de trabalho: No, estamos tendo lucro?, mas estamos fazendo a diferena?. Atravs de monitoramento e avaliao, pode-se: Revisar o progresso; Identificar os problemas em planejamento e/ou implementao; Promover ajustes para que se possa mais fortemente fazer a diferena. Em muitas organizaes, monitoramento e avaliao alguma coisa vista mais como uma requisio de doadores do que uma ferramenta de gerenciamento. Doadores certamente tm todo o direito de saber se seu dinheiro est sendo gasto de maneira apropriada e se est sendo bem gasto. Porm, primariamente (e muito mais importante) o uso da avaliao e monitoramento deve ser feito para a prpria organizao ou projeto saber como est andando em relao aos seus objetivos, se est tendo um impacto, se est se trabalhando com eficincia e para aprender a ser melhor. Planos so essenciais, mas no so feitos de concreto (fixados de forma totalmente inflexvel). Se no esto funcionando, ou se as circunstncias mudaram ento os planos tambm devem sofrer mudanas. O monitoramento e avaliao so ferramentas que ajudaro um projeto ou organizao a perceber quando seus planos no esto funcionando ou quando as circunstncias sofreram mudanas. Eles fornecem ao gerenciamento a informao necessria para tomadas de decises a respeito do projeto e da organizao das mudanas que se mostrem necessrias em relao aos planos ou a prpria estratgia. Atravs disso, as constantes permanecem como pilares da rede estratgica: a anlise de problemas, a viso e os valores da organizao ou do projeto. Tudo o mais pode ser renegocivel (veja tambm o pacote de planejamento estratgico). Fazer algo errado no um crime. Falhar e no mostrar que aprendeu com erros do passado por no ter feito um monitoramento e avaliao, . O efeito do monitoramento e avaliao pode ser visto no ciclo a seguir. Observe que voc monitorar e ajustar diversas vezes antes que esteja preparado para fazer uma avaliao e possa planejar novamente.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao
Avaliar/aprender / decidir Implementar Planejar

Refletir/aprender /decidir/ajustar

Implementar

Monitorar Refletir/ aprender/ decidir/ajustar

Monitorar

Implementar

importante reconhecer que o monitoramento e a avaliao no so varinhas de condo que podem ser simplesmente usadas como um passe de mgica, solucionando problemas, ou remediando dificuldades, ou fazendo mudanas miraculosas, sem uma boa dose de trabalho duro sendo feito para a realizao do projeto ou organizao. Em si mesmos, eles no so solues, mas so ferramentas valiosas. O monitoramento e a avaliao podem: Ajudar a identificar problemas e suas causas; Sugerir solues possveis para problemas; Levantar questes quanto estratgia e s previses realizadas; Levar voc a refletir para onde est indo e de como voc est chegando l; Providenciar informaes e aspectos internos; Encoraj-lo a agir a respeito dessas informaes e aspectos; Aumentar suas possibilidades de acerto que faro uma diferena de desenvolvimento positiva.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao
MAIS INFORMAES A RESPEITO DE MONITORAMENTO E AVALIAO Monitoramento envolve: Estabelecer indicadores (consulte o Glossrio) de eficincia, de eficcia e de impacto; Estabelecer sistemas para coleta de informaes, relacionando estes indicadores; Coletar e gravar a informao; Analisar a informao; Utilizar a informao para informar ao gerenciamento diariamente. O monitoramento uma funo interna em qualquer projeto ou organizao. Avaliao envolve: Avaliar o que o projeto ou a organizao pretendem atingir qual diferena quer fazer? Qual impacto quer ter? Reconhecer seu progresso com relao ao que almejava, suas metas de impacto. Examinar a estratgia de um projeto ou organizao. Houve uma estratgia? Houve eficcia em se seguir a estratgia proposta? A estratgia funcionou? Se no, por que no? Examinar como as coisas funcionaram. Houve um uso eficiente dos recursos? Quais foram os custos de oportunidade (veja o Glossrio) com a maneira que se optou por trabalhar? Quo sustentvel a forma pela qual o projeto e a organizao trabalham? Quais so as implicaes para os diversos agentes envolvidos pelo modo com que a organizao trabalha? Numa avaliao, avaliamos eficincia, eficcia e impacto (consulte Glossrio). Existem muitos tipos diferentes de se fazer uma avaliao. Alguns dos termos mais comuns com que voc poder se deparar so: Auto-avaliao: Isso requer uma organizao ou projeto que segure um espelho diante de si mesmo e analise o que faz, como uma forma de prtica para melhoramento e aprendizagem. Exige que se tenha uma organizao muito honesta e auto-reflexiva para fazer isso de forma eficaz, contudo isso pode ser uma experincia de aprendizagem muito importante. Avaliao participatria: Esta uma forma de avaliao interna. A inteno reunir o maior nmero de pessoas possvel que tenham participao direta no trabalho que est sendo realizado. Isso pode significar beneficirios e equipe do projeto trabalhando em conjunto nesta avaliao. Se algum de fora for chamado ser para agir como facilitador do processo, no avaliador. Estimativa Participatria Rpida: Originalmente utilizada em reas rurais, a mesma metodologia pode, na verdade, ser aplicada na maioria das comunidades. Este uma forma qualitativa (consulte o Glossrio) de se fazer avaliaes. conduzida e semi-estruturada por um time interdisciplinar e levada por um curto perodo de tempo. utilizada como base de incio para se entender uma situao local e uma maneira rpida, til e barata de se armazenar informaes. Envolve o uso de revises de dados secundrias (consulte o Glossrio), observao direta, entrevistas semi-estruturadas, informantes chave, entrevistas de grupos, jogos, diagramas, mapas e

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao
calendrios. Em um contexto de avaliao, ele permite que se obtenham dados valorosos daqueles que supostamente esto se beneficiando do trabalho de desenvolvimento. flexvel e interativo. Avaliao externa: uma avaliao feita por um time de fora ou algum externo cuidadosamente escolhido. Avaliao interativa: Isso requer uma interao muita ativa entre o avaliador ou time externo e a organizao ou projeto sendo avaliado. s vezes, algum de dentro pode ser includo no time de avaliao. Para mais informaes de vantagens e desvantagens das avaliaes internas e externas, veja a prxima pgina. Para maiores informaes a respeito de um avaliador externo, v para a pgina 9. Para maiores informaes de diferentes tipos de abordagens para avaliao, v para a pgina14.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao
VANTAGENS E DESVANTAGENS DE AVALIAES INTERNAS E EXTERNAS
Vantagens Os avaliadores tm muita familiaridade com o trabalho, com a cultura organizacional e com seus objetivos e metas. Algumas vezes as pessoas sentem-se mais vontade em falar com pessoas de dentro da organizao do que com pessoas de fora. Uma avaliao interna muito claramente uma ferramenta gerencial e de auto-correo bem menos ameaadora que uma avaliao externa. Essa forma torna muito mais simples para todos os envolvidos aceitar certas crticas e sugestes e opinies a respeito do trabalho sendo realizado. Uma avaliao interna custar muito menos que uma avaliao externa. A avaliao tende a ser muito mais objetiva, j que os avaliadores mantm-se distantes do trabalho sendo realizado. Os avaliadores possuem geralmente uma grande variedade de habilidades e experincias de avaliao. Algumas vezes, as pessoas preferem relatar coisas a pessoas de fora ao invs de pessoas internas a organizao. Gera-se muito mais credibilidade a opinies e sugestes utilizando-se um avaliador externo, especialmente no caso de sugestes positivas. Desvantagens O time de avaliao possuir um interesse especial em alcanar concluses positivas com relao ao projeto ou organizao. Por esta razo inclusive, se desenvolve o motivo para que doadores prefiram uma avaliao externa. O time pode no ser especializado ou treinado especificamente para realizar uma avaliao. A avaliao tomar uma considervel quantia de tempoenquanto poder custar menos deixar que uma avaliao externa ocorra, em termos de custo de oportunidade (consulte o Glossrio). Dessa forma, pode ser mais elevado que simplesmente contratar uma avaliao externa. Algum de fora da organizao ou projeto pode no entender a cultura ou at mesmo o trabalho que se pretende alcanar. Aqueles que esto diretamente envolvidos podem se sentir ameaados pelos avaliadores externos e podem ter menos propenso a falar abertamente e cooperar com o processo. Uma avaliao externa pode ser muito custosa. Um avaliador externo pode interpretar mal o que voc deseja e pode no fornecer o que voc precisaria.

Avaliao interna

Avaliao Externa (feita por um time ou pessoa sem interesses especiais pelo projeto em questo)

Se voc decidir ter uma avaliao externa, voc encontrar algumas sugestes de critrios a serem utilizados na escolha de um avaliador externo na prxima pgina.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao

SELECIONANDO UM AVALIADOR EXTERNO OU UM TIME DE AVALIAO

Qualidades para serem levadas em conta quanto escolha de um avaliador ou time de avaliao externa: Uma boa compreenso de assuntos de desenvolvimento. Uma boa compreenso de assuntos organizacionais. Experincia na avaliao de desenvolvimento de projetos, programas ou organizaes. Um bom histrico que possa ser averiguado com relao a clientes anteriores. Grandes habilidades de pesquisa. Um compromisso com qualidade. Um compromisso com datas de trabalhos a serem cumpridos. Objetividade, honestidade e justia. Lgica e facilidade em operar sistematicamente. Forte habilidade em se comunicar tanto escrevendo como verbalmente. Um estilo e abordagem que se encaixe com a personalidade de sua organizao. Valores que sejam compatveis com aqueles que sua organizao tenha. Preos razoveis (custo), comparveis com os de outras empresas no mercado. Como voc descobre tudo isso? Formulando uma grande quantidade de perguntas! Quando voc decide utilizar um avaliador externo: Confira as referncias de quem seja. Rena-se com os avaliadores antes de tomar a deciso final. Comunique o que voc deseja claramente bons Termos de Referncia (veja o Glossrio) so fundamentais para uma boa relao contratual. Negocie um contrato que fornea uma previso do que acontecer se o calendrio e os resultados esperados, em termos de compromissos, no forem alcanados. Pea por um plano de trabalho com resultados e datas afixadas. Mantenha contato pea por relatrios intermedirios nesse nterim como parte do trabalho a ser realizado seja verbalmente ou por escrito. Estruture esse acompanhamento formalmente e combine quando isso dever ser entregue a voc. No espere que todo avaliador seja completamente objetivo. Essa pessoa ter opinies e vises voc no est procurando algum que seja um rob! Entretanto, suas opinies devem estar claramente estabelecidas como tais, e no devem desviar ou serem colocadas como fatos. bastante importante tambm ter uma noo de quais sero as abordagens que esse avaliador utilizar para fazer a avaliao. A prxima pgina traz mais informaes quanto a diferentes tipos de abordagens para avaliao.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

Monitoramento e Avaliao

DIFERENTES ABORDAGENS PARA AVALIAO


Abordagem Propsito principal Possveis questionamentos em foco As metas foram alcanadas? Eficientemente? Foram essas as metas corretas? Metodologia anloga

Baseadas em metas

Compreender o alcance de metas e objetivos.

Tomadas de decises

Fornecer informao.

O projeto foi eficaz? Deve continuar? Como deve ser modificado?

Com objetivos livres

Compreender a variedade dos efeitos do projeto pretendidos ou imprevistos.

Quais foram todos os resultados relacionados? Que valor eles possuem?

Julgamento de especialistas

Utilizao de um especialista.

Como um profissional externo a este projeto pode avali-lo?

Comparar a linha de base (veja o Glossrio) e as informaes de progresso (veja o Glossrio); encontrando maneiras de definir indicadores. Compreender a variedade de opes relacionadas com o contexto do projeto, resultados, processos, e o produto. Estabelecer algum tipo de consenso quanto tomada de decises. Determinao independente de necessidades e padres para julgar a validade do projeto. Tcnicas qualitativas e quantitativas que descubram quaisquer resultados possveis. Reviso crtica baseada na experincia, pesquisa informal e reflexes internas.

Em nossa opinio, os melhores avaliadores se valem de uma combinao de todas essas abordagens. Uma organizao pode pedir para que uma delas seja enfatizada, mas importante no excluir qualquer descoberta ou concluso, e no fazer uso de uma abordagem diferente. (Agradecimentos PACTs Evaluation Sourcebook, 1984, por muito do que foi escrito aqui.)

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

10

Monitoramento e Avaliao
Planejamento para Monitoramento e Avaliao
O monitoramento e a avaliao devem ser parte de seu processo de planejamento. muito mais complicado retornar e estabelecer os sistemas de monitoramento e avaliao uma vez que as coisas j tenham comeado a acontecer. A necessidade de se comear a coletar informaes de desempenho em relao a suas metas importante desde o primeiro instante de atividades. A primeira informao coletada deve ser feita, na verdade, quando se estruturam as primeiras necessidades de documentao (consulte, no pacote de ferramentas de viso geral de planejamento, a seo a respeito do trabalho de base). Ele fornecer a informao necessria quanto ao alcance em relao a melhoramentos com o decorrer do tempo. Quando voc realiza seu processo de planejamento, voc define indicadores (veja o Glossrio). Estes indicadores fornecem a rede que possibilita seu sistema de monitoramento e avaliao. Eles informam o que voc deseja saber e os tipos de informao cuja coleta ser til. Nesta seo examinaremos: O que queremos saber? Isso inclui examinar indicadores de ambos os assuntos, externos e internos (Confira tambm os exemplos de indicadores mais adiante neste pacote de ferramentas.) Tipos diferentes de informao. Como obteremos a informao? Quem deve estar envolvido? No h um nico modo de planejamento para monitoramento e avaliao. As sugestes includas nos pacotes de ferramentas de planejamento, planejamento estratgico e planejamento de aes lhe auxiliaro no desenvolvimento de uma rede dinmica para seu sistema de monitoramento e avaliao. Se voc possui uma familiaridade com uma rede de anlise lgica e j a utiliza em seu planejamento, esta abordagem traz em si mesma uma forma de planejar um sistema de avaliao e monitoramento. (Consulte tambm no pacote de ferramentas a respeito da viso geral de planejamento, a seo de ferramentas de planejamento viso geral.)

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

11

Monitoramento e Avaliao
O QUE QUEREMOS SABER? O que queremos saber est relacionado com o que pensamos ser importante. No trabalho de desenvolvimento, o que pensamos ser importante est relacionado com nossos valores. A maioria do trabalho est envolvida por uma rede de valores. esta rede que determina os padres de aceitao no trabalho que fazemos. Os valores centrais, nos quais a maioria do trabalho de desenvolvimento feito, so: Servir a pessoas carentes; Favorecer os desprotegidos; Mudar a sociedade, no simplesmente com a ajuda individual; Sustentabilidade; Uso eficiente de recursos. Ento, a primeira coisa que precisamos saber : O que estamos fazendo e como estamos agindo est auxiliando para o favorecimento destes valores? Para responder a esta questo, nosso sistema de monitoramento e avaliao deve nos fornecer informaes a respeito de: Quem est se beneficiando do que fazemos? O quanto esto se beneficiando? Os beneficiados recebem de uma forma unilateral e passivamente ou o processo auxilia para que eles possam assumir algum controle de suas vidas? Existem quaisquer ensinamentos que possam trazer um maior impacto alm deste que est acontecendo com nosso projeto? Isso que estamos fazendo tem alguma possibilidade de se sustentar a longo-termo, ou cessar assim que partirmos? Estamos alcanando o mximo dos melhores resultados possveis para os problemas apresentados? Queremos nos concentrar no produto ou no processo que est sendo desenvolvido? O trabalho de desenvolvimento deve ser avaliado em termos de processo (a forma com que o trabalho est sendo desenvolvido) ou o produto (o que o trabalho produz)? Geralmente, essa discusso feita mais para se desculpar desempenhos inadequados que discutir realmente algo que deve ser levado a srio. O produto e o processo no esto separados em um trabalho de desenvolvimento. Aquilo que alcanamos e a maneira como alcanamos so geralmente a mesma coisa. Se o objetivo desenvolvimento, baseando-se em valores desenvolvimentistas, ento cavar um poo sem transferir a habilidade para manter e manusear o poo no suficiente. Dizer: Iria demorar muito dessa forma, no podamos esperar que eles agissem por si mesmos. Dissemos que iramos cavar um poo e o fizemos no suficiente. Mas tambm no suficiente dizer: No tem importncia que o poo no tenha acontecido ainda. O importante que a populao foi instruda. Ambos os processos e produtos devem ser parte de um sistema de avaliao e monitoramento. Mas como podemos tornar o processo, o produto e tais valores mensurveis? A resposta se encontra no estabelecimento de indicadores, e este assunto abordado na subseo a seguir.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

12

Monitoramento e Avaliao
O QUE QUEREMOS SABER? Indicadores Indicadores so tambm abordados na viso geral de planejamento, na seo a respeito de monitoramento e avaliao. Indicadores so sinais tangveis ou mensurveis de que algo foi feito ou alcanado. Em alguns estudos, por exemplo, o aumento de antenas de televiso numa comunidade foi utilizado como indicador de que o padro de vida da comunidade aumentou. Um indicativo de maior organizao comunitria pode ser um aumento da freqncia de membros da comunidade nos encontros peridicos. Se algum est interessado no impacto da participao em relao ao gnero, pode-se utilizar envolver especial ateno e maior tempo em projetos de desenvolvimento a uma maior participao feminina como um indicador. Indicadores comuns que apontam para o estado de sade geral de uma comunidade so taxas de mortalidade de bebs/crianas/ mes, taxas de natalidade, status nutricional e peso de bebs ao nascerem. Podem-se analisar indicadores menos diretos, como extenso de imunizao, extenso de gua potvel disponvel, e assim por diante. (veja maiores exemplos de indicadores mais adiante). Os indicadores so uma parte essencial de um sistema de monitoramento e avaliao, pois eles so o que voc vai poder medir e/ou monitorar. Atravs de indicadores voc pode perguntar e responder questes como: Quem? Quantos? Com qual freqncia? Quanto custa? Entretanto, voc precisa decidir anteriormente quais indicadores vai utilizar para que comece a coletar informaes imediatamente. Voc no pode querer se utilizar de um indicativo como o nmero de antenas de televiso como sinal de melhora de padro da comunidade se voc no sabe quantas havia no comeo do processo. Algumas pessoas argumentam que o problema com indicadores mensurveis que outras variveis (fatores) podem ter um impacto sobre eles tambm. Mais membros da comunidade podem estar participando nos encontros comunitrios simplesmente por haver um maior nmero de pessoas com um passado ativo, e mudado simplesmente para aquela rea. As mulheres podem ter mais tempo para projetos de desenvolvimento porque os homens da vila participaram de um seminrio para questes de gnero e decidiram dividir e ajudar mulheres em algumas tarefas tradicionalmente realizadas por mulheres possibilitando assim que se ocupem de outras atividades. E assim por diante. Ainda que isso seja verdade, possvel identificar outras variveis e lev-las em conta. tambm muito importante notar que, se nada est se modificando, se no se pode averiguar nem um melhoramento na mensurao dos indicadores-chave escolhidos, sinal de que sua estratgia no est funcionando e precisa ser repensada. Para estudar um mtodo de desenvolvimento de indicadores, veja a prxima pgina. Para consultar exemplos de indicadores, v para exemplos.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

13

Monitoramento e Avaliao
DESENVOLVENDO INDICADORES

1 Passo: Identifique o problema que voc est tentando resolver. Ele pode ser: Situao econmica (desemprego, baixos salrios, etc.). Situao social (moradia, sade, educao, etc.). Situao cultural ou religiosa (perda do uso de lnguas tradicionais, pouca freqncia em servios religiosos, etc.). Situao poltica ou organizacional (governo local ineficiente, lutas de faces, etc.). Pode haver outras situaes tambm. (consulte a seo de anlise de problemas em seu pacote a respeito da viso geral de planejamento, na seo que trata do trabalho de base). 2 Passo: Desenvolva uma viso de como voc gostaria que estas reas fossem ou parecessem (consulte, no pacote de planejamento estratgico, a seo a respeito de viso). Isso lhe fornecer indicadores de impacto. O que lhe mostraria que sua viso foi alcanada? Que sinais voc identificaria e que possam ser medidos que provariam que sua viso foi alcanada? Por exemplo, se sua viso foi a de que as pessoas em sua comunidade seriam mais saudveis, ento voc pode usar indicadores de sade para averiguar como est avanando. A mortalidade infantil sofreu uma queda? Menos mulheres esto falecendo durante o parto? A taxa de contaminao pelo vrus da AIDS tem sido reduzida? Se voc pode dizer sim a estas questes, ento algum progresso foi alcanado. 3 Passo: Desenvolva uma viso progressiva de como voc quer que as coisas sejam atingidas. Isso lhe fornecer indicadores de processo. Se, por exemplo, voc quer atingir seus resultados atravs da participao da comunidade e de seus prprios esforos, ento sua viso de processo pode incluir coisas como trabalhadores de sade da comunidade treinados e que ofeream um servio de qualidade para todos; eventos organizados regularmente pela comunidade para limpeza geral, e assim por diante. 4 passo: Desenvolver indicadores para eficcia. Por exemplo, se voc acredita que pode aumentar a taxa de alunos aprovados no ensino secundrio, melhorando o nvel de seus professores, ento precisar de indicadores que mostrem que voc obteve sucesso quanto melhora destes professores, p.ex. evidncias de uma pesquisa em escolas, comparando com a pesquisa de base inicial. 5 passo: Desenvolver indicadores para metas de eficincia. Aqui voc pode estabelecer indicadores, tais como: seminrios planejados devem ocorrem junto com o tempo pr-estabelecido, custos para os seminrios so mantidos em 2.50 dlares por pessoa, no mximo, no se deve utilizar mais de 160 horas com a organizao de uma conferncia; sem reclamaes quanto organizao da conferncia, etc. Com a estrutura colocada em seu devido lugar, voc estar apto a monitorar e avaliar eficincia, eficcia, e o impacto disso tudo (Veja o Glossrio).

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

14

Monitoramento e Avaliao
TIPOS DIFERENTES DE INFORMAO QUANTITATIVA E QUALITATIVA A informao utilizada para monitorar e avaliar pode classificada como: Quantitativa; ou Qualitativa. A medida quantitativa lhe diz quanto ou quantos?. Quantas pessoas assistiram ao seminrio, quantas pessoas foram aprovadas em seus testes finais, quanto custa uma publicao, quantas pessoas foram infectadas pelo vrus da AIDS, quantas pessoas precisam se deslocar para conseguir gua ou madeira para o fogo, e assim por diante. A medida quantitativa pode ser expressa em nmeros absolutos (3241 mulheres da amostra esto infectadas) ou com percentual (50% das residncias nesta rea possuem antenas de televiso). Pode tambm ser expressa por razes (uma a cada 30000 pessoas). De uma maneira ou de outra, voc ter uma informao quantitativa (nmero) por contar ou medir. A medida qualitativa indica como as pessoas se sentem a respeito de alguma situao ou como as coisas so feitas, ou como as pessoas se comportam. Ento, por exemplo, ainda que voc descubra que 50% dos professores da escola esto insatisfeitos com o critrio selecionado, isso ainda considerado uma informao qualitativa, no uma informao quantitativa. Consegue-se a informao qualitativa perguntando, observando e interpretando. Algumas pessoas consideram a informao quantitativa confortante ela parece confivel, slida e objetiva. Elas consideram a informao qualitativa subjetiva e pouco convincente. um erro, porm dizer que a informao quantitativa fala por si mesma. A informao quantitativa est sujeita a interpretaes tanto quanto a informao qualitativa. Pode ser um fato que o ingresso de meninas em escolas de alguns pases em desenvolvimento est caindo a contabilidade disso pode nos mostrar tal fato, mas no nos dir coisa alguma a respeito das causas ou motivos desses dados. Para se alcanar esse entendimento, ser necessrio sair e perguntar a respeito de tais razes ou seja, ponderar informaes qualitativas. A escolha de indicadores tambm algo subjetivo, seja a partir de mtodos quantitativos ou qualitativos para a mensurao real. Os pesquisadores escolhem medir o ingresso de meninas para a escola porque eles acreditam que isso diga algo a respeito de como as mulheres so tratadas ou vistas na sociedade. Para que uma boa compreenso seja alcanada, o processo de monitoramento e avaliao necessita de uma combinao de informaes qualitativas e quantitativas. Por exemplo, precisamos saber quais so os dados de quantas meninas vo para a escola, assim como precisamos saber qual o motivo para que seus pais permitam ou no que freqentem a escola. Talvez as taxas de matrcula para meninas sejam mais altas porque nesta comunidade considera-se que ir para a escola seja um luxo e prefira-se treinar meninos em tarefas mais prticas e tradicionais, como tomar conta de animais, por exemplo. Neste caso, um ingresso maior de meninas na escola no necessariamente indica uma maior valorizao de meninas.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

15

Monitoramento e Avaliao
COMO OBTEREMOS A INFORMAO? Isso tratado com detalhes no pacote do planejamento de aes, na seo de monitoramento, coletando informaes medida que se progride no planejamento. Seus mtodos de coleta de informao precisam ser construdos dentro de seu planejamento de aes. Voc deve estar apto a manter um canal de informaes firmes correndo em seu projeto ou organizao a respeito do trabalho e de como est sendo realizado, sem sobrecarregar ningum. A informao que coletada deve significar alguma coisa: no colecione informaes para manter-se ocupado, somente o faa para encontrar o que precisa saber, e depois arquive a informao de uma forma que possa ser simples consultla. Geralmente, voc pode utilizar relatrios, minutas, registros de presena e declaraes financeiras que so parte de seu trabalho como fontes de monitoramento e informao de avaliao. Entretanto, s vezes voc precisa utilizar-se de ferramentas especiais que so simples, mas teis para adicionar informao bsica coletada em seu curso natural de trabalho. Algumas das ferramentas mais conhecidas so: Estudos de caso Avaliao gravada Dirios Anlise e gravao de incidentes importantes (chamado anlise de incidente crtico) Questionrios estruturados Entrevistas face a face Grupos focais Pesquisas de amostras Reviso sistemtica de estatsticas relevantes oficiais. Consulte a seo mtodos para mais informaes a respeito de maneiras de coletar informao.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

16

Monitoramento e Avaliao
QUEM DEVE ESTAR ENVOLVIDO? Quase todos da organizao ou projeto estaro envolvidos de alguma forma na coleta de informaes que possa ser usada para monitorar e avaliar. Isso inclui: O administrador, que guarda minutas de uma reunio, ou prepara e distribui o registro de presena; Os trabalhadores de campo, que escrevem relatrios de suas visitas de campo; O arquivador, que registra rendas e gastos. Para que sejam maximizados seus esforos, a organizao ou projeto precisa: Preparar relatrios que incluam a mensurao quantitativa ou qualitativa de indicadores importantes. Por exemplo, se voc quer saber a respeito da participao da comunidade em atividades, ou da participao feminina especificamente, construa um relatrio que possibilite que os trabalhadores de campo possam tecer comentrios a respeito disso, sustentando observaes com os fatos. (Veja um tipo de relatrio de trabalho de campo, mais adiante neste pacote). Prepare tipos de relatrios que incluam a mensurao quantitativa ou qualitativa de indicadores importantes. Por exemplo, se voc deseja saber quantos homens e quantas mulheres participaram da reunio, inclua uma coluna que especifique o gnero de sua lista de presena. Armazene a informao de uma forma que seja possvel manejar o que se precisa saber. Por exemplo, se voc precisa saber se um projeto sustentvel financeiramente, e quais elementos so mais dispendiosos, ento certifique-se de que seus arquivos de gravao averigem essa informao relevante. um princpio muito til olhar para cada atividade e dizer: O que necessitamos saber desta atividade, ambos os processos (como est sendo feito) e produtos (o que se pretende atingir), e qual a maneira mais fcil de encontrar e gravar isso medida que caminhamos?

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

17

Monitoramento e Avaliao
Estruturando um processo de monitoramento e/ou avaliao
Como existem diferenas entre como desenhar um sistema de monitoramento e um processo de avaliao, lidaremos aqui com os dois separadamente. Sob monitoramento, avaliaremos o processo que uma organizao pode atravessar para construir um sistema de monitoramento. Sob avaliao, avaliaremos: Motivo Questes de avaliao chave Metodologia.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

18

Monitoramento e Avaliao
MONITORAMENTO Quando voc estrutura um sistema de monitoramento, voc est estabelecendo um ponto de viso formativo e criando um sistema que lhe providenciar informao til de uma base corrente para melhorar o que fazer e como fazer. Na prxima pgina, voc encontrar um processo sugerido para criar um sistema de monitoramento. Para um estudo de caso que mostra como uma organizao se saiu elaborando um sistema de monitoramento, v seo com exemplos e veja o exemplo: criando um sistema de monitoramento.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

19

Monitoramento e Avaliao
CRIANDO UM SISTEMA DE MONITORAMENTO

Logo abaixo, mostramos passo a passo o processo de criao de um sistema de monitoramento para sua organizao ou projeto. Para o caso de estudo de como uma organizao conseguiu implantar seu sistema de monitoramento, veja a parte de exemplos. 1 passo: Um seminrio com equipe e/ou voluntrios, liderado por voc ou por um consultor: Introduza os conceitos de eficincia, eficcia, e impacto (veja o glossrio). Explique que um sistema de monitoramento precisa cobrir todos os trs. Faa uma lista de indicadores para cada um dos trs aspectos. Esclarea quais variveis (consulte o glossrio) precisam ser conectadas. Ento, por exemplo, voc quer criar uma relao entre a idade dos professores com suas qualificaes para poder responder a pergunta: Existe a tendncia de professores mais velhos terem mais qualificaes? Esclarea quais informaes o projeto ou organizao j est coletando. 2 passo: Inclua os dados e comentrios do seminrio em um breve resumo de questes, colocando seu sistema de monitoramento. Dependendo do quo complexo forem seus requisitos, e de qual sua capacidade, voc talvez decida ter uma base de dados computadorizada ou manual. Se voc quer poder relacionar muitas variveis atravs de muitos casos (e.g. participantes, escolas, envolvimento dos pais, recursos, urbano e rural, etc.) voc talvez precise de uma linha computadorizada. Se voc possui poucas variveis, voc pode provavelmente fazer isso manualmente. A coisa mais importante comear descobrindo as variveis e manter os dados nestas variveis. Conexo e anlise podem ser feitos posteriormente. (Estes conceitos so complicados. Ajudar ler o estudo de caso nos exemplos da seo do pacote de ferramentas). Deste seminrio, voc saber o que quer monitorar. Voc ter os indicadores de eficincia, eficcia e impacto que precisaro ser priorizados. Voc ento escolher as variveis que auxiliaro a responder as questes que pense serem importantes. Ento, por exemplo, voc pode ter um indicador de impacto que seja opes de sexo mais seguras foram escolhidas como um indicador de que pessoas mais jovens agora esto fazendo escolhas de vida mais maduras. As variveis que podem influenciar o indicador so: Idade Gnero Religio Regio Urbana/rural Categoria Econmica Ambiente familiar Extenso de exposio para suas iniciativas de projeto. Nmero de seminrios assistidos.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

20

Monitoramento e Avaliao
A informao correta lhe capacitar a responder as seguintes questes: Existe alguma diferena em relao idade no modo como nossa mensagem recebida? A categoria econmica, isto , jovens de reas mais ricas respondem melhor ou pior mensagem, ou isso simplesmente no faz diferena? Houve um impacto maior para as pessoas que assistiram a mais seminrios? Respostas a estes tipos de questes ajudam uma organizao ou um projeto a tomar decises a respeito do que eles fazem e de como realizam isso, para poder executar as mudanas nos programas e medir seus impactos e sua eficcia. Respostas a questes como as seguintes ajudam o projeto ou a organizao e mensurar e melhorar sua eficincia: Houve um maior nmero de pessoas com sesses bastante programadas com antecipao? Mais escolas participam quando no se cobra? Mais jovens participam quando as sesses so durante o final de semana ou quando so no perodo noturno? Custa menos organizar um seminrio na comunidade, ou trazer as pessoas para nosso centro de treinamento para realizar o seminrio? 3 passo: Decida como voc coletar a informao de que precisa (veja coletando a informao) e onde deve ser mantida (no computador, em arquivos manuais). Decida com qual freqncia voc analisar a informao isso pode significar organizar tudo junto e tentar responder s questes que voc considera importantes. Faa a coleta, analise, faa um relatrio.

4 passo:

5 passo:

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

21

Monitoramento e Avaliao
AVALIAO Criar um processo de avaliao pode significar estar apto a desenvolver os Termos de Referncia para tal processo (se voc a organizao ou o projeto) ou ser capaz de desenhar uma proposta sensata que supra as necessidades do projeto ou da organizao (se voc um consultor). Os principais setores dos Termos de Referncia para um processo de avaliao geralmente incluem: Conhecimento adquirido: Esse o fundo de conhecimento do projeto ou organizao, alguma informao quanto ao problema identificado, o que voc faz, quanto tempo voc existe como organizao ou projeto, ou as razes por voc decidir fazer uma avaliao. Motivo: Neste setor, voc mostrar o que a organizao ou o projeto quer alcanar com a avaliao. Questes de avaliao-chave: Quais so as perguntas centrais que a avaliao precisa ocupar-se em resolver. Objetivos especficos: Quais reas especficas, externas e/ou internas, que voc deseja que a avaliao focalize. Por exemplo, talvez voc queira que a avaliao inclua uma reviso de finanas, ou inclua certo tipo especfico de reas de programas. Metodologia: Neste setor, voc poder dar amplos parmetros ao tipo de abordagem que favorece em sua avaliao (veja a seo, mais a respeito de avaliao e monitoramento). Voc tambm poder sugerir os tipos de tcnicas para o time de avaliao. Pontos logsticos: Eles incluem tempo de durao, custo, requisitos para a composio do time de avaliao, e assim por diante. Para informaes a respeito de alguns dos componentes mais difceis dos Termos de Referncia, continue a leitura das prximas pginas.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

22

Monitoramento e Avaliao
Propsito O propsito de uma avaliao o motivo do que se faz. Vai alm dos motivos do que voc quer realizar para alcanar o intento que o move a realizar tal coisa. geralmente do tamanho de uma frase ou, no mximo, de um pargrafo. Ele possui duas partes: O que voc deseja avaliar; Com qual fim voc quer que isso se realize. Os exemplos de um propsito de avaliao poderiam ser: Providenciar organizao informaes necessrias para tomadas de decises a respeito do futuro de um projeto. Descobrir se o projeto ou a organizao est tendo o impacto planejado de maneira que possa replicar seu modelo, ou no, em outros lugares. Para melhorar seu funcionamento em termos de sua eficcia, impacto sobre um grupo alvo, eficincia e sustentabilidade. O propsito fornece um foco para o amplo processo de avaliao.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

23

Monitoramento e Avaliao
Questes centrais para a avaliao As questes de avaliao-chave so as questes centrais que voc deseja que seu processo de avaliao responda. Elas no so simples questes. Voc dificilmente poder responder simplesmente sim ou no a elas. Uma questo de avaliao til: Incita fortes pensamentos. Desafia previses. Focaliza reflexes e questionamentos. Levanta muitas questes adicionais. Abaixo, alguns exemplos de questes de avaliao-chave relacionadas com o propsito do projeto: O propsito da avaliao entender quo eficiente o projeto em distribuir benefcios para a comunidade em questo, de forma que informe, s decises de Diretoria, a respeito da continuidade e da replicabilidade do projeto. Questes de avaliao-chave: Quem est atualmente se beneficiando do projeto e de que forma? Os insumos (em dinheiro e tempo) justificam os resultados e, se sim ou no, em qual base essa reivindicao se justifica? O que melhoraria a eficincia, a eficcia e o impacto do projeto atual? Que lies podem ser aprendidas deste projeto em termos de replicabilidade? Note que nenhuma dessas questes lida com um elemento especfico ou rea de funcionamento interno ou externo de funcionamento do projeto ou organizao. A maioria das questes exigir que o time de avaliao lide com uma srie de elementos do projeto ou da organizao para que consiga respond-las. Outros exemplos de questes de avaliao podem ser: Quais so as maneiras mais eficazes na qual um projeto deste tipo pode resolver o problema identificado? Em qual extenso o funcionamento interno e a estrutura de organizao conseguem causar positivamente o impacto de seu programa de trabalho? Quais ensinamentos deste projeto tm aplicabilidade atravs de um espectro de desenvolvimento completo? Certamente podem ser citados diversos outros exemplos. Nossa experincia tem nos mostrado que quando um processo de avaliao desenhado com tais questes em mente, ele produz muito mais reflexes interessantes do que simplesmente as questes mais bvias como A diretoria tem um papel importante na organizao?, ou, Que impacto estamos atingindo?.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

24

Monitoramento e Avaliao
Metodologia Metodologia, em contraposio aos mtodos, trata mais do tipo de abordagem que se utiliza em seu processo de avaliao. (Veja nas pginas anteriores mais a respeito de monitoramento e avaliao neste pacote de ferramentas). Voc pode, por exemplo, comissionar ou fazer um processo de avaliao que quase parea inteiramente de fontes escritas, primrias ou secundrias: relatrios, pginas de dados, minutas, e assim por diante. Ou voc pode pedir um processo de avaliao que envolva obter resultados de todos os grupos de apoio importantes relacionados no processo. A maioria dos termos de referncia pode perguntar pela combinao dessas metodologias, mas eles podem especificar tambm como querem que o time de avaliao receba os insumos dos grupos de apoio, por exemplo: Atravs de uma pesquisa; Atravs de informantes-chave; Atravs de grupos focais. (Para mais informaes de mtodos atuais, veja posteriormente a seo coletando informaes). Aqui tambm se espera encontrar alguma indicao de relatrios escritos: Todos os relatrios estaro escritos? O time de avaliao se reportar somente diretoria ou a toda a equipe, ou para a equipe, a diretoria e seus beneficirios? Existiro relatrios intermedirios ou somente um relatrio final? Que tipo de evidncia a organizao ou projeto requer para validar as opinies de seu avaliador? Quem estar envolvido nesta anlise? A seo de metodologia dos Termos de Referncia deve providenciar uma ampla rede de como um projeto ou organizao deseja que o trabalho de avaliao seja realizado.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

25

Monitoramento e Avaliao
Coletando Informaes
(Isso tambm tratado no pacote de ferramentas de planejamento de aes, dentro da seo a respeito de monitoramento, coletando informaes ao passo que voc caminha com a estrutura de seu planejamento). Abaixo, analisaremos com detalhes: As linhas de base e o controle de danos; Mtodos. Entendemos controle de danos como sendo o que voc precisa fazer se falhar em coletar as informaes de linhas de base no incio do trabalho.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

26

Monitoramento e Avaliao
DIRETRIZES E CONTROLES DE DANO De forma ideal, se voc fez seu planejamento de maneira correta e coletou a informao a respeito da situao no comeo de sua interveno, ento voc obter seus dados de base. Os dados de base so as informaes que voc tem a respeito da situao antes de se fazer qualquer coisa. o contedo no qual sua anlise do problema foi baseada. Ser muito difcil mensurar o impacto de suas iniciativas se voc no souber como a situao estava quando voc comeou o trabalho. (Consulte tambm o pacote da viso geral para o planejamento, na seo que trata de como realizar o trabalho de base). Voc precisar de dados de base relevantes para os indicadores que voc decidiu, e que auxiliaro em medir o impacto de seu trabalho. Existem diferentes nveis de dados de base: Informaes gerais quanto situao, geralmente disponveis em estatsticas oficiais, e.g. taxas de mortalidade infantil, ingresso por gnero dos alunos nas escolas, taxas de desemprego, taxas de alfabetizao da populao, e assim por diante. Se voc estiver trabalhando numa regio geogrfica especfica, precisar de dados a respeito dela. Se estes dados no estiverem disponveis em estatsticas oficiais, vocs possivelmente tero que reunir, por si mesmos, as informaes. Isso talvez envolva pesquisas de casa em casa, sejam elas por amostragens ou por todas as casas (veja a seo posterior a respeito de mtodos), ou visitando escolas, hospitais, etc. Focalizando em seus indicadores do impacto quando estiverem coletando esta informao. Se voc tiver decidido medir o impacto atravs de uma amostra de pessoas ou famlias com quem est trabalhando, necessitar de informaes especficas dessas pessoas ou famlias. Ento, por exemplo, para famlias (ou empresas de negcios ou escolas ou qualquer que seja o tipo de unidades com que esteja trabalhando) voc pode querer informaes especficas de renda, histrico, nmero de pessoas empregadas, nmero de crianas por sala e assim por diante. Voc provavelmente obter essa informao com uma combinao de entrevistas e questionrios bsicos a serem preenchidos. Mais uma vez, lembre-se de manter o foco nos indicadores que voc decidiu serem importantes para seu trabalho. Se voc est trabalhando com indivduos, ento necessitar ingerir informaes informaes documentadas a respeito da situao das pessoas com quem voc vai comear a trabalhar. Por exemplo, voc pode querer saber alm da idade, gnero, nome e etc., a renda atual, o status de trabalho, os nveis atuais de educao, o tempo gasto em atividades esportivas, ambies e assim por diante, para cada indivduo participante de sua pesquisa. Novamente, voc provavelmente obter as informaes da combinao de entrevistas e preenchimentos de questionrios bsicos, e voc deve concentrar sua ateno nos indicadores que considera importantes.

muito difcil reiniciar e coletar esse tipo de informao-base depois que voc comeou seu trabalho e a situao modificou-se. Mas e se voc no tiver coletado esse tipo de

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

27

Monitoramento e Avaliao
informao no comeo do processo? Existem maneiras de se fazer o controle de danos. Voc pode se utilizar de evidncias no-formais, anedotas (consulte o glossrio) daqueles que estiveram envolvidos desde o princpio e voc pode perguntar a eles como a situao estava quando o projeto comeou. Voc pode no ter sequer decidido quais eram os indicadores importantes no momento quando comeou o projeto. Voc ter que trabalhar retroativamente e buscar informaes da situao relacionada queles indicadores desde quando iniciou seu trabalho. Voc pode conversar com pessoas, analisar dados e consultar outras fontes como minutas, relatrios e assim por diante. Uma maneira til de se fazer comparaes significativas onde voc no tem informaes de linhas de base atravs da utilizao de grupos de controle. Grupos de controle so grupos de pessoas, negcios, famlias, ou qualquer outra unidade a qual voc esteja focalizando e que no tenha sido influenciada pelas melhoras que sua organizao ou projeto trouxeram e que, porm, so unidades de muitas maneiras, bastantes similares com aquela que voc est trabalhando. Por exemplo: Voc vem trabalhando, ao redor do pas, com grupos de crianas na escola para melhorar sua auto-estima e conhecimento como forma de combater a disseminao da AIDS/HIV e prevenir a gravidez de adolescentes. Aps alguns anos, voc quer descobrir qual o impacto que obteve sobre estas crianas. Voc vai consultar uma srie de grupos de foco (veja mtodos) com as crianas em escolas onde realizou seu trabalho. Mas voc no realizou nenhum estudo de base com eles. Como saber qual a diferena que voc obteve? Voc pode organizar grupos de controle dentro de escolas nas mesmas reas, com o mesmo perfil, onde no tenha trabalhado. Perguntando a ambas as crianas, quelas com que voc trabalhou e quelas com que no trabalhou o mesmo tipo de questes envolvendo auto-estima, comportamento sexual e assim por diante. Assim, voc dever ser capaz de dizer se, em seu trabalho, houve uma diferenciao ou no. Quando voc organiza grupos de controle, voc deve tentar assegurar-se de que: Os perfis dos grupos de controle so parecidos com aqueles com os quais voc trabalhou. Por exemplo, podem ser escolas que tm o mesmo padro econmico, numa igual rea geogrfica e com as mesmas taxas de gnero, grupos de idade, etnia e miscigenao. No existe nenhuma outra varivel que possa afetar as comparaes e afirmaes. Por exemplo, se outro projeto, fazendo um trabalho parecido, estiver envolvido com a escola, essa escola no ser um bom local de estabelecer um grupo de controle. Voc precisa de uma situao que seja a mais prxima possvel da situao que seus beneficiados viviam quando o projeto foi iniciado.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

28

Monitoramento e Avaliao
MTODOS Nesta seo daremos a voc uma lista de compras de diferentes tipos de mtodos que podem ser utilizados para a coleta de informaes com propsitos de se avaliar e monitorar. Voc precisa selecionar os mtodos que serviro para seus propsitos e seus recursos. No planeje realizar uma pesquisa extensa de 100.000 moradias se voc tiver duas semanas e muito pouco dinheiro. Utilize uma amostragem neste caso. A Amostragem (consulte o glossrio) outro conceito importante quando se utiliza de vrias ferramentas para o processo de avaliao e monitoramento. A amostragem no uma ferramenta em si, mas se utilizada com outras ferramentas, ela se torna muito til. A amostragem responde questo: Quem pesquisaremos, entrevistaremos ou incluiremos num grupo de foco, etc.? uma maneira de se reduzir o nmero possvel de entrevistados para tornar a pesquisa gerencivel e com um custo realizvel. Algumas vezes, necessrio incluir todos os indivduos. Isso significa ter de acessar todas as possveis moradias, ou escolas, ou professores, ou clnicas, etc. Numa avaliao, voc pode bem se utilizar de toda a informao coletada em cada caso durante o processo de monitoramento em uma anlise geral. Geralmente, porm, ao menos que os nmeros sejam muito pequenos, para uma explorao mais a fundo, voc utilizar uma amostragem. As tcnicas de amostragem so: Amostragem randmica (Em teoria, realizar uma amostragem randmica fazer uma espcie de sorteio lotrico onde, por exemplo, todos os nomes sejam misturados numa caixinha, chacoalhados e retirados um a um. Este tipo de amostragem randmica muito difcil de ser utilizado pelo tipo de trabalho que estamos lidando. Para propsitos prticos, ser mais simples selecionar a stima moradia, ou uma a cada trs pessoas em uma lista. A essncia da questo que no haja distines na seleo); Amostragem estratificada (e.g. toda stima moradia, na esquina do lado direito, e toda terceira moradia, na esquina do lado esquerdo); Amostragem por clusters=grupos homogneos (p.ex. somente aquelas pessoas que esto no projeto por no mnimo dois anos). tambm sempre melhor fazer uma triangulao (veja o glossrio). Essa uma palavra conhecida que significa que um conjunto de dados ou informaes so confirmados pelos outros. Voc geralmente procura confirmaes de um nmero de fontes dizendo a mesma coisa.
Ferramenta Entrevistas Descrio
Podem ser estruturadas, semi-estruturadas, ou sem estrutura (consulte o glossrio). Elas envolvem formular perguntas especficas que tenham como objetivo obter a informao que possibilite que os indicadores sejam mensurados. As questes podem ser abertas ou fechadas (respostas sim/no). Podem ser uma fonte de informaes qualitativas e quantitativas.

Utilidade
Podem ser utilizadas com quase todos que tiveram algum envolvimento com o projeto. Podem ser realizadas pessoalmente ou pelo telefone ou mesmo por e-mail. Muito flexvel.

Desvantagens
Requer alguma habilidade do entrevistador. Para maiores informaes a respeito de habilidades de entrevistas, leia mais a seguir neste pacote.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

29

Monitoramento e Avaliao
Entrevistas de informantes-chave
Estas so entrevistas que so conduzidas por especialistas em um tpico ou algum que pode estar apto a compartilhar uma indicao ou luz especial acerca do processo. Como estes informantes geralmente tm pouco a ver com a organizao ou projeto, eles podem ser bastante objetivos e oferecer perspectivas bastante teis. Eles podem providenciar uma viso mais ampla, enquanto que pessoas mais envolvidas podem ter seu foco na viso de nvel mais micro (pequeno). Essa ferramenta pode economizar bastante tempo se for para preencher individualmente, possibilitando atingir muitas pessoas. Feita dessa maneira, ela possibilita s pessoas um sentimento de anonimato e elas talvez diro coisas que no diriam a um entrevistador. Necessita de um hbil entrevistador com um bom entendimento do assunto. Tenha cuidado para no transformar algo numa verdade absoluta (que no possa ser questionada) por ter sido dita por um informantechave.

Questionrios

Estas so questes escritas usadas para obter respostas escritas as quais, quando analisadas, possam possibilitar que os indicadores sejam medidos.

Grupos focais

Num grupo focal, uma mdia de mdia de seis a doze pessoas so entrevistadas em conjunto por um entrevistador experiente com uma agenda de entrevista cuidadosamente estruturada. As questes so geralmente focalizadas ao redor de um tpico ou tema especfico.

Essa pode ser uma maneira til de conseguir opinies de uma amostra bastante grande de pessoas.

Pessoas que no conseguem ler ou escrever precisaro de um acompanhamento com os questionrios, o que significa que nenhum tempo ser ganho e os nmeros passveis de alcance sero limitados. Com questionrios, no se tem a possibilidade de explorar o que as pessoas esto dizendo alm do que est escrito. Questionrios tambm so utilizados em demasia e as pessoas ficam cansadas de responder a eles. Questionrios devem ser conduzidos tendo claro que as perguntas podem ser entendidas e no vo ser mal interpretadas. Se o questionrio for complexo e precisar ser analisado no computador, voc necessitar de ajuda de um especialista que saiba lidar com esta anlise. bastante difcil realizar uma amostragem randmica para grupos focais e isso significa que posicionamentos e pensamentos no podem ser generalizados. Algumas vezes, as pessoas influenciam umas s outras dizendo alguma coisa ou se calando a respeito de outra. Se possvel, entrevistas de grupos de foco devem ser gravadas e ento transcritas. Isso requer equipamento especial e pode ser

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

30

Monitoramento e Avaliao
Encontros da comunidade
Isso envolve um encontro de uma significativa poro da comunidade de beneficirios a quem questes, problemas, e situaes so colocadas como dados que auxiliem a medir os indicadores. Encontros da comunidade so bastante teis para conseguir uma ampla resposta de muitas pessoas em assuntos especficos. tambm uma forma de envolver os beneficirios diretamente no processo de avaliao, dando a eles a sensao de autoria no processo. Eles so teis em pontos crticos de projetos comunitrios. Flexvel, uma extenso de um trabalho normal, portanto, barata e rpida. bastante demorado. Difceis de serem analisados requisitando um facilitador/entrevistador experiente. Possa talvez requisitar desdobrar em pequenos grupos seguidos por sesses de plenrio quando todos so colocados juntos novamente.

Relatrios de campo (veja tambm formatos de relatrios de campo sob exemplos)

Ranking

Relatrios de formato estruturado que garante que questes relacionadas a indicadores sejam feitas, respondidas e gravadas e observaes sejam gravadas a cada visita. Isso envolve fazer com que as pessoas digam o que pensam ser o mais importante, menos til, etc.

Depende dos trabalhadores de campo serem disciplinados e conscientes.

Pode ser utilizado por indivduos e grupos, como parte de uma agenda de entrevistas ou um questionrio, ou como uma sesso separada. Onde pessoas no podem ler nem escrever, imagens podem ser utilizadas.

Estmulos udiovisuais

Isso inclui imagens, filmes, fitas, estrias, atividades dinmicas, fotografias, utilizadas para ilustrar problemas ou temas, ou eventos passados ou futuros. Essa tcnica faz uso de um contnuo, ao longo do qual se espera que as pessoas coloquem seus prprios sentimentos, observaes, etc. As pessoas so geralmente levadas a se posicionar se concordam fortemente, concordam, no sabem, discordam, ou discordam fortemente com uma dessas perspectivas. Voc pode usar imagens e smbolos nessa tcnica se as pessoas no souberem ler e escrever.

Muito til para ser usado conjuntamente com outras ferramentas, particularmente com pessoas que no conseguem ler ou escrever. til para mensurar atitudes, opinies e percepes.

Ranking um conceito difcil de ser entendido, e necessita de uma explicao muito cuidadosa, bem como de testes que assegurem que as pessoas entenderam o que est sendo pedido. Se as pessoas malinterpretarem seus dados, eles podem ser completamente distorcidos. Voc deve utilizar o estmulo correto, e o entrevistador precisa ser hbil em se utilizar desse estmulo.

Configurando Escalas

Voc precisa testar os posicionamentos com bastante cuidado, para estar certo de que no houve algum malentendido. Um problema comum quando dois conceitos so includos no posicionamento e voc no consegue ter certeza se a opinio foi dada em um ou outro, ou em ambos.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

31

Monitoramento e Avaliao
Evento crtico/ anlise de ocorrncias
Este mtodo uma maneira de focalizar entrevistas com indivduos ou grupos a respeito de eventos particulares ou incidentes. O propsito obter uma viso ampla do que realmente aconteceu. Muito til quando algo problemtico tiver ocorrido e as pessoas sentirem-se emocionadas pelo que houve. Se todos os envolvidos na situao estiverem includos, isso ajudar a equipe de avaliao a obter uma imagem que seja razoavelmente prxima do que aconteceu de verdade, e diagnosticar o que ocorreu de errado. Pode ser uma maneira muito til de confirmar, ou no, a informao providenciada de outras formas. A equipe de avaliao pode terminar soterrada sob uma montanha de detalhes contraditrios e muitos ele disse/ela disse. Pode se tornar difcil no ser parcial e permanecer objetivo.

Observao participante

Isso envolve observao direta de eventos processos, relacionamentos, e comportamentos. Participante, aqui, refere-se mais ao observador estar envolvido nas atividades do que manter alguma distncia. Isso envolve os participantes em desenhar gravuras, geralmente a respeito do que sentem ou pensam de algo.

difcil observar e participar. O processo torna-se muito demorado.

Desenhos

Pode ser bastante til particularmente com crianas mais jovens.

Pode ser difcil de explicar ou interpretar.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

32

Monitoramento e Avaliao
HABILIDADES DE ENTREVISTA

O que fazer e o que no se deve fazer em entrevistas:

Faa um teste com o formulrio de entrevistas com antecedncia para maior clareza,

e para ter certeza de que as questes no sero interpretadas de forma incorreta. Estabelea da forma mais clara possvel o propsito de sua entrevista. Assegure ao entrevistado que o que for dito ser tratado em sigilo. Pergunte ao entrevistado se ele se importa que voc tome notas e use um gravador durante a entrevista. Registre com a maior exatido possvel as palavras dos entrevistados. Continue falando enquanto escreve. Mantenha a entrevista dentro do tema desta. Preencha todas as questes do formulrio. Fique atento para questes que sejam vagas e possam exigir mais informaes. Seja flexvel, e anote tudo que foi dito e que seja interessante, mesmo que no esteja no formulrio. NO ofenda o entrevistado de maneira alguma. NO diga coisas que tenham um teor de julgamento. NO o interrompa no meio do que ele est falando. NO coloque palavras na boca do entrevistado. NO mostre o que estiver pensando atravs de um tom de voz diferente.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

33

Monitoramento e Avaliao
Analisando Informaes
Analisando tanto o monitoramento quanto a avaliao, haver um momento que voc vai se deparar com uma grande quantidade de informaes e ter que decidir como fazer com que aquilo tudo faa sentido, ou seja processado e analisado. Se voc estiver utilizando uma equipe de avaliao externa, ser ela que far essa anlise, mas em algum momento da avaliao, e certamente quando estiver monitorando, voc, o projeto ou a organizao tero que se prontificar a realizar essa anlise. Anlise o processo de transformar a informao detalhada em padres de entendimento, comparaes, e interpretaes. O ponto inicial para a anlise em um contexto de projeto ou organizacional muitas vezes muito pouco cientfico. seu entendimento intuitivo de temas chave que resultaro em um processo de associao de informaes. Uma vez que voc saiba os temas-chave, torna-se possvel trabalhar a informao, estruturando-a e a organizando corretamente. O prximo passo escrever a respeito de suas descobertas e reflexes como base para alcanar concluses e fazer recomendaes. Assim, seu processo parecer algo do tipo:
Determine os indicadores chave para o processo de avaliao e monitoramento

Recolha a informao a respeito dos indicadores

Desenvolva uma estrutura para sua anlise, baseada no entendimento intuitivo de temas emergentes e preocupaes, e onde voc suspeite haver alguma variao do que voc esperava e/ou previa.

Organize seus dados, colocando-os relacionados em temas e preocupaes. Identifique padres, comparaes e possveis interpretaes. Escreva suas concluses e descobertas. Estude formas e alternativas possveis (recomendaes).

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

34

Monitoramento e Avaliao

Tomando atitudes
O monitoramento e a avaliao tm pouco valor se a organizao ou o projeto no realizam o procedimento de analisar os dados coletados a respeito das informaes obtidas. Uma vez que voc estabelea as descobertas, concluses e recomendaes de seu processo de monitoramento e avaliao, voc precisar: Enviar relatrios aos seus patrocinadores; Aprender do processo geral; Tomar as decises eficazes, para mover em frente; e, se necessrio, Lidar com a resistncia para fazer mudanas necessrias dentro do projeto ou organizao, ou mesmo com relao aos que do suporte ao projeto.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

35

Monitoramento e Avaliao
RELATRIO Se voc estiver monitorando ou avaliando, em algum ponto, ou pontos, existir um processo de fazer um relatrio. O processo de um relatrio segue os mesmos passos da anlise de informaes. Voc se reportar aos diferentes patrocinadores de diferentes maneiras, s vezes de forma escrita, outras verbalmente, e, cada vez mais, utilizando-se de ferramentas como apresentaes de PowerPoint, slides e vdeos. A tabela abaixo traz algumas sugestes de mecanismos de relatrios para momentos distintos nos ciclos de projetos. Para dicas de escrita, consulte o pacote de ferramentas que ajuda a escrever com mais eficcia.
Grupo alvo Diretoria Estgio do ciclo de projeto
De tempos em tempos, baseado na anlise de monitoramento. Avaliao

Formato apropriado
Relatrio escrito Relatrio escrito com um sumrio executivo, e uma apresentao verbal do time de avaliao. Relatrio escrito, discutido em uma reunio do time gerencial. Relatrio escrito, apresentado verbalmente pelo time de avaliao. Apresentao escrita e verbal aos nveis de time e departamento. Relatrio escrito, apresentado verbalmente pelo time de avaliao e seguido em profundidade de uma discusso com recomendaes relevantes para cada time e departamento. Apresentao verbal, com base em um documento resumido, utilizando tabelas apropriadas, grficos visuais e udios-visuais. Isso especialmente importante se a organizao ou projeto tem intenes de formular uma grande mudana que trar um grande impacto aos beneficiados. Resumido em um relatrio por escrito. Relatrio completo por escrito, com um sumrio executivo ou uma verso especial, focalizada nas preocupaes e interesses dos doadores. Artigos de jornal, seminrios, conferncias e pginas da internet.

Time gerencial

De tempos em tempos, baseado no monitoramento. Avaliao

Equipe

De tempos em tempos, baseado no monitoramento. Avaliao

Beneficiados

De tempos em tempos, mas somente com os pontos significativos, e avaliao.

Doadores

De tempos em tempos, baseado no monitoramento. Avaliao

Comunidade desenvolvimento em geral

de

Avaliao

Para um esboo do que normalmente colocado em um relatrio escrito, veja a pgina a seguir.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

36

Monitoramento e Avaliao
ESBOO DE UM RELATRIO DE AVALIAO (Geralmente no contendo mais do que cinco pginas quanto mais curto, melhor pretende providenciar informao suficiente para pessoas ocupadas, mas tambm para aguar o apetite das pessoas, para que assim queiram ler o relatrio completo). (No essencial, mas um bom lugar para agradecimentos e comentrios mais amplos a respeito do processo, descobertas, etc.).

SUMRIO EXECUTIVO

PREFCIO

CONTEDO DE PGINAS (Com pginas enumeradas, para auxiliar as pessoas a encontrarem o que desejam ler no relatrio). 1 SESSO: INTRODUO: (Geralmente trata do conhecimento-base da organizao/projeto, do conhecimento-base da avaliao, um breve resumo do time de avaliao, da metodologia, do processo utilizado e eventuais problemas ocorridos). (Aqui sero organizadas sees com reas importantes de descobertas, p.ex. eficincia, eficcia e impacto, ou quaisquer outros temas que tenham emergido).

2 SESSO: DESCOBERTAS:

3 SESSO: CONCLUSES:

(Aqui voc apresentar concluses de suas descobertas a interpretao, ou seja, o que elas significam. bastante til fazer uma anlise SWOT explicada resumidamente no glossrio deste pacote de ferramentas).

4 SESSO: RECOMENDAES: APNDICE:

(Elas fornecero sugestes especficas para progredir, em termos de lidar com fraquezas e construir bases mais slidas). (Aqui sero includos os Termos de Referncia, as listas das pessoas entrevistadas, os questionrios usados e talvez um mapa da rea, etc.).

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

37

Monitoramento e Avaliao
APRENDENDO Aprender , ou devia ser, a principal razo do motivo de um projeto ou organizao monitorar seu trabalho ou fazer sua avaliao. Ao aprender o que funciona e o que no funciona, o que voc est fazendo corretamente e o que voc est fazendo errado, voc, como projeto ou organizao gerencial, tem mais condies de agir de uma maneira construtiva e informada. Isso parte do ciclo de ao reflexiva. (veja o diagrama na seo do por que monitorar e avaliar?) O propsito da aprendizagem realizar mudanas, onde necessrias, e identificar e solidificar foras onde elas existam. O aprendizado tambm lhe ajuda a entender, tornando conscientes as concepes que se tenha. Ento, por exemplo, talvez voc tenha presumido que as crianas de escolas mais ricas fossem beneficiar-se menos que as de escolas mais pobres. Seus dados de monitoramento podem indicar que essa previso est errada. Uma vez que voc se d conta disso, voc provavelmente enxergar suas interaes com essas escolas de modo diferente. Permanecendo em um constante modo de ao-reflexo-ao, voc ser menos complacente. Algumas vezes quando projetos ou organizaes sentem que agora entenderam o que tem de ser feito, eles acabam retrocedendo e fazendo as coisas da mesma forma que faziam anteriormente, sem se questionar se continuam ainda trabalhando da maneira correta. Esquecem que situaes se modificam, que as necessidades de seus beneficiados podem mudar e que as estratgias precisam ser reconsideradas e revisadas. Por exemplo, uma organizao providenciava treinamento e programas para as comunidades de estao de rdio. Por possuir um excelente equipamento e um estdio de produo excelente, convidava outras estaes para enviar apresentadores para seu centro para o treinamento de como apresentar os programas que ela (a organizao) estava produzindo. Ela desenvolveu uma reputao excelente de seu treinamento e produo de alta qualidade. Ao longo do tempo, entretanto, as estaes de rdio da comunidade comearam a produzir seus prprios programas, e o que eles realmente gostariam seria que a organizao enviasse algum para suas estaes, para auxiliar com seminrios e avaliar o resultado do trabalho que estavam realizando. Isso foi levantado por um processo de avaliao e a organizao percebeu que tinha se acomodado em uma zona de conforto no que j sabia fazer com excelncia, mas que isso, se a organizao realmente tinha a inteno de auxiliar as estaes de rdio, precisava ser transformado em sua estratgia. Organizaes e projetos que no aprendem, sofrem uma estagnao. O processo rigoroso (veja o Glossrio) de monitoramento e avaliao fora as organizaes e projetos a continuar aprendendo e crescendo.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

38

Monitoramento e Avaliao
TOMADA DE DECISES EFICAZES Como gerncia de um projeto ou organizao, voc precisa das concluses e recomendaes que se obtm atravs do monitoramento e da avaliao para auxili-lo na tomada de decises a respeito de seu trabalho e da forma como voc o conduz. O sucesso do processo depende da capacidade daqueles com responsabilidades gerenciais de tomar decises e coloc-las em prtica. Os passos envolvidos no processo como um todo so: 1 2 3 4 5 6 7 8 9 10 Planeje corretamente saiba o que est tentando alcanar e como voc pretende alcanar isso. Implemente Monitore e avalie. Analise a informao que voc recebe do monitoramento e da avaliao e trabalhe para saber o que ela est lhe dizendo. Analise as potenciais conseqncias em relao aos planos do que voc aprendeu com os dados de monitoramento e avaliao. Desenhe uma lista de opes para tomar as devidas atitudes. Obtenha consenso no que deve fazer e um mandado para tomar as atitudes. Compartilhe os ajustes e planos com o resto da organizao e, se necessrio, seus doadores e beneficiados. Implemente. Monitore e avalie.

Os passos-chave para tomadas de deciso eficazes so: Como um time de gerncia, entenda as implicaes do que tiver aprendido. Esclarea o que necessita ser feito e tenha claro em mente o porqu disso precisar ser feito. Formule opes de como faz-lo. Encare as opes de forma crtica em termos de avaliar qual ser a mais eficaz. Encontre um acordo como um time gerencial. Consiga estabelecer um consenso organizacional / de projeto no que precisa ser realizado e como precisa ser realizado. Obtenha um mandado (geralmente da Diretoria, mas possivelmente tambm dos doadores e beneficiados) para fazer isso. Faa-o.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

39

Monitoramento e Avaliao
LIDANDO COM CONTRARIEDADES Nem todos estaro satisfeitos com uma mudana de planos que voc decida ser necessria. As pessoas sempre resistem s mudanas. Algumas das razes para isso incluem: As pessoas esto confortveis com as coisas do modo como esto elas no querem ser puxadas para fora de sua rea de conforto. As pessoas se preocupam e pensam que uma mudana diminuir os seus nveis de produtividade elas se sentem julgadas pelo que fazem e pelo quanto fazem, e no querem utilizar o tempo mais do que o necessrio para empreender por mudanas de planos ou modos novos de fazer as coisas. As pessoas no gostam de apressar mudanas como podemos saber que algo diferente ser melhor? Eles gastam tanto tempo pensando e discutindo que atrasam mudanas teis que teriam de ser feitas, e, que, s vezes, so feitas tarde demais. As pessoas no enxergam a perspectiva macro. Elas sabem o que esto fazendo e podem ver que est funcionando; assim, no conseguem ver nenhuma razo para se mudar afinal de contas. As pessoas no tm um compromisso de longo termo com o projeto ou organizao eles vem isso como uma pedra no sapato em sua carreira. Elas no querem mudar porque isso atrasar os itens que querem poder marcar como j terminados em seus currculos. As pessoas sentem que no podem lidar com mudanas elas tm que continuar fazendo o que esto fazendo, mas tambm trabalhar para conseguir as mudanas. Pensam estar alm daquilo que podem realizar. Como voc pode ajudar para que as pessoas aceitem as mudanas? Deixe muito claro os motivos pelos quais as mudanas so necessrias conduza a todos atravs do processo de descobertas e concluses dos processos de monitoramento e avaliao, envolva-os no processo de tomada de decises. Ajude as pessoas a enxergarem a imagem como um todo alm de seus minsculos afazeres para a viso geral do impacto do problema analisado. Focalize os temas-chave temos que fazer algo a respeito disso! Reconhea raiva, medo, resistncia. Oua as pessoas, d-lhes a oportunidade de expressar frustrao e outras emoes. Encontre um meio comum coisas que elas tambm gostariam de ver modificadas. Encoraje o sentimento de que as mudanas so desejveis e libertam as pessoas de coisas que no esto funcionando, para que assim possam tentar novas coisas que possam funcionar, e isso tudo libera a energia produtiva. Enfatize a importncia de todos se comprometerem com o esforo para que isso funcione. Crie condies para interaes regulares qualquer coisa, desde um seminrio a um lpis no quadro de avisos para discutir o que est acontecendo e como est se progredindo. D um ritmo para as mudanas, para que assim as pessoas possam lidar melhor com elas. (Agradeo Olive Publications, Ideas for a Change Part 4, Junho 1999, por dicas utilizadas nesta subseo).

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

40

Monitoramento e Avaliao
MELHORES PRTICAS
EXEMPLOS DE INDICADORES Por favor, lembre-se que estes so somente exemplos eles podem se adequar ou no s suas necessidades, mas devem fornecer o tipo de indicador que voc pode utilizar, especialmente para mensurar impacto. Indicadores de Desenvolvimento Econmico Mdia anual da renda de cada moradia Mdia de pagamentos por ms/semana Taxa de emprego, por grupos de idade Taxa de desemprego, agrupados por idade, por gnero Taxa de emprego, por ocupao, por gnero Emprego pblico Nveis de ganhos de renda Mdia de durao do perodo de desemprego Taxas de juros sobre emprstimos Taxa de aluguel de proprietrios para locatrios Renda per capita Mdia de renda anual familiar Percentual de pessoas abaixo da linha de pobreza Taxas de empregos sazonais para empregos permanentes Taxa de crescimento de pequenos negcios Valor de construes residenciais e/ou renovaes Indicadores de Desenvolvimento Social Taxa de mortalidade Expectativa de vida de recm-nascidos Taxas de mortalidade infantil Causas de morte Nmeros de mdicos per capita Nmero de camas de hospital per capita Nmero de enfermeiras per capita Taxas de alfabetizao, por idade e gnero Nmero de estudantes por professor Taxa de repetio pelo nvel escolar Taxas de concluso escolar Gasto pblico por aluno Nmero de suicdios Causas de acidentes Lares com gua corrente Lares com eletricidade Nmero de desabrigados Nmero de crimes violentos Taxa de natalidade Taxa de fertilidade Diferenas de renda Gini (consulte o Glossrio)
Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

41

Monitoramento e Avaliao
Taxa de mortalidade infantil Taxas de hospitalizao Taxas de infeco pelo vrus da AIDS Taxas de mortes por AIDS Nmero de teatros, cinemas e piscinas para cada 1000 habitantes Nmero de rdios e televisores per capita Disponibilidade de livros em lnguas tradicionais Lnguas tradicionais ensinadas nas escolas Tempo gasto ouvindo o rdio ou assistindo televiso por gnero. Nmero de programas na televiso e rdio em suas lnguas tradicionais e/ou lidando com costumes tradicionais Participao da Igreja, por idade e gnero Desenvolvimento de indicadores polticos/organizacionais Nmero de organizaes comunitrias Tipos de esporte organizados Nmero de jogos e torneios Nveis de participao em um esporte organizado Nmero de grupos de jovens Participao de grupos de jovens Participao de grupos de mulheres Participao de grupos para idosos Nmero de grupos para idosos Estrutura de liderana poltica, por idade e gnero Taxas de participao em eleies, por idade e gnero Nmero de encontros pblicos feitos Participao em encontros pblicos, por idade e gnero Exemplos adaptados de Utilizando Indicadores de Desenvolvimento para o Desenvolvimento Aborgine, Comit Organizador do Projeto de Indicador de Desenvolvimento, Setembro de 1991

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

42

Monitoramento e Avaliao
ESTUDO DE CASO: DESENHANDO UM SISTEMA DE MONITORAMENTO
Segue aqui a descrio do processo que uma organizao da frica do Sul, chamada Bonecos contra a AIDS, enfrentou com o propsito de desenvolver um sistema de monitoramento para alimentar outros processos de monitoramento e avaliao. O trabalho principal da organizao era apresentar peas em seminrios e/ou shows de bonecos ligados s habilidades para a vida, especialmente quelas ligadas com sexualidade, nas escolas e em torno do pas. A organizao trabalhava com diversos grupos de faixa etria diferentes, e com diferentes produtos (roteiros), adaptados de acordo com estes diferentes nveis. A Bonecos contra a AIDS queria desenvolver um sistema de monitoramento e avaliao que providenciasse informaes teis quanto eficincia, eficcia e impacto de suas operaes. Para isso, a organizao quis desenvolver dados de linha de base que: Providenciassem toda a informao bsica que a organizao precisava a respeito de clientes e servios prestados; Produzissem relatrios que capacitassem a organizao para manter tanto a si mesma quanto outros agentes de apoio, incluindo doadores, parceiros e mesmo escolas informadas a respeito do impacto de seu trabalho. A organizao tomou a deciso de optar por um sistema computadorizado de monitoramento. Muito do que era necessrio das informaes do dia-a-dia j se encontravam nos dados-base (e.g. escolas, regies, servios oferecidos, e assim por diante), mas o sistema de monitoramento precisaria de uma atualizao substancial e o desenvolvimento de um software para os dados de base especficos que suprissem as necessidades da organizao. A organizao tambm tomou a deciso de desenvolver um sistema inicialmente para um projeto-piloto, mas com a inteno de estender o sistema para todo o trabalho realizado com o passar do tempo. Este projeto-piloto funcionaria com aproximadamente 60 escolas, utilizando-se roteiros diferentes a cada ano, por um perodo de trs anos. Para conseguir levantar o dinheiro necessrio para este processo, a Bonecos contra a AIDS necessitava de algum tipo de resumo do que seria requerido, para que assim fosse custeado. Num seminrio inicial com a equipe, organizada por consultores, a equipe desenvolveu uma lista de indicadores para eficincia, eficcia e impacto em relao ao seu prprio trabalho. Era isso que a equipe queria saber do sistema em relao quilo que fez, como fez e qual foi a diferena alcanada. Os termos foram definidos da seguinte maneira: Eficincia Aqui o que era necessrio ser compreendido era com qual rapidez, quo correto, a que custo/efetividade e com qual uso dos recursos os servios da organizao seriam oferecidos. Muito dessa informao j tinha sido coletada e estava armazenada em relatrios que refletiam o planejamento em relao aos seus alcances. Precisava agora ser feita a transcrio para o computador. O que precisava aqui ser resolvido era obter resultados em termos de estratgia de impacto de curto prazo. Por exemplo, os shows de bonecos eram eficazes meios de comunicao de mensagens a respeito de sexualidade? Mais uma vez, essa informao j estava

Eficcia

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

43

Monitoramento e Avaliao
sendo coletada e somente necessitava de uma adaptao para encaixar-se no sistema computadorizado. Impacto Aqui o que precisava ser analisado era se a estratgia funcionava a ponto de ter um impacto no comportamento dos indivduos (no caso, estudantes) e se uma mudana em seu comportamento causava um impacto positivo sobre a sociedade. A organizao tinha uma forte impresso de que estava funcionando, mas queria poder medir isso de modo mais cientfico e ser capaz de analisar que variveis causavam mais ou menos impacto, ou afetavam o nvel do impacto.

A equipe gerou uma lista de variveis importantes para compreender e perceber diferenas de impacto. O sistema de monitoramento teria que realizar as conexes de informao quanto ao impacto dessas variveis. A inteno era providenciar ambas as informaes qualitativas e quantitativas. Os consultores e a equipe snior de membros ento desenvolveram indicadores mensurveis de desenvolvimento de impacto e uma tabela de variveis importantes, as quais incluam: Sexo e idade de perfis Perfil econmico da escola Perfil religioso da escola Perfil dos professores da escola Abordagem da disciplina na escola Quais roteiros foram utilizados Qual time de atores apresentou os roteiros E assim por diante. Questionrios e formulrios foram desenvolvidos para medir o impacto de indicadores antes da primeira interveno (para o fornecimento da informao de base) e tambm em diversos pontos do processo, assim como categorizar conceitos como perfil de professor. Com o questionrio dos estudantes, foi possvel agregar notas que poderiam ser comparadas em diferentes estgios do processo. O questionrio era composto por uma srie de posicionamentos: os estudantes eram questionados se concordavam / discordavam / concordavam fortemente / discordavam fortemente, etc. Dessa forma, posicionamentos que tinham a ver com a auto-estima incluam Quando eu olho no espelho, eu gosto do que vejo, e A maioria das pessoas que conheo gostam do meu verdadeiro eu. A organizao indicou que gostaria que o sistema gerasse relatrios que tornariam possvel saber: Que diferena houve entre as taxas dos indicadores do comeo para o final do processo? Que diferena aconteceu entre as atitudes dos professores no comeo e no final do processo? Que variaes ocorreram na escola e no ambiente escolar, mostrando o impacto no nvel de diferenciao entre os indicadores do comeo e do final do processo? Que variveis relacionadas com a forma em que os shows so apresentados apresentaram maior impacto na diferena entre o comeo e o final do processo?

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

44

Monitoramento e Avaliao
Tudo isso foi sistematizado e enviado a especialistas em software. Criou-se em seguida um sistema especfico, para atender s exigncias requisitadas. O processo foi demorado e exigiu muito trabalho, mas ele foi desenvolvido finalmente e est atualmente sendo testado.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

45

Monitoramento e Avaliao
FORMATO DO RELATRIO DO TRABALHADOR DE CAMPO Este formato foi utilizado por um centro de aprendizagem de desenvolvimento para prescola para mensurar os seguintes indicadores em escolas informais: O aumento na capacidade de professores educadores. O aumento de equipamentos feito por eles mesmos. Fichas atualizadas. Pagamentos em dia. Comparecimento em encontros do comit. ________________________________________________________________________ CARE-ED RELATRIO DE VISITA DE CAMPO Data: Nome da escola: Informao obtida de: Relatrio preenchido por: Nmero de visitas de campo:__ --------------------------------------------------------------------------------------------1. Lista de habilidades utilizadas pelos professores no tempo de sua visita na escola:

2. Lista de equipamentos criados manualmente e visveis dentro da escola:

3. Lista de atividades de arrecadao de fundos que o comit da escola est atualmente envolvido:

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

46

Monitoramento e Avaliao

4. Manuteno e modo de arquivar a documentao:


Tipos arquivo Arquivos livros Gastos corriqueiros Fichamentos Correspondnci a Controle de estoque Registros de Atualizados e precisos Atualizados mas no muito precisos No atualizados Inexistentes

de

5. Nmero de crianas registradas: Mdia de freqncia dos ltimos dois meses: 6. Nmero de pagamentos inadimplentes por mais de dois meses: 7. Mdia de freqncia em encontros do comit dos ltimos dois meses: 8. Comentrios dessa visita:

9. Comparaes com a visita de campo anterior:

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

47

Monitoramento e Avaliao
RECURSOS
A CIVICUS gostaria de agradecer s valiosas fontes na preparao deste pacote de ferramentas: Olive Publications Shapiro, Janet 1996 Planejando para Monitorar e Avaliar, Olive 2002 Avaliao: Dia do Julgamento ou Ferramenta Gerencial? Olive

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

48

Monitoramento e Avaliao
GLOSSRIO
Dados No-Formais (anedotas) A informao de dados no-formais a informao que se consegue atravs de estrias que as pessoas recordam e que so relevantes para os indicadores que voc est interessado em analisar. Eles no tm validade cientfica, mas podem providenciar uma informao qualitativa bastante utilizvel. A informao de linha de base (ou simplesmente informao de base) advm de um estudo feito antes de qualquer interveno. Ele fornece dados e informaes a respeito da situao antes da interveno. Essas informaes so muito importantes quando voc for fazer monitoramento e avaliao, pois lhe capacitar em saber qual foi a diferena que sua interveno causou. Em administrao, o ponto mais embaixo (o fundo do poo), refere-se ao mnimo de lucro e o relatrio de perda diz a voc se est ou no tendo lucro. desta forma que funciona o entendimento do sucesso administrativo. No trabalho de desenvolvimento, o ponto mais baixo seria: Estamos causando alguma diferena quanto ao problema ou no?. A eficincia diz se os esforos de seu trabalho so satisfatrios em relao aos resultados alcanados. Eles podem ser esforos (ou insumos) em termos de dinheiro, tempo, pessoal, equipamento, e assim por diante. Eficcia a medida da extenso do programa de desenvolvimento ou do projeto para atingir seus objetivos estabelecidos. O impacto mostra se voc fez ou no uma diferena no problema on na situao que estava tentando resolver. Em outras palavras, sua estratgia foi til? A diferena econmica entre a camada social mais alta e a camada social mais baixa da escala da sociedade. Pegar um projeto lidando com um pequeno nmero de beneficiados para lidar depois com um grande nmero de beneficiados. Indicadores so sinais mensurveis ou tangveis de que alguma coisa foi realizada. Por exemplo, um aumento do nmero de alunos aprovados um indicador do melhoramento na cultura do aprendizado e do ensino. O meio de verificao a prova, e o meio

Informao de Linha de Base

Ponto Fundamental

Eficincia, Eficcia, Impacto

Distribuio de Renda Gini

Trabalhar com Escala

Indicadores

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

49

Monitoramento e Avaliao
de divulgao a publicao oficial da lista de aprovados.

Custo de Oportunidade

Custo de oportunidade so as oportunidades de que voc desiste para fazer alguma coisa em prol de outra. Por exemplo, se voc gastar seu dinheiro no treinamento com professores, desiste da oportunidade de usar o dinheiro para comprar mais livros didticos. Voc tem que decidir qual melhor uso dar ao dinheiro disponvel. Resultados geralmente incluem um relatrio escrito, uma apresentao verbal, um relatrio final escrito em capa dura e formato eletrnico (especificando a compatibilidade do programa). Eles podem tambm incluir relatrios intermedirios e entrevistas agendadas, que devem ser assinadas pelos clientes, e assim por diante.

Resultados

Informaes de Progresso

So dados e informaes coletadas durante o gradual progresso do projeto. Dados qualitativos tratam mais de como as pessoas se sentem a respeito de alguma coisa, opinies, experincias, do que de nmeros (dados quantitativos). Disciplinado, feito com honestidade e integridade. A amostragem uma forma de selecionar com quem falar, quem entrevistar e como pesquisar em uma avaliao, j que no se podem cobrir todos os casos existentes. Dados secundrios so as informaes que j existem, coletadas e disponibilizadas por outras pessoas ou organizaes. J os dados que vm de sua prpria organizao, so dados primrios. Dados primrios so informaes coletadas por voc por outros agentes que auxiliam o projeto, a populao em geral, suas prprias observaes e assim por diante.

Qualitativo

Rigoroso Amostragem

Dados Secundrios

Entrevistas Estruturadas, Semi-Estruturadas ou No Estruturadas.

Entrevistas estruturadas seguem uma estrutura de questes fixas. Entrevistas no estruturadas, dessa forma, no seguem uma estrutura fixa. E entrevistas

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

50

Monitoramento e Avaliao
semi-estruturadas, fazem uma combinao entre estruturas fixas e no fixas, com o entrevistador seguindo uma ordem de perguntas, mas tambm adicionando outras, conforme a maneira como a entrevista se apresenta. Anlise SWOT Anlise em sigla inglesa de Foras (Strengths), Fraquezas (Weaknesses), oportunidades (Opportunities) e ameaas (Threats). Tratada com detalhes no pacote de ferramentas: Viso Geral de Planejamento. Os Termos de Referncia formam a base para voc formular propostas e categorizar os conhecimentos ligados ao seu trabalho. Eles devem incluir: algum conhecimento-base do projeto e/ou organizao, o propsito da avaliao (os motivos pelos quais voc quer que seja feito), as questes de avaliao a serem respondidas, os aspectos especficos a serem includos (isso deve ser colocado em aberto para negociao), os tipos de metodologia que voc tem em mente (novamente, abertas para negociao), os resultados esperados, o tempo disponvel para as propostas e para a avaliao. Triangulao a maneira de se confirmar os dados utilizando-se de diversas fontes que reflitam e possam medir as mesmas coisas. Por exemplo, se os professores, estudantes e pais de uma escola todos pedirem que o diretor seja mais flexvel, essa informao certamente ter uma influncia maior do que uma avaliao na qual somente os professores esto a pedir.

Termos de Referncia

Triangulao

Variveis

Uma varivel um elemento de mudana da situao que pode ou no afetar a eficincia, a eficcia ou o impacto do trabalho realizado, e que voc certamente deseja que possa adicionar a outras variveis em seus indicadores. O nvel de renda dos pais de alunos de uma escola uma varivel, assim como o localidade, em termos de ser rural ou urbana.

Monitoramento e Avaliao, por Janet Shapiro (e-mail: toolkits@civicus.org)

51