Oficinas de

Monitoramento
& Avaliao










Abril, 2009



Sumrio
Apresentao................................................................................ 3
Oficinas de Monitoramento e Avaliao................................... 4
Conceitos de Monitoramento e Avaliao................................ 4
Como Utilizar Monitoramento e Avaliao............................... 6
Indicadores e a sua Utilizao ................................................... 7
Expectativas Realistas de Monitoramento e Avaliao ....... 12
Plano de Monitoramento e Avaliao ..................................... 14
Instrumentos de Monitoramento e Avaliao ........................ 17
Estudo de Caso: Como Fazer Avaliao de um Projeto ou
Programa..................................................................................... 19
Criando a Cultura Organizacional de Monitoramento e
Avaliao..................................................................................... 24
Referncias Bibliogrficas ........................................................ 26
Anexos ......................................................................................... 27


3


Apresentao
A Pact uma Organizao No Governamental (ONG), sem fins
lucrativos, com sede em Washington, atua em 56 pases por meio de
escritrios regionais e conta com 550 parceiros na frica, sia,
Amrica Latina, Leste Europeu e Oriente Mdio. Suas principais
reas de atuao so: governo e democracia, HIV/aids, gesto de
recursos naturais, fomento paz, incluso social, equidade,
empoderamento de grupos em vulnerabilidade, gnero e micro-
crdito.

Desde 1997 a Pact atua no Brasil com o objetivo de contribuir para o
desenvolvimento social e para a reduo das vulnerabilidades da
populao, por meio da interao e parceria com as organizaes
locais e governos. Em 2003, a Pact Brasil inaugurou seu escritrio no
pas tendo como estratgia prioritria o apoio tcnico, financeiro e
operacional s aes implementadas por ONGs e suas redes na rea
de HIV/aids, incluindo atividades voltadas para a capacitao das
mesmas.

Com o intuito de exercer sua misso - contribuir para o desenvolvimento
social e a reduo das vulnerabilidades da populao, por meio do fortalecimento
da sociedade civil organizada e do estabelecimento de redes de interao e parcerias
com as organizaes locais - a Pact Brasil fornece assistncia tcnica s
ONGs locais nas seguintes reas: Capacitao em Gesto Financeira
e Administrativa, Monitoramento e Avaliao (M&A), Pesquisas,
Comunicao, Gesto de Recursos Humanos e Gesto de Projetos.
Neste sentido, uma de suas atividades em M&A a realizao de
oficinas especficas direcionada s ONGs visando ampliar a
instrumentalizao das mesmas nesta rea. Este material ora
disponibilizado condensa informaes sobre conceitos, metodologia
e estrutura de tais Oficinas. importante salientar que no processo
de definio e realizao de tais Oficinas e tambm na elaborao
deste documento, materiais de referncia do Programa Nacional de
DST e Aids e do Center for Disease Control in Prevention foram
parcialmente utilizados e adaptados (ver Referncias Bibliogrficas).


4














Oficinas de Monitoramento e Avaliao
1. Objetivo
Contribuir para a consolidao de uma cultura organizacional em M&A, a partir da aplicao de
metodologia especfica e da apresentao e repasse de conceitos.

2. Temas abordados
Conceitos de M&A
Identificao e discusso dos conceitos de M&A que cada participante possui, a partir de resultados da
aplicao de exerccio participativo (Anexo I).
Indicadores e a sua Utilizao
Apresentao de conceitos gerais, focando a utilizao dos Indicadores na prtica de desenho e
implantao de projetos/programas.

Como Utilizar M&A

Apresentao de elementos que justificam o M&A de objetivos e atividades institucionais com a aplicao
de exerccio prtico (Anexo II) para facilitar a discusso e fixar conceitos repassados, a partir de exemplos
de projetos de ONGs.

Plano de M&A

Apresentao de modelo de Plano de M&A tendo como base projetos de ONGs e salientando aspectos
de sua estrutura e importncia como parte do processo da cultura organizacional em M&A. Discusso
sobre como elaborar um Plano de M&A a partir da aplicao de exerccio prtico (Anexo IV).

Instrumentos/Ferramentas Necessrias em M&A

A partir de exemplos prticos apresentao dos principais instrumentos utilizados para avaliao de aes
e projetos, incluindo questionrios e roteiros para coleta de informaes. Aplicao de exerccio para
reflexo (Anexo V) sobre os instrumentos atualmente utilizados pelas ONGs para coletar e analisar dados
e a utilidade prtica dos mesmos.

Estudo de Caso: como fazer a avaliao de um projeto/programa

Apresentao de metodologia simples para avaliar a implantao de atividades, projetos e programas.

Criando a Cultura Organizacional de M&A

Discusso sobre a relao entre M&A, planejamento, implementao das aes e seus respectivos
resultados, enfocando tambm a responsabilidade de todos integrantes de uma equipe com as atividades
de M&A (Anexo VI).



Conceitos de Monitoramento e Avaliao

5
1. O que Monitoramento?

Acompanhamento sistemtico de informaes prioritrias sobre a implantao de uma ao, projeto
ou programa.

Processos que permitem acompanhar regularmente dados relativos aos custos e ao
desenvolvimento de uma ao, projeto ou programa.

2. O que Avaliao?

Processo sistemtico para determinar at que ponto uma ao, projeto ou programa atingiu seus
objetivos inicialmente identificados e esperados.

Somatrio de informaes sobre atividades, caractersticas e resultados de uma ao, projeto ou
programa, que possibilita sua anlise e explicao, determinando seu mrito ou valor.
































Avaliao no auditoria ou uma busca para identificao de responsveis
por determinado resultado de uma ao.


6

Como Utilizar Monitoramento e
Avaliao

1. Para que serve o Monitoramento

Permite o acompanhamento sistemtico das aes
Acessa e condensa informaes que podem ser utilizadas para a avaliao de projetos/programas
Possibilita a adequao e ajustes no projeto/programa durante sua execuo


2. Para que serve a Avaliao

Contribui para o aperfeioamento da ao, projeto ou programa institucional e subsidia decises
gerenciais estratgicas
Determina os efeitos de uma ao ajudando no processo de deciso sobre sua manuteno,
transformao ou interrupo
Possibilita maior embasamento para a elaborao de aes e propostas futuras













7


Indicadores e a sua Utilizao
1. Indicadores


Indicadores so elementos utilizados para medir informaes quantitativas e qualitativas coletadas
durante e/ou aps a implementao de uma ao, projeto ou programa, visando medir resultados
e efeitos de sua implantao
Os Indicadores esto diretamente relacionados aos objetivos, estratgias e atividades do
projeto/programa
No geral, os Indicadores so divididos em trs categorias: indicadores de impacto, indicadores de
resultado e indicadores de processo.


Grfico 1: Relao entre indicadores e objetivos gerais, especficos e
atividades




I1. O que Monitorar e Avaliar em um Projeto ou Programa

A. Insumos

Insumos so os recursos usados no projeto/programa e incluem recursos financeiros, humanos ou
materiais. Exemplos de insumos num projeto de preveno do HIV/aids:

Equipe tcnica para facilitar capacitaes
Equipe tcnica para as atividades de campo
Preservativos
Materiais de IEC (Informao, Educao e Comunicao)
Objetivo Geral
Objetivo
Especifico
Atividades e
Insumos
Impacto
Resultado
Produtos
Indicador de
Impacto
Indicador de
Resultado
Indicador de
processo

8

Monitoramento de Insumos

Este monitoramento feito por meio do acompanhamento sistemtico da utilizao dos insumos ou
recursos do projeto/programa durante sua implantao.

Tendo como base o exemplo anteriormente fornecido o processo de monitoramento deve responder as
seguintes perguntas:

Quantos consultores foram contratados para realizar a capacitao?
Qual o nmero de pessoas que compem a equipe tcnica?
Quantos preservativos so obtidos semestralmente?
Quantos materiais de IEC sero produzidos ou esto disponveis para distribuio?

As respostas para essas perguntas sero exemplos de indicadores de processo, ou seja:

Nmero de consultores contratados para facilitar as capacitaes
Nmero de pessoas que formam parte da equipe tcnica de campo
Nmero de preservativos obtidos semestralmente pelo projeto/programa
Nmero de materiais IEC produzidos ou disponveis para distribuio

B. Atividades

Atividades so os procedimentos ou aes do projeto/programa direcionadas obteno do impacto ou
resultados esperados inicialmente. Considerando um projeto de preveno do HIV/aids, so exemplos de
atividades:

Capacitao tcnica de agentes de sade
Oficinas para multiplicar informaes de preveno
Aes educativas face-face
Distribuio de preservativo durante trabalho de campo
Distribuio de materiais IEC durante trabalho de campo

Monitoramento de Atividades

Este monitoramento feito por meio de um acompanhamento sistemtico da realizao das atividades e
seus respectivos processos.

Tendo como base o exemplo anterior este monitoramento deve responder as seguintes questes:

Quantos agentes de sade foram capacitados?
Quantas oficinas foram realizadas?
Quantas pessoas foram acessadas nas aes educativas?
Quantos preservativos foram distribudos?
Quantos materiais IEC foram distribudos?


9
As respostas para essas perguntas so os efeitos das atividades tambm chamadas de produtos, que
correspondem aos indicadores de processo de um projeto/programa, ou seja:

Nmero de pessoas capacitadas
Nmero de participantes nas oficinas
Nmero de pessoas acessadas nas aes educativas
Nmero de material de IEC distribudo

Avaliao de Atividades e Insumos ou Avaliao de Processo

A avaliao de atividades e insumos explica a maneira pela qual as aes do projeto/programa foram
realizadas, alm de complementar informaes levantadas durante o processo de monitoramento. Tendo
como base os exemplos j utilizados, a avaliao dever responder as seguintes questes:

O trabalho de campo foi implementado conforme esperado?
As pessoas acessadas ficaram satisfeitas com a qualidade das aes desenvolvidas?
A populao beneficiada teve acesso aos preservativos? Quais fatores e/ou barreiras facilitaram,
dificultaram ou inviabilizaram esse acesso?


C. Resultados

Resultado o efeito obtido pelas atividades realizadas junto ao grupo populacional acessado. Os
resultados incluem vrios tipos de efeitos, sendo focados prioritariamente em alteraes do
conhecimento, atitudes e comportamento do grupo populacional acessado. A partir dos exemplos
utilizados anteriormente, so considerados resultados:

Aumento do uso do preservativo
Aumento no conhecimento sobre as formas corretas de preveno do HIV/aids

Monitoramento de Resultados

Este monitoramento o acompanhamento sistemtico das informaes relacionadas aos resultados
esperados e obtidos pelo projeto/programa. Seguindo os exemplos aqui fornecidos, o monitoramento de
resultados deve responder a questes do tipo:

As capacitaes aumentaram o conhecimento dos(as) participantes?
Os(as) participantes das oficinas sobre auto-estima e negociao do uso do preservativo
assimilaram os conceitos referentes ao uso do insumo?

As respostas para as perguntas acima formam indicadores de resultado de um projeto/programa, quais
sejam:

Conhecimento sobre mtodos da preveno ao HIV/aids

Definio do indicador: Porcentagem de participantes nas atividades do projeto/programa
que responderam corretamente a perguntas de um questionrio sobre mtodos de preveno
ao HIV/aids

Uso do preservativo na ltima relao sexual com o parceiro eventual

10

Definio do indicador: Porcentagem de participantes nas atividades do projeto/programa
reportando o uso do preservativo na ltima relao sexual com parceiro eventual.


Avaliao de Resultado

A avaliao de resultado determina a efetividade de um projeto/programa, demonstrando at que ponto
os resultados produzidos atendem aos resultados esperados e alcanam os objetivos previamente
estabelecidos. Enfatiza as relaes causais entre ao educativa e efeito, por meio de uma dimenso
explicativa e responde as seguintes questes:

O projeto, programa ou ao educativa funcionou da forma inicialmente planejada?

Por que sim ou por que no?

A ao educativa explica os resultados esperados? Tendo como base o exemplo acima
preciso demonstrar que o aumento no uso do preservativo e/ou conhecimento sobre
HIV/aids foi devido s atividades do projeto. Esse poder explicativo o que diferencia a
Avaliao de Resultados do Monitoramento de Resultados.


D. Impacto

Impacto o efeito acumulado da execuo de vrios projetos ou programas sob determinado problema
num determinado tempo. No caso da preveno do HIV/aids, os exemplos de impacto incluem:

Diminuio da incidncia do HIV
Diminuio da taxa de transmisso vertical do HIV
Diminuio do preconceito e estigma

Monitoramento de Impacto

O monitoramento de impacto refere-se ao acompanhamento das tendncias epidemiolgicas da doena e
deve responder, por exemplo, a seguinte questo:

Qual efeito de todas as aes educativas realizadas em determinado perodo de tempo sobre
as taxas de incidncia dos casos aids?

A resposta para essa pergunta ir atender a dois indicadores de impacto, como por exemplo:

Taxa de incidncia de aids na populao HSH
Taxa de transmisso vertical do HIV

Avaliao de Impacto

A avaliao de impacto determina os efeitos obtidos por um conjunto de projetos/programas na
populao em geral e em relao a um problema especfico. Na rea de sade, por exemplo, ir focar na
anlise da relao entre tendncias epidemiolgicas de determinada doena e os efeitos de programas de
preveno e tratamento. Neste sentido, uma avaliao de impacto deve responder as seguintes questes,
por exemplo:


11
Qual o percentual da variao na incidncia de casos de aids se deve aos projetos e
programas implantados durante os ltimos 10 anos?
Qual o percentual da magnitude de reduo da prevalncia do HIV foi devido aos projetos e
programas implementados durante os ltimos 10 anos?


III. Quadro Resumo - Exemplos de Indicadores



TIPO DE INDICADOR EXEMPLOS
Indicadores de Processo

Nmero de pessoas que formam parte da equipe tcnica
Nmero de consultores contratados para facilitar as capacitaes
Nmero de agentes de sade capacitadas
Nmero de participantes nas oficinas
Nmero de pessoas acessadas nas atividades de preveno
Nmero de preservativos distribudos
Nmero de material de IEC distribudo
Nmero de oficinas realizadas

Indicadores de Resultado

Conhecimento sobre mtodos da preveno ao HIV/aids
Uso do preservativo na ltima relao sexual com parceiro eventual
Indicadores de Impacto

Taxa de incidncia de aids na populao HSH
Taxa de transmisso vertical do HIV


12
Expectativas Realistas de Monitoramento
e Avaliao
1. Todos podem realizar Monitoramento de Atividades e Insumos

Tcnicas Habitualmente Utilizadas

Anlise de Situao: a situao atual da ONG deve ser analisada para verificar previamente se
possui os insumos necessrios para implantar as aes planejadas

Registro e Acompanhamento de Atividades: feito por meio de instrumentos de
monitoramento e visitas sistemticas de superviso


2. A maioria das instituies pode realizar Avaliao de Processo

Tcnicas Habitualmente Utilizadas

Avaliao de Processo: geralmente feita por meio de uma anlise dos dados coletados no
monitoramento sistemtico de um projeto/programa, de entrevistas em profundidade e de
grupos focais, visando explicar as informaes coletadas durante o monitoramento e examinar a
qualidade das aes implementadas ou percepes das pessoas acessadas.
Estudo de Caso: no lugar de avaliar o projeto/programa como um todo, um estudo de caso
avalia o processo de um componente (geogrfico ou programtico) de um projeto/programa,
visando entender uma situao especfica com maior detalhamento. O estudo de caso ideal
para projetos/programas com recursos limitados.
Anlise de Custo: a anlise do custo/benefcio de um projeto/programa geralmente feita por
meio da anlise do custo unitrio/por pessoa acessada das atividades desenvolvidas, sendo
nmero comparado com o nmero e qualidade de atividades implementadas para verificar se o
projeto/programa foi eficiente.


3. Algumas instituies podem realizar o M&A de Resultado

Tcnicas Habitualmente Utilizadas

Registro e Acompanhamento dos Indicadores de Resultado: acompanhamento por meio da
aplicao de instrumentos no campo onde se realiza a ao, o uso de preservativo e
conhecimento sobre a transmisso do HIV do grupo populacional acessado.
Avaliao de Resultado: realizao de pesquisa com carter avaliativo visando verificar se os
resultados obtidos foram devidos s aes do projeto/programa. A Avaliao de Resultados
geralmente utiliza instrumentos como questionrios, entrevistas em profundidade e grupos focais.



4. Poucas instituies podem fazer o M&A de Impacto

13

Tcnicas Habitualmente Utilizadas

Registro e Acompanhamento de Impacto: por exemplo, a vigilncia epidemiolgica do
HIV/aids geralmente feita pelos programas de governo.
Avaliao de Impacto: por exemplo, a anlise do aumento e da queda da incidncia ou
prevalncia da doena e a relao desse fato com os programas e aes educativas implementadas
no mbito da preveno e tratamento do HIV/aids.


14


Plano de Monitoramento e Avaliao
O Plano de M&A um instrumento fundamental para o monitoramento e a avaliao de um projeto ou
programa. Um Plano de M&A composto por: objetivos, atividades, indicadores, meios de verificao e
responsveis. A sua construo pode ser divida em trs fases:

Definio dos indicadores do projeto ou programa de acordo com os objetivos, atividades e
insumos
Definio dos meios de verificao dos indicadores
Definio de responsveis


importante destacar um Plano de M&A deve ser:

Construdo coletivamente durante a elaborao do projeto ou programa;
Alimentado sistematicamente: imprescindvel que a equipe da organizao ou responsvel pela
implantao do projeto/programa assuma este Plano como um instrumento coletivo,
entendendo que todos so responsveis pelo seu preenchimento/alimentao e por possveis
ajustes;
Revisado com freqncia: o Plano de M&A no esttico sendo, portanto, um instrumento
dinmico que deve ser ajustado sempre que necessrio.



1. Definio dos Indicadores

Os Indicadores do Plano de M&A devem ser estabelecidos previamente e seguindo a metodologia e
conceitos j identificados anteriormente.

Alm disso, recomenda-se a utilizao da estratgia SMART. Essa estratgia apia a definio de
indicadores SMART (inteligentes em ingls) para o projeto/programa. Para ser considerado como
SMART, um indicador dever ser:

eSpecfico: Identifica de uma maneira especfica o que vai medir
Mensurvel: Mensura adequadamente as atividades ou as mudanas desejadas
Apropriado: Se relaciona logicamente com os objetivos e as estratgias
Realista: Possvel de medir segundo os recursos disponveis e a experincia tcnica da equipe
Temporal: Especifica um prazo de tempo realstico no qual o indicador pode ser medido

Aps a definio de indicador para uma ao, projeto ou programa deve-se verificar se:

O indicador especifica claramente o que vai medir
O indicador mensurvel
O indicador relevante face aos objetivos gerais e especficos do projeto ou programa

15
O indicador alcanvel dada disponibilidade de recursos e experincia
Os meios de verificao dos Indicadores especificam um prazo realstico no qual eles sero
medidos

Se as respostas para essas questes acima forem afirmativas, o indicador SMART!


2. Definio dos Meios de Verificao:

Os Meios de Verificao so os instrumentos que o projeto/programa ir utilizar para mensurar os
Indicadores. Exemplos de meios de verificao incluem listas de presena, relatrios de campo,
questionrios, grupos focais e registros fotogrficos. Meios de verificao devem ser:

Relevantes face aos indicadores
Viveis frente aos recursos e tempo disponveis
Sistematicamente coletados


3. Definio dos Responsavis:

Embora toda a equipe do projeto/programa deva participar das atividades de M&A, no caso do Plano de
M&A fundamental definir uma ou duas pessoas que ficaro especificamente encarregadas de coletar,
organizar e reportar dados sobre cada indicador definido. Tais pessoas trabalharo em parceria com o
restante da equipe do projeto/programa para garantir que os dados necessrios e referentes a cada um dos
indicadores do Plano estejam sendo devida e adequadamente coletados, utilizados e reportados.

Na definio desses responsveis importante optar por no centralizar a escolha na figura do diretor(a)
ou do coordenador(a) de projeto/programa. As pessoas nessas funes tm muitas responsabilidades na
implementao do projeto/programa, o que pode trazer complicadores para o desenvolvimento das
atribuies relacionadas ao Plano de M&A.


16

Grfico 2: Exemplo de Plano de M&A para um projeto de um ano focado em preveno do HIV/aids com
homens que fazem sexo com homens

Objetivo
Geral*
Objetivo
Especfico
Indicador de
Resultado
Meio de
Verificao
Responsveis Atividade
Indicador de
Processo
Meios de
Verificao
Responsveis

- Contribuir
para a
reduo da
incidncia
de HIV na
populao
de HSH
em So
Paulo

- Aumentar o
uso do
preservativo
na populao
HSH acessada
pelas
atividades de
preveno em
So Paulo

- Uso do
preservativo
na ltima
relao sexual

- Uso do
preservativo
na ltima
relao sexual
com parceiro
fixo

- Questionrio
CAP aplicado
no incio e
final do
projeto

- Consultor
externo para
desenhar
questionrio e
amostragem e
analisar
resultados

- Agentes de
campo para
aplicar
questionrio

- Oficinas
educativas
sobre
negociao do
uso do
preservativo

- Aes
educativas
face a face
semanais em
bares, saunas
e boates
freqentadas
pela
populao
HSH em SP
com
distribuio de
preservativos
masculinos e
materiais IEC


- Nmero de
oficinas

- Nmero de
participantes nas
oficinas

- Nmero de aes
educativas face-
face

- Nmero de
pessoas acessadas
nas aes
educativas

- Nmero de
preservativos
distribudos

- Nmero de
materiais IEC
distribudos

- Listas de
presena

- Relatrio de
atividades

- Relatrio de
campo

- Planilha de
controle da
distribuio de
preservativos

- Planilha de
controle da
distribuio de
materiais IEC

- Facilitador das
oficinas

- Agentes de campo



*Uma vez que se trata de um exemplo para projeto com durao de um ano, no possvel medir indicadores de impacto



17
Instrumentos de Monitoramento e
Avaliao
1. Exemplos de instrumentos de Monitoramento e Avaliao

Entrevista Semi-Estruturada

Este instrumento tem como objetivo coletar informaes qualitativas sobre o grupo populacional
acessado. A entrevista semi-estruturada elaborada em forma de um roteiro com perguntas abertas
permitindo que a pessoa entrevistada fornea informaes mais detalhadas sobre o tema abordado (ver
modelo Anexo VII-A). Um Termo de Consentimento Livre e Esclarecido deve ser assinado antes de
conduzir uma entrevista em profundidade (ver modelo Anexo VII-B).

Grupos Focais

Esta tcnica tem como objetivo coletar informaes qualitativas com um grau de profundidade elevado.
O Grupo Focal, em geral, consiste na reunio de um grupo especfico de pessoas integrantes do grupo
populacional acessado (em torno de 6-12) para discutir um tema especfico, em profundidade. A pessoa
responsvel pela facilitao do Grupo Focal deve elaborar previamente um roteiro e com isso introduzir
as questes-chave da discusso com o grupo (ver modelo Anexo VII-C). Um Termo de Consentimento
Livre e Esclarecido tambm deve ser assinado antes de conduzir o grupo focal.

Questionrio Conhecimento, Atitude e Prtica (CAP)

Este instrumento tem o objetivo de coletar informaes qualitativas sobre o grupo populacional acessado.
No caso de projetos/programas relacionados ao HIV/aids, normalmente so elaboradas perguntas sobre
o comportamento, as atitudes e as prticas do grupo acessado frente preveno (ver modelo Anexo VII-
D). A utilizao deste instrumento possibilita que a organizao conhea melhor o grupo populacional
com o qual trabalha e com isso ajuste suas atividades educativas no mbito da preveno. Antes de
aplicar um questionrio CAP, importante que os(as) participantes no estudo tambm assinem um
Termo de Consentimento Livre e Esclarecido.

Caderno de Campo para o monitor/agente de sade

Este instrumento serve para registrar o nmero de lugares visitados e pessoas acessadas (repetidas e
novas) (ver modelo Anexo VII-E).

Observaes de Campo

As observaes de campo podem ser coletadas durante a realizao da atividade educativa. Para isso o(a)
monitor(a) ou agente de sade deve anotar as principais observaes relacionadas qualidade do trabalho
de campo. Estas informaes sero utilizadas nas reunies de equipe e/ou de superviso para monitorar a
qualidade das atividades desenvolvidas no campo.

Planilha de Controle de Preservativos e demais Insumos de Preveno

Este instrumento serve para registrar a entrada e a sada de preservativos e demais insumos de preveno,
sendo que a primeira entrada deve ser registrada quando a organizao recebe os insumos e as sadas
devem ser registradas a cada ao educativa realizada.




18
Planilha de Controle de Materiais Educativos

Este instrumento serve para registrar a entrada e a sada de materiais educativos produzidos e distribudos.
A primeira entrada deve ser registrada quando a organizao recebe os materiais da grfica e/ou de
parceiros e as sadas devem ser registradas a cada ao educativa realizada. importante que na planilha
tenha colunas distintas para registrar dados sobre os materiais produzidos e distribudos pela organizao
e os materiais recebidos de parceiros e distribudos pela organizao.

Questionrio de Avaliao de Materiais de IEC

Antes de aplicar esforos e recursos na produo de materiais de IEC importante conduzir entrevistas e
grupos focais com a populao acessada para coletar informaes e opinio sobre a proposta do material
a ser produzido, garantindo assim que o mesmo esteja adequado s especificidades do grupo populacional
ao qual se destina e que a mensagem/informaes repassadas so claras e pertinentes (ver modelo Anexo
VII-F).

Questionrio para avaliar a qualidade de uma atividade pontual

Depois de uma oficina ou capacitao, importante avaliar a opinio dos(as) participantes sobre a
atividade e solicitar tambm sugestes sobre como aprimor-la. Ver exemplo de questionrio de
avaliao no Anexo VII-G.

Enqute

Esta tcnica utilizada para coletar opinies do grupo populacional acessado sobre um determinado
tema. As enquetes normalmente so questionrios curtos e com perguntas fechadas.

Pr/Ps Testes

Esta tcnica utilizada para monitorar o resultado obtido com os(as) participantes de uma atividade
educativa. Um mesmo questionrio que deve ser respondido antes e depois da realizao da atividade,
possibilitando assim mensurar o nvel (ou aumento) do conhecimento e/ou satisfao do grupo
populacional acessado.








19
Estudo de Caso: Como Fazer Avaliao
de um Projeto ou Programa
Para facilitar a compreenso dos conceitos e tcnicas apresentadas anteriormente utilizamos um estudo de
caso sobre como fazer a avaliao de um projeto/programa. Para aplicar essa forma de exemplificao de
conceitos e tcnicas em atividades de capacitao, importante que o estudo de caso seja feito com base
num projeto ou atividade desenvolvida pela organizao participante junto a determinado grupo
populacional. Dessa forma, a compreenso e absoro dos conceitos sobre mtodos e instrumentos de
avaliao sero facilitadas e assim o estudo de caso poder efetivamente ajudar na construo e
visualizao do processo de avaliao.

No Estudo de Caso aqui exemplificado depois da definio dos objetivos e do grupo populacional a ser
acessado na avaliao, deve-se seguir as seis etapas abaixo indicadas e detalhadas a seguir:

Desenvolvimento dos instrumentos a serem aplicados
Definio da amostragem
Capacitao dos(as) entrevistadores(as)
Aplicao do questionrio e realizao de grupos focais
Tabulao dos dados coletados
Anlise dos resultados


1. Desenvolvimento de Instrumentos

Os instrumentos a serem aplicados devem ser definidos coletivamente com a equipe do projeto.
Neste exemplo focamos em dois instrumentos que so utilizados com freqncia na avaliao de
projetos: questionrio CAP e Grupo Focal. A combinao de metodologia quantitativa (questionrio
CAP) e metodologia qualitativa (Grupo Focal) possibilita maior riqueza de informaes sobre a
prevalncia de determinados comportamento e conhecimento (questionrio CAP) e um maior
entendimento sobre as percepes do grupo populacional acessado em relao aos temas avaliados e a
satisfao em geral com as atividades implementadas (Grupos Focais).

Para desenvolver o questionrio CAP e o roteiro do Grupo Focal, os seguintes passos devem ser
seguidos:

Definir os objetivos do estudo: esses objetivos devem estar diretamente relacionados os objetivos
e indicadores do projeto. Por exemplo, se os indicadores de resultado do projeto so
conhecimento sobre mtodos de preveno do HIV/aids e uso do preservativo na ltima
relao sexual os questionrios e roteiros desenvolvidos devem medir tais indicadores com
perguntas especficas sobre o mtodo de preveno e o uso do preservativo;

Pesquisar exemplos de questionrios aplicados em outros projetos ou pesquisas: questionrios
para avaliar projetos de preveno do HIV/aids so utilizados em todo o mundo e podem servir
como uma base para a criao de instrumentos similares;

Desenvolver um rascunho de questionrio junto com a equipe do projeto considerando a
linguagem utilizada pelo grupo populacional que ser acessado. No desenvolvimento dos

20
questionrios, importante ter em mente a futura tabulao dos resultados. Por exemplo, se a
organizao no tiver um programa estatstico sofisticado como SPSS ou Epi-Info e for utilizar o
Excel ser mais fcil tabular respostas sim e no do que as de mltipla escolha.
Fazer um teste piloto do questionrio CAP e roteiro do Grupo Focal com membros do grupo
populacional a ser acessado. Esse um passo fundamental para garantir que o grupo
populacional entenda as perguntas feitas, que as respostas correspondem aos objetivos da
avaliao e que o formato do questionrio de fcil utilizao pelos entrevistadores(as). A partir
dos resultados desse teste piloto o questionrio deve ser revisado e sua verso final definida.


2. Definio da amostragem

Questionrio CAP

Pode-se definir o nmero de questionrios a serem respondidos tendo como base o nmero de pessoas
acessadas pelo projeto durante sua execuo e tambm os recursos disponveis para a avaliao. Caso haja
disponibilidade de recursos financeiros, recomenda-se a contratao de pessoa especfica que saiba fazer o
clculo representativo do nmero de pessoas que devero ser acessadas, considerando os objetivos da
avaliao.

Para escolher os locais onde o questionrio CAP ser aplicado deve-se utilizar informaes de
mapeamento feito anteriormente sobre os locais a serem includos no projeto. A avaliao deve tentar
garantir uma amostragem representativa desses locais para evitar um eventual vis da ONG na hora de
escolher os locais para incluir na avaliao. Para conseguir uma amostragem representativa dos locais e
grupos populacionais a serem acessados, deve-se seguir os seguintes passos:

Atribuir um nmero para cada um dos locais do mapeamento. Por exemplo, para a boate
chamada Las Vegas e o Bar da Rose, a ONG deve estabelecer um nmero especfico. Nesse
exemplo, vamos supor que o nmero 1 foi atribudo para a boate Las Vegas e o nmero 2 para
o Bar da Rose;
Estabelecer o nmero de pessoas acessadas dentro de cada estabelecimento e cortar os papis
individuais de acordo com esse nmero. Por exemplo, se na boate Las Vegas 100 pessoas
foram acessadas, 100 papis individuais devem ser cortados; se no Bar da Rose 15 pessoas
foram acessadas, 15 papis individuais devem ser cortados;
Colocar o nmero do local em cada um desses papis. Por exemplo, se o cdigo para a boate
Las Vegas for 1, o nmero 1 deve ser escrito em 100 papis e o nmero 2 (o nmero do Bar
da Rose) deve ser colocado em 15 papis. Assim, cada papel representa uma pessoa acessada
dentro de cada um dos estabelecimentos;
Colocar todos os papis com os nmeros dos locais dentro de um envelope, bon ou ba e
sortear o nmero de questionrios a serem aplicados em cada um desses locais previamente
definidos;
Aplicar o nmero X de questionrios nos locais indicados a partir do sorteio feito. Por exemplo,
se 20 papis com o nmero 1 foram sorteados, 20 questionrios devem ser aplicados na boate
Las Vegas, se 5 papis com o nmero 2 foram sorteados, 5 questionrios devem ser aplicados
no Bar da Rose.


Grupo Focal

Geralmente cada Grupo Focal comporta 6 a 12 pessoas do grupo populacional acessado. Para maximizar
as informaes obtidas no Grupo Focal, necessrio que os(as) participantes tenham um perfil scio-
demogrfico parecido (por exemplo: mesmo sexo, classe social, profisso, etc). Os(as) participantes do
Grupo Focal podem ser selecionados da lista de participantes das atividades da ONG e tambm nos

21
lugares acessados pelas aes educativas. No caso de convidar participantes dos lugares acessados nas
aes educativas, importante fazer um convite formal por escrito com os detalhes do Grupo Focal e
garantir o transporte das pessoas para facilitar a chegada delas ao local de realizao. Tambm
recomendvel convidar duas vezes o nmero de pessoas que se pretende ter no Grupo Focal, uma vez
que comum as pessoas faltarem.

O nmero de Grupos Focais a serem realizados depender do tempo e recursos disponveis para realizar
a avaliao. No geral recomenda-se que sejam feitos entre 3 a 5 Grupos Focais com cada subgrupo da
populao acessada pela avaliao.


3. Capacitao dos(as) entrevistadores(as)

Questionrio CAP

Preferencialmente os(as) entrevistadores(as) devem fazer parte do grupo populacional a ser acessado na
avaliao. Caso isso no seja possvel, essas pessoas devem ter experincia e/ou conhecimento sobre o
grupo populacional a ser acessado e tambm ter familiaridade com os temas tratados no questionrio.
Alm disso, fundamental que todos os(as) entrevistadores(as) sejam capacitados para a aplicao do
questionrio, garantindo assim a consistncia dos dados que sero coletados.


Grupo Focal
Por tratar de metodologia mais aberta e qualitativa, o Grupo Focal deve ser facilitado por profissional
com experincia e conhecimento na rea/tema a ser avaliado. Alm desse profissional que facilitar o
Grupo Focal, deve-se garantir a participao de mais uma pessoa para tomar notas durante o Grupo
Focal e registrar observaes sobre a conversa e temas discutidos.


4. Aplicao dos Questionrios e Realizao dos Grupos Focais

Questionrio CAP

O sorteio feito anteriormente (etapa 2) indicar os locais nos quais o questionrio deve ser aplicado e o
nmero de pessoas a ser entrevistadas. Ao chegar nesses locais os(as) entrevistadores(as) devem procurar
entrevistar maior nmero possvel de pessoas diferentes para obter maior variedade das informaes
coletadas e evitar vis nesses dados.

Grupo Focal

Os grupos focais geralmente so realizados num lugar privado e seguro, sendo a discusso gravada em
udio. Disponibiliza-se aos participantes um lanche e brindes pela participao.



5. Tabulao dos Dados

Questionrio CAP

Dependendo dos recursos disponveis os dados podem ser tabulados numa base de dados no programa
Excel ou num programa de estatstica mais sofisticado (como Epi Info ou SPSS). O mais importante
que os dados sejam tabulados de uma forma fcil de entender e analisar.

22

fundamental que os dados coletados no questionrio CAP sejam tabulados imediatamente
aps da sua aplicao. Isso permitir que as informaes sejam utilizadas para melhorar o
projeto/programa, alm de reduzir o volume de trabalho.


Grupo Focal

Se houver recursos financeiros suficientes, a gravao feita durante a realizao dos grupos focais deve ser
transcrita imediatamente aps da sua realizao. Caso no haja recursos financeiros para isso, as pessoas
que facilitaram os grupos devem se reunir aps sua realizao e elaborar um relatrio bem detalhado
sobre as percepes que tiveram dos(as) participantes face aos temas discutidos, destacando as nuances da
discusso e as opinies expressadas.


6. Anlise dos Resultados

Os resultados devem ser analisados nos trs momentos (ver Cronograma da Avaliao, exemplificado
abaixo) da avaliao: linha de base, avaliao de meio termo e avaliao final. Os resultados da linha
de base servem para definir as prioridades e metodologias mais apropriadas para as aes a serem
implantadas. Os resultados da avaliao de meio termo mostraro se a ao educativa est funcionando da
forma esperada, permitindo a utilizao das informaes obtidas para eventuais adequaes. Os
resultados da avaliao final do projeto permitiro identificar se ocorreu ou no mudanas durante a
implementao do projeto/programa, alm de fornecer dados necessrios para reportar os indicadores de
resultado do projeto/programa. Neste sentido, imprescindvel considerar os resultados da avaliao face
aos objetivos do projeto/programa.

Para explicar por que houve ou no mudanas ao meio termo e final de um projeto/programa,
fundamental triangular as informaes obtidas nos questionrios e grupos focais com outros dados
quantitativos (por exemplo, nmero de participantes nas oficinas, nmero de esquetes teatrais, etc.) e
qualitativos (por exemplo, informaes dos relatrios de campo dos agentes) coletados e reportados
durante o processo de monitoramento da implementao das atividades.



7. Cronograma da Avaliao

Por tratar de uma avaliao, o questionrio CAP e Grupos Focais devem ser realizados no inicio, meio e
final do projeto. Abaixo fornecido um exemplo de cronograma de avaliao para um projeto de dois
anos, dividido nos seus trs momentos: linha de base, avaliao de meio termo e avaliao final.

Linha de Base: primeiro ms do projeto

Aplicar questionrio CAP nos locais onde a ao educativa ser implantada antes de iniciar
qualquer atividade do projeto;
Realizar os grupos focais;
Tabular os resultados do questionrio CAP numa base de dados;
Analisar as informaes obtidas na linha de base para adequ-las s atividades do projeto;
Implementar as atividades do projeto e monitor-las.

Avaliao de Meio Termo: depois de um ano de atividades do projeto

Aplicar o mesmo questionrio CAP e realizar os Grupos Focais;

23
Tabular os resultados do questionrio CAP numa base de dados;
Analisar os resultados obtidos e compar-los com os resultados anteriores;
imprescindvel que os resultados sejam sobrepostos s informaes levantadas no
monitoramento para poder determinar a efetividade do projeto e poder determinar uma relao
casual entre os resultados e a ao educativa. A partir destas observaes, verificar a necessidade
de mudanas: intensificar aes, adoo de novas abordagens, etc.

Avaliao Final: ao final do projeto

Aplicar o mesmo questionrio CAP e realizar Grupos Focais;
Tabular os resultados do questionrio CAP numa base de dados;
Analisar os resultados obtidos e compar-los com as informaes dos primeiro e segundo
questionrios ou grupo focais;
Observar se ocorreu ou no mudanas durante a implementao do projeto;
Para explicar por que houve ou no mudanas, triangular as informaes: dados obtidos nos
questionrios e informaes coletados durante o monitoramento e grupos focais;
Para obter o resultado da avaliao do projeto imprescindvel sobrepor os resultados da
avaliao frente aos objetivos do projeto para verificar que a ao educativa explica os resultados
esperados e se a ao educativa funcionou da forma inicialmente planejada.

24

Criando a Cultura Organizacional de
Monitoramento e Avaliao
I. O modo de pensar avaliativo: a relao entre M&A, planejamento,
implementao e resultado.

Ao elaborar um projeto/programa o componente M&A deve ser um dos mais importantes elementos, j
que poder mostrar os resultados e a possibilidade de ajustes no decorrer da sua implantao. A relao
entre Avaliao, Planejamento, Implementao e Resultado a seguinte:




























Planejamento Implantao Efeitos


- Linha de base
- Diagnstico de
Situao

- Monitoramento de
Insumos
e Atividades
- Avaliao de Processo
- Monitoramento de
Resultado
-Avaliao de resultado
-Monitoramento de
Impacto
- Avaliao de Impacto
O Planejamento a base para o M&A
Monitorar e
Avaliar

Conhecer
Planejar
Implementar

25
Exemplo de um modo de pensar avaliativo:

O projeto contemplava 20 oficinas de artesanato. Esta atividade foi realizada, mas depois de cinco
oficinas realizadas e do monitoramento das mesmas, a equipe do projeto percebeu que as pessoas no
mantiveram a mesma freqncia de participao. A equipe realizou grupos focais com participantes
da oficina para entender o por que da interrupo da participao. O resultado do Grupo Focal
mostrou que os(as) participantes acharam as oficinas de artesanato de pouca utilidade no cotidiano e
tinham mais interesse em oficinas de corte-costura. Neste caso, a atividade foi adequada aos
interesses do grupo populacional acessado, garantindo assim melhores resultados em termos dos
objetivos do projeto.

Isso M&A, ou seja, a equipe do projeto acompanhou a realizao de uma atividade, percebeu que a
mesma no estava alcanando seus objetivos e a adequou no decorrer do projeto. Neste caso, deve-se
ainda registrar a substituio da atividade no Plano de M&A. Este registro servir tambm como uma
observao para a equipe do projeto que ficar ciente para o planejamento futuro que com aquele
grupo populacional especfico e naquela rea geogrfica, a oficina de artesanato no a melhor
alternativa de ao.



























26


Referncias Bibliogrficas

BERTRAND, J., Escudero, G. (2002). Compendium of Indicators for Evaluating Reproductive Health
Programs. MEASURE Evaluation Manual Series 1(6): USAID.

Monitoring & Evaluation Capacity Building for Program Improvement Field Guide - Version 1 - December 2003
- Global AIDS Program - Centers for Disease Control and Prevention - ORC Macro. Traduzido por
PN-DST/Aids - rea de Avaliao: Aristides Barbosa Junior, Elizabeth Moreira dos Santos e Ana
Roberta Pati Pascom. Com o apoio de: PN-DST/Aids - Unidade de Desenvolvimento Institucional e
Humano: Silvana Solange Rossi e Larissa Polejak, CDC GAP Brasil: Willian Brady e Suzanne
Westaman. Colaborao de: Clia Landamann Szwarcwald, Maria Cristina R. Baggio, Maria Elizabeth
da S. H. Corra, Maria Snia Natal, Teresa Seabra Soares e Zulmira Hartz.

HARTZ, Zulmira Maria de Arajo (Org.). Avaliao em Sade: dos modelos conceituais prtica
na anlise da implantao de programas. Rio de Janeiro: FIOCRUZ, 1997. 131p.

MONITORAIDS. Sistema de Monitoramento de Indicadores do Programa Nacional de DST e Aids.
Ministrio da Sade. Programa Nacional de DST Aids. Fundao Oswaldo Cruz.
http://www.aids.gov.br/monitoraids

PATTON, Michael Quinn. Os desafios para tornar a avaliao til. Cadernos Atividades Mestrado
Profissional em Vigilncia em Sade e Avaliao de Programas de Controle de Processos Endmicos.
Dimenso Tcnica Operacional. Vol 2 (2), 2005. No prelo.

REHLE, T., Saidel, T., Mills, S., Magnani. (2001). Evaluating programs for HIV/AIDS prevention and care
in developing countries. Washington DC: Family Health International

SESSIONS, Glenn; Avaliao em HIV/AIDS: Uma perspectiva Internacional, Fundamentos de
Avaliao, n2, Coleo ABIA, Rio de Janeiro, 2001.



27

Anexos
1. Anexo I: Exerccio: Tempestade de Idias

Ao iniciar a oficina, antes de apresentar os conceitos de M&A, pergunte aos participantes qual o
entendimento que tm sobre M&A. Distribua tarjetas de duas cores diferentes, para que os(as)
participantes possam preench-las com o que compreendem por M&A. Posteriormente solicite que
colem as tarjetas no mural e inicie uma discusso at conseguir uma sntese de todas as tarjetas sobre
M&A.



2. Anexo II: Exerccio: Indicadores SMART

Apresente os itens abaixo e pea aos participantes para identificarem se so ou no SMART.

1. Compreenso do projeto como um todo.
2. Habilidade na aplicao dos instrumentos.
3. Nmero de materiais informativos distribudos.
4. Percentual de alcance das transgneros residentes em cada cidade participante do projeto.
5. Conhecimento da populao em geral sobre o trabalho realizado pela ONG.

Respostas a essa atividade esto descritas abaixo:

1. Compreenso do projeto como um todo No. O indicador no especfico, nem mensurvel.
2. Habilidade na aplicao dos instrumentos. No. O indicador no especfico.
3. Nmero de materiais informativos distribudos. - Sim.
4. Percentual de alcance das transgneros residentes em cada cidade participante do projeto. No.
O indicador no mensurvel nem realista dado os recursos e informaes disponveis.
5. Conhecimento da populao em geral sobre o trabalho realizado pela ONG. No. O indicador
no realista.



3. Anexo III: Exerccio 2: M&A Definies e Terminologia

Neste exerccio os(as) participantes iro receber uma folha impressa com as instrues para preencher os
espaos em branco. O espao referente ao Exerccio A deve ser preenchido aps a compreenso do(a)
participante se a frase corresponde a uma ao de monitoramento ou de avaliao. O espao referente ao
Exerccio B deve ser preenchido aps a compreenso do(a) participante se a frase corresponde a uma ao
de monitoramento ou avaliao de processo, resultado ou impacto.

Instrues para participantes

Exerccio A: Leia a descrio da ao educativa abaixo e responda cada questo classificando se a
atividade de monitoramento ou de avaliao.

Exerccio B: Classifique cada atividade de monitoramento ou avaliao, de processo, resultado ou
impacto.



28

A ao educativa

Uma ONG est realizando uma ao educativa para profissionais do sexo que trabalham em bares no
centro da cidade. A ONG planejou uma ao ao nvel de grupo, que consta de trinta sesses de
conversa com uma hora abordando informaes bsicas sobre a transmisso do HIV e a negociao
do uso do preservativo com parceiros fixos. Os resultados esperados so: aumentar o nvel de
conhecimento sobre HIV e aumentar o uso de preservativos com o parceiro fixo. Estima-se que essa
ao educativa alcanar entre 50 e 75 profissionais do sexo por trimestre.

1. Foi aplicado um questionrio junto s profissionais do sexo que participaram da ao educativa
sobre conhecimento e comportamento, antes e depois das oficinas. Os resultados dessas duas
observaes so comparados para verificar mudanas no conhecimento e no comportamento.









2. Antes do projeto comear, foi feito um estudo com profissionais do sexo na cidade sobre
conhecimento das formas de transmisso de HIV e o uso do preservativo com o parceiro fixo. Depois
de um ano de implementao do projeto, o mesmo questionrio foi aplicado e os resultados foram
comparados com os do ano anterior.










3. Foi aplicado um questionrio comportamental junto s profissionais do sexo que participaram das
oficinas, antes e depois da ao educativa. O mesmo questionrio tambm foi aplicado junto a um
grupo similar de profissionais do sexo que no participaram das oficinas. Os resultados dessas
observaes so comparados para ver se ocorreram mudanas no comportamento e se essas
mudanas ocorreram de forma diferente nos dois grupos.










4. A ONG est realizando o registro do nmero de preservativos distribudos e nmero de
participantes em oficinas dividido por sexo e idade que participou de cada sesso.





Resposta do exerccio A:
Resposta do exerccio B:

Resposta do exerccio A:
Resposta do exerccio B:

Resposta do exerccio A:
Resposta do exerccio B:

Resposta do exerccio A:

29




5. A ONG quer saber se a ao educativa est fazendo diferena. Para isso, coleta vrios tipos de
dados usando o registro dos(as) participantes, bem como questionrios. Tambm foram realizados
grupos focais junto aos participantes de atividades do projeto. Todos esses dados foram colocados em
um arquivo e nunca foram consultados ou utilizados.












4. Anexo IV: Exerccio: Elaborao do Plano de M&A

Neste exerccio o grupo dividido em dois ou trs subgrupos para que seja elaborado um Plano de M&A.
O(a) facilitador(a) da atividade juntamente com os(as) participantes devem elaborar um objetivo geral e
dois ou trs objetivos especficos (dependendo do nmero de subgrupos) para que depois os(as)
participantes trabalhem na construo do Plano de M&A, por meio da elaborao das atividades,
indicadores, responsveis e periodicidade.

Aps a construo de todos os itens acima, os(as) participantes devem escrev-los em uma tarjeta e
coloc-los no mural, para ser iniciada uma discusso coletiva sobre todos os itens.



5. Anexo V: Exerccio: Processos Organizacionais de Coleta e Anlise de
Dados

Este exerccio tem como objetivo discutir as aes que a organizao tem na rea de M&A. Para isso,
inicia-se uma discusso sobre os processos organizacionais de coleta de dados, anlise e utilizao das
informaes coletadas e armazenamento das informaes. Com esta discusso os(as) participantes iro
preencher algumas tarjetas com as respostas para as questes abaixo (1 a 5). Aps o preenchimento e a
classificao por ordem de dificuldade das respostas, ser realizada uma discusso com base na seqncia
de perguntas abaixo (6 a 11). Em seguida distribuda a folha de exerccio (B) e solicitado o
preenchimento. Aps o preenchimento discuta as respostas fornecidas pelos participantes.

Antes de comear, escreva em quatro tarjetas as seguintes informaes:, coleta de dados, anlise de dados,
mudanas feitas baseada nas informaes coletadas, amarzenamento de dados e cole as tarjetas em um mural
formando quatro colunas. Distribua tarjetas em branco, inicie uma discusso com o grupo e solicite aos participantes que
preencham as tarjetas a partir das questes abaixo.

1. Quais so os exemplos de informaes que vocs coletaram durante o ltimo ano?
2. Depois de coletar os dados, onde vocs costumam guardar as informaes? Num lugar
confidencial?
3. Como vocs analisaram essas informaes?
4. Vocs fizeram alguma alterao nos projetos com base nas informaes aprendidas?
Resposta do exerccio B:

Resposta do exerccio B:

Resposta do exerccio A:

30
5. Como vocs documentaram as atividades desenvolvidas em preveno de HIV/aids durante o
ltimo ano?

Solicite a um voluntrio do grupo de participantes para colocar as tarjetas em ordem das facilidades e dificuldades da
organizao no mural. A tarjeta colocada em cima representa a maior facilidade e a ltima, a maior dificuldade.
Discuta os resultados com o grupo com base nas questes abaixo.

1. Por que vocs colocaram as tarjetas nesta ordem?
2. Algum tem uma opinio diferente? Por qu?
3. Se voc for investir dinheiro e tempo numa destas reas nos prximos seis meses, qual rea voc
escolhe? Por qu?
4. Como vocs acham que poderiam sistematizar esse processo?
5. Durante os ltimos doze meses, quais os tipos de atividades de monitoramento vocs tm
desenvolvido? Compartilhar exemplos e descrever suas atividades.
6. Durante os ltimos doze meses, quais os tipos de atividades de avaliao vocs tm
desenvolvido? Compartilhar exemplos e descrever suas atividades.

6. Anexo VI: Criando uma Cultura Organizacional de M&A

Depois da discusso em grupo, entregue a folha com o exerccio abaixo para os(as) participantes
preencherem. Depois o preenchimento discuta as respostas em grupo.

Questes Sim No
1. Temos um sistema claro pra identificar as necessidades de nossa populao?
2. Nosso sistema para avaliar as necessidades da populao eficaz?
3. Usamos indicadores claros para o M&A de projetos em nossa organizao?
4. A populao que acessamos participa diretamente das nossas atividades de M&A?
5. Temos um sistema de qualidade para coletar informaes programticas e operacionais?
6. Temos um sistema de qualidade para analisar informaes programticas e
operacionais?

7. Estamos fazemos as mudanas apropriadas com base na anlise das informaes obtidas
com o monitoramento das atividades/insumos?

8. Documentamos sistematicamente as lies aprendidas em nossos projetos?


31
7. Anexo VII: Exemplos de instrumentos de Monitoramento e Avaliao
1


A. Roteiro de Entrevista em Profundidade para Anlise de Implementao de
Atividades de Preveno para Profissionais do Sexo


I. Informao Demogrfica

1. Cidade: _____________________________
2. Idade: _______
3. Local de trabalho: ( ) Rua ( ) Boate ( ) Bar ( ) Outro:______________
4. At que nvel da escola voc chegou? ______________________________
5. Como voc descreveria sua cor?___________________________________

II. Roteiro qualitativo

a. Experincia com Ong

1. Fale-me um pouco sobre o tipo de contato que voc teve durante o ltimo ano com (nome
da ONG) ___________________________.
Aprofundar:
Como foi seu primeiro contato com a ONG?
Voc lembra quem foi que falou com voc?
De quais atividades participou?
Conte-me um pouco sobre sua experincia nestas atividades.
Quais foram os pontos fortes destas atividades? Quais foram os pontos a serem
melhorados?
Quais seriam suas sugestes para melhor-las?
Quais outros tipos de atividades so necessrios?

b. Resultado do projeto

1. Qual foi o resultado das atividades na vida sua vida? Sondar: uso da camisinha, direitos
humanos, busca de servios de sade, conhecimento sobre aids, etc.
Aprofundar:
De que forma o projeto causou esse impacto?

c. Materiais e insumos

1. Algum tipo de material educativo lhe foi repassado pela ONG?
Aprofundar:
Qual? Que tipo de informao continha?
O que voc achou desse material?
A pessoa que entregou esse material explicou a voc algo sobre ele? O que?

2. Alm do material educativo, algum outro material foi repassado para voc?
Sondar: Camisinha ou gel lubrificante

3. O que voc achou da quantidade do material que foi repassado para voc? Foi suficiente?
Faltou?



1
Os exemplos de questionrios (Roteiro de Entrevista em Profundidade para anlise de Implementao de Atividades de Preveno para
Profissionais do Sexo, Roteiro para Grupos Focais para uma Avaliao de Atividades de Preveno de HIV/aids com HSH, Questionrio
CAP, Questionrio para Avaliao de IEC) foram adaptados de instrumentos utilizados pelas seguintes organizaes: NEP, NEPS,
GAPA/MG, Population Council do Brasil e Family Health International).

32

d. Uso do Preservativo

1. Conte o que voc sabe em relao ao uso da camisinha.
Aprofundar:
Quais so as dificuldades que voc percebe em relao ao uso da camisinha entre as
profissionais do sexo? O que poderia ser feito para facilitar o uso da camisinha?

2. E para voc, pessoalmente, como usar a camisinha?
Aprofundar:
Quando voc costuma usar camisinhas?
Quando voc sente mais dificuldade em exigir o uso da camisinha?

3. Pense na ltima vez em que voc usou camisinha. Quais razes levaram voc a usar?

4. Pense na ltima vez em que voc no usou camisinha. Quais razes levaram voc a no
usar?




Voc tem alguma outra coisa que gostaria de falar ou perguntar?


Agradecer e fechar a entrevista.

33
B. Exemplo de um Termo de Consentimento Livre e Esclarecido
2



Esta pesquisa tem como objetivo avaliar a implementao das aes de preveno do HIV/aids apoiadas
pelo (nome da ONG) desenvolvidas junto (grupo populacional) em (local da ao).

A coleta de informaes ser feita mediante sua participao em uma entrevista individual ou em grupo
que ser gravada em udio e ter cerca de 40 minutos.

A participao neste estudo voluntria e a sua recusa no implicar em nenhum prejuzo para voc, no
lhe trar nenhum tipo de risco. Mas algumas perguntas pessoais podem causar algum incmodo. Voc
poder interromper a sua participao em qualquer momento do estudo, mesmo depois de terminadas as
entrevistas.

Este estudo confidencial e voc no ser identificado em nenhum momento. Tanto seu nome, quanto o
de pessoas que voc vier a citar na entrevista no sero divulgados nos resultados do estudo, garantindo
sua privacidade e das pessoas mencionadas. Todos os materiais relativos a voc sero mantidos em
armrios trancados chave no escritrio da (nome da ONG).

As informaes dadas por voc sero utilizadas somente para os propsitos do estudo. Voc ter
liberdade para acessar os resultados do estudo. Voc ser reembolsado caso haja custos para seu
transporte e alimentao, desde que provocados pelo estudo. Voc no ser remunerado pela sua
participao neste estudo.

Colocamo-nos disposio para esclarecer, a qualquer momento, as dvidas relacionadas aos a esse
estudo por meio do telefone (xxx) com (nome da responsvel pela coordenao do estudo)

Dessa forma, livre e devidamente esclarecido(a), aceito participar da avaliao acima referida.

________________, ___ de ____________ de 2006.


Nome do(a) participante do estudo Assinatura do(a) participante


Entrevistador(a): _____________________________ Contato: ________________________


Contato do(a) responsvel pelo estudo: _________________________________________________










2
Aps de ser assinado, o Termo de Consentimento deve ser guardado num lugar separado do questionrio/roteiro preenchido para garantir o
sigilo do(a) participante. importante notar que o(a) participante no precisa colocar seu nome verdadeiro se no quiser. O (a) participante
deve assinar duas cpias do Termo de Consentimento: uma cpia deve ficar com ele(a) e outra fica com a pessoa que recebeu a assinatura.
Aps ser assinado, o Termo de Consentimento deve ser guardado num lugar separado e seguro.

34
C. Roteiro para Grupo Focal para uma Avaliao Final de Atividades de Preveno de
HIV/aids com HSH

I. Informao Demogrfica

Data: ________________________________________________________
Nmero de participantes: ________________________________________
Cidade: ______________________________________________________
Local do Grupo Focal: __________________________________________
Idade das participantes: __________________________________________
Escolaridade: _________________________________________________

II. Roteiro qualitativo

a. Experincia com ONG

1. Fale sobre o tipo de contato que vocs tiveram durante o ltimo ano com (nome da ONG)
___________________________.
Aprofundar:
De quais atividades participaram? Conte sobre a experincia nestas atividades.
Quais foram os pontos fortes destas atividades? Quais foram os pontos a serem
melhorados?
Quais seriam suas sugestes para melhor-las?
Quais outros tipos de atividades deveriam ser feitos?

b. Resultado com o Projeto

1. Como vocs sentem que os membros desta comunidade tm respondido a esta ao
educativa? E a comunidade dos HSH, como tem respondido a este projeto?

2. Quais so os elementos desse projeto que vocs acham que devem continuar e/ou estar
includos em futuras aes?

c. Materiais

1. Algum tipo de material educativo foi repassado a vocs pela ONG?
Aprofundar:
Qual? Que tipo de informao continha?
O que vocs acharam desse material?
Quais seriam suas sugestes para melhor-lo?

2. Alm do material educativo, algum outro material foi repassado para vocs?
Aprofundar: Camisinhas e/ou gel lubrificante.

3. O que vocs acharam da quantidade do material que foi repassado para vocs? Foi
suficiente? Faltou?

b. Estigma e discriminao

1. Como ser um HSH aqui em (nome da cidade).
Aprofundar:
Vocs acham que fcil ou difcil? Por que sim ou no?

2. Vocs participaram de alguma atividade da ONG que tratava deste tema? Qual(ais)? O que
acharam desta(s) atividade(s)?



35
c. Uso do Preservativo

1. Conte sobre o que vocs observam em relao ao uso da camisinha.
Aprofundar:
Quais so as dificuldades que vocs percebem com respeito ao uso da camisinha entre os
HSH? O que poderia ser feito para facilitar o uso da camisinha?
Das atividades do projeto em que participaram, algumas lhes ajudaram a negociar o uso
do preservativo? Qual(ais)? Por que sim ou no?




Vocs tm algo mais que gostariam de falar ou perguntar?


Agradecer e fechar o grupo.











































36

D. Exemplo - Questionrio para profissionais do sexo



Nmero do questionrio: ___________________

Cdigo do entrevistador: ___________________

Data da entrevista: _________________________

Bairro: ___________________________________


1

Local de entrevista:

Rua
Boate
Sauna
Bar
Outro(Especificar):___________________________


2

Idade

__________________________ (anos)
No sabe


3

At que nvel na escola voc chegou?


Ensino fundamenta incompleto
Ensino fundamental completo
Ensino mdio incompleto
Ensino mdio incompleto
Faculdade +
No sabe


4

Voce tem filhos?


Sim Quantos?_________________
No
No sabe


5

Como voc define sua cor?


Preta
Branca
Parda
Indgena
Outro: ________________________
No sabe


6

Quantos dias da semana voc trabalha?


0
1-2
3-4
5-7
No sabe


7

Quantos programas voc faz em um dia
normal de trabalho?



1
2
3
4
5+
No sabe



37

8

Quanto voc ganha por ms fazendo
programa?

$10-$300
$301-$600
$600-$900
$900 +
No sabe


9

Onde voce nasceu?


Cidade onde est sendo entrevistada
Outra cidade: _____________________
No sabe


10

Qual seu estado civil?


Casada
Solteira
Separada
Viuva
Amasiada
No sabe


11

H quanto tempo voc trabalha neste ponto?

_______________(Especificar dia, ms, ano)
No sabe


Agora vamos conversar um pouco sobre HIV/aids. Para as prximas perguntas, voc pode
responder sim, no e no sei.

12 Voc acha que o HIV/aids se pega:
A. Pelo beijo? A. Sim No No sabe
B. Pelo abrao? B. Sim No No sabe
C. Num banheiro pblico? C. Sim No No sabe
D. Bebendo no mesmo copo que uma pessoa
que tem HIV/aids?
D. Sim No No sabe
E. Trabalhando junto com algum que tem
HIV/aids?
E. Sim No No sabe
F. Pelo sexo anal sem camisinha? F. Sim No No sabe
G. Pelo sexo oral sem camisinha? G. Sim No No sabe
H. Pelo sexo vaginal sem camisinha? H. Sim No No sabe
I. Picada de mosquito? I. Sim No No sabe
J. Compartilhando agulhas usadas? J. Sim No No sabe



K. De me para filho durante a gravidez, parto
ou amamentao?
K. Sim No No sabe

13
HHv
Uma pessoa que aparenta ter boa sade pode
ter o HIV/aids?
Sim
No
No sabe



38

14
GD
Se uma pessoa for diagnosticada com HIV,
onde poderia buscar atendimento e
tratamento?

SAE
Posto de sade pblico
Farmcia
Hospital pblico
Clnica privada
Outro: __________________________
No sabe


15

Ela ou ele teria que pagar para o atendimento
ou tratamento?

Sim
No
No sabe


16

Voc j foi diagnosticada(o) com alguma
DST?

Sim, qual? ________________________
No
No sabe


17

Na ltima vez em que voc transou com um
cliente novo, voc usou camisinha?


Sim pula para # 19
No
No sabe


18

(Se no usou camisinha) Quais razes te
levaram a no usar?

No tinha camisinha
Teso
Parceiro confivel
Uso de lcool ou outras drogas
Solicitao/exigncia do cliente
Outra _____________________
No sabe


19

Voc tem um cliente fixo?


Sim
No pula para # 22
No sabe

20

Na ltima vez em que transou com um cliente
fixo, voc usou camisinha?


sim pula para # 22
no
no sabe


21

(Se no usou camisinha) Quais razes te
levaram a no usar?

No tinha camisinha
Teso
Parceiro confivel
Uso de lcool ou outras drogas
Solicitao/exigncia do cliente
Outra : _____________________


22

Voc tem um marido/companheiro?


Sim
No pula para 25
No sabe


23

Na ltima vez em que voc transou com ele,
voc usou camisinha?

Sim pula para # 25
No
No sabe


39










24

(Se no usou camisinha) Quais razes te
levaram a no usar?

No tinha camisinha
Teso
Parceiro confivel
Uso de lcool ou outras drogas
Solicitao/exigencia do marido/companheiro
Outra: _____________________


Agora vamos conversar um pouco sobre sua vida aqui em (nome da cidade).


25

Voc tem pessoas no seu convvio dirio que
no sabem sobre sua profisso?


Sim
No pula para #27
No sabe


26

Se voc comentar com essas pessoas, qual
seria a reao delas?


Aceitariam numa boa
Se afastariam de mim
Rejeio
Outro: ________________________


27

Voc j vivenciou alguma situao de
preconceito ou discriminao por causa de sua
profisso?


Sim
No pula para 29
No sabe

28

Onde foi essa experincia?


Rua
Posto de sade
Escola
Delegacia
Outro: ________________________


Agora vamos conversar um pouco sobre atividades educativas.


29

Nos ltimos trs meses, voc participou de
alguma atividade educativa sobre HIV/aids?


Sim
No
No sabe


30

Quais das seguintes atividades voc
participou?

Conversa com agente multiplicador
Teatro
Oficina
Capacitao
Repasse de preservativo
Grupo focal
Aula
Outro_____________________________

40



















31




Nos ltimos trs meses, quantas vezes voc
participou de cada atividade?

Conversar com agente ____________________
Teatro ________________________________
Oficina ________________________________
Capacitao ____________________________
Repasse de preservativo ___________________
Grupo focal ____________________________
Aula _________________________________
Outro________________________________


32

Voc pode dizer o nome da ONG/projeto que
organizou essas atividades?

Sim
No
No sabe


33

O que voc achou dessas atividades das quais
participou?

________________________________________

________________________________________

________________________________________

________________________________________

________________________________________



41
Anexo E: Exemplo de Mapa de Abordagem do Trabalho de Campo

MAPA DE ABORDAGEM DO TRABALHO DE CAMPO

Agente:
Data: Local:
Populao:
Nmero total de contatos: Nmero total de 1
os
contatos: Nmero total de contatos regulares:
1) Contato: Material Distribudo: Preservativo: Temas Abordados: Sugestes e observaes de campo:
1 contato ( ) cartilha ( ) folder ( ) sim ( ) DST/aids ( ) Uso da camisinha ( )
contato regular ( ) postal ( ) brindes ( ) no ( ) Sade em geral ( ) Servios de sade ( )
Cidadania e DH ( ) Servios de testagem ( )

2) Contato: Material Distribudo: Preservativo: Temas Abordados: Sugestes e observaes de campo:
1 contato ( ) cartilha ( ) folder ( ) sim ( ) DST/aids ( ) Uso da camisinha ( )
contato regular ( ) postal ( ) brindes ( ) no ( ) Sade em geral ( ) Servios de sade ( )
Cidadania e DH ( ) Servios de testagem ( )

3) Contato: Material Distribudo: Preservativo: Temas Abordados: Sugestes e observaes de campo:
1 contato ( ) cartilha ( ) folder ( ) sim ( ) DST/aids ( ) Uso da camisinha ( )
contato regular ( ) postal ( ) brindes ( ) no ( ) Sade em geral ( ) Servios de sade ( )
Cidadania e DH ( ) Servios de testagem ( )

4) Contato: Material Distribudo: Preservativo: Temas Abordados: Sugestes e observaes de campo:
1 contato ( ) cartilha ( ) folder ( ) sim ( ) DST/aids ( ) Uso da camisinha ( )
contato regular ( ) postal ( ) brindes ( ) no ( ) Sade em geral ( ) Servios de sade ( )
Cidadania e DH ( ) Servios de testagem ( )

5) Contato: Material Distribudo: Preservativo: Temas Abordados: Sugestes e observaes de campo:
1 contato ( ) cartilha ( ) folder ( ) sim ( ) DST/aids ( ) Uso da camisinha ( )
contato regular ( ) postal ( ) brindes ( ) no ( ) Sade em geral ( ) Servios de sade ( )
Cidadania e DH ( ) Servios de testagem ( )

6) Contato: Material Distribudo: Preservativo: Temas Abordados: Sugestes e observaes de campo:
1 contato ( ) cartilha ( ) folder ( ) sim ( ) DST/aids ( ) Uso da camisinha ( )
contato regular ( ) postal ( ) brindes ( ) no ( ) Sade em geral ( ) Servios de sade ( )
Cidadania e DH ( ) Servios de testagem ( )




42
F. Questionrio para Avaliao de Material de IEC


I. Faa as seguintes perguntas sobre CADA PGINA do material:


1. Existem palavras nesta pgina que voc no compreende? Quais so elas? Voc pode explicar
porque o seu significado no est claro?

2. Existe algo na pgina que voc acredite no ser verdade? O que? No que voc acha que seria
mais fcil de acreditar?

3. E com relao s imagens nesta pgina? Diga-me o que voc v? (Quando aplicvel, pergunte
Que local este? Que tipo de pessoa esta?)

4. Existe algo nesta pgina ou nas imagens que possa ofender ou envergonhar algum? O que? O
que seria melhor?

5. Existe algo nesta pgina que esteja confuso? O que? Como poderia ficar mais claro?

6. Existe algo nesta pgina que voc realmente gosta? O que?

7. Existe algo nesta pgina que voc realmente no gosta? O que?


II. Faa as seguintes perguntas sobre o material COMO UM TODO:

1. Voc acha que o material est lhe sugerindo fazer algo em especfico? O que? Voc acha que
faria? Se negativo, por que no?

2. Voc acha que o material foi desenvolvido/feito para pessoas como voc, ou para outro tipo de
pessoas? Por qu?

3. O que voc acredita que pode ser feito para melhorar o material?


III. Faa as perguntas a seguir sobre CADA VERSO do material:

1. Qual verso deste material voc prefere? Por qu?

















43
G. Questionrio de Avaliao - Oficina de M&A

Pontuao:

1 = Discorda totalmente
2 = Discorda parcialmente
3 = Concorda parcialmente
4 = Concorda totalmente


I. Percepo geral

Eu aprendi coisas novas na oficina de M&A.

1 2 3 4

A oficina foi til.

1 2 3 4

Minhas expectativas foram alcanadas.

1 2 3 4

Eu gostei da oficina.

1 2 3 4


II. Facilitadoras

As apresentaes foram claras.

1 2 3 4

As facilitadoras estimularam discusses participativas e coletivas.

1 2 3 4

As facilitadoras deram respostas claras s perguntas apontadas.

1 2 3 4


III. Materiais/Informaes fornecidos

Os materiais eram claros e fceis de entender.

1 2 3 4

Os materiais eram apropriados e relevantes s necessidades de minha organizao.

1 2 3 4

Os materiais eram completos.

1 2 3 4


44
IV. Aprendizagem

Eu tive a oportunidade de participar efetivamente.

1 2 3 4

As trs coisas mais teis que eu aprendi foram:

1.

2.

3.

Eu gostaria de ter me aprofundado mais nos seguintes temas:








No futuro, eu recomendaria que a oficina...








Outros comentrios:







45
8. Anexo VIII: Exemplo de Agenda - Oficina de M&A


I. Primeiro dia

Boas vindas/Apresentao
Conceitos de M&A: O que M&A? Para que serve? (apresentao de slides, exerccios e
discusso)

Intervalo
Indicadores e sua utilizao (apresentao de slides e discusso coletiva)
Como Utilizar M&A. O que devemos monitorar e avaliar? Parte I. (apresentao de slides e
discusso coletiva)
Almoo
Como Utilizar M&A. O que devemos monitorar e avaliar? Parte I. (apresentao de slides e
discusso coletiva)
Intervalo
Plano de M&A (apresentao de slides e introduo atividade em grupo)
Avaliao do primeiro dia de atividades (preenchimento de instrumento de avaliao e discusso
em grupo)


II. Segundo dia

Criao de um Plano de M&A: atividade em grupo
Intervalo
Quais os instrumentos/ferramentas necessrias para M&A (apresentao de slides, exerccio e
reviso de instrumentos)
Almoo
Como fazer uma avaliao de programa/projeto? (apresentao de slides, exerccios e discusso
coletiva)
Intervalo
Criando a cultura organizacional de M&A (apresentao de slides e discusso coletiva)

Avaliao da oficina (preenchimento de instrumento de avaliao e discusso em grupo)









Pact Brasil
Avenida Treze de Maio, 13 sala 1609
20031-901 Rio de Janeiro - RJ
Tel: (021) 3553 05 11
www.pactbrasil.org