DistanceLearningCourse Ch7

Integrated Slum Upgrading Actions - Distance Learning Course: Abridged Version
Captulo 7
Monitoramento e avaliao de programas de ao inte-
grada em assentamentos precrios
Chapter 7
Monitoring and evaluation of integrated action programmes in
informal settlements
Francesco Notarbartolo di Villarosa 51
1. Introduction 1. Introduo
Monitoring and Evaluation (M&E) of projects O Monitoramento e Avaliao (M&A) de pro-

is gaining increasing importance in the agenda of jetos vm adquirindo relevncia crescente na
public sector managers and international funding or- agenda dos gestores pblicos e dos financiado-
res internacionais. Entretanto, h dificuldades
ganisations. However it has proved difficult to trans-
em transformar as intenes em interesses re-
form the best of intentions into good practice. M&E ais, e estes em prticas estabelecidas: frequen-
often continues to be regarded as a backroom activity temente, o M&A continua sendo uma ativida-
which has not yet been incorporated into the main- de residual, no institucionalizada na gesto
stream management of projects and key decision- dos projetos, e desarticulada dos momentos
making. M&E is frequently confined to tracking or de tomada de decises (internos e externos
following-up activities or products and is rarely used aos projetos); frequentemente limita-se a um
for measuring results and impacts. As a result feed- acompanhamento de atividades, eventualmen-
te de produtos, e raramente extende-se men-
back on project performance tends to be minimal.
surao de resultados e impactos. Consequen-
These problems tend to be more serious in integrated temente, o efeito de retroalimentao sobre o
projects, where information is generally of a multi- desempenho dos projetos tende a ser mnimo.
sectorial nature. The problems generally encountered Tais problemas que tendem a ser mais graves
are of (a) technical origin, with managers possessing em projetos integrados, onde as informaes
superficial knowledge of M&E methods and tools but so multi-setoriais - tm origem (a) tcnica: os
requiring training to enable them to take full advan- gestores tm um conhecimento superficial dos
tage of well-produced and properly analysed data; mtodos e ferramentas de M&A preciso
de capacitao para melhorar a oferta de da-
CHAPTER 7
or (b) an institutional origin where no sustained de-

dos adequadamente produzidos e analisados;
mand exists for M&E information by different levels (b) institucional: no h demanda sustentada
51
Francesco Notarbartolo di Villarosa is a sociologist who grad- 51
Francesco Notarbartolo di Villarosa socilogo. For-
uated in political science at the University of Turin (Italy). Was mado em Cincias Polticas na Universidade de Turim
awarded a Masters in Sociology by the London School of Eco- (Itlia), mestre em Sociologia na London School of
nomics & Political Science and a PhD in Development Studies Economics e PhD em Estudos sobre Desenvolvimento
by the Institute of Development Studies of the University of no Institute of Development Studies da Universidade
Sussex (UK). Consultant for the World Bank, Cities Alliance, do Sussex (GB). Consultor do Banco Mundial, Aliana
PAHO, Italian Government Cooperation Department, IDB, de Cidades, OPAS, Cooperao Italiana, BID, PNUD,
UNDP, ILO, USAID, DFID, and State and Federal govern- OIT, USAID, DFID, governos estaduais e federal. Espe-
ments. Specialist in the management of social policies - moni- cialista em gesto de polticas sociais - monitoramento e
toring and evaluation, rapid participatory appraisal, geographic avaliao, rapid participatory appraisal, focalizao geo-
focalisation, poverty mapping. grfica, mapeamento da pobreza.
172 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

Aes Integradas de Urbanizao de Assentamentos Precrios - Sntese do Curso Distncia
para informaes de M&A pelos tomadores of decision-makers. It follows that institutional ar-
de decises em diferentes nveis preciso rangements need to be esigned and implemented to
implementar arranjos capazes de gerar incen- provide incentives for using M&E more effectively.
tivos ao M&A.
2. Consideraes Preliminares 2. Preliminary considerations
O Monitoramento e Avaliao (M&A;) um M&E is an instrument for managing projects, pro-

instrumento de gesto de projetos, programas grammes or policies. As such, it cannot function in
ou polticas. Como tal, no pode funcionar an organisational vacuum. An appropriate insti-
num vcuo organizacional um arranjo ins- tutional arrangement is essential for conducting co-
titucional apropriado essencial para que haja herent monitoring and evaluation of projects. M&E
M&A. Tipicamente, o M&A sofre das seguin- suffers typically from the following shortcomings:
tes deficincias: baixa demanda para dos po- low demand by policy-makers and technical staff
licy-makers para M&A; e, de reflexo, dos tc- for M&E; problems with the relevance, format, dis-
nicos; problemas com a relevncia, o formato, jointed nature, flows and timing of routine informa-
a fragmentao, os fluxos e os prazos das in- tion; poor analytical skills of staff charged with the
formaes a serem produzidas rotineiramente; treatment of the data produced; failure of M&Es
dficit na capacidade de anlise dos dados ob- products to adapt and appeal to different target pub-
tidos; difuso insuficiente e no calibrada para lics; ineffective coordination; unclear and diffuse re-
audincias distintas; coordenao inefetiva; sponsibilities; loose and obscure procedures.
responsabilidades incertas e diludas; procedi-
mentos indefinidos e pouco transparentes. Ca- The following recommendations with regard to
bem, portanto, as seguintes recomendaes: M&E are pertinent:
fortalecer a coordenao entre os atores to strengthen coordination between the various

evitando estruturas pesadas e duplicadas; stakeholders with a view to avoiding heavy
and duplicated structures;
racionalizar os processos evitando acres-
centar novas funes de m&a sem sim- to rationalise the processes and avoid increas-
plificar as existentes; ing new m&e functions without simplifying
those which already exist;
focar produtos e simplificar procedimentos;
to emphasize products and simplify proce-
minimizar o peso de novas tarefas nos dures;
atores que esto s margens do processo
e que portanto recebem incentivos meno- to minimise burdening practitioners operating
res (ex. as linhas funcionais das secre- on the margins of the process with new tasks.
tarias s quais pertence o projeto). mas, they in any case possess fewer incentives for ac-
knowledging the value of m&e (e.g. the so-called
CAPTULO 7
ao mesmo tempo, alguns pontos focais

das secretarias devem estar plenamente functional lines of the secretariats which are
envolvidos e articulados; in charge of the project). meanwhile it is essen-
tial that some focal points within the secretari-
importante o envolvimento dos rgos ats should be identified and fully involved;
produtores de estatsticas;
it is important to involve statistics-producing
reforar e institucionalizar a capacidade ana- organisations;
ltica um ponto absolutamente crtico;
reinforcing and institutionalising analytical
apoio externo constante, por perodos, ou skills is absolutely essential;
ad hoc por produtos pode ser imprescin-
dvel. ongoing external support is required, either on
an ad hoc (per product) basis or for a desig-
nated timeframe.
Secretaria Nacional de Habitao Ministrio das Cidades Repblica Federativa do Brasil 173
The following factors are especially relevant: Destacam-se aqui os seguintes aspectos, en-
quanto especialmente relevantes:
(A) Leadership and commitment:
A) Liderana e comprometimento:
M&E is a political process with technical dimensions
(not the contrary). It is vital that the decisions to initi- O M&A um processo poltico com dimenses
ate, implement and sustain M&E are taken at a level tcnicas no o contrrio. fundamental que
where effective decision-making capacity exists in or- o impulso para iniciar, implementar e susten-
tar o M&A venha de um nvel hierrquico com
der to ensure that the necessary resources are mobilised
capacidade efetiva de tomar decises, mobili-
and practitioners motivated. This means the project zar os recursos necessrios, e motivar os atores
manager (assuming that he or she can act autono- envolvidos o gerente do projeto, quando este
mously and with sufficient authority), the Divisional tiver autonomia e poder suficientes; o secret-
Secretary, the Mayor/Governor, or the financing rio, ou melhor ainda, o prefeito/governador;
agencies in the case of projects receiving external funds. os financiadores, no caso de projetos dotados
In other words, commitment by leading authorities is de recursos externos. O comprometimento das
crucial to the success of M&E. These should ideally lideranas crucial: precisa de uma combina-
possess a combination of institutional capacity and o de capacidade institucional e vontade po-
political will. Leaders should not confine themselves ltica. A liderana deve se dar no somente na
inteno mas tambm enquanto interesse real
to expressions of good intentions but demonstrate
nos detalhes necessrios para a implementao
genuine interest in the detailed aspects of institutional
do arranjo proposto (Banco Mundial 2004).
development for M&E (World Bank 2004).
B) Demandas efetivas:
(B) Effective demands:
Os produtos do M&A devem ser originados
M&E products must be originated from demands de demandas que tenham capacidade de in-
which are capable of influencing events. When fluenciar os eventos. Quando os produtos do
M&E products succeed in influencing the core of M&A conseguem chegar perto do centro do
government and the budget process, M&E will be governo e do processo oramentrio, o M&A
ganha autoridade. Onde a informao oriunda
regarded as having achieved a degree of real author-
do M&A pode ser influente: em pontos-chave
ity. Information produced by M&E can be concretely do processo de policy-making, como o ora-
influential at key points of the policy-making pro- mento, os ciclos de planejamento, as sesses
cess such as the budget, planning pipeline, legislative legislativas, os momentos de dilogo pblico, a
sessions, public meetings, elaboration of strategies elaborao de estratgias com os financiadores
with funding organisations (Lucas et al,2004). An (Lucas et al. 2004). Um calendrio institucio-
institutionalised timeframe of regular M&E prod- nalizado de produtos peridicos (ex. relatrios)
do M&A fundamental.
ucts (such as reports) can be crucial.
CHAPTER 7
C) Estrutura de incentivos:
(C) Incentives structure:
Para que a vontade poltica e as demandas ins-
For political will and institutional demands to im- titucionais se tornem eficazes na implemen-
pact on M&E performance a suitable incentives tao do M&A, necessria uma estrutura
structure needs to built. This can consist of a vari- adequada de incentivos. Essa pode resultar de
ety of devices such as: an awards system for manag- uma variedade de dispositivos, como: um siste-
ers who succeed in producing results based on solid ma de premiao para gestores que produzem
information; conditionalities linking the release of resultados fundamentados em slidas informa-
es; condicionalidades que tornam a libera-
resources to good performance indicators; participa-
o de recursos dependente de indicadores de
tory mechanisms aimed at enhancing transparency desempenho (e no somente da prestao de
and social control not only on resource allocation contas); mecanismos participativos que visam
but on their use and resulting outcomes also; and, aumentar a transparncia e o controle social

no somente sobre a alocao de recursos, mas mainly, the creation of a virtuous circle which
tambm sobre os resultados do uso desses lti- makes explicit the link between M&E and improv-
mos; e, talvez acima de tudo, um crculo virtu- ing project performance, so leading to the institu-
oso que torne explcita a ligao entre M&A tionalization of the former.
e a melhoria do desempenho do projeto, assim
levando institucionalizao do primeiro. Other factors that can contribute to the success
of M&E are: (i) the effective integration of M&E
Tambm contribuem para o sucesso do M&A: a
articulao do M&A com procedimentos, siste- with those procedures, information systems, and
mas de informao, bases de dados j existentes databases which already exist and are routinely
e rotineiramente alimentadas; e a necessidade updated; and (ii) the need to make project results
de comparabilidade dos resultados do projeto comparable at the international, national and re-
em nvel regional, nacional ou internacional. gional levels.
3. Conceitos Bsicos 3. Basic concepts

Monitoring and evaluating means measuring,
Monitorar e avaliar significa mensurar, por on the basis of indicators, the performance of a
meio de indicadores, o desempenho do proje- project and the results accruing to the beneficiaries
to e os seus resultados sobre os beneficirios. from it. In our daily life, the use of M&E tools is
No nosso dia-a-dia, o uso de instrumentos de indispensable. Nobody would think of measuring
M&A algo imprescindvel: por exemplo, nin- the effects of a medicine against fever without using
gum pensaria em medir o efeito de um rem- a thermometer several times a day or trying to see
dio contra a febre sem utilizar um termmetro the results of a diet without weighing oneself. M&E
vrias vezes ao dia, ou os resultados de uma should be seen as an indispensable device for use in
dieta sem se pesar numa balana. O M&A de-
the management of any project.
veria ser to imprescindvel tambm na gesto
de um projeto. Definitions
Definies Monitoring
Monitoramento monitoring consists of an ongoing process of col-
lection and analysis of information aimed at as-
um processo contnuo de coleta e anli- sessing whether a project is being properly imple-
se de informao para saber o quo bem mented in accordance with its expected activities
um projeto est sendo implementado, and products.
basicamente em relao s atividades e
aos produtos esperados. monitoring is a management activity which
seeks to determine whether the technical, hu-
uma atividade gerencial, que busca deter- man and financial resources are adequate;
CAPTULO 7
minar se os recursos materiais, humanos e and whether activities are being implemented
financeiros so adequados; se as ativida- according to the established schedule. finally,
des esto sendo implementadas conforme monitoring is a way of determining whether
o cronograma; se o plano de trabalho foi the work plan was executed and whether the
executado e se os produtos previstos fo- planned outputs were effectively produced.
ram efetivamente elaborados.
Evaluation
Avaliao
evaluation consists of appraising (at suitable
a averiguao mais episdica do que o intervals) a planned, ongoing or concluded inter-
monitoramento de uma interveno pla- vention in order to assess its relevance, efficiency,
nejada, em andamento ou concluda, para
effectiveness, impact and sustainability.
determinar a sua relevncia, eficincia, efe-
tividade, impacto e sustentabilidade.
the overall objective of an evaluation is to in- o objetivo incorporar lies aprendidas

corporate the lessons learned into the decision ao processo de tomada de deciso.
taking process.
documenta e mede no somente o quanto
evaluation both documents and measures not um projeto foi bem sucedido, mas tam-
only whether a project was successful but also bm de que maneira e por qu o que fez
how and why (i.e. what made it work?) ele funcionar?
evaluation also addresses questions related to explora tambm resultados inesperados,

unanticipated results and possible alternatives alternativas possveis (banco mundial
(world bank, 2004. raupp & reichle, 2003). 2004, raupp e reichle 2003).
In short, it is reckoned that Monitoring should De fato, espera-se que o Monitoramento men-
measure the performance of the project against its sure o desempenho do projeto contra os objeti-
objectives, while Evaluation can provide a response vos do projeto. Com essa base, espera-se que a
to questions beyond recording simply what hap- Avaliao responda a perguntas que vo alm
pened (USDOL, 2004). Evaluation also can be de um simples registro do que aconteceu
formative (throughout the period of the project) (USDOL 2004). A avaliao, por sua vez, pode
or summative(a method of judging the worth and ser Formativa (ao longo do projeto) ou Sumati-
outcomes of a project at the end of its activities). va (no final do projeto).
The following chart summarises the main character- O seguinte quadro resume as principais carac-
istics of monitoring and of the two above-mentioned tersticas do Monitoramento e dos dois tipos
types of evaluation : citados de Avaliao.
(Raupp e Reichle 2003)
(Raupp and Reichle, 2003)
Monitoramento, Avaliao Formativa e Avaliao Sumativa

Monitoramento Avaliao Formativa Avaliao Sumativa
Episdica; ao final do
FREQUNCIA Constante, diria Ao longo do projeto
projeto
Determinar se os obje-
Melhoria da eficin-
tivos foram alcanados;
OBJETIVO cia, documentao do
Melhoria da eficincia documentar os resulta-
PRINCIPAL que foi realizado vs
dos; descrever a reper-
planejado
cusso e impacto
CHAPTER 7
Documentao de
FOCO Exame dos processos Exame dos resultados
insumos e produtos
Observao de campo, Observao de campo,
FONTES DE Registros administra- questionrios, entre- questionrios, entre-
INFORMAO tivos vistas, levantamentos, vistas, levantamentos,
estudos estudos
Equipes do projeto e
Gerentes e equipes do
RESPONSVEIS avaliadores internos e Avaliadores externos
projeto
externos
Medem o nmero de Medem o progresso Medem os resultados
INDICADORES atividades e produtos em relao aos obje- obtidos na clientela do
realizados tivos acordados projeto e no universo

Monitoring, Formative Evaluation and Summative Evaluation

Formative Summative
Monitoring
Evaluation Evaluation
Throughout the Episodic; at the end of the
FREQUENCY Continuous, daily
project project
To determine whether the
To improve effi-
objectives were achieved;
MAIN OBJECTIVE ciency and document
Improved efficiency to document the results;
achieved versus
to describe repercussions
planned activities
and impacts
To document inputs Examination of proc-
FOCUS Examination of results
and products esses
Field observations,
Field observations, ques-
INFORMATION Administrative questionnaires,
tionnaires, interviews,
SOURCES records interviews, surveys
surveys and studies
and studies
PERSONS OR Project teams and External evaluators
Managers and
GROUPS internal/external
project staff
RESPONSIBLE evaluators
Measure the results
Measure the number Measure progress in
obtained for the target
INDICATORS of activities and relation to agreed
client of the project and
products achieved objectives
in the universe
Critrios Criteria
O M&A frequentemente mede o desempenho M&E measures the performance of a project based
de um projeto na base de determinados crit-
on specific criteria. The main criteria are as follows:
rios. Apresentamos a seguir os principais.
eficcia: o grau em que o projeto atinge efficacy: the degree to which a project achieves
os seus objetivos especficos its specific objectives
eficincia: relao custo/benefcio efficiency: cost/benefit ratio
impacto (ou efetividade): se o projeto impact (or effectiveness): whether the project
tem efeitos no ambiente externo; se est has an impact on the external environment
CAPTULO 7
contribuindo para o alcance do fim (ou and whether it has contributed to achieving
objetivo) geral the general objective or purpose
sustentabilidade: a capacidade de conti-
sustainability: the capacity to ensure that the ef-
nuidade dos efeitos do projeto aps o seu
trmino fects of the project continue after its conclusion
custo-efetividade (ou custo-oportunida- cost effectiveness (or cost opportunity): to com-

de): comparao de formas alternativas pare the alternative forms of action which
de ao para atender ao mesmo objeti- could be used to achieve the same objectives at
vo com o menor custo. (raupp e reichle
2003). a lower cost (raupp and reichle, 2003).
s vezes, tambm relevante medir o grau It is also occasionally relevant to measure the degree
de Focalizao de um projeto se o projeto of targeting of a project, to see whether a project has
focused the available resources and activities on the concentra os recursos e as aes onde a neces-
areas of greatest necessity and whether the priority sidade maior; se a clientela prioritria (nor-
clientele (normally the most vulnerable) has been malmente os mais vulnerveis) identificada
identified and effectively benefited. The use of geo- e efetivamente alcanada. O uso de sistemas
(simplificados) de geoprocessamento nesse
processing systems (simplified) is of substantial as-
caso de grande ajuda, pois mapas de pobreza
sistance in this case, since poverty or vulnerability
ou vulnerabilidade, normalmente construdos a
maps, normally constructed from census data, allow partir de dados censitrios, permitem identifi-
identification of where the groups at highest risk are car onde esto localizados os grupos em maior
located and therefore can direct the interventions to- risco, assim direcionando as intervenes em
wards them (di Villarosa , 1993). prol dos mesmos (di Villarosa 1993).
Types of Monitoring and Evaluation Tipos de M&A
Different types of M&E exist, depending basically on the Existem diferentes tipos de M&A, que depen-
stage of the project to which the M&E exercise relates: dem, basicamente, do estgio do projeto no
qual o M&A realizado:
Assessment: precedes project design, identifies a
problem and designs a project to solve it [no pdf este Diagnstico: precede o desenho de um projeto
identifica um problema, e desenha um proje-
pargrafo deveria ser itemizado, como os seguintes.
to para solucion-lo
formative: refers to the processes implemented
formativo: referente aos processos imple-
- proves that the activities are being developed mentados comprova que as atividades
according to plan, documents how these are esto sendo desenvolvidas de acordo com
progressing, which products have been fina- o planejado, documenta como esto ocor-
lised, points to successes and failures, identi- rendo, quais produtos so elaborados,
fies problem areas, makes recommendations; aponta sucessos e fracassos, identifica re-
as problemticas, faz recomendaes;
summative: refers to the final results ob-
tained; sumativo: referente aos resultados finais
obtidos;
Another, similar typology of M&E is the fol-
outra tipologia parecida a seguinte;
lowing: [no pdf est itemizado, e no deveria;
ex-ante: anlise da relevncia e viabilida-
ex-ante: analyses the relevance and political de poltica, tcnica, financeira e institu-
technical, financial and institutional feasibili- cional do projeto; construo da linha de
ty of the project; construction of the baseline; base;
during: products analysis, efficacy, repercus- durante: anlise dos produtos, eficcia,
CHAPTER 7
sions; repercusso;
ex-post: analysis of impacts and efficacy; les- ex-post: anlise do impacto e eficcia; li-
sons learned (raupp and reichle, 2003). es aprendidas. (raupp e reichle 2003).
It should be noted that proper Impact Evaluation Observe-se que a Avaliao de Impacto pro-
priamente dita representa um tipo de avaliao
represents a type of different evaluation in respect of
diferente na metodologia e nas finalidades. Seu
its methodology and purposes. Its purpose is to mea-
objetivo mensurar os efeitos do projeto sobre
sure the effects of a project on the beneficiary par- os beneficirios, isolando-os dos efeitos de ou-
ties, making a distinction between the effects of other tros fatores do contexto ex.: em que medida
contextual factors (such as to what extent the observed o aumento observado da renda de um grupo de
increase in income of a group of beneficiaries is the beneficirios devido a aes de capacitao
result of professional training initiatives undertaken profissional feitas pelo projeto, e em que medi-

da devido melhora generalizada do quadro by the project or to what extent it is due to the general
macro-econmico. improvement of the macroeconomic environment).
A avaliao de impacto visa estabelecer re- An impact evaluation aims to establish specific and
laes de causa-efeito especficas e exclusivas exclusive causal relationships between the project
entre as atividades e produtos do projeto e os activities and products and the impacts observed on
resultados observados sobre os beneficirios.
the beneficiaries. It employs solid counter-factual
Para tanto, utiliza slidos instrumentos contra-
instruments such as control groups (i.e. groups with
factuais, ou grupos de controle (grupos com
caractersticas semelhantes quelas dos bene- similar characteristics to the beneficiaries but who
ficirios mas que no receberam intervenes have not benefited from project interventions), a
do projeto), uma linha de base ou marco zero baseline of the treatment (beneficiary) groups and
dos grupos de tratamento (beneficirios) e de control (non-beneficiaries) groups before the project
controle (no beneficirios) antes do incio do start, and undertakes periodic updates of this base-
projeto, e atualizaes peridicas de tal linha line for both groups.
de base para ambos os grupos.
The detectable differences between the two groups
As diferenas detectveis entre os dois grupos
represent the specific and exclusive effects of the proj-
representam os efeitos especficos e exclusivos
do projeto, conforme o exemplo a seguir, que ect, as can be seen from the example below - which
utiliza um dos mtodos possveis de medio uses one of among the possible measures for measur-
do impacto (difference-in-difference). ing impact (difference-in-difference).
Exemplo de dados para avaliao de impacto

Renda aps o projeto Efeito atribuvel ao
Renda antes do
(atualizao da linha projeto (diferena-
projeto (linha base)
base) em-diferena)
Beneficirios (grupo
100 130 (+30%) 20,00%
de tratamento)
No beneficirios
100 110 (+10%)
(grupo de controle)
Example of data used for impact evaluation
Effect attributable to
Income before project Income after project
project (difference-in-
(baseline) (updated baseline)
difference)
Beneficiaries (treat-
100 130 (+30 percent) 20 percent
ment group)
CAPTULO 7
Non-beneficiaries
100 110 (+10%)
(control group)
A avaliao de impacto um tipo de avaliao Impact evaluation is a type of sophisticated evalu-

sofisticado, que exige elevado rigor cientfico, ation that requires a rigorously scientific approach,
competncias especializadas e um notvel in- specialised skills and considerable investment in the
vestimento (na coleta e tratamento dos dados). collection and processing of data. Normally few
Normalmente, poucos projetos renem condi-
projects are able to carry out this kind of evaluation.
es para realizar esse tipo de avaliao. Isso
no quer dizer que outros tipos de avaliao This does not mean that other types of evaluation
sejam menos vlidos ou menos importantes: are less valid or less important, but simply that they
simplesmente, eles no podem definir, com um are incapable of defining with a degree of measur-
grau de certeza mensurvel, se em que medi- able accuracy whether and to what extent the results
observed are caused by the project versus other exter- da os resultados observados so causados pelo
nal factors. While they can reveal to what extent the projeto ou por outros fatores externos; mesmo
project achieves its expected results, the specific influ- assim, podem dizer se em que medida o proje-
ence of the project will be subject to interpretation. to atingiu os resultados esperados, enquanto a
influncia especfica do projeto nisso ser obje-
Participatory M&E to de argumentao e interpretao, inclusive
na base de outras informaes, mais ou menos
Many, including myself, are of the opinion that any sistematizadas ou intuitivas, sobre o contexto.
type of M&E should imply contributions by stake-
holders involved in the project. These stakeholders M&A Participativo
should include beneficiaries who will be involved in Na opinio de muitos, inclusive a minha, qual-
variable degrees, according to the nature of the proj- quer tipo de M&A deve conter elementos de
ect and other contingencies. In any event, participa- participao dos atores envolvidos no projeto
tory M&E indicates a specific model of M&E that (stakeholders), inclusive os beneficirios, em-
can be described in the following way: bora em medida varivel de acordo com a na-
tureza do projeto e outras circunstncias. De
it involves stakeholders more actively in proj- qualquer forma, o termo M&A Participativo
ect analysis tende a indicar um modelo especfico de M&A,
que pode ser sintetizado da forma seguinte:
the stakeholders cease being targets of the proj-
ect to become stakeholders in the m&e process envolve mais ativamente os stakeholders
na anlise do projeto.
participation is promoted at every stage of the
project to determine what is to be evaluated, eles deixam de ser objetos para se torna-
what analysis and collection methods are to rem atores do processo de m&a.
be used, who will be involved, and there is in- o envolvimento se d em todas as fases
volvement in subsequent discussion of results o qu vai ser avaliado, com que mtodos
and submission of recommendations. de coleta e anlise, quem ser envolvido,
e na discusso dos resultados e das reco-
participation, learning and action are all in-
mendaes.
tegrated and random sampling and triangula-
tion can be employed to guarantee the reliabil- participao, aprendizagem e ao esto
ity and validity of the data presented. integradas.no abre mo de triangulao
e amostragem aleatria, para garantir va-
stakeholders are trained as m&e facilitators. lidade e confiabilidade dos dados.
The overall purposes of participatory M&E are the os stakeholders so treinados para serem
following: facilitadores dom&a.
Os seus propsitos so os seguintes:
CHAPTER 7
to construct a local capacity to reflect, analyze,

propose solutions and undertake actions (ca- construir localmente capacidade de refle-
pacity building); tir, analisar, propor solues e empreen-
der aes (capacity-building);
to learn and make adjustments in order to
ensure that the objectives of the project are aprender e fazer ajustes para garantir que
os objetivos do projeto sejam alcanados
achieved (flexibility);
(flexibilidade);
to ensure accountability at all levels (the ben- gerar controle (accountability) em todos
eficiary community, the team responsible for os nveis comunidade beneficiria,
implementation and the funding agents); equipe responsvel pela implementao,
e financiadores;

celebrar e construir a partir do que se des- to build on what is discovered to be functioning

cobre estar funcionando bem. well.
As suas caractersticas principais: The principal features of participatory M&E are the
desenho simples, sustentvel e adequado following:
aos recursos disponveis;
simple, sustainable design in line with the re-
os instrumentos so veculos para a dis- sources available;
cusso, anlise, busca de solues e em-
preendimento de aes coletivas; the instruments are vehicles for discussion,
analysis, for seeking solutions and undertak-
deve dar voz s necessidades, prioridades, ing collective action;
aspiraes e capacidades locais;
opportunities are provided for to beneficiaries
constri sobre a criao participativa de
air their requirements, priorities, aspirations
resultados esperados;
and demonstrate local skills;
pode ser complementar a outros mtodos
de M&A; beneficiaries are made able to build on the ba-
sis of the expected results they helped to achieve
usa tcnicas como entrevistas semi-estru-
through participation;
turadas, anlise de stakeholders, mapea-
mento, anlise de tendncias, desenhos, can be used together with other m&e methods;
etc.;
uses techniques such as semi-structured inter-
mais do que capacitao: um processo
views, stakeholder analysis, mapping, trend
contnuo que cria condies para a ao,
analysis, visual aids etc;
ao invs de uma atividade discreta;
enfatiza uma abordagem positiva apren- it is much more than simple training: it is a
dizagem e melhora do desempenho, na continuous, rather than discreet, process which
base do compromisso, inovao e flexi- creates conditions for action;
bilidade versus julgamento ou punio. it emphasises a positive approach to learning
(Cupal 2001) and improved performance based on commit-
Diagnstico Rpido Participativo ment, innovation and flexibility as opposed to
(DRP) judgement and punishment.
(Cepal, 2001)
Normalmente, qualquer projeto de urbaniza-
o de assentamentos precrios inicia com um Rapid Participatory Appraisal (RPA)
diagnstico das reas e das comunidades locais.
Any slum upgrading project starts with a assessment
CAPTULO 7
Existem, obviamente, inmeras formas de reali-

of the local area or areas and communities. There
zar esse diagnstico. Nessa seo apresentada are many ways of formulating this type of assess-
uma metodologia que eu desenvolvi e apliquei ment. This section presents a methodology devel-
em dezenas de municpios, no Brasil e em ou- oped by myself, which I applied in dozens of munici-
tros pases. Por razes de espao, a apresentao palities in Brazil and other countries. For reasons of
aqui necessariamente sinttica. Quem quiser space the presentation here is necessarily a summary.
aprofundar essa metodologia, pode consultar o Those who require more information about this
Manual DRP (di Villarosa 1993) na Bibliografia methodology may wish to consult the RPA manual
Complementar desse curso.
(di Villarosa, 1993). (See Bibliography).
Trata-se de uma metodologia de diagnstico,
This assessment methodology can be applied to the
e por meio de atualizaes peridicas de
context of urban informal settlements and updated
monitoramento e avaliao, aplicvel no mbi-
regularly in order to support monitoring and evalu-
to dos assentamentos urbanos precrios. A sua
ation. Its principal characteristic is that it concen- principal peculiaridade dada pela referncia
trates on the geographical reference of the informa- geogrfica das informaes, que permite no so-
tion, which facilitates the acquisition of systematic mente construir um conhecimento sistematiza-
knowledge about the settlements. The method consists do de tais assentamentos, mas tambm dividir
of dividing the settlements into smaller areas (known o territrio dos mesmos em reas menores (mi-
as micro-areas) according to the living conditions cro-reas) de acordo com as condies de vida
of the residents. In this way the intervention area of dos seus residentes. Dessa forma, o territrio de
an integrated slum urbanisation project is reduced interveno de um projeto de urbanizao inte-
to a micro-area grid. This grid contains more eas- grada de favelas esquadrinhado em micro-
ily manageable planning/action units which can be reas, que tornam-se unidades de planejamento e
ao mais facilmente manuseveis, e que podem
awarded priority according to their particular features
ser priorizadas conforme as suas caractersticas,
and where interventions can focus on benefiting the
assim apoiando a focalizao das intervenes
most vulnerable communities. RPA products consist em prol das comunidades mais vulnerveis. Os
basically of geo-referenced maps displaying informa- produtos do DRP so informaes sistematiza-
tion related to the various micro-areas. These user- das em mapas georeferenciados por microreas,
friendly maps, containing database-acquired informa- com bases de dados associadas a estas ltimas,
tion relating to specific micro-areas, have proved to be de fcil manuseio e portanto voltadas a apoiar
an invaluable tool for effective decision-making. de maneira efetiva a tomada de decises.
Methodology Metodologia
The RPA begins with an examination of the area O DRP inicia com um reconhecimento da rea
of the project. The area is covered on foot and by ve- do projeto, que percorrida de carro e a p pela
equipe de campo, tendo o mapa da rea como
hicle by the field team, using the map of the area as
referncia. No mapa so anotadas informaes
a basic reference. Information referring to the visible
referentes a aspectos visveis do territrio (ex.
aspects of the territory (for example types of hous- tipologia habitacional, declividade, adensa-
ing, declivity, densification, street surfaces, presence mento, pavimentao, presena de lixo acumu-
of accumulated garbage, open-air sewage, flooding, lado, esgoto a cu aberto, alagamentos, ilumi-
public lighting,) are noted on the map. The aim is to nao etc.), de forma que, no final do primeiro
ensure that by the end of the first workday it is pos- dia de trabalho, possvel traar uma hiptese
sible to formulate a preliminary hypothesis of how preliminar de diviso do territrio (identifica-
o das micro-reas).
the particular territory should be divided up (e.g. to
identify the micro-areas). Com base nessa hiptese inicial, a equipe iden-
tifica e entrevista (de acordo com um question-
Based on this initial hypothesis, the field team then rio-roteiro previamente elaborado) informan-
goes on to identify and interview the key informants, tes-chave. So esses moradores da comunidade,
using a previously-prepared questionnaire/script. que pela posio social, redes de contato,
CHAPTER 7
These are generally community residents who, on vivncia etc. possuem um bom conhecimen-
account of their social position, contacts, social net- to da rea ex. lderes mas tambm simples
works etc, have a good knowledge of the area. These membros de associaes, funcionrios dos ser-
individuals can be leaders in the community, and vios pblicos locais (especialmente agentes de
also members of associations, employees of local sade), padres, mes-de-santo, comercirios,
moradores antigos etc. Os informantes-chave
public services (especially health agents), members
fornecem aos entrevistadores informaes,
of religious orders, shop-owners, long-established
que so rigorosamente referenciadas ao mapa
residents and so on. The key informants supply the (ex. aqui no tem esgoto exatamente aqui
interviewers with information that must be refer- onde? entre a rua A e a rua B). funda-
enced to the map (for example, interviewees might mental que a equipe selecione um leque amplo
volunteer comments such as there is no sewage in e diferenciado de informantes-chave, de forma
this place; what place exactly? between street a obter um quadro o mais objetivo possvel. A

cada dia, os novos informantes so escolhidos A and street B). It is essential that the team should
na base de indicaes dadas pelos informantes choose a broad and varied range of key informants
j entrevistados. in order to be able to obtain the most objective picture
A partir dos dados fornecidos pelos informantes- of the situation. New informants are chosen each
chave, e da observao contnua da rea, a hip- day on the basis of recommendations provided by
tese preliminar de diviso em micro-reas vem informants who have already been interviewed.
sendo gradualmente aperfeioada, ao mesmo
tempo em que aprofundado o conhecimento Based on the data furnished by the key informants,
desse espao. Diferentemente das pesquisas tra- and from continuous observation of the area (lead-
dicionais, a informao coletada imediatamen- ing to increased familiarity and knowledge), the pre-
te analisada, num processo contnuo de planeja- liminary hypothesis based on the settlement divided
mento do trabalho de campo (quem entrevistar into micro-areas is gradually fine-tuned to produce
e onde) levantamento dos dados anlise e
sistematizao dos mesmos. A coleta de dados a better picture of the area and its people. Unlike
termina quando novas entrevistas e observaes traditional surveys, the information collected is im-
no acrescentam mais novas informaes que- mediately analysed as part of the ongoing fieldwork
las j levantadas e sistematizadas. planning process, (e.g. who to interview and where?)
- data collection - data analysis and systematisation.
A ltima etapa do DRP representada pela
sistematizao dos dados em tabelas onde as Data collection lasts until new interviews and obser-
linhas so representadas pelos indicadores uti- vations add no further useful information to that col-
lizados, e as colunas pelas micro-reas identi- lected and recorded so far.
ficadas. Ou seja, para cada varivel pesquisada
so disponibilizadas informaes detalhadas The final stage of the RPA consists of arranging the
por micro-rea. O conjunto das micro-reas, data in a series of tables where the indicators are rep-
por sua vez, cobre a totalidade da rea do pro- resented by lines and the micro-areas identified by col-
jeto. Sucessivamente, aos dados que so de umns. For each variable surveyed, detailed informa-
cunho basicamente qualitativo so atribudas tion is shown according to micro-area. The group of
pontuaes que facilitam a hierarquizao e micro-areas covers the entire project area. Subsequent-
portanto a priorizao das situaes identifi- ly, scores are given to the (mainly qualitative) data
cadas. Enfim, os dados so sistematizados em determining the order of priority of the situations
mapas geoprocessados, onde os limites das identified. Finally, the information is (i) entered into
micro-reas so desenhados acima do mapa da an appropriate micro-area related database and (ii)
rea, e em bases de dados associadas s pr- systematised on geo-processed maps with the bound-
prias microreas. O software GIS (que no pre- aries of the micro-areas overlayed. GIS software (not
cisa ser sofisticado pode se tratar de software
necessarily sophisticated free softwares can be
livre) permite assim gerar mapas temticos por
used) enables the generation of thematic maps based
caracterstica das micro-reas; as micro-reas
mais precrias so facilmente identificadas, e on these micro-areas. The most vulnerable micro-areas
as suas caractersticas so facilmente consulta- are easily identified and their features cross-referenced
with the associated databases.
CAPTULO 7
das nas bases de dados associadas.

O DRP assim elaborado pode ser complemen- The RPA can then be complemented by (a) a quan-
tado (a) por uma pesquisa quantitativa amos- titative and stratified sampling survey (using the
tral estratificada (tendo as micro-reas como micro-areas as strata) to address other subjects that
estratos) para aprofundar temas dificilmente are difficult to investigate employing qualitative
capturveis por mtodos qualitativos (ex. ren- methods e.g. income levels, educational qualifica-
da, nvel educacional apesar de que estes te- tions, regardless of the fact that these subjects are
mas j esto implcitos nos demais dados cole- always implicit in the other data collected - it is
tados: por exemplo, evidente que nas piores clear beyond doubt that in the worst micro-areas
micro-reas a renda mais baixa, assim como income is very low, as well as the educational levels
o nvel de educao a esta associado); (b) por associated with it; and (b) the use of focus groups
grupos focais caso deseje-se aprofundar temas to address subjects such as crime, public safety, etc
(ex. segurana) ou grupos (ex. jovens, idosos, or to secure data on specific groups such as young
mulheres) especficos. adults, women and older people.
Organisation Organizao
Normally a team consisting of an average of between Normalmente uma equipe de mediamente

10-15 people is trained in the RPA over a period of dez/quinze pessoas treinada no DRP em
five days. Training is essentially practical, using the cinco dias. O treinamento essencialmente
prtico, e consiste na aplicao em campo de
methodological stages described above. At the end of
todas as etapas da metodologia acima descrita,
the fifth day a complete product of the area researched tendo, no final do quinto dia, um produto com-
should be completed. On average an area of 20,000 pleto da rea pesquisada; mediamente, uma
people can be surveyed in the course of one week. rea de 20.000 pessoas pode ser pesquisada em
uma semana.
The team consists of supervisors (who should in due
course become RPA specialists) and researchers on Na equipe devem constar supervisores (que
devero se tornar gradualmente especialis-
a ratio of one supervisor for every five or six research-
tas no DRP) e pesquisadores, na razo de um
ers. Ideally the supervisors should be members of
supervisor a cada cinco/seis pesquisadores.
the project team and possess university level educa- Idealmente, os supervisores sero membros da
tion and work/research experience in informal settle- equipe do projeto (com nvel superior e experi-
ments/slums. The researchers can be interns. ncia de pesquisa/trabalho em assentamentos
informais), enquanto os pesquisadores pode-
In order to facilitate transport of the team in the ro ser estagirios.
area, the use of a Kombi- type vehicle is strongly
Para agilizar o deslocamento na rea, reco-
recommended. It is also essential to have access to a
mendvel dispor de um veculo tipo Kombi.
physical HQ in the localities. essencial dispor de uma base fsica no local.
4. M&E in the design and man- 4. O M&A no Desenho e na

agement of projects: the Logic Gesto dos Projetos: o Marco
Framework Lgico
A project is a structured sequence of activities which Um projeto uma sequncia estruturada de ati-
should lead to the solution of a previously identified vidades, que devem levar soluo de um pro-
problem. In the course of designing a project the prob- blema previamente identificado. No desenho do
lem becomes transformed into a general objective. In projeto, tal problema transformado num objeti-
order to achieve this objective it is necessary to con- vo geral. Para alcanar tal objetivo, necessrio
struct an organised hierarchy of objectives (in top to estruturar uma hierarquia organizada de objeti-
bottom order) which, if achieved in sequence, should vos cada vez menores que, se forem alcanados
eventually achieve the overall objective. At the proj- em sequncia, levaro a alcanar o objetivo geral.
ect design stage a number of hypotheses are generally
CHAPTER 7
Quando um projeto desenhado, so feitas hip-

presented such as if we do A, we achieve B, which teses do tipo: se fazemos A, ento alcanamos B,
in turn will help us to achieve C, etc. A project is in que por sua vez nos levar a C, etc. Um projeto
effect a gradual construction where a range of different uma construo gradual, onde diversas ativi-
activities, if correctly managed, should lead to a series dades, se forem realizadas com sucesso, levam a
of products which, in turn, will lead to certain results. obter produtos, que por sua vez , se forem bem
The sum total of the results, in favourable conditions, utilizados, levam a resultados; enfim, a soma dos
should allow to achieve the general objective, thereby resultados, dadas condies favorveis, leva a al-
solving the problem that originated the project. canar o objetivo geral, e portanto a solucionar o
problema que tinha originado o projeto.
For example, if the problem identified concerns high
infant mortality, the objective will be to reduce the Por exemplo: se o problema identificado a
level by a defined percentage (target). In other words, elevada mortalidade infantil, o objetivo ser a
to achieve the objective I would have to obtain results reduo da mesma em um percentual definido

(meta). Digamos que, para alcanar tal objetivo, in terms of reducing child malnutrition, increasing the
eu tenha que obter resultados em termos de di- use of breast feeding, reducing dehydration caused by
minuio da desnutrio infantil, aumento do diarrhoea etc. But in order to obtain such results (out-
aleitamento materno, diminuio da desidrata- comes), we need products (outputs) such as increasing
o das crianas com diarria, etc. Agora, para family health programme coverage, increasing the aver-
obter tais resultados, precisamos de produtos, age number of home visits by health teams, employing
como o aumento da cobertura do programa de better-trained and equipped family health teams, building
sade da famlia, o aumento da mdia das visi- new clinics etc. Finally, in order to obtain such products
tas domiciliares s famlias, equipes de sade we need to carry out a number of activities (inputs) such
da famlia mais capacitadas e melhor equipa- as the selection and contracting of more family health
das, novas unidades de sade, etc. E enfim, para teams, holding more courses on family health, construct-
obtermos tais produtos, precisamos executar ing clinics, purchasing medical equipment etc.
atividades tais: a seleo e contratao de mais
equipes de sade da famlia, a realizao de cur- It is obvious from the above that simply by undertak-
sos para as mesmas, a construo de centros de ing a series of activities does not necessarily help us
sade, a compra de equipamentos, etc. to achieve the general objective. For this to happen
a sequence of lesser objectives needs to be achieved
Desse quadro, fica evidente que somente a rea- which together will help achieve the larger objective.
lizao das atividades no leva necessariamente Correctly defining this kind of sequence is essential
a alcanar o objetivo geral: preciso, para que for the design of the project. However, we know that
isso acontea, que seja alcanada uma sequn- a good design is a necessary but not sufficient condi-
cia de objetivos menores que, no seu conjunto, tion to ensure the success of the project. It is equally
levaro a alcanar o objetivo maior. A defini- important to ensure good management. The M&E
o correta dessa sequncia essencial para o of the project is basically an instrument that, based
desenho do projeto. Agora: um bom desenho on a series of measurements, can indicate whether
condio necessria mas no suficiente para the management of a project is good or not, hence
que o projeto tenha sucesso: igualmente im- allowing the necessary and relevant adjustments to
portante ter uma boa gesto. O M&A do pro- be made. Obviously it is difficult to measure man-
jeto justamente um instrumento que, a partir agement in general terms. We need to break down
de mensuraes, indica se a gesto est sendo the concept into its different dimensions and make it
boa ou no assim permitindo os ajustes que operational, and therefore measurable, by introduc-
forem oportunos. S que no podemos medir ing an analytical sequence of activities, products and
a gesto em geral precisamos desagregar results that can be measured individually and that
tal conceito nas suas diversas dimenses, e together provide the essential information needed for
torn-lo operacional, e portanto mensurvel, good project management. This sequence is normally
justamente por meio de uma sequncia anal- called Logical Framework. The Logical Framework
tica de atividades, produtos e resultados, que must be elaborated at the design stage of the project
podem ser medidos individualmente, e que no and used during its management. Figure below gives
CAPTULO 7
seu conjunto fornecem indicaes essenciais an idea of the Logic Framework structure.
para a boa gesto do projeto. Tal sequncia
normalmente chamada de Marco Lgico. O Figure 3 shows the following sequence: the resources
Marco Lgico deve ser elaborado no momen- applied enable activities to be executed, which in turn
to do desenho do projeto, e utilizado durante generate products or services which produce a series
a sua gesto. O arcabouo do Marco Lgico of results experienced by the beneficiary parties.
pode ser visualizado na figura a seguir. If these results are sustained over time and diffused
in a wider universe, the project will have generated
A figura seguinte visualiza a sequncia: recur- an impact and therefore achieved its general objec-
sos aplicados permitem executar atividades, tive. Returning to the discussion above, it should be
que por sua vez geram produtos ou servios, noted that monitoring has as its objectives Activi-
que levam a resultados efetivamente viven- ties and Products, whereas evaluation focuses on
ciados pelos beneficirios. Se tais resultados Results and Impacts. Unfortunately, these results
se sustentarem ao longo do tempo e se espa- and impacts frequently tend to be excluded from the
M&E of projects. A tendency exists to concentrate lharem num universo mais amplo, o projeto
on activities that have already been executed and on ter gerado um impacto, e consequentemente,
products achieved (i.e. items on which data is more ter alcanado o seu objetivo geral. Note-se,
readily available). But this kind of information tells retomando a discusso acima, que o Moni-
us little about the effective level of success of the proj- toramento tem como objetos as Atividades e
ect, which is basically measured by Results. os Produtos; a Avaliao, os Resultados e os
Impactos. Infelizmente, esses resultados e im-
We recommend, then, that M&E should focus on Results pactos tendem, com frequncia, a ficar de fora
do M&A dos projetos; a tendncia se con-
It is worth stressing that the Activities, the Products and centrar e achar isso suficiente nas ativida-
Results fall within the governability space of the proj-
des que foram executadas e nos produtos que
ect and therefore depend basically on the design and good
foram realizados (itens para os quais dados so
management of the latter in order to achieve the General
mais facilmente disponveis). S que esse tipo
Objective. In contrast, achieving the General Objective
de informao diz pouco em relao ao efetivo
can also depend, at least partially, on external condi-
grau de sucesso do projeto, que basicamente
tions and contingencies (normally presented in the Logic
Framework as assumptions, hypotheses or risks), medido pelos Resultados.
which fall outside the control of the project. In the exam- Portanto, a recomendao que o foco do
ple given above, it might occur that, although project to M&A seja nos Resultados.
reduce child mortality has performed well, child mortal-
ity is not reduced because of existing factors that cannot Observe-se que, enquanto as Atividades, os
be controlled, such as a downturn of the macroeconomic Produtos os Resultados esto dentro do espao
situation (increased unemployment, poverty etc), or cli- de governabilidade do projeto, e portanto de-
mate change affecting farm production and so on. pendem basicamente do bom desenho e da boa
gesto do mesmo, alcanar o Objetivo Geral
In order to learn if, when, by how much and how the depende tambm, pelo menos parcialmente,
list of planned objectives is or was achieved, we need de condies externas (normalmente explici-
measurements. These are represented by indicators in tadas no Marco Lgico como pressupostos
the Logical Framework for each Activity, Product, Re- ou hipteses ou riscos) que esto fora do
sult and for Impact, accompanied by data sources or controle do projeto. No exemplo acima, mes-
an indication of data collection methods. The follow- mo tendo o projeto de reduo da mortalidade
ing example shows the outline of the Logical Frame- infantil um bom desempenho, esta poderia no
work structure, with Indicators and Data Sources for cair devido a fatores no controlveis como a
a project concerned with youth employment. piora do quadro macro-econmico (aumento
Arcabouo do Marco Lgico (Banco Mundial 2004)

Logical Framework Structure (World Bank 2004)
Impactos 5- Melhoria social ampla e de longo prazo

Resultados
Avaliao
EVALUATION
IMPACTS
RESULTS
Broad long-term social improvement

CHAPTER 7
4- Benefcios para a clientela dos projetos

Resultados
RESULTS Benefits achieved for project clients
3- Produtos e servios gerados

Produtos Products and services generated
PRODUCTS
Monitoramento
Implementao
2- Tarefas realizadas pelos projetos

IMPLEMENTATION
MONITORING
atividades Tasks undertaken by the projects

ACTIVITIES
1- Recursos Materiais, financeiros e humanos
Material, financial and human resources
investimentos
INVESTMENTS

do desemprego, da pobreza), mudanas clim- 5. Step-by-step M&E

ticas que afetam a produo agrcola, etc.
The preparation, execution and maintenance of
Para sabermos se, quando, quanto e como M&E of a given project can be summarised in nine
foi alcanada a hierarquia de objetivos pre- steps as follows:
vista, precisamos de mensuraes. Estas so
dadas por indicadores que so acrescenta- 1. Clarifying the objectives
dos ao Marco Lgico, para cada Atividade,
Produto, Resultado e Impacto, junto com as 2. Selecting the questions
fontes dos dados ou mtodos de coleta. Se- 3. Selecting the design
gue um exemplo resumido de estrutura do
Marco Lgico com Indicadores e Fontes dos 4. Selecting the indicators
dados, para um projeto de insero de jovens
no mercado do trabalho: 5. Collecting data
6. Analyzing data
5. O M&A passo a passo
7. Preparing the final report
A preparao, execuo e manuteno do
M&A de um projeto pode ser sintetizada em 8. Disseminating the results
nove passos:
9. Maintaining the M&E
1) Esclarecendo os objetivos
(World Bank, 2004 and Raupp & Reichle, 2003)
2) Selecionando as perguntas
A more detailed description of the above steps follows:
3) Selecionando o desenho
1) Clarifying the objectives
4) Selecionando os indicadores
Defining the M&E objectives of a project depends to a
5) Coletando os dados
great extent on the Logical Framework. If a good Log-
6) Analisando os dados ical Framework is elaborated at the design stage the
range of objectives of the M&E exercise can be almost
7) Preparando o relatrio final entirely defined there and then. Within this range of
8) Divulgando os resultados M&E objectives a series of priorities could eventually
be mapped out, representing elements of the project
9) Dando manuteno ao M&A. that from the M&E angle will be the focus of special
(Banco Mundial 2004, Raupp e Reichle attention. It is important that these definitions are the
2003) outcome of a cooperative, consensual effort, involving
Descrevemos sinteticamente a seguir os passos all the stakeholders in the project. It is also important
acima listados. to disaggregate the various objectives: For whom?
Where? How much? When? (World Bank, 2004).
1) Esclarecendo os objetivos
CAPTULO 7
2) Selecting the questions

A definio dos objetivos do M&A de um pro-
jeto tem muito a ver com o Marco Lgico. Se Once the objectives of the M&E have been selected,
no desenho foi elaborado um Marco Lgico de these must be moulded into specific questions. For
qualidade, o leque de objetivos do M&A j est example, for the objective to improve beneficiaries
praticamente definido. Dentro desse leque, po- incomes, using the question how many beneficia-
dero eventualmente ser definidas prioridades, ries experienced increases in their incomes is totally
elementos do projeto que, do ponto de vista do different from asking the question by how much did
M&A, recebero um cuidado especial. impor- the average income of beneficiaries increase?. The
tante que essas definies sejam feitas de forma questions to be formulated must be based on the fol-
cooperativa e consensual, envolvendo todos os lowing criteria: Why is this question relevant? Who
stakeholders do projeto. tambm importan- is interested in this question? What will we do with
te desagregar os objetivos: para quem? onde? the data provided by the response to this question?
quanto? quando? (Banco Mundial 2004). (Raupp & Reichle, 2003).
Exemplo de Marco Lgico com indicadores

Nvel Descrio Nome do indicador Fontes
Dados do PNAD, PED, Ministrio
Aumenta o acesso quali-
Taxa de desemprego entre os do Trabalho, desagregados para
Impacto ficado dos jovens ao mer-
jovens o grupo etrio selecionado;
cado brasileiro
pesquisa de campo amostral
Jovens qualificados para % de egressos trabalhando Registros administrativos do
Resultado insero no mercado de aps 3 meses da concluso do projeto; pesquisa junto aos
trabalho curso egressos
Jovens inscritos que con- Nmero de jovens concluintes Registros administrativos do
Produto
cluem o curso como % dos inscritos projeto
Nmero e tipo de cursos of-
Realizao de cursos para erecidos, horas/aula e nmero Registros administrativos dos
Atividade
os jovens de vagas, respectivamente projetos
presenciais e distncia
Centro tecnolgicos e de Nmero de centros implanta-
Registros administrativos dos
Produto capacitao profissional dos (prprios/conveniados) e
projetos
implantados respectivo nmero de vagas
Articulao de escolas
Nmero de escolas da rede Registros administrativos dos
Atividade da rede pblica com os
pblica articuladas aos centros projetos
centros
Table 3. Logical framework with indicators

Level Description Name of indicator Sources
Data supplied by PNAD, PED,
Increases access for young
Employment rate among Ministry of Labour, disag-
Impact people to the Brazilian jobs
young people gregated for the selected age
market
bracket; field sample survey
Project administrative docu-
Young people qualified for % working 3 months after
Result ments; survey of ex-course
insertion into jobs market finishing the course
participants
Number of youngsters who
Young people registered on Project administrative docu-
Product finish the course as a % of
the course who finish it ments
registered students
CHAPTER 7
Number and type of course

Mounting courses for on offer, classroom hours and Project administrative docu-
Activity
young people number of vacancies (in loco ments
and distance learning)
Number of centres estab-
Technological and profes-
lished (own/covenanted) and Project administrative docu-
Product sional training centres
associated number of vacan- ments
established
cies
Linking up government-run Number of government-run Project administrative docu-
Activity
schools to the centres schools linked to the centres ments

2) Selecionando as perguntas 3) Selecting the design

Uma vez selecionados os objetivos do M&A, The design of the M&E defines which data need to
estes devem ser transformados em perguntas be collected and how, what steps need to be taken to
especficas s quais queremos responder. Por analyze the data and what comparisons will be made.
exemplo, para o objetivo melhorar a renda The credibility of the design is based on the validity
dos beneficirios, perguntar quantos bene- and reliability of the methods proposed. A method
ficirios melhoraram a sua renda diferente can be considered valid when it employs the appro-
de perguntar em quanto aumentou a renda
priate instruments associated with the item requir-
mdia dos beneficirios?. As perguntas que
ing measuring (e.g: a weighing machine is suitable
se quer formular devem ser avaliadas na base
dos seguintes critrios: porque essa pergunta for measuring weight, a thermometer for measuring
relevante? quem est interessado nela? que po- temperature!). The instrument is considered reliable
demos fazer com os dados da resposta a essa when it reproduces the same results in repeated ap-
pergunta? (Raupp e Reichle 2003). plications under the same conditions.
3) Selecionando o desenho The design can contain one or more standards for
comparison:
O desenho de M&A define quais dados cole-
tar e como, como analis-los e quais compara- Absolute: results versus targets;
es sero feitas. A credibilidade do desenho
est baseada na validade e na confiabilidade Chronological: after versus before (base-
dos mtodos propostos. Um mtodo vlido line), or longitudinal: historic series over time
quando utiliza os instrumentos adequados ao (a baseline is essential in this case also);
objeto que se quer medir (ex.: uma balana
adequada para medir o peso, um termmetro With project x without project: a treatment
para medir a temperatura). E confivel quan- group versus a control group. In this case the
do reproduz os mesmos resultados em aplica- design can be experimental (target and control
es repetidos, dadas as mesmas condies. groups chosen at random), or not (the control
group is chosen based on its similarity with
O desenho pode prever um ou mais padres de the treatment group this is the most com-
comparao: monly encountered case);
Absoluto: resultados versus metas; Normative: related to consensually successful
Cronolgico: depois versus antes (linha standards used in similar projects (Raupp &
de base); ou Longitudinal: sries histri- Reichle, 2003).
cas ao longo do tempo (mesmo assim, a
linha de base essencial); 4) Selecting the indicators
Com versus sem projeto: grupo de tra- Indicators are used for carrying out measurements
tamento versus grupo de controle; aqui that provide the responses to the questions formulat-
o desenho pode ser experimental (trata- ed.Two suggestions are important here:
mento e controle so escolhidos aleato-
CAPTULO 7
riamente), ou no (o grupo de controle a) realism: there is no point in constructing so-

escolhido baseado na semelhana com phisticated indicators (unmanageable, expen-
o grupo de tratamento: o caso mais
sive and laborious to collect and analyze);
frequente);
Normativo: em relao a padres conside- b) economy: similarly, there is no point in using
rados de sucesso em projetos semelhantes too many indicators, given that there will be
(Raupp e Reichle 2003). not sufficient time or capacity to analyze them
after collection.
4) Selecionando os indicadores
The best procedure is to think in terms of a small
Os indicadores permitem efetuar medies que
number of highly relevant indicators for which data
fornecem as respostas s perguntas que formu-
can be acquired with relative ease and to invest more
lamos. Duas sugestes so aqui importantes:
time and resources after data collection by conducting
a) realismo: no adianta construir indicado- a detailed analysis (cross-references, comparisons, dis-
aggregations etc), than to formulate an ambitious plan res sofisticados que impossvel, ou caro
with a large number of complex indicators which can ou complicado demais, coletar e analisar;
only be collected with a good deal of effort and cre-
b) economia: igualmente, no adianta pre-
ate problems for the project with timing, resources and
ver um nmero grande demais de indica-
motivation left for analysis. dores, para os quais no haver tempo ou
capacidade para uma anlise adequada
The indicators selected should be in tune with the
depois da coleta.
following list (C.R.E.A.M):
melhor ter poucos indicadores, mas relevan-
Clear (precise and unambiguous) tes, cujos dados podem ser levantados com
relativa facilidade, e investir mais tempo e re-
Relevant (to suit the particular subject cursos, depois da coleta, numa anlise apro-
or theme) fundada (por meio de cruzamentos, compara-
es, desagregaes etc.), que prever um plano
Economical (available at a reasonable cost) ambicioso com muitos indicadores complexos,
que sero coletados com grande esforo, dei-
Appropriate (to provide a satisfactory xando o projeto sem tempo, nem recursos, nem
basis for performance evaluation) motivao para uma anlise exaustiva.
Monitorable (able to be independently Em sntese, os indicadores escolhidos devem

validated). (World Bank, 2004). ser C.R.E.A.M.:
Qualitative indicators measure variations in qual- Claros (precisos e no ambguos)

ity, not in quantity (e.g. housing conditions: recy-
cled material, timber, straw, bricks etc), although Relevantes (apropriados ao tema em
these can certainly be ranked into scales/hierar- questo)
chies. Qualitative indicators also measure the how
and why of a certain process (e.g: the process be- Econmicos (disponveis a um custo
yond the product). These indicators are normally razovel)
associated with methods such as focus groups, in-
depth interviews, observation, rapid participatory Adequados (devem fornecer uma base
satisfatria para avaliao do desem-
appraisal etc (World Bank, 2004).
penho)
5) Data collection
Monitorveis (passveis de validao
Innumerable methods exist for collecting the data independente). (Banco Mundial 2004)
corresponding to the selected indicators. The choice
Os Indicadores qualitativos medem variaes
of method depends on the nature of the indicator,
em qualidade, no em quantidade (ex.: condi-
accessibility to the relevant data, availability of ma-
CHAPTER 7
es habitacionais: material reciclado, taipa,

terial and human resources, the established deadline madeira, alvenaria...), embora possam ser orde-
and other circumstantial factors. Previously, when nados em escalas/hierarquia. Medem tambm
defining the indicators, it is vital to consider possible como e porque aconteceu algo (ou seja: alm do
obstacles with the data collection method to be used. produto, o processo). Esto normalmente asso-
ciados a mtodos como grupos focais, entrevis-
When relevant and up-to-date secondary data are tas aprofundadas, observao, diagnstico rpi-
available they should be used. However it is often do participativo etc. (Banco Mundial 2004).
necessary to generate primary data on the basis of
direct field visits. Sampling should be used unless 5) Coletando os dados
the population to be surveyed is very small. A sam- Existem inmeros mtodos para coletar os
ple represents a segment of a particular population dados correspondentes aos indicadores sele-
(called universe) selected on the basis of its represen- cionados. A escolha do mtodo depende da

natureza do indicador, da acessibilidade aos tativity of the population as a whole. Representativ-

dados, da disponibilidade de recursos huma- ity is absolute with random sampling only. However,
nos e materiais, do prazo, e de outros fatores other types of samples can also be employed, depend-
circunstancias. Previamente, na hora de definir ing on circumstances.
os indicadores, consideraes sobre o mtodo
de coleta de dados devem estar bem presentes. The main types of sample are as follows:
Quando estiverem disponveis dados secund- Simple randomised sample: all individuals
rios relevantes e atualizados, sempre devero in the universe have an equal chance of be-
ser aproveitados. Entretanto, em muitos casos ing selected, therefore their individual charac-
necessrio gerar dados primrios, diretamen-
teristics tend to be distributed homogeneously
te em campo. A no ser que a populao a ser
pesquisada seja muito pequena, aconselha-se throughout the sample.
utilizar amostras. Uma amostra uma parcela
Stratified random sample: this separates indi-
da populao a ser pesquisada (que chama-se
de universo), selecionada de maneira a ser re- viduals into mutually exclusive groups from
presentativa da mesma. Tal representatividade which random samples are taken (e.g. strata
total somente com amostras aleatrias; mas may refer to gender, age, income, educational
outros tipos de amostras, a depender das cir- levels, geographical areas etc). Stratified sam-
cunstancias, podem ser aceitveis. ples tend to be larger and therefore more expen-
Os principais tipos de amostra so os seguintes: sive to organise than non-stratified samples.
Randmica ou aleatria simples: todos os By matrix: individuals and indicators are se-
indivduos do universo tm igual chance lected at random.
de serem escolhidos portanto, as carac-
tersticas individuais deles tendem a se By convenience: all the individuals in one
distribuir homogeneamente na amostra. place at a particular moment are selected (e.g.
in a queue at a health clinic: in this case the
Randmica estratificada: separando os
indivduos em grupos mutuamente ex- sample will be representative not of the popu-
clusivos, dos quais so tiradas amostras lation universe in general but of the clientele
aleatrias (ex. de estratos: por gnero, attending the health centre).
idade, renda, educao, rea geogrfica
etc.). Amostras estratificadas tendem a Critical (or directioned): individuals are se-
ser maiores (e portanto, mais caras) que lected who are reckoned to be capable of giv-
amostras no estratificadas. ing the best opinion e.g. key informants in the
Por matriz: indivduos e indicadores so Rapid Participatory Appraisal (see above).
escolhidos aleatoriamente. (Raupp & Reichle, 2003).
De convenincia: so selecionadas todas The following are the principal methods (or sources)
as pessoas que esto num dado lugar,
CAPTULO 7
used for data collection.

num dado momento (ex. na fila de um
centro de sade: nesse caso, a amostra Administrative records: consist of documenta-
ser representativa no do universo da ry information generated by the project itself
populao em geral, mas da clientela da- (e.g. records of meetings, attendance lists, lists
quele centro de sade). of students on courses, student course perfor-
Crtica (ou direcionada): selecionando os mance/attendance records etc).The advantages
indivduos que se acha podem dar a me- of using administrative records are that they
lhor opinio, por exemplo informantes- are produced in house as a routine exercise; so
chave no diagnstico rpido participati- that researching them saves time and money.
vo (ver acima). (Raupp e Reichle 2003) The disadvantages: they may be incomplete
and not 100 percent in line with the questions
Descrevemos a seguir os principais mtodos, formulated and the indicators chosen. Besides
ou fontes, para coleta de dados. that, significant efforts are sometimes required to
locate and systematise the relevant data in this Registros administrativos: trata-se das in-
kind of material (Raupp & Reichle, 2003). formaes documentais geradas pelo
prprio projeto (ex. atas de reunio, listas
Observations: can be structured (on the basis de presena, cadastro de participantes a
of charts, scales, observation protocols etc) or cursos com relativa frequncia e desem-
impressionistic (noting what happens). It is penho, etc.). As vantagens de usar regis-
vital to give good training to the observers and tros administrativos decorrem do fato de-
to provide supervisors with experience of the les serem produzidos rotineiramente, e o
method. We suggest that a list be made of custo e o tempo para levantamento serem
what needs to be focused on during the obser- reduzidos. As desvantagens: podem estar
vation session and prepare a chart to facilitate incompletos, no perfeitamente aderentes
data recording (Raupp & Reichle, 2003). s perguntas formuladas e aos indicado-
res escolhidos, e o esforo necessrio para
Questionnaires: the use of questionnaires has
peneir-los e sistematiz-los pode no
the following advantages: they can be applied
ser pequeno. (Raupp e Reichle 2003)
simultaneously; can be sent to potential respon-
dents; the respondent has longer time to answer Observaes: podem ser estruturadas
the questions contained therein; and question- (na base de escalas, fichas, protocolos de
naires are anonymous, uniform and can be eas- observao) ou impressionsticas (anota-
ily analyzed. The method, on the other hand, se o que acontecer). fundamental ca-
has the following disadvantages: they are not pacitar bem os observadores, e dispor
particularly flexible; persons may have diffi- de supervisores experientes no mtodo.
culty in expressing themselves in writing; and Sugere-se identificar antecipadamente
respondents cannot be communicated with. o que deve ser focado na observao, e
Moreover, non-responses need to be analyzed preparar uma ficha que facilite o registro
and controlled. We suggest that the question- dos dados. (Raupp e Reichle 2003)
naire should be fairly short and that the vocab-
ulary employed should be adapted to the target Questionrios: o uso de questionrios
public. Before the questionnaire is applied, de- tem as seguintes vantagens - permite
cisions need to be made on how the data will be aplicaes simultneas, pode ser envia-
recorded and analyzed. Each question on the do, o respondente tem mais tempo para
questionnaire should be limited to one idea or responder, annimo, uniforme, a an-
lise mais fcil; e as seguintes desvanta-
concept (Raupp & Reichle, 2003).
gens: pouco flexvel (para explicar ou
In-depth interviews: they can be structured aprofundar), pessoas podem ter dificul-
or not; individual or for groups. The advan- dade em se expressar por escrito, e no
tages of in-depth interviews are the following: h comunicao com os respondentes;
high interaction, facility of oral expression, precisa analisar e controlar as no res-
low dependence on reading, good communi- postas. Sugere-se que o questionrio seja
curto; que o vocabulrio seja adaptado
CHAPTER 7
cation, honesty and deepness, observation of

body and voice attitudes, flexibility for expla- ao pblico a ser pesquisado; que, antes
nations, high rate of return. Disadvantages: da sua aplicao, seja decidido como re-
dependence on the capacity of the interviewer, gistrar os dados e como analis-los; que
cada pergunta seja limitada a uma idia.
long time for data collection and processing,
(Raupp e Reichle 2003)
difficulties of synthesis, analysis and interpre-
tation (Raupp & Reichle, 2003). Entrevistas aprofundadas: podem ser
estruturadas ou no; individuais ou em
Focus groups: used with groups of benefi- grupo. As entrevistas apresentam as se-
ciaries in order to investigate more deeply guintes vantagens: elevada interao
specific project-relevant aspects. Focus facilidade de formulao e explicao
groups normally consist of groups of 10- orais, pouca dependncia da leitura, boa
12 persons with homogeneous characteris- comunicao, honestidade e profundida-
tics who are familiar with the target situa- de, observao de atitudes corporais e vo-

cais, flexibilidade para esclarecimentos, tion. The discussion within the focus group
taxa de retorno elevada. Desvantagens: should be semistructured and normally last
dependem da habilidade do entrevista- a maximum of two hours. The moderator
dor, necessitam de tempo para coleta e is responsible for periodically summaris-
processamento dos dados, apresentam ing discussion themes and trying to arrive
dificuldades de resumo, anlise e inter- at a consensus on the various conclusions
pretao. (Raupp e Reichle 2003) (Raupp & Reichle, 2003).
Grupos focais: so utilizados para apro-
fundar, junto a grupos de beneficirios, Case studies: a case study is a method for
aspectos especficos relevantes para o learning about a particularly complex situa-
projeto; utilizam-se mediamente grupos tion. Case studies are based on broad and/or
de 10-12 pessoas, com caractersticas ho- deep understanding of a given situation. Nor-
mogneas, familiarizadas com uma situ- mally a case study will use qualitative data in
ao, numa discusso semi-estruturada order to better interpret the quantitative data,
de, normalmente duas horas. O modera- with the emphasis placed on participatory ob-
dor resume periodicamente os temas da servation, focal groups, open interviews etc (i.e.
discusso e busca criar consenso sobre less-structured methods). (World Bank, 2004).
as concluses. (Raupp e Reichle 2003)
6) Data analysis
Estudos de caso: um estudo de caso um
mtodo para se aprender sobre uma si- Analysis involves examining the meaning of the
tuao complexa. baseado num enten- data presented. The sequence normally adopted for
dimento abrangente e/ou aprofundado
structuring an analysis is as follows:
da situao. Normalmente, usa dados
qualitativos para melhor interpretar os (i) what are our questions?;
quantitativos, dando nfase observao
participativa, grupos focais, entrevistas (ii) a descriptive analysis containing the most
abertas etc. (ou seja, a mtodos menos relevant points, trends, unforeseen factors,
estruturados). (Banco Mundial 2004)
relationship and comparison between dif-
6) Analisando os dados ferent data;
A anlise um processo de reflexo sobre o que (iii) explanations, inferences;

os dados nos apontam. A sequncia normalmen-
te adotada para estruturar a anlise a seguinte: (iv) conclusions and suggestions, possible addi-
tional data (Raupp & Reichle, 2003).
(i) quais so as nossas perguntas;
7) Preparing the final report
(ii) anlise descritiva: pontos mais relevantes,
The final M&E report is required to provide infor-
tendncias, aspectos inesperados, relaes e
mation on the key aspects of project performance.
CAPTULO 7
comparaes entre dados; The report must be:

(iii) inferncias, explicaes; Concise;
(iv) concluses e sugestes, eventuais dados adi- Well drafted;
cionais. (Raupp e Reichle 2003) Impeccably organised;
7) Preparando o relatrio final Presented at the opportune time.
O relatrio final do M&A deve comunicar The suggested structure for the report is the following:
audincia o que essencial conhecer do de-
sempenho do projeto. Ele deve ser: Front cover
conciso; Index
bem redigido; Abbreviations
Executive summary (purpose, methodology, impecavelmente organizado;

results)
apresentado no momento oportuno.
Section 1: Background:
A estrutura sugerida do relatrio final de M&A
Context a seguinte:
Description of project. Capa
Section 2: M&E methodology ndice
Design (indicators and bases for comparison) Siglas

Resumo executivo (finalidade, metodolo-
Plan (collection, analytical method, instru-
gia, resultados)
ment, discussion on reliability and validity).
Seo 1 Antecedentes:
Section 3: Results
Contexto
Tables, diagrammes, charts, maps etc and
discussion of each one; descriptions, com- Descrio do projeto
parisons, results.
Seo 2 Metodologia de M&A
Section 4: Conclusion
Desenho (bases de comparao e
Summary of successes and failures of the indicadores)
project; suggestions Plano (coleta, mtodos de anlise,
References (documents, individuals etc) instrumentos, discusso sobre vali-
dade e confiabilidade)
Annexes (e.g. questionnaires employed)
Seo 3 Resultados
(Raupp & Reichle, 2003). Tabelas, grficos, figuras, mapas
(8) Disseminating the results etc., e discusso de cada um; des-
crio, comparaes, resultados.
Disseminating the M&E result is vitally important.
Seo 4 Concluso
To be in possession of an M&E report and not to
disseminate it in the appropriate quarters (where top Resumo apontando sucessos e fa-
decisions can be taken) undermines the entire effort. lhas do projeto; sugestes
A suitable strategy must take into account the diver-
Referncias (pessoas, documentos etc.)
sity of organisations and individuals interested in
the project (managers, politicians, financial agencies, Anexos (ex. questionrios utilizados)
beneficiaries, members of the public etc). The initial (Raupp e Reichle 2003)
planning of the M&E exercise must acknowledge
8) Divulgando os resultados
CHAPTER 7
the importance of presenting the right information

to the different target publics, according to their in- A divulgao do resultados do M&A um as-
terests, build consensus and plan the dissemination pecto fundamental do mesmo. Ter um relatrio
strategy (Raupp & Reichle, 2003). e no divulg-los nas sedes apropriadas, onde
as decises podem ser tomadas, invalidaria todo
Dissemination of the M&E result involves the need: o esforo feito. Uma estratgia adequada de di-
vulgao deve ser calibrada s diversas audin-
to ensure that accountability provisions are
cias interessadas ao projeto (gestores, polticos,
fully met;
financiadores, beneficirios, pblico em geral
to assist in providing justification for resource etc.). Desde a fase de planejamento do M&A,
requests; importante reconhecer as diversas audincias, os
seus interesses, construir consenso e prever a es-
to assist in operational decision-making re- tratgia de divulgao. (Raupp e Reichle 2003).
garding resource allocation;

A divulgao dos resultados do M&A visa o to highlight performance problems and sug-
seguinte: gest adjustments;
Atender s demandas por responsabiliza- to motivate the various teams;
o (accountability);
to monitor the performance of partners, ben-
Ajudar a justificar solicitaes de recur- eficiary parties etc;
sos;
to provide a selection of data for use in other
Ajudar a tomar decises operacionais so-
bre a alocao de recursos; studies;
Favorecer o aprofundamento dos proble- to assist in obtaining services in a more effi-

mas de desempenho e das correes; cient manner;
Motivar as equipes; to support long-term strategic planning;

Monitorar o desempenho de parceiros, to establish a transparent communication
beneficiados etc.; channel with society as a whole and, finally,
Fornecer dados para outros estudos; to generate trust. (World Bank, 2004)
Ajudar a fornecer servios mais eficien- (9) M&E sustainability

temente;
Sustaining the M&E procedures established is not an
Apoiar o planejamento estratgico e de automatic process. A series of actions are needed to
longo prazo;
ensure their sustainability involving:
Estabelecer uma comunicao transparen-
te com a sociedade, gerando confiana. (i) continuity of demand: the results continue to
(Banco Mundial 2004). be requested by the government, society as a
9) Dando manuteno ao M&A whole, funding agents etc; and the teams need
to demonstrate results of their performance.
A sustentabilidade dos procedimentos implan-
tados de M&A no automtica. Aes so (ii) roles and responsibilities are clearly laid
necessrias para garantir a manuteno deles: down: formal hierarchical organisational
arrangements exist for collecting, analyzing
(i) Continuidade da demanda: resultados and recording data. A formal link between
continuam sendo solicitados pelo gover- planning/finance and sectoral bodies; all
no, sociedade, financiadores etc.; as equi-
levels require information, none acts as a
pes querem evidenciar o seu desempenho.
mere filter of information;
(ii) Papis e responsabilidades so clara-
mente estabelecidos: h linhas organi- (iii) a guarantee exists that the information is
zacionais formais hierrquicas para a reliable: information should be transparent
CAPTULO 7
coleta, anlise e relato dos dados; uma and subject to independent audit.
ligao formal entre planejamento/fi-
nanas e rgos setoriais; todos os nveis (iv) widespread accountability: civil organisa-
demandam informaes, nenhum atua tions, the media, and society are keen to see
s como filtro.
results; failure is not rewarded, problems
(iii) H garantia que a informao confi- are acknowledged and dealt with.
vel: a informao transparente e sujei-
ta a auditorias independentes. (v) the existence of a critical mass of skills:
(iv) H responsabilizao (accountability): managerial and technical skills possessed
as organizaes civis, a mdia, a socieda- by the teams; institutionalised data collec-
de cobram resultados; o fracasso no tion systems; financial resources prioritised
recompensado, os problemas so reco- according to performance; accumulation of
nhecidos e enfrentados.
institutional experience.
(vi) the existence of an incentives structure: suc- (v) H massa crtica de capacidades: preparo
cess is recognized and rewarded, problems tcnico e gerencial das equipes; sistemas
de coleta de dados so institucionalizados;
detected are confronted, the messenger is
h priorizao de recursos financeiros de
not punished, individual and organisation- acordo com o desempenho; h acmulo
al learning is valued. de experincia institucional.
6. The M&E model proposed by the (vi) Existe uma estrutura de incentivos: o
Ministry of Cities sucesso reconhecido e recompensado, os
problemas detectados so enfrentados, o
The Ministry of Cities possesses a substantial mensageiro no punido, o aprendizado
amount of material on the M&E of social housing individual e organizacional valorizado.
projects and slum upgrading. In this section we pres-
ent a summary of the main concepts, methodologi-
6. O Modelo de M&A proposto
cal guidelines, dimensions and indicators of M&E. pelo Ministrio das Cidades
Scope of M&E
O Ministrio da Cidades tem uma produo sig-
A project normally represents a segment of a wider set nificativa de material sobre M&A de projetos de
of initiatives within an overall housing policy, whether habitao de interesse social e urbanizao de
federal, state or municipality-driven. As a result, it is favelas. Nessa seo apresentamos uma sntese
dos principais conceitos, diretrizes metodolgi-
important that the M&E of a project is articulated to
cas, dimenses e indicadores do M&A.
broader follow-up at the state and/or municipal level.
This means that ideally municipal-level indicators Escopo do M&A
should be elaborated and focused on inter alia the fol-
Do ponto de vista do gestor, um projeto repre-
lowing aspects: senta normalmente uma pea de um conjun-
to mais amplo de iniciativas, dentro poltica ha-
the evolution of the quantitative housing deficit bitacional seja municipal, estadual ou federal.
(i.e. need for new housing) and of the qualita- Consequentemente, importante que o M&A
tive housing deficit (existing homes in precari- do projeto esteja articulado com um acompa-
ous conditions requiring improvement); nhamento mais macro em nvel municipal e/ou
estadual. Isso significa que, idealmente, indica-
the evolution of the land markets: the avail- dores em nvel municipal devem ser elaborados
ability of vacant urban space for new social e alimentados em relao a aspectos quais:
housing, prevention of new land invasions
(both by supplying semi-urbanised plots and A evoluo do dficit habitacional quanti-
through the public /private sector building of tativo (necessidades de novas habitaes)
e qualitativo (habitaes existentes mas
new housing units), and related prices;
precrias necessitando de melhorias);
environment-related impacts and hazards produced
CHAPTER 7
A evoluo do mercado das terras: dispo-

by the current and projected urban situation; nibilidade de vazios urbanos para novas
habitaes de interesse social e preveno
the scale of municipal revenue versus develop-
de novas invases (seja por meio da oferta
ment of the property market. de lotes semi-urbanizados ou da produo
It is important to track these (and perhaps other) rel- pblica e/ou privada de novas habita-
evant indicators in order to provide suitable feedback es), e relativos preos;
on public social housing and slum upgrading poli- impactos e ameaas ao meio ambiente
cies, with a view to guiding the elaboration of new derivantes da situao urbana atual e
projects and/or adjusting existing ones. projetada;
In M&E, the relationship between the macro ap- evoluo da arrecadao de tributos mu-
proach of public policies and the micro level of nicipais (IPTU e ISS) versus a evoluo
projects can be set out in the following way: do mercado imobilirio.

O acompanhamento desses e eventualmente, Evaluation of policy must be based upon the defi-
outros indicadores relevantes, importante nition of the regulatory measures in place which
para retroalimentar as polticas pblicas de ha- influence factors such as the price of land, housing
bitao de interesse social e urbanizao de fave- standards, house building, environmental licensing,
las, inclusive orientando a elaborao de novos property taxes and economic activities in the urban
projetos e/ou o ajuste daqueles j existentes. environment, etc.
Assim, a articulao, no M&A, entre o nvel ma- The M&E of individual programmes and projects
cro das polticas pblicas e o nvel micro dos pro- can contribute to this kind of evaluation given that
jetos pode ser visualizada da forma seguinte. the M&E focus is on performance, results and im-
pacts and on user satisfaction.
A avaliao da poltica deve, portanto, se subs-
tanciar na definio de modos de regulao The cycle to be structured is as follows:
Escopo da Avaliao (Ministrio das Cidades s.d., p. 5)

Evaluations scope
Avaliao
EVALUATION
da poltica do programa da ps-Ocupao

OF THE POLICY OF THE PROGRAMME OF POST-OCCUPATION
Concepo Desempenho Resultados

Concept Performance Results
Diretrizes Resultados Impactos

Guidelines Results Impacts
Pressupostos Impactos satisfao

Assumptions Impacts Satisfaction
Modo de regulao
Regulation mode
que, por via normativa, influenciam aspectos Note that the post-occupation evaluation is located
como os preos das terras, os padres habi- between the evaluation of results and the evaluation
tacionais, a produo de habitaes, o licen- of impacts.
ciamento ambiental, a tributao referente a
CAPTULO 7
imveis e atividades econmicas em mbito The M&E of slum upgrading projects focused
urbano, etc. on the post-occupation situation
Por sua vez, para tal avaliao tambm contri- In the model proposed by the Ministry of Cities,
bui o M&A dos programas e projetos individu- M&E is focused on the situation after works have
almente considerados, a ser focada sobre o de-
been concluded and beneficiaries have occupied new-
sempenho, resultados e impactos dos mesmos,
ly built (or improved) houses, if any. This approach
assim como na satisfao dos beneficirios. O
ciclo a ser configurado o seguinte. coincides with the main methodological principles
presented above, indicating that M&E must focus on
Observe-se que a avaliao da ps-ocupao results or, in other words, on the benefits effectively
situa-se entre a avaliao de resultados e a ava-
experienced by the people living in the target commu-
liao de impactos.
nities. Within the perspective of slum upgrading as
Ciclo de Avaliao (Ministrio das Cidades s.d., p. 6)

Evaluations cicle
Ciclo Avaliativo
EVALUATIVE CYCLE
Avaliao de implementao para execuo

Evaluation of project implementation pending execution
Monitoramento das aes

Monitoring the actions
Avaliao ex-ante
Ex-ante evaluation Avaliao de resultados
Evaluation of results
Avaliao ps-execuo
Post-execution evaluation
Avaliao de marco zero Avaliao de impacto

Zero Mark evaluation Impact evaluation
an integrated physical and social process, targeted at O M&A dos projetos de urbanizao de fave-
inserting the informal area into the formal city, it las com foco na ps-ocupao
is obvious that the benefits produced are not confined
No modelo proposto pelo Ministrio das Cida-
to the installation of infrastructure and the building des, o foco do M&A na ps-ocupao. Tal vi-
of homes, but embrace a much wider set of dimen- so coincide com os princpios metodolgicos
sions related to the well-being of residents. gerais acima apresentados, onde o M&A deve
ser focado nos resultados, ou seja, nos benef-
The Ministry of Cities has proposed that M&E should cios efetivamente vivenciados pelos moradores
be structured along three main lines: housing, urban das comunidades atendidas. Dentro de uma
insertion and social inclusion, possessing different diviso da urbanizao de favelas como um pro-
mensions, as illustrated in Figure below. cesso integrado, fsico e social, voltado efetiva
insero da favela na cidade formal, evidente-
mente tais benefcios no se esgotam na produ-
o de habitaes e infraestrutura urbana, mas
CHAPTER 7
abrangem um leque mais amplo de dimenses

ligadas ao bem-estar dos moradores.
Assim, o Ministrio da Cidade prope que o
M&A esteja estruturado em trs eixos: mora-
dia, insero urbana e incluso social, os quais
contemplam diferentes dimenses, conforme vi-
sualizado na figura seguinte.

Matriz avaliativa (Ministrio das Cidades s.d., p. 10)

Evaluative matrix
Matriz avaliativa
EVALUATIVE MATRIX
Eixo 1 (MAIN LINE 1) Eixo 2 (MAIN LINE 2)

Moradia e Insero Urbana Incluso social
Housing and urban insertion Social inclusion
Dimenses Dimenses
Dimensions Dimensions
ACESSO A SERVIOS
INFRA ESTRUTURA BSICA
Access To Public
Basic infrastructure
SOCIAIS PBLICOS
MOBILIDADE URBANA
Social Services
Urban mobility
QUALIDADE AMBIENTAL CIDADANIA E PARITICIPAO
Environmental quality Citizenship and participation
MORADIA INSERO NO MUNDO DO

Housing TRABALLHO
REGULARIZAO FUNDIRIA Insertion into the job market
Tenure regularisation
CONTROLE URBANSTICO
Urbanistic control
Eixo 3 MAIN ACTION LINE 3

Satisfao do Morador
Beneficiary satisfaction
Dimenses
Dimensions
MORADIAS E SERVIOS URBANOS
Housing and urban services

CAPTULO 7
VIDA SOCIAL E COMUNITRIA
Social and community life

DistanceLearningCourse Ch7

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

DistanceLearningCourse Ch7

Enviado por

Direitos autorais:

Formatos disponíveis

Integrated Slum Upgrading Actions - Distance Learning Course: Abridged Version

Francesco Notarbartolo di Villarosa 51

Monitoring and Evaluation (M&E) of projects O Monitoramento e Avaliao (M&A) de pro-

or (b) an institutional origin where no sustained de-

172 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

2. Consideraes Preliminares 2. Preliminary considerations

O Monitoramento e Avaliao (M&A;) um M&E is an instrument for managing projects, pro-

fortalecer a coordenao entre os atores to strengthen coordination between the various

ao mesmo tempo, alguns pontos focais

174 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

3. Conceitos Bsicos 3. Basic concepts

the overall objective of an evaluation is to in- o objetivo incorporar lies aprendidas

evaluation also addresses questions related to explora tambm resultados inesperados,

Monitoramento, Avaliao Formativa e Avaliao Sumativa

176 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

Monitoring, Formative Evaluation and Summative Evaluation

eficincia: relao custo/benefcio efficiency: cost/benefit ratio

custo-efetividade (ou custo-oportunida- cost effectiveness (or cost opportunity): to com-

Types of Monitoring and Evaluation Tipos de M&A

178 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

Exemplo de dados para avaliao de impacto

A avaliao de impacto um tipo de avaliao Impact evaluation is a type of sophisticated evalu-

to construct a local capacity to reflect, analyze,

180 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

celebrar e construir a partir do que se des- to build on what is discovered to be functioning

Existem, obviamente, inmeras formas de reali-

182 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

das nas bases de dados associadas.

Normally a team consisting of an average of between Normalmente uma equipe de mediamente

4. M&E in the design and man- 4. O M&A no Desenho e na

Quando um projeto desenhado, so feitas hip-

184 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

Arcabouo do Marco Lgico (Banco Mundial 2004)

Impactos 5- Melhoria social ampla e de longo prazo

Broad long-term social improvement

4- Benefcios para a clientela dos projetos

3- Produtos e servios gerados

2- Tarefas realizadas pelos projetos

atividades Tasks undertaken by the projects

186 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

do desemprego, da pobreza), mudanas clim- 5. Step-by-step M&E

2) Selecting the questions

Exemplo de Marco Lgico com indicadores

Table 3. Logical framework with indicators

Number and type of course

188 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

2) Selecionando as perguntas 3) Selecting the design

riamente), ou no (o grupo de controle a) realism: there is no point in constructing so-

Monitorable (able to be independently Em sntese, os indicadores escolhidos devem

Qualitative indicators measure variations in qual- Claros (precisos e no ambguos)

es habitacionais: material reciclado, taipa,

190 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

natureza do indicador, da acessibilidade aos tativity of the population as a whole. Representativ-

used for data collection.

cation, honesty and deepness, observation of

192 National Housing Secretariat Ministry of Cities Federative Republic of Brazil

A anlise um processo de reflexo sobre o que (iii) explanations, inferences;

comparaes entre dados; The report must be:

Executive summary (purpose, methodology, impecavelmente organizado;

Description of project. Capa

Section 2: M&E methodology ndice

Design (indicators and bases for comparison) Siglas

the importance of presenting the right information