Acoes de Combate A Pobreza Rural

IICA
SRIE DESENVOLVIMENTO RURAL SUSTENTVEL
Aes de Combate
Pobreza Rural:
metodologia para
avaliao de impactos
Volume 6
INSTITUTO INTERAMERICANO DE COOPERAO PARA A AGRICULTURA (IICA)

REPRESENTAO DO IICA NO BRASIL
Aes de combate
pobreza rural:
metodologia para
avaliao de impactos
VOLUME 6
Organizadores da Srie
Carlos Miranda e Cristina Costa
Autores
Antnio Mrcio Buainain (Coordenador)
Carlos Guanziroli
Carolina Homem de Melo
Henrique Neder
Hildo Meirelles de Souza Filho (Coordenador)
Jos Maria Jardim da Silveira
Mrio Otvio Batalha
Marta Arretche
Rinaldo Artes
1a Edio
Braslia - Abril/2007
dos autores
1a edio: 2007
Direitos reservados desta edio:
Instituto Interamericano de Cooperao para a Agricultura
Distribuio
Instituto Interamericano de Cooperao para a Agricultura IICA
SHIS QI 3, Lote A, Bloco F Centro Empresarial Terracotta Lago Sul
CEP: 71.605-450
Tel.: (61) 2106 5477
Fax: (61) 2106 5459
www.iica.org.br
Reviso: Marco Aurlio Soares Salgado

Capa e diagramao: Joo Del Negro
A719
Aes de combate pobreza rural: metodologia para avaliao de
impactos / Carlos Miranda e Cristina Costa (organizadores); Antnio
Mrcio Buainain (coordenador), Carlos Guanziroli, Carolina Homem de
Melo, Henrique Neder, Hildo Meirelles de Souza Filho (coordenador), Jos
Maria Jardim da Silveira, Mrio Otvio Batalha, Marta Arretche, Rinaldo
Artes (autores). - Braslia: Instituto Interamericano de Cooperao para a
Agricultura, 2007. (Srie Desenvolvimento Rural Sustentvel; v. 6.)
p. 228; 15 x 23 cm.
ISBN 978-85-98347-11-0
Inclui bibliografia
1. Socioeconmico. 2. Combate pobreza Brasil. 3. Impactos
socioeconmicos. 4. Avaliao. I. Miranda, Carlos. II. Costa, Cristina. III. IICA. IV. Srie.
CDD 304.330.9
Catalogao na publicao: Rossana Coely de Oliveira Moura CRB-3 / 791
PREFCIO PELO IICA
A dinmica das transformaes hoje vividas pelas organizaes, tanto

institucionais quanto de contexto, seria razo suficiente para uma
abordagem sria dos temas tratados neste livro. Lamentavelmente, parecenos que um futuro de grandes desafios se avizinha, num mundo em que
no somente teremos que prover alimento e energia para uma populao
que cresce exponencialmente, mas tambm prevenir e remediar feridas
ambientais e sociais centenrias.
Assim, monitorar e avaliar, mais do que nunca, preciso; tanto em
relao necessidade quanto preciso tcnica encerrados nas palavras.
Do contrrio, seguiremos brincando com a vida e com os suportes
materiais que a sustentam, num comportamento ao mesmo tempo
injusto e contraproducente.
Este livro coloca de forma objetiva o tema da mensurao, clareando
conceitos e propondo um caminho prtico aos que se propem a encarar
com firmeza a tarefa de buscar o desenvolvimento e a mudana. Com
essas ferramentas, podero garantir a conduo eficiente de seus projetos
e avaliar o impacto da operao. Dessa forma, podero ver se esto mesmo
fazendo uma diferena na construo do futuro justo e sustentvel que
buscamos todos.
Carlos Amrico Basco

Representante do IICA no Brasil
PREFCIO PELA SECRETARIA DE ESTADO

DA AGRICULTURA, PECURIA E DESENVOLVIMENTO
RURAL DO MARANHO
Esta obra preenche um espao fundamental nas organizaes

governamentais e no-governamentais que trabalham na elaborao e no
controle social de polticas pblicas, bem como na execuo de aes de
combate pobreza no Brasil.
Cientistas de diversas universidades brasileiras reuniram-se para avaliar
os programas sociais de reduo da pobreza, em curso no pas. O trabalho
pautou-se em experincias e no desenvolvimento de tcnicas e mtodos
de monitoramento, acompanhamento e controle sobre a eficincia e a
eficcia desses programas. Nasceu, assim, um instrumento de orientao
prtica e de discusso conceitual para todas as pessoas envolvidas com a
diminuio das desigualdades sociais.
Reduzir a pobreza tem sido o grande desafio nacional frente
concentrao de renda que tem caracterizado o modelo econmico
nacional. Fome, desnutrio, pobreza, misria e indigncia so mazelas que
vm marcando a sociedade brasileira nas ltimas dcadas, apesar das
riquezas naturais. Nos povoados da zona rural e nas periferias das grandes
cidades, a populao brasileira mais excluda vive em meio a privaes e
restries quanto s suas necessidades bsicas de emprego, moradia,
alimentao, renda, saneamento bsico, entre outros. Milhes de brasileiros
vivem com dificuldade, na escassez, em uma faixa que vai da linha de
indigncia linha de pobreza.
Dentre as populaes excludas do processo de desenvolvimento
econmico, destacam-se, em especial, os agricultores e as agricultoras
familiares, sobretudo, os do Norte e Nordeste. No entanto, milhes de
dlares j foram aplicados para que superassem a condio de pobres e
excludos. E por que a situao deles no melhorou? O valor desta
publicao est em nos oferecer respostas para essa inquietante
indagao. As polticas pblicas precisar ser avaliadas de forma sistemtica
e sempre.
Inquestionavelmente, o Brasil um pas rico, mas a circulao de riqueza

no alcana a maioria da populao. Por outro lado, muitos dos recursos
dos programas sociais no so bem empregados ou no chegam ao
pblico-alvo, a quem foi destinado. De igual forma, projetos mal elaborados,
com desperdcio do dinheiro pblico, e aes equivocadas acabam no
beneficiando as comunidades necessitadas.
Assim, mtodos cientficos de avaliao para otimizar aes sociais
crescem de importncia, tornando-se fundamentais em pases de pobreza
generalizada e de riqueza concentrada, como ocorre hoje no Brasil.
Domingos Paz
Secretrio de Estado da Agricultura,
Pecuria e Desenvolvimento Rural do Maranho
APRESENTAO
O Instituto Interamericano de Cooperao para a Agricultura (IICA)

apresenta o Volume 6 da Srie Desenvolvimento Rural Sustentvel. Esta
publicao aborda a temtica Aes de combate pobreza rural:
metodologia para avaliao de impactos. A iniciativa integra ainda o
conjunto de atividades realizadas pelo Frum Permanente de
Desenvolvimento Rural Sustentvel Frum DRS, organizado e promovido
pelo Instituto.
Avaliar impacto de programas e de projetos sociais firma-se como
exigncia para melhorar a alocao de recurso pblico e mostra-se eficaz
na reduo da pobreza e da desigualdade em todos os pases do mundo,
desde os menos desenvolvidos aos mais ricos. Em muitos casos, as
avaliaes so tratadas como imposio dos financiadores e executadas
burocraticamente pelos responsveis apenas para cumprir a formalidade
incontornvel. Em outros, felizmente em nmero crescente, os estudos de
avaliao so incorporados s atividades essenciais ao desenvolvimento
do projeto e considerados ferramenta til para acompanhar as aes do
setor pblico, corrigir rumos, melhorar o desenho das polticas e
oportunizar reflexo mais ampla no somente sobre o contexto
econmico, social e institucional, no qual se inserem as polticas, mas
tambm sobre a estratgia e os instrumentos adotados.
Ressalta-se que o resultado e a validade das avaliaes dependem da
metodologia adotada, da temporalidade dos estudos e do prprio custo
para realiz-los. O desafio efetivar avaliaes tcnicas e
metodologicamente consistentes, feitas ao menor custo possvel e
concludas em tempo hbil para permitir, por parte dos formuladores,
reforo dos acertos e mudana das prticas equivocadas.
A obra tem como base a metodologia desenvolvida e utilizada por um
grupo de pesquisadores de vrias universidades brasileiras para avaliar o
Projeto de Combate Pobreza Rural, financiado com recursos de
emprstimo do Banco Mundial e que conta com contrapartida da Unio e
dos estados participantes. Esse tipo de projeto, implementado no Brasil
desde meados da dcada de 1990, visa facilitar a compreenso do

processo de avaliao, seja para aquele que contrata, seja para os que
realizam esse tipo de trabalho.
Os estudos realizados orientaram a formulao da metodologia
aplicada concepo de que as avaliaes devem vincular-se aos sistemas
de monitoramento do processo de implantao dos programas e dos
projetos sociais. Avaliaes concebidas e colocadas em prtica como
externas so de difcil apropriao pelos formuladores de polticas
pblicas, voltadas ao tema, bem como de seus respectivos responsveis,
uma vez que essas avaliaes enfrentam dificuldades para serem
internalizadas e utilizadas como instrumento de planejamento. O primeiro
captulo trata desse ponto, indicando a necessidade bsica de
monitorao da poltica a ser implementada e as diferenas entre
monitorar e avaliar. Isso implica a construo de indicadores, tema
retomado no Captulo 2, que fornece um panorama geral dos processos
de avaliao de impactos e dos experimentos s tcnicas economtricas.
O captulo 3 aborda outro tipo de anlise: permite o clculo da relao
custo/benefcio do projeto, cujo objetivo vincular a deciso de alocar
recursos a uma poltica especfica, possibilitando, assim, criao de viveis
alternativas para adequado desenvolvimento do projeto a custo acessvel.
Consta ainda a dificuldade de se realizar este tipo de anlise, uma vez que
muitos desses benefcios so de difcil apreenso e mensurao, alm de
exigirem tempo de amadurecimento. A leitura dos trs primeiros captulos
j permite a formao de um panorama quase completo sobre avaliao
de impactos.
Os captulos 4 e 5 detalham as tcnicas que permitem responder duas
questes fundamentais: o projeto realmente voltado para o seu pblicoalvo? O programa cria vnculos comunitrios que permitem a reduo de
sua dependncia em relao s polticas pblicas focalizadas no combate
pobreza? De se destacar que focalizao e capital social so temas
atualmente obrigatrios no currculo dos formuladores de polticas do
Sculo XXI.
Os captulos que se seguem tratam de tcnicas e de procedimentos
comuns s avaliaes, independentemente do objeto de estudo, como
relacionar variveis, delinear processos amostrais e estabelecer os
requisitos para a construo de instrumentos de coleta adequados
formao de bancos de dados teis para avaliaes presentes e futuras. O
livro tambm fornece apndices com a descrio resumida dos principais
mtodos utilizados em avaliao de polticas sociais. Um interessante
resultado de fcil percepo neste trabalho: quem avana essas pginas

passa a conhecer um panorama das tcnicas economtricas mais
utilizadas na literatura econmica moderna.
evidente que o texto deste Volume 6 da Srie Desenvolvimento Rural
Sustentvel no pretende substituir a vasta literatura especfica sobre o
assunto, mas objetiva sintetizar os diferentes tpicos que qualquer pessoa
envolvida em processo de avaliao deveria conhecer, ainda que de forma
introdutria.
Espera-se que este livro incentive os gestores atuais e futuros da poltica
social a sustentar uma mentalidade crtica baseada na objetividade dos
fatos e no constante dos processos, em substituio ao achismo to
presente nos dias de hoje.
Programas do errado por vrias razes. Ao contrrio do que pensam
muitos dos contratantes de estudos de avaliao, boas avaliaes no so
aquelas que elogiam as aes implementadas, algumas vezes custa da
prpria consistncia do trabalho. Boas avaliaes so aquelas capazes de
apontar as causas dos erros e de destacar os acertos, sem que quaisquer
grupos polticos e ideolgicos se dem ao luxo de no lev-las em
considerao.
Os Organizadores
PRESENTATION
The Inter-American Institute for Cooperation on Agriculture (IICA)

presents Volume 6 of the Sustainable Rural Development Series. This
publication discusses Actions to Fight Rural Poverty: Impact Assessment
Methodology. This initiative is also part of a set of activities carried out by
the Permanent Sustainable Rural Development Forum SRD Forum,
organized and promoted by the Institute.
Assessing the impact of social programs and projects has become
essential in order to improve allocation of public funds and has proved
effective in reducing poverty and inequality all over the world from least
developed nations to richer countries. Very often, assessment is seen as an
imposition placed by funders and conducted bureaucratically by those in
charge only to meet a formal requirement. Fortunately, more and more
often, assessment studies are incorporated as an integral part of the
project development process and considered a useful tool to use in public
sector actions, to get back on track, to enhance policy design and to
provide an opportunity to broadly reflect not only on the economic, social
and institutional context in which policies are introduced but also on the
strategy and tools adopted.
It is worth pointing out that assessment validity and outcomes depend
on the methodology used, the timeliness of the studies and the costs
involved. The challenge is to carry out technically and methodologically
consistent assessments that are conducted at the lowest cost possible and
completed in a timely manner so as to give designers an opportunity to
reinforce strengths and change wrong practices.
The work is based on a methodology developed and used by a group of
researchers from several Brazilian universities to assess the Project to Fight
Rural Poverty, funded by a World Bank loan and supported by the Union
and participating Member States.This kind of project, implemented in Brazil
since the mid 90s, is intended to facilitate understanding of the assessment
process by both contractors and those doing this type of work.
The studies conducted focused the applied methodology on the idea
that assessments should be linked to the systems used to monitor the
implementation process of social programs and projects. The assessments
developed and put into practice as external create ownership difficulties

for public policy makers in this field and for those responsible, as there are
difficulties in internalizing assessments and using them as a planning tool.
The first chapter discusses this issue, indicating the basic need to
monitor policies to be implemented and the differences between
monitoring and assessing. This implies the elaboration of indicators, which
is taken up in Chapter 2. The latter provides an overview of impact
assessment processes and experiments with econometric techniques.
Chapter 3 addresses another kind of analysis enabling project costbenefit calculation, with a view to linking the decision to allocate funds to
a specific policy, thus enabling the development of feasible alternatives for
appropriate project development at an affordable cost. It also discusses
the problems associated with conducting this kind of analysis, since many
of these benefits are difficult to understand and measure and need time to
mature. The first three chapters provide the reader with a fairly
comprehensive overview of impact assessment.
Chapters 4 and 5 describe the techniques by which two key questions
may be answered: does the project actually address its target audience?,
and does the program create community links that help reduce
dependence on public policies intended to fight poverty? It is worth
pointing out that focus and social capital are now mandatory subjects in
the curriculum of Twenty-first century policy makers.
These following chapters deal with common assessment techniques
and procedures, regardless of the subject matter, such as relating variables,
outlining sampling processes and establishing requirements to develop
collection tools suitable to the creation of useful databases for current and
future assessments. The book also contains appendices outlining the main
methods used in social policy assessment. An interesting outcome of this
text is that as readers move forward with the reading, they can easily see
how they get an overview of the most commonly used econometric
techniques in modern economic literature.
Of course, the text of Volume 6 of the Sustainable Rural Development
Series is not intended to replace the vast specialized literature on this
matter; rather, it aims to summarize and serve as an introduction to the
various issues that anyone involved in assessment processes should know.
It is hoped that this book will promote critical thinking among current
and future social policy managers, based on objective facts and on the
continuity of processes, instead of reliance on what the Brazilians call
achismo (opinion) so widespread today.
Programs fail for a number of reasons. Unlike what many assessment

study contractors think, good assessment does not praise implemented
actions, sometimes at the expense of consistency in the work. Assessment
is good when it can identify the causes of mistakes and highlight
successes, without any political and ideological groups having the
satisfaction of not taking them into consideration.
The Organizers
PRESENTACIN
El Instituto Interamericano de Cooperacin para la Agricultura (IICA)

presenta el Volumen 6 de la Serie de Desarrollo Rural Sostenible. Esta
publicacin aborda la temtica Acciones para combatir la pobreza rural:
metodologa para la evaluacin del impacto. Asimismo, la iniciativa integra el
conjunto de actividades realizadas por el Foro Permanente de Desarrollo
Rural Sostenible Foro DRS, organizado y promovido por el Instituto.
Evaluar el impacto de los programas y proyectos sociales se afirma
como una exigencia para mejorar la asignacin de los recursos pblicos y
se muestra eficaz para reducir la pobreza y la desigualdad en todos los
pases del mundo, desde los menos desarrollados a los ms ricos. En
muchos casos, las evaluaciones son tratadas como una imposicin por
parte de los financiadores y ejecutadas burocrticamente por los
responsables, slo para cumplir con un requisito formal. En otros, por
suerte cada vez ms, los estudios de evaluacin son incorporados como
una actividad esencial dentro del desarrollo del proyecto y considerados
una herramienta til para acompaar las acciones del sector pblico,
corregir rumbos, mejorar la formulacin de las polticas y brindar
oportunidades para una reflexin amplia, no slo sobre el contexto
econmico, social e institucional en el cual se insertan las polticas, sino
tambin sobre la estrategia y los instrumentos adoptados.
Cabe destacar que el resultado y la validez de las evaluaciones
dependen de la metodologa adoptada, de los plazos de los estudios y de
los propios costos de su realizacin. El desafo es realizar evaluaciones que
sean tcnica y metodolgicamente coherentes, supongan el menor costo
posible y se concluyan en tiempo y forma a fin de permitir que los
formuladores refuercen sus aciertos y modifiquen las prcticas
equivocadas.
La obra tiene como base la metodologa desarrollada y utilizada por un
grupo de investigadores de varias universidades brasileas para evaluar el
Proyecto de Lucha contra la Pobreza Rural, financiado con recursos de un
prstamo del Banco Mundial y que cuenta con el apoyo de la Unin y de
los estados participantes. Este tipo de proyecto, implementado en Brasil
desde mediados de la dcada de 1990, apunta a facilitar la comprensin

del proceso de evaluacin, tanto para el contratista como para el que
realiza esta clase de trabajo.
Los estudios realizados orientaron la formulacin de la metodologa
aplicada a la idea de que las evaluaciones deben estar relacionadas con los
sistemas de monitoreo del proceso de implementacin de los programas
y proyectos sociales. Las evaluaciones concebidas y puestas en prctica
como externasson de difcil apropiacin por parte de los formuladores de
polticas pblicas relativas al tema, as como por parte de sus respectivos
responsables, puesto que esas evaluaciones plantean dificultades para ser
internalizadas y utilizadas como instrumento de planificacin.
El primer captulo aborda este asunto, indicando la necesidad bsica de
monitoreo de la poltica a ser implementada y las diferencias entre
monitorear y evaluar. Esto implica la elaboracin de indicadores, tema
retomado en el Captulo 2, que ofrece un panorama general de los
procesos de evaluacin del impacto y de los experimentos en las tcnicas
economtricas.
El captulo 3 aborda otro tipo de anlisis que permite el clculo de la
relacin costo/beneficio del proyecto, con el objetivo de vincular la
decisin de destinar recursos a una poltica especfica, posibilitando as la
creacin de alternativas viables para el adecuado desarrollo del proyecto a
un costo accesible. Asimismo, trata acerca de la dificultad de realizar este
tipo de anlisis, ya que muchos de estos beneficios son difciles de
aprehender y medir, adems de que exigen tiempo de maduracin. La
lectura de los tres primeros captulos ofrece, pues, un panorama casi
completo sobre la evaluacin del impacto.
Los captulos 4 y 5 detallan las tcnicas que permiten responder a dos
preguntas fundamentales: el proyecto est realmente dirigido a sus
destinatarios?, y el programa crea vnculos comunitarios que permiten la
reduccin de su dependencia respecto de las polticas pblicas orientadas
a la lucha contra la pobreza? Cabe destacar que la focalizacin y el capital
social son temas actualmente obligatorios en el currculo de los
formuladores de polticas del Siglo XXI.
Los captulos siguientes abordan las tcnicas y los procedimientos
comunes a las evaluaciones, independientemente del objeto de estudio,
tales como relacionar variables, desarrollar procesos de toma de muestras
y establecer los requisitos para la elaboracin de instrumentos de
recoleccin adecuados a la formacin de bases de datos tiles para la
evaluaciones presentes y futuras. El libro tambin contiene apndices que
describen brevemente los principales mtodos utilizados en la evaluacin
de polticas sociales. Un resultado interesante y de fcil percepcin del

presente trabajo es que a medida que se avanza en la lectura, se llega a
obtener un panorama de las tcnicas economtricas ms utilizadas en la
literatura econmica moderna.
Evidentemente, el texto de este Volumen 6 de la Serie Desarrollo Rural
Sostenible no pretende sustituir la vasta literatura especfica sobre el tema,
sino que busca sintetizar las diferentes cuestiones que toda persona que
participa en los procesos de evaluacin debera conocer, al menos de
manera introductoria.
Se espera que este libro incentive a los gestores presentes y futuros de
las polticas sociales a tener una mentalidad crtica, basada en la
objetividad de los hechos y en la continuidad de los procesos, en vez de lo
que los brasileos llaman achismo (opiniones) tan presente en la
actualidad.
Los programas fracasan por varias razones. Contrariamente a lo que
piensan muchos contratistas de estudios de evaluacin, una buena
evaluacin no es aquella que elogia las acciones implementadas, en
ocasiones a costa de la propia consistencia del trabajo. Una buena
evaluacin es aquella capaz de identificar las causas de los errores y de
destacar los aciertos, sin que ningn grupo poltico e ideolgico se
permita el lujo de no tomarlas en consideracin.
Los Organizadores
RESUMO
O objetivo principal deste trabalho fornecer aos pesquisadores e

gestores pblicos, que atuam em desenvolvimento rural, um amplo
panorama de metodologias e procedimentos que envolvem monitorar e
avaliar programas sociais. Foram reunidas, em um mesmo livro, vrias
discusses sobre diversos temas: sistemas de monitoramento, avaliao de
impactos e anlise custo/benefcio alm de estudos de avaliao da
focalizao e do capital social. Todos esses temas esto articulados em
torno do desenvolvimento rural. A idia central a de o leitor reconhecer
quando e porque aplicar cada um deles, segundo distintos objetivos, bem
como ser capaz de combin-los em um s estudo, quando necessrio ou
conveniente.
ABSTRACT
This work aims mainly at providing public managers and researchers

involved in rural development with a wide range of social program(policy)
evaluation methodologies and procedures. The book covers several
themes and issues related to the subjects of monitoring systems, impact
evaluation and cost-benefit analysis. It also discusses social capital and
identification of target audiences, always in relation to the subject of rural
development. The publication should allow readers to recognize and
combine the appropriate tools at their convenience.
RESUMEN
El objetivo principal de este trabajo es brindar a los investigadores y

gestores pblicos que actan en reas de desarrollo rural, un panorama
amplio de metodologas y procedimientos que involucran monitoreo y
evaluacin de programas sociales. En un mismo libro, se reunieron varias
discusiones sobre diversos asuntos: sistemas de monitoreo, evaluacin de
impactos y anlisis costo/beneficio, estudios de evaluacin de focalizacin
y capital social, todos articulados sobre el tema de desarrollo rural. La idea
central es permitir al lector reconocer cundo y porqu aplicar cada uno
de ellos, segn objetivos diferentes, as como combinarlos en un solo
estudio, de acuerdo a la necesidad o conveniencia.
SUMRIO
INTRODUO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1. SISTEMAS DE MONITORAMENTO E AVALIAO DE PROGRAMAS E
PROJETOS DE DESENVOLVIMENTO E COMBATE POBREZA RURAL . . . . . 33
1.1. Definio e Propsito do Monitoramento e da Avaliao . . . . . . . . 33
1.2. Avaliao Contnua e Avaliao Ex Post . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.3. Monitoramento de Objetivos e Resultados . . . . . . . . . . . . . . . . . . . . . . . 36
1.4. Indicadores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.4.1. Indicadores de recursos, operao e performance . . . . . . . . . 40
1.4.2. Indicadores de impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
1.4.3. Indicadores indiretos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.4.4. Indicadores de condies externas . . . . . . . . . . . . . . . . . . . . . . . . 42
1.5. Resistncias ao Monitoramento e Avaliao . . . . . . . . . . . . . . . . . . . . . . 42
1.6. Problemas Prticos do Monitoramento e da Avaliao . . . . . . . . . . . 44
1.7. Outros Componentes da Avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2. A AVALIAO DO IMPACTO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.1. Experimentos, Quasi-Experimentos e Vis de Seleo . . . . . . . . . . . . . 49
2.2. Desenho Experimental. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.3. Mtodos Quasi-Experimentais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.4. Vis de Seleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.5. Baseline e Follow-Up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.6. Modelo Economtrico Geral para a Medio de Impactos . . . . . . . 57
2.7. Introduzindo Variveis para Controlar a Imperfeio
do Pareamento. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.8. Variveis Instrumentais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.9. Algumas Palavras sobre Mtodos Utilizados para
Eliminar Vis de Seleo e Parear Variveis . . . . . . . . . . . . . . . . . . . . . . . . 70
2.10. Variveis do Estudo de Impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
2.10.1. Indicadores de impacto no bem-estar . . . . . . . . . . . . . . . . . . . 73
2.10.2. Indicadores de sade. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.10.3. Indicadores de educao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
2.10.4. Indicadores de consumo e segurana alimentar. . . . . . . . . 78
2.10.5. Indicadores de capital fsico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.10.6. Indicadores de capital financeiro (poupana) . . . . . . . . . . . . 82
2.10.7. Variveis de controle das diferenas observveis . . . . . . . . 82
2.10.8. Variveis de controle do vis de seleo . . . . . . . . . . . . . . . . . 83
2.10.9. Variveis de determinao do impacto . . . . . . . . . . . . . . . . . . 84
2.10.10. Variveis indicadoras da presena de outros programas . . . 84
3. AVALIAO DE CUSTO-BENEFCIO E CUSTO-EFICCIA . . . . . . . . . . . . . . . . 87

3.1. Anlise de Custo-Benefcio. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.1.1. Definio e clculo do mtodo do Valor
Presente Lquido (VPL) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3.1.2. Exemplo de aplicao do mtodo do VPL . . . . . . . . . . . . . . . . . . 94
3.1.3. Definio e clculo da Taxa Interna de Retorno (TIR) . . . . . . . . 96
3.1.4. Clculo do perodo de pay-back do projeto. . . . . . . . . . . . . . . . . 96
3.1.5. Clculo do custo-benefcio descontado (C/Bd). . . . . . . . . . . . . . 98
3.2. Custo-Eficcia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4. AVALIAO DA FOCALIZAO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.1. Conceituando Focalizao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.2. Modalidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
4.3. Critrios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.3.1. Eficincia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.3.2. Vazamentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.3.3. Custos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.3.4. Custos administrativos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.3.5. Custos de incentivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
4.3.6. Custos polticos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.4. Mtodos de Focalizao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.4.1. Avaliao individual/domiciliar . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
4.4.2. Estabelecendo uma linha de pobreza . . . . . . . . . . . . . . . . . . . . . 116
4.4.3. Focalizao por categorias ou focalizao por grupos . . . . . 123
4.4.4. Auto-seleo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
4.5. Medindo o Grau de Focalizao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.6. Comentrios Finais. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5. ESTUDOS DE AVALIAO DO CAPITAL SOCIAL . . . . . . . . . . . . . . . . . . . . . . . 131
5.1. Indicadores do Capital Social das Comunidades . . . . . . . . . . . . . . . . . 137
5.1.1. O nvel e a natureza da organizao comunitria . . . . . . . . . . 137
5.1.2. ndice de participao comunitria . . . . . . . . . . . . . . . . . . . . . . . . 137
5.1.3. ndice de institucionalizao da associao comunitria. . . 138
5.2. Indicadores da Existncia Prvia de Capital Social
nas Comunidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.2.1. ndice de tradio comunitria . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.2.2. Nvel de organizao da sociedade civil . . . . . . . . . . . . . . . . . . . 139
5.3. Indicadores do Capital Social nos Conselhos . . . . . . . . . . . . . . . . . . . . . 140
5.3.1. Desempenho dos conselhos municipais . . . . . . . . . . . . . . . . . . 140
5.4. Indicadores de Desempenho da Poltica Pblica . . . . . . . . . . . . . . . . . 141
5.4.1. Desempenho da equipe gestora . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6. ANLISE EXPLORATRIA DOS DADOS:

ANLISE DE CORRESPONDNCIAS MLTIPLAS. . . . . . . . . . . . . . . . . . . . . . . . 145
6.1. Blocos de Variveis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
6.1.1. Bloco de capital fsico. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.1.2. Bloco sobre indicadores de condies
scio-econmicas (acumulao de capital prvia) . . . . . . . . . 151
6.1.3. Bloco de capital humano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.1.4. Indicadores de capital social e coletivo . . . . . . . . . . . . . . . . . . . . 152
6.2. Preparando os Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
6.3. Escolha do Nmero de Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
6.4. Escolha das Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7. PLANO AMOSTRAL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
7.1. Sorteio em Mltiplos Estgios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
7.2. O Que Uma Comunidade?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
7.3. Segmentando Grupos Populacionais. . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
7.4. Plano Amostral. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
7.4.1. Aspectos comuns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
7.4.2. Aspectos especficos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
7.5. Dimensionamento Amostral. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
8. ELEMENTOS PARA COLETA DE INFORMAES E
CONSTRUO DE QUESTIONRIOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
8.1. Roteiro de Questionrio a Ser Aplicado nos Domiclios . . . . . . . . . 164
8.2. Roteiro para Coleta de Informaes sobre as
Unidades Tcnicas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
8.3. Roteiro para Coleta de Informaes sobre os
Estados e os Municpios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8.4. Planejamento de Campo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8.4.1. Dimensionamento da equipe de campo . . . . . . . . . . . . . . . . . 168
8.4.2. Equipe necessria para aplicao de questionrio . . . . . . . . . 169
8.4.3. Recrutamento e seleo de pessoal . . . . . . . . . . . . . . . . . . . . . . . 169
8.4.4. Aplicao de questionrio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
9. CONSIDERAES FINAIS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
10. ANEXOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
11. REFERNCIAS BIBLIOGRFICAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
NDICE DE TABELAS
Tabela 1
Tabela 2
Tabela 3
Despesas, receitas e resultados lquidos

de um projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .97
Alcance de dois programas por quintil
de renda Exemplo 1 percentual dos beneficirios
do quintil no total de beneficirios . . . . . . . . . . . . . . . . . . . . . . . . . .129
Alcance em dois programas por quintil
de renda Exemplo 2 percentual dos beneficirios
do quintil no total da populao do quintil . . . . . . . . . . . . . . . .129
NDICE DE FIGURAS
Figura 1
Figura 2
Figura 3
Figura 4
Exemplo: Sntese da avaliao de impacto do

Programa de Combate Pobreza Rural, Brasil . . . . . . . . . . . . . . . .48
Uma comparao de benefcios com/sem projetos . . . . . . . . .89
Fluxo de caixa de um projeto convencional . . . . . . . . . . . . . . . . .91
Fluxo de caixa de um projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .95
NDICE DE GRFICO
Grfico 1
Relao entre renda e consumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61
NDICE DE QUADROS
Quadro 1
Quadro 2
Quadro 3
Quadro 4
Quadro 5
Quadro 6
Comparao de alguns mtodos diretos e

indiretos para mensurao da fome, pobreza e
desnutrio no Brasil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .122
Erros de excluso e incluso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .126
Resumo esquemtico para o estudo das populaes
e seleo das variveis relevantes para a anlise do
Programa de Combate Pobreza Rural II, sob a
aplicao da Anlise de Correspondncias Mltiplas . . . . . .150
Anlise confirmatria: um esquema simples para
relacionar CPI e MCPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202
Matriz de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .212
Matriz de similaridades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .213
NDICE DE ANEXOS
Anexo 1
Anexo 2
Anexo 3
Anexo 4
Anexo 5
Anexo 6
Anexo 7
Anexo 8
Anexo 9
A correo de Heckman visando eliminar o vis

proveniente das variveis no-observveis . . . . . . . . . . . . . . . . . . .179
Os mtodos de pareamento utilizados para corrigir
o vis das observveis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .183
O mtodo da dupla diferena e o modelo de
efeitos fixos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .185
Consideraes sobre a utilizao de dados em
painel em modelos economtricos com
variveis dependentes qualitativas . . . . . . . . . . . . . . . . . . . . . . . . . . . .192
Anlise dos Componentes Principais (ACP):
um resumo do procedimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .194
Metodologias de construo de indicadores
de capital social . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .197
A obteno de um indicador sinttico de
capital social usando ACP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .205
Anlise confirmatria de estruturas baseadas em
variveis latentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .207
Expanso dos resultados amostrais, estimador razo
e agrupao de municpios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .208
NDICE DE BOXES
Box 1
Box 2
Box 3
Box 4
Box 5
Box 6
Box 7
Box 8
Box 9
Dados em painel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56

Pareamento de amostras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59
Regresso linear: uma tcnica simples que pode
ser empregada em avaliao de impactos . . . . . . . . . . . . . . . . . . . . .60
Modelo logit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
Endogeneidade versus vis de seleo amostral:
qual modelo adotar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72
Definio de segurana alimentar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .79
Caractersticas dos domiclios e das comunidades . . . . . . . . . . . . .82
Projeto de construo de estrada no espao rural . . . . . . . . . . . .100
Exemplos de critrios de avaliao que podem
ser utilizados em projetos de infra-estrutura . . . . . . . . . . . . . . . . . .103
Aes de combate pobreza rural:

metodologia para avaliao de impactos
INTRODUO
Em muitos pases, governos tm despendido recursos considerveis

em polticas sociais. Entretanto, em vrios programas e projetos, a eficcia
tem sido considerada, no mnimo, duvidosa. A pobreza e a desigualdade
social continuam elevadas, e as demandas e as necessidades superam em
muitas vezes a disponibilidade de recursos.
Em perodo recente, o Brasil transformou-se em verdadeiro laboratrio
de programas sociais, cobrindo diversas reas (da sade reforma agrria),
inclusive com programas de complementao de renda. Os modelos e as
concepes tm sido distintas. A execuo tem ficado a cargo de todas as
esferas governamentais.
Em que pese o meritrio esforo de aes de combate pobreza, os
resultados ainda carecem de avaliaes objetivas. A deciso de priorizar o
social em um quadro de restries de recursos coloca em pauta o
debate sobre a eficcia e a eficincia dos programas. Alguns elementos
dessa avaliao podem ser claramente observados e explicitados.
Espera-se que os programas sociais alcancem de fato a populao
pobre com eficcia e eficincia atributos indispensveis para o sucesso
das aes. Enquanto a eficincia diz respeito utilizao dos recursos
escassos, a eficcia refere-se melhoria do nvel de bem-estar da populao
meta. De pouco adiantaria atingir metas sociais em programas de alto
custo, desperdiando recursos que faltariam em outros programas, ainda
que de igual cunho social.
A experincia acumulada tem demonstrado que o sucesso dos
programas sociais depende diretamente de um conjunto de fatores a
incluir aqueles que favorecem o custo e a disponibilidade de recursos
financeiros, bem como aqueles que dizem respeito exclusivamente ao
desenho e concepo das aes. Nesse segundo grupo, esto includas
questes relativas focalizao e seleo dos beneficirios, sobre as quais
sero feitas algumas reflexes iniciais.
Foco e seleo so cruciais para o sucesso das aes sociais. No se trata
apenas de definir, com clareza, a quem as aes se dirigem (populao de
beneficirios potenciais), mas de selecionar aqueles que participaro
29

efetivamente do programa. Essa questo seria irrelevante caso os recursos

fossem suficientes para atender a todos. Como a situao nunca essa,
mesmo para polticas de alcance universal, como a de sade e de educao,
coloca-se o dilema: pelo menos no futuro imediato, quem participa? Quem
fica de fora? Que critrios utilizar para escolher os beneficirios? Fila? Maior
necessidade? O critrio de quem tem mais chance de beneficiar-se de fato
das aes previstas no programa? O da maior competncia?
No trivial tratar essas questes e, naturalmente, no existe uma nica
resposta: os critrios so variados e dependem da natureza e do objetivo de
cada programa. Esses critrios no so, e nem devem ser, estabelecidos
apenas do ponto de vista exclusivamente tcnico, pois os resultados no
so neutros do ponto de vista social. As escolhas devem passar por
instncias de deciso poltica, apoiadas, claro, pela melhor avaliao
tcnica. Assim, um programa de combate fome deve tomar como critrio
a maior vulnerabilidade alimentar da populao. J um programa de
reforma agrria deveria escolher aquelas famlias com maior aptido para
explorar a terra, e cujos integrantes tenham maiores possibilidades de se
viabilizarem como produtores. Contudo, a aparente obviedade dos critrios
no resolve a questo e, dificilmente, servir de consolo para os pobres que
ficarem de fora.
A primeira dificuldade para a definio do foco de natureza poltica.
Entretanto, dificuldades de natureza tcnica tambm esto presentes, pois
mesmo quando h consenso (com relao ao foco dos programas), no
trivial selecionar de forma eficaz e eficiente. A escolha de um ou outro
mecanismo de seleo, ou mesmo a combinao de mecanismos em
diferentes etapas do programa, no deve ser realizada sem considerar a
eficincia da estrutura montada para executar o programa. Considerando
apenas a questo do foco, essa eficincia diz respeito capacidade do
programa de, ao menor custo possvel, em termos de administrao,
burocracia, monitoramento, etc., incluir o maior nmero possvel de
indivduos do pblico-alvo (maximizar o alcance) e excluir o maior nmero
possvel de indivduos que no pertencem a esse grupo (minimizar o
vazamento de recursos para o pblico no necessitado).
Os desafios no terminam a. No suficiente que o programa defina
alcance e pblico-alvo (agricultores familiares; famlias pobres com filhos
em idade escolar; populao com deficincia nutricional; grupos tnicos
etc.). A adequao a esses critrios gerais de seleo de beneficirios no
elimina uma clara realidade: as diferenas entre os indivduos que
compem um mesmo grupo. Essas diferenas referem-se a atributos
pessoais, familiares e, principalmente, s condies scio-econmicas.
30

Todos so pobres, mas uns so mais pobres do que os outros; todos so

sem-terra, mas alguns tm mais aptido para o trabalho no meio rural do
que outros; todos querem o benefcio, mas cada indivduo, ou cada famlia,
atribui um grau de importncia diferente ao benefcio recebido. O fato de
ser pobre no implica automaticamente ter carncias nutricionais. Colocase, portanto, a questo de identificar, nos indivduos do pblico-alvo, alguns
atributos que sejam chave para selecionar os beneficirios efetivos. A
identificao desses atributos tampouco tarefa comum.
O sucesso de alguns programas depende apenas da identificao de
atributos explcitos que, com maior ou menor dificuldade, podem ser
apontados (em um programa de combate fome, deveria ser suficiente
identificar os grupos que tm carncia alimentar e assegurar-lhes acesso ao
alimento). Se fosse possvel a perfeita identificao desses grupos, no
haveria motivos para supor que os beneficirios desviariam os alimentos
para outros fins que no o de nutrir-se. Nesse caso, o problema de seleo
diz respeito a como identificar, de forma competente (com custos
adequados e eficcia), esse grupo vulnervel. H um claro trade off entre
eficcia e custo. Para identificar esse grupo, pode ser necessrio realizar uma
pesquisa sobre o status nutricional, o que asseguraria uma seleo perfeita,
mas teria um enorme custo financeiro e despenderia muito tempo. O
desafio definir mecanismos que permitam compatibilizar eficcia do
processo seletivo e eficincia no uso dos recursos.
J em outros programas no basta identificar os atributos explcitos dos
indivduos. A eficincia da interveno depender de caractersticas e de
atributos que no so aparentes (como disposio para trabalhar e dedicarse ao trabalho na terra). Como identificar ex ante essa disposio? bvio
que todos os candidatos declararo a maior disposio para o trabalho e
mostraro grande entusiasmo em relao ao programa. Como identificar
aqueles que de fato esto dispostos e preparados para enfrentar o desafio?
Uma focalizao inadequada pode gerar problemas que comprometem,
na origem, a possibilidade de sucesso da interveno social. De um lado,
introduz distores de natureza diversa, como desincentivo para o trabalho,
aps a seleo; atrao de famlias de outras regies para reas que esto
sendo assistidas, comprometendo o oramento e a possibilidade de manter
a qualidade da ao; vazamento para pblico no-alvo, como no caso de
no-negros que se definem negros apenas para ter as vantagens oferecidas
pelo programa; outros. De outro lado, tambm h um trade off entre seleo
e custos de monitoramento do uso dos recursos, seja dos recursos
destinados execuo que so gastos pelos executores , seja dos
recursos destinados aos beneficirios. Uma seleo apropriada reduz tanto a
31

necessidade de monitoramento quanto os prejuzos associados a erros de

seleo (concesso de auxlio alimentao a quem no tem carncia
nutricional).
Pelo exposto acima, percebe-se que no tarefa simples estabelecer um
programa de combate pobreza, a comear pela definio e pela seleo
dos beneficirios. No basta uma elevada dotao oramentria para
atender aos programas, pois um programa mal formulado pode esgotar
rapidamente os recursos sem atingir os objetivos.
Por mais boa vontade que tenham os gestores pblicos, fatores como
custos burocrticos, monitoramento, corrupo, vazamento de benefcios
para grupos no-alvos, podem exaurir as fontes de recursos, reduzindo a
eficincia e a capacidade dos programas de realmente atingir os pobres.
Este livro procura trazer subsdios para a formulao e para a avaliao
dos programas de combate pobreza. No se consubstancia como uma
proposta acabada para a formulao e avaliao de programas, mas
apresenta elementos que podem auxiliar no desenvolvimento de melhores
metodologias e na identificao de mecanismos de monitoramento e de
avaliao de impactos. H uma clara preocupao no sentido de prover
insumos para uma reflexo de alto nvel sobre as concepes mais eficazes
e que do melhores respostas para atacar determinados problemas. Para
tanto, foi fundamental colocar de lado idias pr-concebidas, que, em
alguns casos, tm influncia negativa concepo e avaliao de
programas sociais.
No se trata de evitar um posicionamento poltico, mas sim, de propor
abordagens com o mximo rigor cientfico. Apenas dessa forma possvel
contribuir para desenvolver programas sociais eficientes que sejam capazes
de reduzir a pobreza no Brasil.
Antnio Mrcio Buainain (IE/Unicamp)

Hildo Meirelles de Souza Filho (Gepai/DEP/UFSCar)
32

1. SISTEMAS DE
MONITORAMENTO E
AVALIAO DE PROGRAMAS
E PROJETOS DE
DESENVOLVIMENTO E
COMBATE POBREZA
RURAL1
1.1. Definio e Propsito do Monitoramento e da Avaliao
Monitoramento e avaliao de programas podem ser definidos como

um processo de medir, registrar, coletar, processar, analisar e comunicar
informao com objetivo de auxiliar a gesto de programas, projetos e
atividades em geral. Sistemas de monitoramento, ao possibilitar a coleta e
a organizao de informaes que se encontram institucionalmente e
temporalmente dispersas, e ao automatizar relatrios analticos bsicos,
facilitam, em especial, a tomada de decises sobre os rumos das aes
empreendidas. Nesse sentido, o sistema de monitoramento e avaliao de
um programa ou projeto de desenvolvimento e combate pobreza rural
deve ser concebido como uma ferramenta de planejamento e de
organizao de informaes para a tomada de decises.
Monitoramento e avaliao so temas complexos, pois envolvem um
conjunto muito amplo de variveis, fatores, instncias e atores que
interagem e respondem a muitas polticas, seja de alcance macro seja de
alcance setorial e local. A concepo de um sistema de monitoramento e
avaliao no se refere, rigorosamente, ao monitoramento e avaliao do
desenvolvimento rural, mas sim da operao, do desempenho e de
impactos das aes levadas a cabo no contexto de um programa ou
projeto.
1 Esta seo baseia-se em FAO monitoring systems for agricultural and rural development projects
Volume 2. FAO: Rome, 1989.
33

Os principais elementos considerados na concepo do sistema de

monitoramento e avaliao so:
i) A operao de um programa, projeto ou interveno
compreende muitas tarefas que, realizadas regularmente ou
eventualmente, so relevantes para o funcionamento adequado da
atividade. Como exemplo, a constituio e o apoio institucional a
conselhos locais de desenvolvimento envolvem atividades de
mobilizao dos atores, capacitao institucional, elaborao de um
plano de desenvolvimento sustentvel. Essas atividades podem exigir o
cadastro de atores, cursos variados, avaliao de consistncia dos
planos, visitas locais, alocao de recursos, etc.
ii) O desempenho refere-se ao nvel de alcance das metas
estabelecidas pelo programa/projeto, tais como realizao de
encontros, conselhos implantados, projetos de desenvolvimento
executados e populao atingida.
iii) O impacto alude aos efeitos da execuo e desempenho sobre a
populao rural, podendo ser indicado por alteraes nos nveis e
distribuio de renda, receita das propriedades, nvel de emprego, nveis
de bem-estar e nutrio das famlias, etc. Incorporam-se tambm
indicadores de mudanas no meio ambiente e na economia local que
resultam da operao e do desempenho do projeto (eroso e
salinidade do solo, mudanas nos preos de insumos e produtos
agrcolas, entre outros).
O propsito do monitoramento e da avaliao indicar para os agentes
envolvidos se os objetivos do programa/projeto esto sendo alcanados.
Para isso, utiliza-se um conjunto de informaes relevantes que indica se as
tarefas esto sendo executadas conforme planejado; se as condies
oferecidas aos beneficirios e se os resultados observados atingiram os
nveis estabelecidos no desenho dos projetos; se os impactos esto de
acordo com os objetivos ou se esses objetivos devem ser ajustados luz
da experincia.
A informao monitorada fornece a base para tomada de decises e
aes cotidianas referentes gesto de programas e de projetos. Isso
ocorre quando o monitoramento revela operaes inadequadas,
deficincias no desempenho e discrepncia entre objetivos
preestabelecidos (ou impactos previstos) e objetivos alcanados. Dessa
forma, possvel modificar objetivos inadequados para redirecionar o
projeto, corrigir deficincias e trazer o projeto de volta ao curso desejado.
A atividade de monitoramento e avaliao compreende quatro
operaes/fases bsicas:
34

i.
ii.
iii.
iv.
a coleta de informaes apropriadas;

organizao das informaes;
anlise e interpretao dos dados;
a adoo de aes apropriadas luz do monitoramento e da
avaliao.
As fases (i) e (ii) so a prpria essncia do monitoramento; a fase (iii) a

avaliao, j que a interpretao pressupe um referencial conceitual e
incorpora, necessariamente, certa subjetividade. O monitoramento frio e
objetivo: foram realizados x cursos que correspondem a y% do total
planejado. A avaliao envolve interpretar e explicar esse resultado. O xito
ou o fracasso, maior ou menor, no podem ser diretamente derivados dos
nmeros. Assim, um desempenho relativamente baixo pode ser
requalificado em funo das condies enfrentadas para execuo das
aes. Tambm um desempenho alto pode ser considerado insuficiente
luz da anlise das informaes em seu conjunto. A fase (iv) refere-se
tomada de deciso propriamente dita, e no pode ser confundida com a
avaliao, nem do ponto de vista metodolgico, nem institucional: a boa
prtica recomenda separar quem avalia de quem toma a deciso,
exatamente para assegurar a independncia metodolgica e institucional
entre as fases.
Existe uma distino sutil entre a avaliao (iii) e a tomada de deciso
(iv). A avaliao revela e indica o que fazer; a tomada de deciso, a deciso
de faz-lo. O monitoramento (ao menos deveria ser) mais ou menos
neutro, como neutros so a operao e o desempenho do projeto.
Entretanto, a seleo de indicadores de impacto normalmente envolve
juzo de valor. A avaliao de dados monitorados revela a necessidade de
ajustamentos na execuo dos projetos e programas que podem ou no
ser adotados para facilitar e agilizar o alcance dos objetivos iniciais.
Com menor freqncia, a avaliao cotidiana possibilita mudanas nos
objetivos e metas dos projetos que ocorrem mais como resultado de
avaliaes ad hoc (diante daquelas realizadas de tempos em tempos). As
informaes colhidas e organizadas pelo sistema de monitoramento e
avaliao so importantes insumos que facilitam muito essas avaliaes
especiais.
1.2. Avaliao Contnua e Avaliao Ex Post
A atividade de avaliao contnua estabelece a ligao entre a gesto do

programa/projeto e o monitoramento. A avaliao contnua compreende a
35

comparao da operao real, do desempenho e do impacto do projeto

com o que foi originalmente estabelecido ou planejado. Alm disso,
permite determinar as relaes causais entre as atividades do projeto e seus
resultados e a influncia de fatores externos ou de suporte sobre a
operao e o desempenho. Neste raciocnio, avaliao contnua nada mais
do que uma anlise que faz uso da gesto da informao monitorada em
base contnua, permitindo ajustar ou redefinir polticas, objetivos, arranjos
institucionais e recursos que afetam o projeto durante sua execuo.
O monitoramento e a avaliao contnua no devem ser
compreendidos como um processo de deciso em si, mas como
portadores de elementos para a gesto do projeto e para melhorar o
desempenho na tomada de decises.
A avaliao ex post utiliza informao monitorada para avaliar a
operao, o desempenho e o impacto de projetos em determinado
estgio (geralmente o fim do programa/projeto ou de uma fase) e auxiliar
no planejamento de aes no futuro. A concepo proposta assume que
o sistema deve ser capaz no apenas de monitorar e avaliar
continuamente as aes do programa/projeto, mas tambm auxiliar na
realizao de avaliaes ex post e ad hoc.
1.3. Monitoramento de Objetivos e Resultados

A principal tarefa na gesto de um programa/projeto assegurar a
utilizao eficaz e eficiente dos recursos alm de execut-lo em
conformidade com sua concepo e objetivos. Em termos prticos, a
gesto deve assegurar que os objetivos e as metas planejadas (ou previstas)
sejam alcanados dentro do cronograma previamente estabelecido.
O monitoramento da operao, do desempenho e do impacto fornece
gerncia a informao apropriada para facilitar essa tarefa. Entretanto, a
efetividade do monitoramento depender, geralmente, da preciso com
que os objetivos e metas so definidos; da validade; da possibilidade de
quantificar os objetivos com maior preciso; da consistncia entre
objetivos e meios disponveis e entre objetivos, concepo e instrumentos
mobilizados. Enfim, a efetividade do monitoramente depende diretamente
do desenho do programa/projeto.
Projetos mal definidos e/ou com objetivos inconsistentes em relao
aos meios disponveis no so raros. Objetivos vagos de desenvolvimento,
como melhoria das condies de vida e do bem-estar da populao rural
pobre, aumento do nmero de empregos na rea rural e outros, resultados
36

de diversas aes, dificilmente podem ser monitorados com preciso por

sistemas de monitoramento especficos. Esse tipo de objetivo abrangente
, em geral, melhor captado em estatsticas geradas por rgos
responsveis pelas informaes macro e regionais tanto dos estados
quanto do pas. O estabelecimento de metas que no podem ser
alcanadas dentro de um cronograma de forma razovel acarreta
problemas e adversidades para a gesto do projeto.
Muitos objetivos e metas relacionados com operao, desempenho e
impacto podem (e devem) ser claramente definidos e quantificados. Tais
metas e objetivos devem ser selecionados para monitoramento, assim
como os indicadores a eles relacionados. necessrio especificar
indicadores para cada tipo de projeto. Assim, em projetos de
abastecimento de gua, pode-se utilizar o nmero de cisternas ou pontos
de captao de gua construdos; em projetos de mecanizao agrcola e
introduo de novas variedades, a expanso de rea cultivada, o aumento
da produtividade da terra e da produo so componentes mensurveis
do desempenho.
Mudanas como renda e nutrio, que afetam os beneficirios dos
projetos, so aspectos socioeconmicos dos efeitos dos prprios projetos.
Os impactos no meio ambiente fsico (eroso do solo, v.g.) e nas
comunidades rurais fora do projeto raramente consideradas nos
objetivos e negligenciadas como atividade de monitoramento , em
muitos casos, podem ser quantificados.
Existem sistemas de monitoramento dedicados apenas ao registro da
operao e do desempenho, enquanto outros se voltam exclusivamente
para a medio de impacto. As atividades de ambos esto relacionadas
com os objetivos gerais dos programas/projetos e, de certa forma, se
sobrepem, apesar das diferenas na forma de funcionamento e desenho.
O monitoramento da operao e desempenho de um
programa/projeto compreende, mesmo que de maneira intermitente,
contnua medio, registro de tarefas programadas, atividades
estabelecidas em cronogramas e resultados esperados. A observao e
registros de tarefas e atividades so freqentes; algumas vezes, dirias. O
propsito dessa atividade de monitoramento o de prover informao
para uma avaliao contnua e gesto diria.
A avaliao contnua abrange a comparao de indicadores (tarefas,
entradas e sadas) e os objetivos e critrios do projeto. Em contraste, o
monitoramento de impacto do projeto compreende o registro peridico
e no freqente de entradas, sadas e desempenho, o que possibilita avaliar
o impacto sobre os territrios, famlias e indivduos. Essa informao
37

contribui para a avaliao peridica e para a gerncia dar respostas a

eventuais problemas, alm de ser fundamental para a avaliao ex post. A
divergncia entre indicadores de impacto e os objetivos deve influenciar
o desenho de futuros programas e projetos.
O monitoramento da operao e do desempenho de determinado
programa bem como do impacto que produz requer sistemas com
desenhos diferentes. Admitindo-se a hiptese de que a concepo e o
desenho do programa so consistentes, a operao e o desempenho
dependero, em geral, da ao tcnico-gerencial da equipe responsvel
pela execuo. O monitoramento (do programa) est relacionado com a
operao e/ou registro de tarefas programadas; e o sistema de
monitoramento, s atividades da equipe do programa, que possui um
conjunto preestabelecido de obrigaes alm de realizar e registrar, em
maior ou menor medida, operaes programadas e propsitos prdefinidos. Funcionrios/tcnicos processam e transmitem as informaes
a um ponto preestabelecido na estrutura gerencial.
Acima de tudo, o monitoramento do impacto de um projeto est
voltado para os efeitos da operao do projeto sobre seus beneficirios, e
intrnseco populao rural beneficiada pelo programa. Em alguns
casos, relaciona-se populao que est fora, mas que, apesar disso, recebe
efeitos positivos ou negativos (spillovers). tarefa complexa cuja execuo
deve ser balanceada. Deve-se, ainda, levar em conta os custos de avaliao
vis--vis o custo do prprio programa.
O sistema de monitoramento de impacto tem como foco principal a
obteno de dados relacionados unidade geogrfica de anlise,
propriedade, famlia do produtor e da comunidade rural (escolas, posto de
sade, comrcio local, etc.). Tem por funo medir e registrar indicadores:
custos de produo nas propriedades; renda lquida das propriedades e
sua distribuio; composio e nvel de nutrio familiar; uso de gua e
higiene no domiclio; disponibilidade e acesso a servios sociais; o papel e
o status das mulheres; entre outros. Alguns ou todos esses itens podem
estar especificados como objetivos do projeto. Nesse caso, o progresso em
direo ao alcance do projeto precisa ser monitorado.
Os dados relacionados com o monitoramento de impacto so mais
difceis de medir. Esto sujeitos a erros maiores e usam mtodos de coleta
diferentes daqueles utilizados para tarefas programadas e outros
indicadores tcnicos do desempenho do projeto. Sistemas de
monitoramento de impacto envolvem o uso de estudos especiais de
campo (crdito, gua, nutrio, higiene) e a aplicao de questionrios
sobre a produo, a propriedade e o domiclio. Essas pesquisas de carter
38

emprico apresentam dificuldades, sobretudo em pases menos

desenvolvidos: amostragem estatstica, desenho da pesquisa de campo,
questionrios de campo, freqncia de coleta, seleo de indicadores
adequados de bem-estar ou desenvolvimento rural. Indicadores indiretos
so utilizados para a observao de diversos aspectos, incluindo a renda da
propriedade e do domiclio e, alm da distribuio dessas rendas, o nvel e
a qualidade de nutrio, as disponibilidades de bens sociais para diferentes
grupos rurais, a participao das mulheres. Entretanto, diferente dos
indicadores tcnicos de desempenho, esses indicadores de impacto
possuem significado ambguo e levantam problemas de interpretao.
A dimenso temporal tambm diferente. Em vez de uma situao em
que a informao coletada diariamente (e obtm resposta), o registro e a
medio de indicadores de impacto podem ter que aguardar todo o ciclo
de uma safra (o que pode significar anos), como ocorre com dados sobre
a renda da propriedade ou do desenvolvimento territorial. Aps a coleta
de informaes, alguns meses podem ser requeridos para processar a
informao monitorada, segundo um mtodo apropriado para se realizar
a avaliao e obter uma resposta.
As pesquisas de campo, em geral caras e difceis, no devem ser
encaradas como uma atividade que se encerra uma nica vez no tempo.
O monitoramento de indicadores relacionados com os objetivos dos
programas e dos projetos deve ser iniciado antes da implementao e
continuar, muitas vezes de forma intermitente, alm do perodo requerido
para alcanar os objetivos do projeto. Com bastante freqncia, nveis
preestabelecidos de eficincia operacional dos projetos so alcanados
antes dos objetivos dos projetos.
Em muitos casos, o monitoramento de impacto mais complexo e caro
do que o monitoramento da operao e do desempenho. Isso ter
implicaes quanto alocao dos recursos entre esses dois sistemas. Mas
no o caso de se dar prioridade para o monitoramento de desempenho,
em que a disponibilidade limitada de recursos impe uma escolha. Outros
critrios so tambm relevantes para essa deciso, incluindo o tipo de
projeto.
1.4. Indicadores
A verificao e/ou a medio da operao, desempenho e impacto de
um programa/projeto requer(em) a especificao de variveis ou
indicadores das entradas (inputs), sadas (outputs), efeitos e fatores externos
39

ou restries. A seleo de indicadores de monitoramento apropriados no

tarefa fcil. No h grandes dificuldades para incorpor-las ao sistema de
monitoramento e avaliao quando os indicadores sejam de entradas,
resultados, atividades, restries e de fatores externos so medidas
objetivamente verificveis de fatos e eventos (entregas de equipamentos,
volume de gua para irrigao, manuteno de conjuntos de irrigao,
volume de crdito concedido, nmero de operaes de crdito realizadas,
nveis de produtividade e de produo). Entretanto, algumas vezes no
possvel observar e medir determinados resultados de um projeto. Nesses
casos, indicadores indiretos ou proxies podem ser utilizados.
A seleo de poucos e essenciais indicadores que tornem possvel uma
gesto eficiente e uma avaliao completa para a formulao de polticas
parte da arte de desenhar sistemas de informao. Qualquer seleo
nunca a ltima. No importa quo bem desenhado seja um sistema de
monitoramento, ele deve apresentar-se sempre flexvel, como de fato deve
ser um projeto.
1.4.1. Indicadores de recursos, operao e performance2
Em um sistema de monitoramento e avaliao bem desenhado e
dotado de informaes, alguns indicadores estaro de pronto disponveis:
recursos, operao e desempenho.
Indicadores de recursos: consistem em utilizao de pessoal,
equipamentos e de fundos correntes para operao dos projetos ou
programas; podem incluir oferta de crdito, arranjos institucionais e
outros.
Indicadores de operao: medem e registram a operao, a
pontualidade, a qualidade e os possveis custos das tarefas e
atividades do projeto.
Indicadores de desempenho: comparam os resultados das atividades
ou operaes com as metas estabelecidas. So medidos em termos
fsicos (quilmetros de estradas ou canais construdos; nmero de
hectares plantados; nmero de propriedades visitadas; nmero de
animais vacinados; quantidade de fertilizantes distribudos; nmero de
famlias assentadas; nmero de casas construdas; nveis de produo
e produtividade; emprstimos concedidos; proviso de servios
mdicos; alimentos distribudos, etc.).
2 Ver Ptry, F. In: Monitoring systems for agricultural and rural development projects. FAO economic
and social development paper, n. 12, Rev. 1. Food and agricultural. Organization of the United
Nations.
40

1.4.2. Indicadores de impacto

A maioria dos indicadores de impacto estar disponvel apenas depois
de decorrido o tempo necessrio para que os benefcios se manifestem.
Alguns impactos so diretamente decorrentes do programa ou projeto.
Outros impactos decorrem dos efeitos imediatos do projeto ou programa,
denominados impactos indiretos.
Indicadores de impacto direto (tambm chamados de indicadores de
efeitos) medem o efeito imediato das realizaes do projeto como
produtividade das propriedades, mudanas nos padres de produo,
incidncia de enfermidades animais, renda das propriedades, taxa de
mortalidade infantil, etc. Os indicadores de impacto direto podem ser
divididos em dois grupos:
indicadores de consecuo ou realizao de objetivos: comparam
os resultados obtidos com as metas estabelecidas (porcentagens de
aumento em relao ao perfil de entrada);
indicadores de alcance efetivo: colocam os resultados em um
contexto mais amplo, comparando-os com a situao em reas
semelhantes ou com um possvel mximo ou padro (IDH, por
exemplo).
Ambos so necessrios para se obter uma anlise til do julgamento e
da tomada de decises. Os rendimentos das culturas podem ter sido
melhores do que o estabelecido nos objetivos do projeto; porm, no
foram maiores do que aqueles alcanados em reas prximas, fora do
projeto. Nesse caso, os elevados rendimentos so devidos, provavelmente,
s condies climticas ou a outras polticas governamentais, no apenas
ao projeto.
J os indicadores de impacto indireto medem todos os outros efeitos.
Espera-se alcanar objetivos secundrios como conseqncia do alcance
dos objetivos principais: renda do domiclio/renda da propriedade,
condies nutricionais/aumento da produtividade e/ou renda,
participao e associativismo/crdito coletivo. Efeitos no planejados,
desejveis ou no, encontram-se tambm nessa categoria e devem ser
monitorados (reduo no suprimento de gua para outros produtores
localizados abaixo do aude; aumento da produo e reduo dos preos
locais; salinizao do solo; aumento do risco devido ao endividamento;
adoo de monocultura; outros).
41

1.4.3. Indicadores indiretos

Alguns objetivos melhoria do padro de vida e expanso do
associativismo so complexos para se medir ou verificar. A medio direta
pode requerer mltiplos indicadores, cuja gerao pode ser cara, demorada e
injustificvel para o tamanho da interveno. Para superar essas dificuldades,
indicadores indiretos para o padro de vida condies da moradia e o
montante de bens durveis possudos pelas famlias tm sido sugeridos.
Dados sobre esses itens podem ser obtidos rapidamente e a baixo custo com
uma nica visita (uma rpida pesquisa de campo com aplicao de
questionrio). Entretanto, a reduo de custos de coleta pode ter como
conseqncia a perda de preciso. Se os gastos em investimentos na
propriedade e/ou em poupana so ignorados, como saber se o aumento no
patrimnio de bens domsticos durveis resultado de um aumento
sustentado da renda ou da descapitalizao da propriedade? Assim, deve-se
interpret-lo como um indicador parcial e com certo cuidado.
Os indicadores indiretos so utilizados com grande dubiedade onde eles
no so quantificveis e requerem julgamento pessoal, como indicadores de
mudanas no comportamento (inclusive associativista) e atitudes dos
atores. Esses indicadores esto sujeitos a grande impreciso, o que faz com
que o mrito de sua utilizao deva ser questionado sobretudo as atitudes
em relao ao associativismo.
1.4.4. Indicadores de condies externas

Indicadores de condies externas esto relacionados a fatores que
fogem ao controle da gerncia, embora o seu comportamento seja capaz
de requerer mudanas nos objetivos. Alguns exemplos so: preos de
insumos e produtos, condies de comercializao, disponibilidade de
insumos-chave (como fertilizantes, vacinas, maquinas especiais, mo de obra
capacitada), custo do crdito para os produtores (taxa de juros, servios e
burocracia), condies climticas (seca, excesso de chuvas, enchentes, etc.),
incidncia de pragas e doenas. Alteraes nesses indicadores podem
sugerir mudanas nos objetivos dos projetos/programas.
1.5. Resistncias ao Monitoramento e Avaliao

Em teoria, o desenho e a implantao de um sistema de monitoramento
e avaliao parecem ser inquestionveis. uma questo de organizao. O
42

processo de monitoramento deve ser formalizado em um conjunto de

instrues que prescrevam o que ser monitorado, com qual freqncia e
por quem, alm de fazer previso ao procedimento de registro e ao
processamento da informao registrada para se obter o mximo de
significncia operacional.
A proposio de que o monitoramento e a avaliao so essenciais
para uma gesto eficiente quase nunca questionada. A princpio, os
planejadores o aconselham e os ministros o aceitam. Na prtica, os
sistemas de monitoramento e avaliao so deficientes e tm pouca
efetividade. Tal fato ocorre no apenas com sistemas relativamente
sofisticados, mas tambm com procedimentos de monitoramento
simples, desenhados para projetos pequenos. No raro encontrar uma
oposio no revelada ao monitoramento e avaliao. O monitoramento
expe deficincias na operao e no desempenho, e revela debilidades da
gesto.
Uma das principais fontes de resistncia ao monitoramento e avaliao
por parte das gerncias de projetos e subprojetos a desconsiderao da
dimenso humanana formulao.Tem sido grande o nmero de sistemas
de monitoramento e avaliao. De igual forma, as atividades relacionadas a
eles, criados e operados com pouca ou nenhuma participao dos
operadores e gerentes, mesmo no estgio relativo ao seu desenho. Esses
sistemas, criados externamente, requerem uma substancial dose de gesto
para operar. Espera-se ser a gerncia a usuria e a beneficiria principal.
Assim, no de surpreender que o monitoramento, em boa medida, no
se torne efetivo quando:
a equipe do projeto se indignar com o fato de ter que dedicar
demasiado tempo ao monitoramento e desviar esforos que
poderiam ser canalizados para as atividades de conduo do dia-a-dia
do projeto;
a equipe do projeto no utiliza os resultados do monitoramento e da
avaliao por vrias razes, dentre as quais destacam-se: o fato de no
ter sido consultada, desconhecer a utilidade da informao e ter a
percepo de que pouco contribui para o desempenho das
obrigaes primrias.
Apenas recentemente, a necessidade de se incluir a participao dos
operadores e gerentes dos projetos no desenho de sistemas de
monitoramento e avaliao tem sido reconhecida. Sem essa participao,
o monitoramento e a avaliao tornam-se pouco efetivos ou no so
utilizados de acordo com o seu propsito. A participao dos gerentes e
da equipe permite melhor compreenso do propsito do monitoramento
43

e da avaliao, contribui na formulao do conjunto de informaes a

serem coletadas e estabelece um limite de tempo que a equipe deve
dedicar-se s atividades de monitoramento. Ainda, evita a gerao de
informao excessiva, desnecessria e sem uso. Para aumentar o uso
efetivo dos resultados do monitoramento, vital aumentar a cooperao
da gerncia nas atividades do prprio monitoramento.
1.6. Problemas Prticos do Monitoramento e da Avaliao

Na teoria, um sistema de monitoramento e avaliao, bem desenhado
e adequadamente funcionando, fornece a informao certa, na forma
certa, na hora certa, no lugar certo (dentro da estrutura gerencial) e com a
freqncia certa. Permite gerncia reagir e manter programas ou
projetos em curso, mantendo nveis de eficincia e alcanando objetivos e
nveis de desempenho preestabelecidos. Entretanto, a experincia revela
diferenas entre a prtica e os modelos tericos.
Inadequados monitoramento e avaliao esto comumente associados
a sistemas mal desenhados. Tais sistemas possuem maior produo de
dados do que o necessrio (ou do que pode ser processado), alm de
inadequada atribuio de atividades de monitoramento e avaliao junto
equipe do projeto, sem contar a incapacidade de realizar estudos do
perfil de entrada (baseline) com a necessria antecedncia.
Compem ainda esses sistemas, substanciais atrasos devido ao
processamento de dados (geralmente devido a inadequadas condies
de processamento e carncia de pessoal) e atraso na anlise dos dados
e apresentao dos resultados (devido falta de profissionais seniores e
falhas na coleta de dados em campo). Finalmente, mesmo evitando todas
essas deficincias, o sistema de monitoramento e avaliao pode
permanecer sem uso pela equipe do projeto.
So inmeras as causas desses problemas, mas destacam-se a
introduo apressada do monitoramento e sua excessiva ambio,
conforme o caso, sobretudo quando se trata de avaliao de impacto.
O custo das atividades de monitoramento e avaliao pode ser
elevado, podendo alcanar 4,5% (quatro vrgula cinco por cento) do
oramento total do projeto ou programa. Apesar de a experincia ter
demonstrado que sistemas de monitoramento e avaliao podem ser de
grande valia para a gesto, difcil quantificar os ganhos e confront-los
com seus custos. Essa uma das razes que levam governos a serem
44

extremamente relutantes em arcar com os custos de monitoramento e

avaliao, pois no lhes claro o retorno desses gastos. Adicione-se a isso
o fato de que gerentes e departamentos de planejamento vem o
monitoramento e a avaliao com grande desconfiana. A resistncia
ainda maior onde existe prvia percepo de que uma massa de dados
ser coletada e no utilizada, portanto, sua coleta representa desperdcio
de dinheiro.
Uma importante lio a ser aprendida da experincia de monitoramento
e avaliao a de que a prudncia fundamental:
na seleo de projetos, subprojetos ou programas a serem
monitorados e avaliados. No existe um conjunto acabado de
critrios de seleo. Tamanho e complexidade so certamente
importantes. Em programas de mltiplos propsitos pode ser
desejvel monitorar apenas os componentes mais crticos e/ou caros.
desejvel documentar a experincia e registrar informaes sobre
projetos inovadores, pilotos;
no desenho de sistemas de monitoramento e avaliao. O tamanho e
o tipo de projeto, bem como o nvel de eficincia gerencial, devem
influenciar no desenho de um sistema de monitoramento e avaliao.
Um gerenciamento pouco competente no conseguir tirar proveito
de um sofisticado sistema. Os sistemas devem ser o mais simples
possvel, e isso se aplica aos procedimentos de instruo,
documentao, comunicao e processamento de dados. Se um
sistema informativo simples revela-se adequado, no h porque
carreg-lo com procedimentos mais complexos;
ao decidir sobre o balano a ser dado quanto ao foco do
monitoramento e avaliao, entre operao, desempenho e impacto.
Esse balano depende principalmente do tipo de projeto ou
programa, de seus objetivos principais, dos ditames polticos e da
disponibilidade de recursos. Recursos limitados constituem a
principal razo pelos quais sistemas de monitoramento e avaliao
raramente cobrem operao, desempenho e impacto no seu
conjunto (concentrando-se em uma ou, no mximo, duas dessas
reas). usual que os projetos de irrigao tenham o foco na
operao e, talvez, no desempenho; projetos de segurana alimentar
preocupam-se mais com o impacto; projetos-piloto de grande
interesse social (reforma agrria e combate pobreza rural) so
direcionados para as trs reas, mas com grande interesse no
impacto.
45

1.7. Outros Componentes da Avaliao

Alm dos componentes acima citados, a avaliao de impacto de
programas e de projetos de desenvolvimento rural inclui trs outros
componentes: avaliao de custo-benefcio e custo-eficcia, estudo de
focalizao e estudo de impacto sobre o capital social.
A avaliao de custo-benefcio e custo-eficcia possui um conjunto de
metodologias e tcnicas de anlise de projetos capazes de evidenciar o
impacto (em termos de benefcios) vis--vis os seus custos. No custobenefcio, a anlise faz uso de medidas monetrias capazes de produzir
indicadores como valores presentes lquidos (VPL) e taxas internas de
retorno ( TIR). Esses indicadores so teis na anlise de projetos produtivos.
O custo-eficcia utilizado em uma grande gama de projetos cujos
benefcios no tm preos estabelecidos no mercado ou so de difcil
mensurao em termos monetrios, por isso, so utilizados como projetos
sociais e de infra-estrutura em que os clculos do VLP e da TIR podem ser
dispensados. O Captulo 3 dedicado ao custo-benefcio e ao custoeficcia.
O estudo de focalizao importante para avaliar se o
programa/projeto atinge o pblico-alvo. Nesse sentido, permite identificar
tanto o grau de vazamento quanto o nvel de cobertura do programa. O
vazamento ocorre quando o programa atinge um pblico que no
pertence ao pblico-meta (um programa de combate pobreza ter
vazamentos caso beneficie domiclios de maior renda em detrimento de
domiclios pobres). O nvel de cobertura indica o percentual do pblicometa que beneficiado (o programa poder ter destinado benefcios a
50% da populao pobre). No raro encontrar programas de combate
pobreza que tenham baixo vazamento e, mesmo assim, beneficiam uma
parcela muito pequena dos pobres. Esse tipo de informao permite no
apenas avaliar a focalizao do programa, mas tambm qualificar as
concluses relacionadas com o impacto. Devido importncia desse
tema, o Captulo 4 traz uma discusso mais ampla dos conceitos, critrios
e metodologias de avaliao da focalizao de programas.
A nova gerao de programas sociais de combate pobreza tem
incorporado instrumentos e regras que visam aumentar o grau de
organizao social, como promoo de aes que orientem as
expectativas e os comportamentos dos membros das comunidades,
fortalecendo relaes de cooperao e confiana mtua. Espera-se que
essas aes cooperativas aumentem a eficincia dos esforos individuais e
promovam melhor aproveitamento do capital fsico e humano.
46

A hiptese central que norteia a incluso desses objetivos nos

programas a de que as mudanas scio-culturais e polticoadministrativas esto relacionadas ao processo de desenvolvimento de
capital social que se expressa na organizao comunitria e no
empoderamento das populaes pobres. Assume-se tambm que as
formas descentralizadas de acesso infra-estrutura e a outros tipos de
ativos de uso comunitrio so fundamentais nesse processo. Discusso
mais ampla do conceito de capital social e de metodologias para sua
avaliao encontra-se no Captulo 5.
A Figura 1 representa uma sntese do conjunto de estudos propostos
para avaliao do Programa de Combate Pobreza Rural (PCPRII) no
Nordeste brasileiro. No exemplo destacado, esto contemplados todos os
aspetos relacionados com a avaliao de impacto sobre o bem-estar,
focalizao, custo-benefcio e custo-eficcia alm do capital social. Para
esse conjunto de avaliaes, so propostas vrias metodologias e
ferramentas de anlise (modelos economtricos, tcnicas de pareamento e
mtodos de amostragem).
Os captulos que se seguem abordam metodologias e ferramentas que
podem ser associadas aos diversos objetivos da avaliao de programas de
desenvolvimento e combate pobreza rural.
47
Figura 1 Sntese da avaliao de impacto do Programa de Combate Pobreza Rural (Brasil)

48

2. A AVALIAO
DO IMPACTO
A metodologia estatstica disponvel para avaliar os impactos de um

programa/projeto pode basear-se em um conjunto grande de modelos
que inclui desde simples estatsticas descritivas a modelos estatsticos mais
complexos. Esses modelos so utilizados em estudos de maior
profundidade que procuram isolar e medir o impacto do programa,
separando-o de outros efeitos e de modelos economtricos baseados em
dados de painel. Em especial, esses dados correspondem a uma coleta
realizada no incio do programa e a outra algum tempo depois, quando os
resultados j esto se manifestando. Este captulo tem como objetivo
descrever procedimentos e modelos estatsticos utilizados na
determinao do impacto3, seja por meio de tcnicas de estatstica
descritiva, seja por meio de modelos economtricos mais sofisticados.
Tcnicas como anlise de cluster, anlise de componentes principais e
anlise fatorial de correspondncias tm sido utilizadas com propsito
descritivo, visando captar os aspectos que se salientam nos dados.
2.1. Experimentos, Quasi-Experimentos e Vis de Seleo

A avaliao de impacto tem como objetivo, em primeiro lugar,
identificar e quantificar os efeitos do programa. Em segundo, avaliar (e em
que medida) a correspondncia desses efeitos queles esperados e
desejveis. Os programas atuam e impactam pessoas, domiclios,
comunidades; , pois, preciso definir os efeitos esperados e onde sero
medidos. evidente que um programa de assentamento ter efeitos
primrios sobre as famlias beneficirias, mas tambm podero ter
3 Em geral, antes de se proceder a uma avaliao de impacto, recomenda-se uma anlise inicial
e exploratria das informaes e dos dados, cujos objetivos so: conhecer a realidade, a partir de
estudos anteriores; examinar algumas hipteses que podem ser teis para a avaliao dos
impactos do programa que se vai analisar; identificar situaes particulares que possam afetar os
resultados esperados; explorar alternativas para explicar a evoluo recente da realidade local; e
contribuir tanto para qualificar os modelos analticos passveis de uso no processo de avaliao
como para compreender melhor os resultados da prpria avaliao. A anlise exploratria
tratada com mais detalhes no Captulo 6.
49

impactos sobre a comunidade local e at mesmo sobre o municpio.

Portanto, necessrio avaliar se o programa/projeto est produzindo os
efeitos esperados e desejveis nos domiclios, comunidades, municpios
e/ou nas sub-regies. Isto feito a partir da identificao adequada de
quais seriam esses efeitos e dos indicadores a eles correspondentes.
fundamental determinar os efeitos lquidos das aes, ou seja, aqueles
que se devem (e que decorrem das aes) a aes implantadas pelo
programa, separando-os de possveis efeitos de outros programas ou
mesmo de mudanas que ocorreriam de qualquer forma, independente
de qualquer ao particular da poltica pblica. Como exemplo, sabe-se
que em condies normais uma criana deve crescer alguns centmetros
no primeiro ano de vida, logo, no seria legtimo atribuir todo o
crescimento do recm-nascido poltica de sade.
Algumas questes-chave devem ser respondidas:
como o programa afeta os beneficirios?
as melhorias so resultantes diretas do programa ou elas poderiam
ter acontecido de qualquer forma com a sua ausncia?
o desenho do programa poderia ser modificado no sentido de
ampliar o seu impacto?
Para assegurar o rigor metodolgico, a avaliao do impacto sobre o
bem-estar deve estimar o que teria acontecido caso o programa no
tivesse existido (counterfactual). Os exemplos do crescimento da criana
ou dos testes de um novo medicamento ajudam a esclarecer a
necessidade de examinar no apenas o que acontece aps a ao do setor
pblico, mas tambm o que teria acontecido sem essa ao. Da mesma
maneira que no possvel atribuir todo o crescimento de uma criana
poltica de sade, no seria verdadeiro atribuir a cura de todos os doentes
ao novo medicamento em teste. Em ambos os casos, estar-se-ia ignorando
os benefcios da ao do prprio organismo humano sobre o crescimento,
bem como dos mecanismos prprios de reao aos ataques de vrus e
bactrias que, na prtica, impedem doenas e so os responsveis pela
maior parte das curas de muitas enfermidades. Assim, qual seria a evoluo
dos indicadores se o programa no tivesse existido?
O quadro em comento implica separar efeitos do programa dos efeitos
de outros programas que podem estar em execuo nas mesmas
comunidades/regies. A anlise deve considerar que o efeito puro do
programa em um determinado produtor, que no seja beneficiado por
outros programas, pode ser menor do que o efeito em produtores que j
possuam outros programas em execuo, ou seja, a combinao pode
criar efeitos sinrgicos.
50

Para determinar o counterfactual, necessrio eliminar os efeitos

produzidos por outros fatores. Essa tarefa no simples, mas pode ser
realizada por meio de grupos de controle (comunidades e domiclios que
no participam ou no recebem os benefcios do programa), os quais so
comparados com o grupo de beneficirios (indivduos diretamente
beneficiados pelo programa). Um grupo de controle deve ser selecionado
aleatoriamente da mesma populao em que se encontra o grupo de
beneficirios e deve ser o mais semelhante possvel ao grupo de
beneficirios em todos os aspectos, exceto o fato de participarem ou no
do programa. Um dos mtodos utilizados para garantir a semelhana do
grupo de controle com o grupo de beneficirios o chamado
pareamento amostral, que ser tratado adiante.
A determinao do counterfactual a questo central no desenho de
uma avaliao de impacto. No tarefa fcil eliminar os efeitos de
condies histricas diferentes, e possvel vis de seleo, dos impactos
observados. A literatura apresenta vrias metodologias para contornar
esses problemas, dentre as quais se destacam os desenhos experimentais
(aleatrios) e quasi-experimentais (no aleatrios). Alm dessas categorias,
encontram-se ainda mtodos qualitativos e participativos que podem
prover inferncias e interpretaes mais profundas a partir da perspectiva
dos beneficirios e dos processos que determinam os resultados.
2.2. Desenho Experimental

O desenho experimental costuma ser considerado como a mais robusta
das metodologias de avaliao de impacto. Implica comparar um grupo de
indivduos previamente escolhido para receber benefcios com outro
grupo (tambm previamente escolhido) que no receber os benefcios.
Uma amostra de beneficirios deve ser escolhida em processo aleatrio,
permitindo que se criem, por meio do prprio mecanismo de focalizao,
grupos comparveis de beneficirios e no beneficirios (grupos de
controle). Os dados estatsticos dos dois grupos seriam equivalentes e
apresentariam caractersticas socioeconmicas semelhantes. Seria possvel
a ambos receber os benefcios, mas apenas um grupo seria beneficiado.
Nesse caso, o grupo de controle opera como um perfeito counterfactual,
livre de problemas relacionados ao vis de seleo que existem em todas
as avaliaes.
A principal vantagem dessa tcnica a simplicidade com que os
resultados podem ser interpretados. O impacto do programa nos
indicadores (sade, educao, consumo e capital) pode ser avaliado por
51

diferenas entre as mdias das variveis calculadas para a amostra de

beneficirios (tambm designada por "tratamento") e de no beneficirios
(controle).
Embora os desenhos experimentais sejam teoricamente considerados
os melhores mtodos para estimar impactos, na prtica existem muitos
problemas. Em primeiro lugar, o mecanismo de escolha dos beneficirios
pode ser tica e politicamente insustentvel, pois se estaria negando
benefcios a indivduos que seriam elegveis para os propsitos do
programa. Como se poderiam negar recursos a um produtor e beneficiar
outro em idnticas, ou piores, condies de pobreza, organizao social,
etc.? Em segundo lugar, indivduos no grupo de controle podem alterar
algumas de suas caractersticas durante o experimento, invalidando ou
contaminando os resultados (pode acontecer de indivduo que est na
rea prioritria do programa mudar para reas no prioritrias e vice-versa).
Assim, estariam se movendo para fora ou para dentro dos grupos de
controle e de beneficirios. Por fim, de fato, muito difcil assegurar que a
concesso dos benefcios seja aleatria (tal fato praticamente impossvel
em programas descentralizados que envolvem auto-seleo).
2.3. Os Mtodos Quasi-Experimentais

Os mtodos quasi-experimentais podem ser utilizados quando no
possvel construir os grupos de beneficirios e de controle por meio do
desenho experimental. Tais tcnicas baseiam-se na gerao de grupos de
beneficirios e no beneficirios, que podem ser comparados a partir de
certas caractersticas observadas. Tcnicas de pareamento podero ser
utilizadas para construir os grupos de comparao. O grupo de controle
deve ser o mais similar possvel ao grupo de beneficirios, com o propsito
de, assim, obter as melhores estimativas dos efeitos do programa utilizandose de mtodos economtricos. Entre os mtodos economtricos esto os
mtodos das diferenas duplas (double diferences) e de modelos de painel
(fixed e random effects). Variveis instrumentais so utilizadas para tornar as
variveis mais adequadas para os modelos economtricos. Esse
procedimento elimina problemas de estimativa devido a variveis
endgenas nas equaes de impacto, assunto tratado adiante.
Uma avaliao de impacto que utiliza o mtodo quasi-experimental
pode utilizar dados j existentes, como os obtidos em pesquisas nacionais
por amostragem (Pesquisa Nacional por Amostras Domiciliares PNAD),
possibilitando uma avaliao mais rpida e barata. Os dados dessas
pesquisas podem ser utilizados como amostra de controle (ou amostra de
52

comparao), empregando tcnicas adequadas para a seleo de

domiclios com caractersticas semelhantes ao grupo de beneficirios.
As principais desvantagens das tcnicas quasi-experimentais so:
a metodologia estatisticamente menos robusta, o que pode
comprometer os resultados;
os mtodos estatsticos podem ser bem complexos, o que pode
afetar a confiabilidade na sua interpretao;
existe um problema de vis de seleo; e
nem sempre garantem a eliminao do vis atribudo s variveis
observveis, podendo inclusive tornar mais grave esse problema.
2.4. Vis de Seleo

O problema do vis de seleo est relacionado ao mecanismo de
focalizao do programa, que contribui para diferenciar os subgrupos do
pblico-meta, afetando assim a amostra e os resultados. No mecanismo de
auto-seleo, em que produtores e/ou comunidades participam por
iniciativa prpria, aqueles que se encontram mais bem preparados (com
caractersticas diferenciais como nvel de escolaridade, experincia, maior
organizao social, experincia de participao em outros programas e
outros) tm maior probabilidade de tornarem-se beneficirios em
detrimento daqueles que no possuem essas caractersticas.
O problema do vis de auto-seleo na avaliao de impacto causado
pelo fato de que os beneficirios diferem dos no beneficirios em
caractersticas que no podem ser observadas e que afetam tanto a
probabilidade de participar do projeto como os prprios resultados. Em
geral, uma avaliao se procede comparando-se os resultados do grupo
de beneficirios com o grupo de controle (no beneficirios). No entanto,
essa simples comparao resulta em vis.
Considere o impacto medido por um indicador, por exemplo, a renda
do domiclio (R). O verdadeiro impacto de um programa deve ser medido
comparando-se o crescimento da renda (R1) de domiclios beneficirios
com o crescimento da renda (R0) desses mesmos domiclios, caso eles no
tivessem recebido o benefcio. Chamaremos E[R1/D=1], o valor esperado
do crescimento da renda dos domiclios beneficirios (D=1), quando
submetidos ao programa; e E[R0/D=1], o valor esperado do crescimento da
renda desses mesmos domiclios (D=1), caso no recebessem o benefcio
(R0). O verdadeiro impacto (I) do projeto sobre a varivel renda seria:
I = E[R1/D=1] - E[R0/D=1]
53

Infelizmente, no se conhecem os valores do crescimento da renda dos

domiclios beneficirios na condio de no terem sido beneficiados.
Nessa ptica, R0 uma varivel latente e E[R0/D=1] valor no observado.
A soluo natural seria substituir E[R0/D=1] por E[R0/D=0], o valor esperado
do crescimento da renda de domiclios no beneficirios (D=0), um grupo
de controle. Entretanto, essa substituio levaria ao vis de seleo j
mencionado.
A forma ideal de eliminar o vis selecionar de modo fortuito os
participantes do projeto. Dessa forma, os participantes e os noparticipantes do projeto tero o mesmo valor esperado da varivel
resultado (no caso, o crescimento da renda), na hiptese de no receberem
o benefcio, ou seja, E[R0/D=0] = E[R0/D=1]. O impacto (I) poder ser
calculado, sem vis, pela diferena I = E[R1/D=1] - E[R0/D=0], que so dois
valores observveis.
O vis de seleo pode decorrer de dois conjuntos de variveis: aquelas
que estabelecem diferenas observveis (observables) no conjunto de dados
disponveis; e aquelas devidas a diferenas no-observveis ou latentes.
Um vis observvel pode decorrer de um critrio de seleo por meio
do qual um domiclio torna-se eleito. Assim, um programa pode
estabelecer como elegveis apenas os municpios que tenham IDH < 0,4.
Em modelos de auto-seleo, as condies sociais e econmicas iniciais
(grau de organizao, capital fsico e social inicial) tambm estabelecem
um vis de seleo observvel por intermdio de variveis (indicadores ou
proxies) de fcil coleta. Dentre as variveis no-observveis, e que podem
criar um vis, esto aquelas no reveladas pelos dados, como capacidade
individual, conexes familiares e processos subjetivos de seleo (dirigidos
pelas elites na seara poltica). Ambos os tipos de vis podem levar a
concluses imprecisas (incluindo a sub ou superestimao dos impactos); a
impactos negativos quando de fato so positivos (e vice-versa); e a
impactos que seriam insignificantes, embora estatisticamente significantes
(e vice-versa).
possvel controlar esses vieses por meio de tcnicas estatsticas
(pareamento, fixed effects e variveis instrumentais), mas muito difcil
remov-los, sendo esse o maior desafio dos pesquisadores que trabalham
com anlise de impacto.
A atribuio aleatria no remove o vis de seleo, mas equilibra o vis
entre as amostras de beneficirios e no beneficirios. Em desenhos quasiexperimentais, os modelos estatsticos procuram tratar o problema
moldando o processo de seleo com o objetivo de obter estimativas no
enviesadas que utilizam dados no-experimentais. A idia comparar os
54

participantes do programa com os no-participantes, mantendo o

processo de seleo constante.
Entre as tcnicas de desenho quasi-experimental, as tcnicas de
comparao pareada so consideradas boas alternativas aos desenhos
experimentais. A literatura sobre metodologias de avaliao tem dado
muita ateno a essas tcnicas, refletindo no apenas a freqncia com
que tm sido utilizadas, mas tambm os desafios enfrentados para se obter
bons grupos de comparao.
Algumas tcnicas tm sido apontadas com grande interesse (propensity
score matching), contudo, podem ser exigentes quanto qualidade,
quantidade e disponibilidade de dados. Em especial, essas tcnicas
dependem de um processo de dupla amostragem em que, a partir de uma
primeira grande amostragem, ser obtida uma segunda amostra de grupos
pareados. Assim, a partir de dados provenientes de uma amostra
nacional/regional de domiclios, em geral coletados por rgos estatsticos
governamentais, seriam construdas duas subamostras: uma de beneficirios
e outra de controle, pareadas segundo variveis observadas. Dados no
coletados pelos rgos estatsticos governamentais seriam aproveitados
para as chamadas subamostras, em pesquisa de campo apropriada.
O processo citado envolveria custos bem elevados, dependendo da
dimenso do programa. Alternativa vivel seria coletar novos dados
apenas para uma subamostra de domiclios beneficirios, devendo cumprir
as condies de pareamento, segundo a metodologia proposta por
Ravallion (1999).
2.5. Baseline e Follow-Up

A medio do impacto pressupe pelo menos dois momentos no
tempo para que se possa avaliar a evoluo: baseline e follow-up. O primeiro
corresponde entrada dos beneficirios no programa. Nesse instante,
informaes devem ser coletadas sobre as condies em que os
beneficirios ingressam no programa. Esse conjunto de dados permitir
traar o perfil de entrada, fundamental para caracterizar os beneficirios,
compar-los com os no beneficirios e proceder avaliao do grau de
focalizao do programa.
O conjunto de dados do perfil de entrada deve contemplar
informaes que permitam examinar tambm a evoluo. Nesse caso, para
que se possam realizar comparaes, uma ou mais coletas de dados
devem ser executadas em instantes posteriores (follow-up), de preferncia
55

da mesma amostra e sobre as mesmas variveis. Veja-se: a varivel

crescimento da renda do domiclio (R) resulta da diferena entre a renda
observada no perfil de entrada e a renda observada algum tempo depois.
Dados referentes a um conjunto de variveis (renda, nmero de
indivduos, participao no programa, etc.), em diferentes perodos
(baseline e follow-up) e referentes a um conjunto de unidades secionais
(domiclios), so conhecidos como dados de painel. Em desenhos quasiexperimentais, que usam dados coletados antes e depois da
implementao de programas, necessrio dimensionar o intervalo de
tempo entre a primeira pesquisa de campo (baseline) e a seguinte (followup). Deve-se considerar que em muitos programas os beneficirios no so
todos atendidos simultaneamente, digamos no tempo zero.
Em programas que adotam o modelo demand-driven, existe uma
defasagem de tempo entre os primeiros atendimentos e os ltimos. Isso
tem conseqncias relacionadas ao vis de seleo, dado que se pode
esperar que os primeiros que procuraram (e que foram atendidos) pelo
programa possuem caractersticas diferenciais, observveis e noobservveis, em relao aos ltimos a serem beneficiados e em relao ao
grupo de controle. Alm disso, no beneficirios, que compem a amostra
de controle no ano zero, podem tornar-se beneficirios no ano 2, embora
no venham a fazer parte da amostra de beneficirios no ano 2 (atrito
seletivo). Esse procedimento deixaria de fora comunidades e domiclios
que se atrasam na apresentao de projetos, estabelecendo mais uma
complicao para a anlise.
Box 1
Dados em painel
Dados em painel so observaes dos mesmos n indivduos

(pessoas ou domiclios) para dois ou mais perodos de tempo (T).
Suposio: a base de dados contm observaes sobre as variveis
(X) e (Y). Dessa forma, os dados podem ser representados como:
(Xit,Yit), i = 1,...,n e t=1,...,T
Um painel pode ser equilibrado ou desequilibrado. No primeiro
caso, as variveis so observadas para todos os indivduos e em
todos os perodos de tempo. No segundo, faltam valores para
algumas observaes.
Existem muitas dificuldades empricas para o trabalho com
56

dados em painis, particularmente na prtica de avaliao de

programas sociais. Um dos principais problemas a elevada
dificuldade em se construir um painel minimamente equilibrado,
dado que em muitos projetos o fluxo de entrada e sada de
beneficirios considervel durante o perodo de avaliao. A
vantagem de se ter dados em painel para avaliao de impactos de
programas sociais que esses permitem considerar aspectos
dinmicos da populao de beneficirios.
Outro problema o intervalo de tempo necessrio para que se

produzam os efeitos que, no caso de infra-estrutura, podem ser longos. Um
intervalo curto de tempo entre o baseline e o follow-up pode no ser
suficiente para que determinados indicadores, sobretudo os de educao,
revelem as mudanas que esto em processo na populao.
2.6. Modelo Economtrico Geral para a Medio de Impactos

Para um modelo que considere dois perodos (baseline e follow-up), a
sistematizao e a quantificao dos impactos de um programa podem
apresentar a seguinte estrutura geral:
Equao 1
Onde:
y it uma varivel endgena (indicador de bem-estar) em que os
subndices (i) e (t) referem-se ao domiclio (i) de onde provm os dados do
perodo (t). A maioria dos estudos restringe-se a apenas um ou, no
mximo, dois perodos. O indicador pode ser a renda per capita domiciliar
ou um indicador composto de bem-estar definido previamente;
x it o vetor das caractersticas observveis dos indivduos. um vetor
de (k) variveis explicativas pr-determinadas, embora no
necessariamente exgenas, isto ,
. Esse vetor pode
conter uma componente da varivel defasada , no caso de o modelo
ser dinmico e de ser considerado (t) grande o suficiente para que
ocorram os efeitos dinmicos. comum que as variveis desse vetor de
caractersticas sejam a idade e a escolaridade do chefe do domiclio, alm
57

de outras caractersticas dos moradores. Tambm pode incluir

caractersticas (variveis) referentes aos domiclios, como nmero de
eletrodomsticos, condies sanitrias, condies de abastecimento de
gua e de energia eltrica;
c jt o vetor das caractersticas observveis das comunidades. um
vetor de (l) variveis explicativas pr-determinadas que apresenta as
mesmas suposies estatsticas das variveis do vetor
, ou do seu
tamanho, carter urbano ou rural. Uma dessas variveis pode ser um
indicador de capital social das comunidades;
D jt um vetor de (p) variveis binrias para representar os efeitos de
programas (Programa I, Programa II, outros programas). Poder conter
tambm outras caractersticas de um mesmo programa que se deseja
avaliar, como diferentes tipos de projeto do programa ou diferentes
estratgias ou governanas adotadas. As variveis binrias so aquelas
que assumem apenas 2 valores (0 ou 1), cada um representando a
ocorrncia ou no de determinada situao. Uma varivel binria p
assume o valor 1 (um) se a famlia ou comunidade participou do
programa e 0 (zero) se no participou;
z i um vetor que est constitudo por (q) variveis exgenas
observveis, especficas de cada domiclio, mas no variantes no
tempo, como o gnero do chefe do domiclio, o que as distingue das
variveis que compem o vetor
;
uma varivel aleatria que capta efeitos no-observveis e

especficos de cada agente no painel. Caso
seja no variante no
tempo, como no caso do vetor
, no especificado nenhum
parmetro correspondente a essa varivel, dada a impossibilidade de
sua observao e sua identificao em separado;
um vetor que representa uma lista de (r) variveis que evoluem no

tempo, mas que afetam de igual maneira todos os domiclios do painel.
A incluso desse vetor de variveis tem como objetivo considerar
efeitos puramente macroeconmicos, como o crescimento do
produto interno bruto da regio;
so vetores de parmetros populacionais desconhecidos;
o termo aleatrio do modelo.

Na forma matricial, esse modelo pode ser expresso como:
Equao 2
Onde:
y uma matriz de dimenso 2N x 1;
X uma matriz de dimenso 2N x k;
58

um vetor de ordem k;
C uma matriz de dimenso 2N x l;
um vetor de ordem l;
uma matriz de dimenso 2N x r;

D
um vetor de ordem r;
Z uma matriz de dimenso 2N x q;
um vetor de ordem q;
uma matriz de dimenso 2N x r;
um vetor de ordem r;
e u so vetores de ordem 2T.
2.7. Introduzindo Variveis para Controlar a Imperfeio do

Pareamento
O impacto do programa ir depender de diversas caractersticas dos
indivduos, domiclios e comunidades, e pode ser maior para domiclios
cujo chefe tem um nvel de escolaridade maior, dependendo, inclusive, da
idade do mesmo. necessrio controlar o efeito dessas variveis sobre o
indicador de impacto (varivel de bem-estar) que est sendo adotado, para
isolar o efeito do programa. Isso implica excluir as influncias diferenciais
daquelas caractersticas. Assim, h aproximao mais rigorosa de uma
medida do impacto exclusivo do programa sobre os beneficirios.
Box 2
Pareamento de amostras
Pareamento de amostras um conjunto de tcnicas que permite

fazer comparaes mais adequadas entre os resultados da amostra
de beneficirios de um dado programa e a amostra de controle
(no-beneficirios). A comparao simples de indicadores mdios
(como a renda familiar e o nvel de instruo familiar), para as
amostras de beneficirios (tratamento), e a amostra de nobeneficirios (controle) no adequada, pois isso pode introduzir
vis de seleo na avaliao de impactos.
A ocorrncia se d porque as comparaes so feitas com
unidades de amostragem com caractersticas observadas distintas.
Pode ser que as caractersticas mdias dos domiclios da amostra de
beneficirios sejam substancialmente distintas das mesmas
caractersticas referentes amostra de controle.
59

Para eliminar este vis, utilizam-se tcnicas de pareamento de

amostras, por meio das quais so selecionados pares de
amostragem em que um primeiro elemento do par pertence
amostra de beneficirios; e o segundo elemento, pertence amostra
de controle. Os critrios de pareamento devem satisfazer uma
condio de mxima proximidade entre os componentes de cada
par considerando-se um conjunto amplo de caractersticas (variveis
observadas).
Modelos economtricos so utilizados para controlar o efeito de

variveis exgenas que impedem um perfeito pareamento das amostras
de beneficirios e no beneficirios. Essas variveis so introduzidas para
isolar o efeito do programa, controlando o conjunto de caractersticas que
diferenciam as comunidades e os domiclios. Certas variveis so tambm
introduzidas para controlar o problema do vis de seleo.
Box 3
Regresso linear: uma tcnica simples que pode ser

empregada em avaliao de impactos
Regresso um mtodo analtico que permite analisar o efeito

de algumas variveis (denominadas variveis independentes) sobre
uma varivel de resposta (denominada varivel dependente). O
mtodo de regresso mais utilizado a regresso linear (de forma
geral, a regresso linear mltipla). Tem-se a regresso linear simples
quando trabalhamos com apenas uma varivel independente.
Quando mais de uma varivel independente est presente, surge a
regresso linear mltipla.
Em uma hiptese de se querer conhecer o efeito da varivel consumo

sobre a varivel renda de uma determinada economia (por exemplo, uma
economia fechada), coleta-se diversos dados temporais com a informao
de consumo e de renda para cada perodo e elabora-se um grfico
tentando verificar visualmente a relao entre as duas variveis.
O Grfico 1 apresenta essa relao. Uma reta de regresso pode ser
traada entre os pontos, procurando representar, da melhor maneira, essa
60

relao (ver Box 3). Nesse exemplo, a reta de regresso pode ser
representada pela seguinte equao:
Renda = -6,7073 + 2,0440 x Consumo
Para a interpretao dos coeficientes de uma reta de regresso, podese dizer que, no caso da equao citada, um aumento unitrio no consumo
da populao causar, em mdia, uma elevao de 2,044 unidades na
renda da mesma. Assim, os coeficientes de uma reta de regresso medem
o impacto de uma variao unitria da varivel independente sobre a
varivel dependente. Entretanto, para cada um dos valores de consumo,
tm-se valores de renda que no equivalem aos valores calculados pela
equao destacada, como pode ser verificado pelo grfico. A diferena
entre a renda observada e a renda predita pela equao igual ao erro
aleatrio do modelo de regresso simples.
Grfico 1
Relao entre renda e consumo
O modelo de regresso mltipla uma generalizao. quando o

trabalho ocorre com mais de uma varivel independente (ou explicativa).
Nesse caso, no se pode fazer uso de um grfico da relao com uma simples
reta em um plano, mas possvel imaginar uma hiper-reta (ou seja, uma reta
61

em um espao multidimensional). A idia a mesma da regresso simples,

porm, estendida para um hiper-espao de mais de duas dimenses.
No caso da regresso mltipla, os coeficientes que multiplicam as
variveis na equao representam o impacto de uma variao unitria na
varivel independente (lado direito da equao) sobre a varivel
dependente (lado esquerdo da equao), mantidas todas as demais
variveis independentes com valor fixo. A introduo de uma varivel que
identifica a participao ou no no programa possibilita controlar o efeito
dessa varivel sobre a varivel dependente.
Sugere-se uma regresso do indicador de impacto no conjunto de
variveis que diretamente possam afet-lo, alm de uma varivel que
indique a presena do programa. Considerando dados disponveis apenas
para um perodo (follow-up), insufla-se a seguinte representao:
Equao 3
Yiv = a + bX i + cCv + dPv + iv
Onde:
Yiv pode ser qualquer dos indicadores de bem-estar para o domiclio
(i) localizado na comunidade (v);
Xi contempla o conjunto de caractersticas dos domiclios importante
na determinao dos indicadores;
Cv o conjunto de caractersticas das comunidades consideradas
importantes na determinao dos indicadores;
Pv um indicador binrio igual a 1 (um) quando o programa est
presente na comunidade (v) e zero quando no;
iv o erro aleatrio;
a, b, c e d so os parmetros.
O impacto do programa dado por:
E[Yiv / X i , C v , Pv = 1] E[Yiv / X i , C v , Pv = 0 ]= a + bX i + cC v + d (a + bX i + cC v ) = d
A expresso acima representa uma diferena entre esperanas

matemticas (mdias) condicionadas a determinados eventos. A primeira
esperana igual ao valor mdio da varivel indicador de impacto
condicionado ocorrncia do programa (Pv=1). A segunda igual ao valor
mdio da varivel indicador de impacto condicionado no ocorrncia do
programa (Pv=0). Para calcular o valor da esperana (ou valor esperado) de
uma expresso, basta somar a esperana de cada um dos seus termos. A
esperana de iv supostamente nula por ser um termo estocstico da
equao de regresso.
62

A expresso , portanto, bastante simples: mede o que ocorre em um

cenrio no qual o programa implantado, e desconta aquilo que teria
ocorrido sem a implantao do programa. Deve-se lembrar o exemplo da
vitamina: um grupo de crianas participa de um programa de distribuio
de vitaminas na escola; outro no. Tomam-se as medidas de altura de
ambos os grupos antes do incio do programa. Aps 1 ano, durante o qual
as crianas tomaram diariamente as doses indicadas de vitaminas,
constata-se que ambos os grupos cresceram: o primeiro, que tomou
vitamina, registrou, em mdia, um crescimento de 5 cm; o segundo, um
crescimento de 3 cm. Logo, se as amostras so adequadas, no se poderia
atribuir vitamina um crescimento de 5 cm, mas apenas de 2 cm, pois o
resultado do grupo de controle, que no ingeriu nenhuma vitamina,
permite supor que as crianas teriam crescido, em mdia, 3 cm, mesmo
sem tomar vitaminas.
E[Yiv / X i , C v , Pv = 1] E [Y iv / X i , Cv , Pv = 0] = a + bX i + cC v + d (a + bX i + cC v ) = d
Um primeiro problema nesse modelo que, na regresso de Y em X, C

e P, no se permite que o impacto do programa varie com X e C. O impacto
o mesmo para todos e igual ao parmetro (d) da Equao 3, o que no
provvel. O impacto do programa nos indicadores de educao pode ser
maior nos domiclios que possuem maior nmero relativo de crianas do
que nos domiclios que possuem maior nmero relativo de idosos; ou o
impacto nos indicadores de sade pode ser maior nas comunidades
distantes de centros urbanos.
Uma soluo para tal problema seria transformar a Equao 3 em:
Equao 4
Yiv = ( a1 + b1 X i + c1 C v + 1 iv )Pv + ( a0 + b0 X i + c0 C v + 0 iv )(1 Pv )
Assim, a equao de regresso aumentada ser:

Yiv = a0 + (a1 a0 ) Pv + b0 X i + c 0 Cv + (b1 b0 ) X i Pv + (c1 c 0 )Cv Pv + iv
Onde: . iv = 0 iv + Pv ( 1iv 0 iv )
O impacto do programa ser dado por:
E[Yiv / X i , C v , Pv = 1] E [Yiv / X i , Cv , Pv = 0 ]= (a1 a0 ) + (b1 b0 ) X i + (c1 c 0 )Cv
Nesta ltima equao, o primeiro membro refere-se diferena entre

duas mdias condicionais. A primeira o valor esperado da varivel
63

resultado Yiv, dados os valores das variveis de controle Xi e Cv, e calculada

apenas para os beneficirios do programa (Pv=1). A segunda o valor
esperado da varivel resultado Yiv, dados os valores das variveis de
controle Xi e Cv, e calculada apenas para os no-beneficirios do programa
(Pv=0). O segundo termo da equao representa o valor do impacto do
programa e, de acordo com a mesma, ir depender das caractersticas dos
indivduos Xi e das comunidades Cv.
O impacto ir, portanto, depender de um dado valor de Xi e um dado
valor de Cv. Dessa forma, o impacto do programa depender das
caractersticas dos indivduos e das caractersticas das comunidades. Temse, portanto, impactos distintos para distintos domiclios e comunidades.
importante perceber que nesta alternativa sugerida controla-se o impacto
pelas caractersticas dos domiclios e comunidades. Ao mesmo tempo,
permite que a mensurao do impacto dependa das mesmas
caractersticas. Na alternativa da Equao 3, controla-se apenas o efeito das
variveis (caractersticas), sem levar em conta que a mensurao do
impacto depende dos valores individuais para essas variveis.
Outra soluo aumentar a Equao 3 por meio da adio de termos
de interao entre as variveis:
Equao 5
Yiv = a + bX i + cC v + dPv + eX i C v + fX i Pv + gCv Pv + hX i Cv Pp + iv
Nesse caso, o impacto do programa seria:
E[Yiv / X i , C v , Pv = 1] E [Yiv / X i , Cv , Pv = 0 ]= d + fX i + gC v + hX i Cv
Esses termos de interao refletem o fato de que as variveis

independentes de um modelo de regresso nem sempre atuam sobre a
varivel dependente de uma forma meramente aditiva (ou independentes
umas das outras). Aqui, o efeito de uma determinada caracterstica
domiciliar ou individual atua de forma combinada (interada) com uma
caracterstica de comunidade (domiclios com elevada proporo de
crianas resultam maior impacto se estiverem localizados em
comunidades que tenham elevado capital social do que aqueles
localizados em comunidades com baixo capital social).
O efeito de interao (atuao combinada) entre as variveis
representado pela multiplicao das variveis nas equaes de regresso.
Como estabelecido pela expresso (5), o impacto final nessa alternativa ir
depender no apenas das caractersticas individuais e das comunidades
como tambm dos valores combinados desses dois conjuntos de
variveis, como mostra o termo hXiCv.
64

Um segundo problema diz respeito ao vis de seleo. As variveis do

lado direito da equao devem ser determinadas independentemente do
indicador, no podendo estar correlacionadas com o termo de erro da
regresso. Se existe o problema da auto-seleo, a participao no programa
(Pv) no exgena, e isso pode afetar o clculo do impacto. Significa que a
participao no programa no uma varivel determinada fora do modelo,
o que quer dizer que participar ou no participar do programa depende
bastante do que se quer medir. Essa hiptese bem realista em modelos
quasi-experimentais, j que o processo de seleo depende das variveis de
impacto para as quais se investiga a resposta do programa.
Admite-se que o nvel de educao seja uma varivel explicativa do
resultado do programa. tambm muito provvel que o nvel de educao
afete a prpria participao das famlias em programas cujo acesso depende
de informao. Logo, provvel a maior participao no programa de
famlias com maior nvel de educao, o que acabaria condicionando os
resultados. Esse vis de seleo precisaria ser levado em conta para evitar, at
mesmo, erros na concepo dos programas pblicos. No difcil imaginar
que os responsveis pelo programa, confrontados com o xitoevidenciado
por uma avaliao que no corrigiu o problema da auto-seleo, decidam
ampliar a ao para toda a populao pobre. O resultado pode ser bem
diferente, j que, ao ampliar o programa, provvel que um maior nmero
de famlias pobres, com menor nvel de educao, seja tambm beneficiado,
o que afetaria o desempenho final da interveno.
No se trata, evidente, de controlar para evitar a entrada das famlias
com menor nvel de educao. Ao contrrio, trata-se de conhecer as
relaes entre nvel de educao, participao no programa e resultados
para tomar as medidas corretas para compensar os possveis efeitos
negativos de um nvel educacional muito baixo sobre os resultados.
Muitos programas fracassam exatamente por no contemplarem medidas
corretivas e assumirem que a realidade reproduz as mesmas condies
dos modelos tericos.
A hiptese de que a participao no programa no uma varivel
determinada fora do modelo, uma hiptese bastante realista dos
modelos quasi-experimentais, j que o processo de seleo depende das
variveis de impacto para as quais se investiga a resposta do programa.
Na equao de regresso sugerida, deve-se estar seguro de que as
variveis do lado direito da equao so somente determinantes, no
podendo, portanto, serem determinadas nem pelas outras variveis
explicativas nem pela varivel dependente do lado esquerdo; o que exige
que a varivel participao no programa (Pv) independa das caractersticas
65

Xi, Cv e no seja determinada pelo indicador de impacto (Yiv). Para isso, a

condio economtrica a exogeneidade das variveis Xi, Cv e Pv e, para
tanto, no deve haver correlao entre as mesmas variveis e os erros iv
do modelo de regresso.
Se existe um mecanismo de auto-seleo, essa condio no
cumprida, j que participar ou no do programa ir depender de
caractersticas (observveis e no-observveis) dos domiclios e das
comunidades.
A omisso de variveis de controle pode levar emisso de anlises de
vis em um quasi-experimento. Se a experincia anterior dos beneficirios
na atividade agrcola fosse uma varivel omitida, apesar de ter um impacto
positivo, e sendo o experimento aleatrio, no existiria o risco de se
desconsider-la. Caso essa varivel no fosse considerada no modelo de
regresso (Equao 3), como varivel de controle, no se enviesaria a
estimativa do impacto, pois se supe que as distribuies de tal varivel no
grupo de tratamento e no grupo de controle sejam as mesmas.
Em um quasi-experimento tal situao no ocorre, pois a participao e
a experincia anterior esto correlacionadas. Se a ltima varivel no for
includa no modelo, a varivel que representa a participao no programa
ficar endogeneizada, j que, em tese, a varivel que representa a
experincia anterior uma varivel omitida no modelo. Essa ltima varivel
estar, de fato, representada no componente de erro aleatrio e, com isso,
ocorrer correlao entre a varivel que representa a participao no
programa e os erros. Da o termo "vis de omisso de variveis", tambm
usado na literatura sobre o tema.
A introduo de variveis de controle que afetam a magnitude do
impacto do programa reduz o vis de seleo. De se ressaltar que sempre
restaro variveis omitidas (muitas delas no-observveis) que impediro
uma estimativa de vis, baseada em uma nica equao, como no caso da
expresso (3).
Essa situao pode ser considerada pela equao explcita para (P), que,
como se mencionou, um indicador binrio para sinalizar a presena ou
no do programa na comunidade.
Equao 6
Pv = d + eZ v + v
Onde (Z) o vetor de variveis que incluem todas as proxies observadas

que determinam o foco ou a participao no programa. Existiro ainda
algumas influncias aleatrias e erros que sero capturadas no termo de
66

erro ( v). Essa equao chamada de participao e representa o processo

de seleo do programa. Ou seja, ela contm todas as determinantes
observveis para a seleo das comunidades e/ou domiclios, mostrando
qual a importncia relativa de cada um deles.
A equao deve satisfazer tanto as condies tericas previamente
estabelecidas (condies representadas em variveis selecionadas que
signifiquem as dimenses mais importantes que, de determinado ponto
de vista, a priori, podem influenciar a seleo, como, idade do chefe do
domicilio, grau de instruo, renda familiar, perfil migratrio, razo de
dependncia na famlia, etc. ?), quanto os critrios economtricos de ajuste
do mesmo aos dados e ao comportamento dos resduos4. Alm disto,
observa-se que as equaes (3) e (6) conformam um sistema cujos
algoritmos devem ser adequados a uma soluo simultnea. Assim, os
determinantes do processo de seleo, bem como os determinantes do
impacto sobre os domiclios, so obtidos simultaneamente ao se estimar
os parmetros da equao (6).
Como (P) binrio, o modelo probit (ou logit) o mais indicado para
estimar os parmetros da Equao 6. Esses modelos so utilizados quando
a varivel dependente uma varivel binria. Existe um caso especial em
que uma regresso MQO (mnimos quadrados ordinrios) de (Y) em (X), (C)
e (P) resultar em estimadores no viesados de (c). Isso ocorre quando (X) e
(C) incluem todas as variveis em (Z), afetando o indicador, e o termo de
erro ( v) no apresenta correlao com o termo de erro ( ). A literatura de
avaliao de impacto chama isso de selection on observables, condio que
elimina qualquer possibilidade de (P) estar correlacionado com ( ),
tornando (P) exgeno na regresso para o indicador.
Box 4
Modelo logit
Predizer se um evento vai ou no acontecer, como tambm

identificar as variveis teis para fazer uma predio, importante na
maioria das disciplinas acadmicas e no mundo "real". Por que
alguns cidados votam e outros no votam? Por que algumas
4 Uma regresso deve respeitar um conjunto de critrios que se referem ao comportamento dos
resduos do modelo. Em primeiro lugar, esses resduos devem ter distribuio normal. Em segundo,
os resduos devem ter mdia equivalente a zero e varincia constante (homocedasticidade). Em
terceiro, os resduos no devem apresentar correlao significativa com as variveis independentes
do modelo. Por fim, as variveis independentes no podem formar combinaes lineares umas
com as outras (no multicolinearidade). Para maiores detalhes, ver Stock e Watson (2004).
67

pessoas contraem doena da coronria e outras no contraem? Por

que alguns negcios tm sucesso e outros falham? No contexto do
presente trabalho, questiona-se: porque alguns domiclios fazem
parte do grupo de beneficirios e outros no?
Na regresso logstica, estima-se a probabilidade de ocorrncia de
um evento. O modelo de regresso logstica pode ser escrito como:
(Equao a)
Aqui, (Z) uma combinao linear.
(Equao b)
O p o nmero de variveis independentes.

Em regresso linear, calculam-se os parmetros do modelo,
usando o mtodo de mnimos quadrados ordinrios. Ou seja, so
selecionados os coeficientes de regresso que resultam nas
menores somas de distncias quadradas entre os valores
observados e preditos da varivel dependente.
Em regresso logstica, so calculados os parmetros do modelo
usando o mtodo de mxima verossimilhana. So selecionados os
coeficientes que fazem com que os resultados observados (amostra
de dados reais) vislumbram-se mais provveis (verossmeis).
Considerando que o modelo de regresso logstica no-linear, um
algoritmo iterativo necessrio para a estimao de parmetros.
Qual a interpretao da estimativa de um parmetro de um
modelo de regresso logstica? A interpretao no to simples
como no caso do modelo de regresso linear mltipla. No modelo
de regresso logstica, o valor de uma estimativa, de um parmetro
B1, B2, ...,Bp, refere-se ao impacto de uma variao unitria em cada
varivel independente (mantidas fixas as demais) sobre o logaritmo
natural da razo entre a probabilidade de ocorrncia do evento e a
probabilidade de no-ocorrncia do evento.
A expresso logartmica conhecida como logit, e a razo citada
o odd ratio, ou razo entre probabilidades. Portanto, matematicamente,
68

e B1 , e B2 ,..., e
B1 p
correspondem a variaes no odd ratio atribudas a

variaes unitrias em cada varivel independente (mantidas fixas as
demais). Por exemplo, se B1 igual a 1,212, e B = 3,36 , significa que as
chances de ocorrncia contra as chances de no-ocorrncia do evento
elevam-se 3,36 para uma variao unitria de B1. Ao contrrio, se B2 =
-0,1863, e B = 0,83, significa que uma variao unitria em B2 impacta a
varivel dependente de forma que a probabilidade de ocorrncia do
evento sobre a probabilidade de no-ocorrncia reduza 17 %.
1
No caso de anlise de impactos de programas sociais, pode-se

avaliar a probabilidade de seleo de indivduos ou domiclios no
grupo de beneficirios. Para tanto, diversas variveis so
consideradas provveis para essa seleo. Assim, utiliza-se o modelo
de regresso logstica (ou modelo logit) para estimar o efeito de
algumas variveis sobre a probabilidade de os indivduos fazerem
parte do grupo de beneficirios do programa.
O modelo logit pode ser aplicado tambm no pareamento de
amostras para avaliao de impactos, caso em que empregado
para obter pares de domiclios (um domiclio na amostra de
beneficirios e outro na amostra de controle) com probabilidades
prximas de seleo no grupo de beneficirios.
Em resumo, na construo dos modelos economtricos para avaliar o

impacto de programas, deve-se considerar tanto o efeito das
caractersticas dos beneficirios como evitar vis de seleo, erro comum
em mensuraes de impactos de programas que pode ser evitado com a
explicitao de uma segunda equao, endogeneizando a varivel binria
que representa a participao no programa. Dessa forma, o sistema de
duas equaes dever ser estimado a partir de um conjunto de dados que
contemple informaes sobre as caractersticas tanto dos beneficirios
como de no beneficirios (controle). Vis de seleo e ocorrncia de
variveis exgenas nas equaes de impacto so duas faces da mesma
moeda e as estratgias economtricas anteriormente expostas fazem
parte de um conjunto mais amplo de solues para esse problema.
2.8. Variveis Instrumentais

Na seo anterior, mostrou-se que as estimativas MQO (mnimos
quadrados ordinrios) sero viesadas, mesmo em grandes amostras, se as
69

variveis do lado direito da equao no forem exgenas. Isso significa que

essas variveis so determinadas independentemente dos indicadores e,
portanto, no esto correlacionadas com o termo aleatrio da Equao 3.
Outra forma de compreender o problema de vis das estimativas de
impacto, devido ocorrncia de endogeneidade das variveis, est no teor
da Equao 3. Nessa equao, o valor estimado do impacto para o i-simo
domiclio que participa do programa igual a a+bXi+cCv+d e seria igual a
a+bXi+cCv, se ele no participasse do programa. O ganho devido ao
programa seria, portanto, a diferena, ou seja, (d). Esse clculo considera
que o termo aleatrio ( ) da Equao 3 o mesmo para os dois casos, ou
seja, independente da participao no programa.
Um mtodo economtrico clssico, denominado variveis instrumentais,
pode ser utilizado para solucionar o problema de endogeneidade. No caso
particular de (P) ser endgeno, devido ao vis de seleo, as variveis
instrumentais devem ser tais que estejam correlacionadas com (P), como na
Equao 3, mas no estejam correlacionadas com o termo de erro aleatrio
do indicador em questo ( ).
Considerando o sistema anteriormente proposto, formado pelas duas
equaes (3) e (6), as estimativas de impacto somente no sero viesadas
se os erros aleatrios ( iv) da primeira equao no forem correlacionados
com os erros aleatrios da segunda equao ( v). isso que cria correlao
entre a participao no programa e o termo aleatrio da primeira equao,
tornando a varivel participao endgena. O mtodo das variveis
instrumentais consiste em obter variveis exgenas (Z) e estimar a
participao pela Equao 6 em um primeiro estgio Essa estimao
realizada por meio de um modelo no linear, tipo probit ou logit. A partir
da, utiliza-se as estimativas de (P), substituindo-se os valores efetivos de (P),
para, em um segundo estgio, estimar a Equao 3. Como os valores
preditos de (P) dependem somente de (Z), que supostamente so variveis
exgenas e no correlacionadas com iv. Elimina-se, pois, o vis por meio
da substituio dos valores observados de (P) pelos valores estimados.
2.9. Algumas Palavras sobre Mtodos Utilizados para Eliminar Vis

de Seleo e Parear Variveis
Existem inmeros mtodos economtricos desenvolvidos com a
finalidade de eliminar o vis de seleo em avaliao de impactos de
programas. Os principais so o modelo de Heckman e os mtodos de
pareamento de amostras (ambos so tratados com mais detalhes nos
anexos 1 e 2). No primeiro deles, duas equaes de regresso so utilizadas.
70

A primeira equao (equao de resultados) traz uma varivel

(freqentemente a varivel que representa um indicador de bem-estar
para o qual se deseja aferir o impacto do programa) regredida contra um
conjunto de variveis de controle. A segunda equao economtrica
(denominada equao de participao) um modelo logit ou probit (ver
Box 4) que representa a equao explicativa da participao dos
beneficirios no programa. Por meio de uma soluo (estimao
economtrica) mtodo simultneo ou em duas etapas desse sistema de
duas equaes so obtidas estimativas no enviesadas dos impactos do
programa. A aplicao deste mtodo requer considervel experincia
economtrica, na medida em que para a conveniente interpretao
necessrio um conhecimento adequado dos pressupostos tericos.
Um segundo conjunto de mtodos que objetivam a eliminao do vis
de seleo so os mtodos de pareamento de amostras com a finalidade
de se obter estimativas da dupla diferena. Esta ltima definida como:
Onde (I) o valor da estimativa do impacto;

o valor mdio
do indicador de bem-estar para os beneficirios, aps a interveno pelo
programa;
o valor mdio do indicador de bem-estar para os
beneficirios, antes da interveno pelo programa;
o valor mdio
do indicador de bem-estar para a amostra de controle, e aps a
interveno do programa; e
o valor mdio do indicador de bemestar para a amostra de controle e antes da interveno do programa.
Dentre os mtodos de pareamento mais conhecidos, existe o chamado
propensity score matching (ver Box 2 para a definio de pareamento). O
objetivo deste mtodo encontrar um grupo de comparao mais
prximo da amostra de no-beneficirios em relao amostra de
beneficirios. A proximidade deve ser considerada em termos de um
conjunto de caractersticas (variveis) observveis.
Para tanto, utiliza-se o modelo logit (ver Box 4) para calcular
probabilidades de participao no programa em funo de um conjunto
de variveis explicativas. Em seguida, calculam-se os valores estimados
(preditos) de acordo com o modelo logit para as probabilidades de
participao. Para cada elemento da amostra de beneficirio, obtm-se um
par mais prximo que aquele que apresenta valor de probabilidade
predita mais prximo. Eis a operao de pareamento e, obtida a amostra
pareada, aplica-se o j explicitado mtodo da dupla diferena.
71

Box 5
Endogeneidade versus vis de seleo amostral: qual

modelo adotar?
Vis de seleo de amostragem e endogeneidade so dois

conceitos distintos. O vis de seleo de amostragem est relacionado
a uma situao em que a varivel dependente observada apenas
para uma amostra restrita e no aleatria. A endogeneidade ocorre
quando uma das variveis independentes est correlacionada a
variveis no observadas (e que, supostamente, afetam a varivel
dependente), representadas no termo de erro do modelo.
No ltimo caso, a varivel dependente considerada para todas
as observaes (amostra de beneficirios e amostra de comparao).
Desconfiar de que participantes do programa tendem a ter valores
mais elevados para a varivel resultado, ceteris paribus, do que para as
outras variveis de controle, significa que a falha em controlar esta
correlao resultar em uma estimativa superestimada dos efeitos do
programa sobre a varivel resultado.
Por isso, deve haver escolha de modelo apropriado para cada
situao distinta.
A vantagem deste mtodo no necessitar de grande experincia

economtrica, mas, basicamente, de conhecimento das principais
caractersticas dos domiclios (ou indivduos) que influenciam a participao no
programa. A desvantagem que no corrige o vis de seleo devido o efeito
das variveis no-observveis (variveis latentes) que afetam a participao no
programa. Esse ltimo problema sanado de maneira conveniente por
intermdio de procedimentos economtricos mais aperfeioados e que
utilizam equaes de regresso, tal como o modelo de Heckman.
Finalmente, existe um terceiro conjunto de mtodos que, devido
elevada complexidade economtrica, encontra-se discutido nos anexos 3 e 4.
Trata-se da chamada anlise de dados em painel.
H o conjunto de dados na forma de painel quando se observa, para
diversos momentos no tempo (no caso das aplicaes constantes deste
trabalho, apenas dois perodos, o baseline e o follow-up), um conjunto de
informaes para uma amostra de indivduos fixos. Quando se dispe
desses dados, possvel calcular a diferena entre os indicadores nos dois
perodos. As diferenas so calculadas tanto para o grupo de beneficirios
quanto para o grupo de controle, o que ajuda a resolver o problema das
variveis no-observveis.
72

2.10. Variveis do Estudo de Impacto

O impacto do programa no bem-estar pode ser captado a partir de
muitas variveis parciais, como renda, em geral usadas como proxy5 para
indicar o bem-estar. Busca-se, assim, avaliar o bem-estar, focando em quatro
aspectos principais: sade, educao, consumo e capital (fsico, econmico
poupana e social). Os modelos economtricos podem ser construdos
com objetivo de identificar o impacto do programa em um conjunto de
indicadores que possam representar essas quatro dimenses. Os indicadores
podem ser formados por uma varivel ou um subconjunto delas.
A varivel representativa de um indicador especfico entra no modelo
economtrico como uma varivel dependente, condicionada por um
conjunto de variveis independentes. Essas ltimas formam subconjuntos
de variveis de controle e variveis que medem o impacto. As variveis de
controle so aquelas que permitem solucionar os problemas derivados de
desenhos quasi-experimentais, inclusive o vis determinado pela autoseleo. Assim, determinam-se grupos de variveis: indicadores de impacto
no bem-estar, controle das diferenas observveis, controle do vis de
seleo e determinao do impacto do programa. Alm desses, podem ser
necessrias variveis que identifiquem os tipos de projetos (que, em geral,
envolvem gua, energia, produo e o social) e a presena de outros
programas (alm do que est sendo avaliado).
Para identificar o impacto do programa na evoluo dos indicadores,
utilizam-se dados relativos a dois perodos, no mnimo (ano zero e ano 2). Para
esses dois perodos, devem estar disponveis os dados referentes s cross
sections.
2.10.1. Indicadores de impacto no bem-estar
Os indicadores de impacto so compostos por variveis observveis ou
proxies. Podem ser construdos modelos que avaliem o impacto sobre cada
indicador separadamente (o de educao pode considerar anos de
escolaridade, scores do teste de qualidade do ensino, percentual de
analfabetos, etc.). Alternativamente, pode-se agrup-los em subconjuntos de
forma a criar novos indicadores ou ndices (indicadores agregados). Assim,
seriam construdos um ou mais indicadores agregados para cada um dos
5 Para dar dois exemplos: o consumo de energia eltrica em um determinado ano serve de proxy
para a varivel que mede o nvel de atividade econmica; o nmero de pintos de um dia
adquirido pode dar uma aproximao do nvel de atividade do setor de frangos de corte.
73

quatro subconjuntos de indicadores (sade, educao, consumo e capital).

Pode-se tambm obter um indicador nico,agregando esses quatro aspectos.
Em caso de agregao de variveis para a construo de indicadores,
importante determinar o peso que ser imputado a cada uma delas. Isso
pode ser feito por meio de julgamento subjetivo sobre a importncia de
cada aspecto para a determinao do bem-estar. Para tanto, as opinies de
experts, representantes da comunidade e/ou membros das unidades
tcnicas podem ser utilizadas. Uma consulta a esses atores resulta em uma
srie de pesos que so utilizados na ponderao. O resultado final ser
fortemente determinado por esses pesos, o que exige uma escolha
criteriosa dos indivduos que os determinaro. Uma alternativa
determinao subjetiva de pesos o uso da tcnica Data Envelopment
Analysis (DEA), na qual os pesos so determinados endogenamente6.
2.10.2. Indicadores de sade

A evoluo nas condies de sade pode ser investigada por meio de
variveis que indiquem a manifestao de doenas e deficincias
nutricionais. Um mtodo utilizado para mensurar diretamente a
desnutrio, ou a insuficincia alimentar da populao, se realiza por meio
dados antropomtricos. O mtodo consiste em avaliar a adequao do
peso em relao altura da populao, captando-se assim o efeito
continuado da falta de alimentao adequada no organismo. Indicadores
biolgicos, como altura e peso em relao idade e sexo, so bastante
utilizados no campo da sade e nutrio, embora no to comum em
pesquisas na rea social e econmica.
A medio de adultos, sobretudo nas mulheres em idade reprodutiva, e
a medio de crianas tm sido utilizadas em pesquisas tanto na rea de
sade quanto por organizaes no governamentais que se dedicam ao
combate fome (Pastoral da Igreja Catlica). A medio de adultos com 24
anos ou mais de idade pode ser realizada por meio do ndice de Massa
Corporal (IMC), que o peso divido pelo quadrado da altura. Esse ndice
est mais relacionado nutrio, pois permite captar a falta de ingesto
calrica. A OMS (Organizao Mundial da Sade) estabelece parmetros
para classificar a populao segundo as necessidades energticas.
Monteiro (1995), com base na Pesquisa Nacional de Sade e Nutrio
(1989), calculou que 7,5% da populao rural brasileira com 25 anos e mais
6 Para maiores detalhes da tcnica e outros aspectos importantes, ver Coelli, T.:A guide to DEAP
version 2.1: A Data Analysis (Computer) Program.
74

possua IMC menor que 18,5 kmg/m2, o que caracteriza deficincia

energtica. Esse percentual estava acima do que a OMC considerava como
normal, entre 3 e 5% da populao7.
O crescimento infantil um indicador que capta a evoluo do quadro
nutricional das crianas (menores de 5 anos). A anlise da relao entre
altura, idade e sexo permite identificar retardo no crescimento. A evoluo
pode ser avaliada quando se dispe de dados captados periodicamente.
Monteiro et al. (1997) utilizou esse mtodo para calcular a proporo de
crianas com desnutrio crnica no Brasil. Para o Nordeste rural brasileiro,
o autor identificou uma evoluo positiva, pois houve reduo daquela
proporo de 30,9% para 25,2%, entre 1989 e 1996, segundo os padres da
OMC; isso para crianas com idade abaixo de 5 anos.
A maioria dos estudos de avaliao de impactos socioeconmicos no
oferece as condies ideais para a coleta de dados sobre condies de
sade e de alimentao das famlias. Tambm as amostras, vlidas para
representar a populao de beneficirios dos programas, so, em geral,
inadequadas para gerar indicadores consistentes utilizados na rea de
sade pblica, como por exemplo, a evoluo da mortalidade infantil, ou
da relao peso/idade como indicador de problemas nutricionais.
Como conseqncia, cresce a utilizao de metodologias alternativas,
que no substituem os indicadores padres de sade pblica, mas geram
uma idia aproximada do status sanitrio da populao. Em alguns casos,
pode ser vlido utilizar a percepo da populao sobre sua prpria sade,
mesmo sabendo que a percepo pode esconder ou potencializar
problemas. Anlise criteriosa da percepo, com auxlio de informaes
colhidas em outras fontes, , sem dvida, vlida e permite orientar as aes
das polticas pblicas.
Alm desses indicadores, um conjunto de outros podem ser
construdos a partir das seguintes informaes, considerando o nmero de
membros da famlia:
os que tm dificuldade para a realizar as atividades devido a problemas
de sade;
os que apresentaram determinadas doenas durante os ltimos 12
meses;
7 Monteiro, Carlos Augusto; Bencio, Maria Helena D.; Freitas, Isabel Cristina M. de. Melhoria em
indicadores de sade associados pobreza no Brasil dos anos 90: descrio, causas e impacto sobre
desigualdades regionais. So Paulo: Nupens/USP, out. 1997. (Srie: A Trajetria do Desenvolvimento
Social no Brasil, n. 1/97). Monteiro, Carlos Augusto. A dimenso da pobreza, da fome e da desnutrio
no Brasil. Estudos Avanados, So Paulo, v. 9, n. 24, 1995. In: Takagi, Maya; Graziano da Silva, Jos e
Del Grossi, Mauro. Pobreza e fome: em busca de uma metodologia para quantificao do problema
no Brasil. Texto para Discusso. IE/Unicamp, n. 101, jul. 2001.
75

os que receberam atendimento mdico nos ltimos 12 meses para

vrias finalidades;
os que deixaram de realizar atividades de trabalho por problemas de
sade nas ltimas duas semanas;
os que procuraram atendimento de sade nas 2 ltimas semanas e
no foram atendidos devido a determinados motivos.
2.10.3. Indicadores de educao

Indicadores de educao so mais fceis de obter a partir de
questionrios em que se pode identificar: analfabetismo, tempo de
escolaridade e evaso escolar. Entretanto, podem ser tambm coletadas
informaes de carter qualitativo, relativas ao acesso educao (distncia,
tempo de percurso e meios de transporte entre escola e domiclio),
disponibilidade de escolas de ensino mdio e qualidade da educao.
Alguns exemplos de indicadores referentes educao levam em
conta o percentual de crianas entre 10 e 14 anos, analfabetas, com mais
de um ano de atraso escolar ou com menos de 4 anos de estudo, ou
mesmo na escola. So considerados tambm o percentual de crianas
entre 5 e 6 anos na escola, e o percentual de crianas entre 7 e 14 anos,
analfabetas, com acesso ao curso fundamental, com mais de um ano de
atraso escolar, e que estejam na escola ou freqentando o curso
fundamental, assim como o percentual de crianas entre 4 e 5 anos
freqentando a escola.
As variveis devem ser padronizadas, e, a partir do resultado da
padronizao8, sero calculadas mdias simples para compor um indicador
sinttico para o nvel mdio de educao de uma comunidade.
Como aponta Ueda (2001), o uso economtrico de indicadores de
educao como determinante do rendimento de indivduos e de famlias
exige cuidado e ateno. Uma das razes a crena de que quanto mais
educada a pessoa, maior seu rendimento. Todavia, o nvel educacional
esteve correlacionado, em algum momento do passado, ao rendimento da
famlia. Filhos de pais educados tendem a ser educados e, com isso,
recebem um rendimento mais elevado do que as pessoas de menor nvel
8 Esta padronizao pode seguir a proposta no clculo do ndice de Desenvolvimento Humano

(IDH), realizado em trabalho da Fundao Joo Pinheiro em convnio com o Ipea e Pnud. O valor
da varivel padronizada segue a expresso:
, onde Xpad o valor da varivel padronizada,
X o valor da varivel, antes da padronizao, Xmin o valor mnimo observado pela varivel e Xmax
o valor mximo observado para a varivel.
76

educacional. Por isso, quando se procura avaliar o efeito da educao no

rendimento individual ou familiar, ganha importncia o uso de tcnicas
especiais, como o estimador de varivel instrumental e o de variveis de
controle, como o nvel educacional dos progenitores.
Quando se trata de avaliao de impactos de polticas de reforma
agrria, importante localizar os indicadores de educao na estrutura de
governana dos programas, ou seja, na forma com que os mecanismos
que visam incentivar a participao dos beneficirios so determinados,
antecipadamente, pelos desenhos de poltica. Assim, um mecanismo que
incentive a seleo dos mais aptos pode utilizar a educao como
sinalizao de desempenho futuro. Pode ser que um agricultor analfabeto
tenha um timo desempenho em sua pequena roa, mas sua contribuio
em um espao de ao coletiva pode ser afetada por suas limitaes no
que tange capacidade de interpretar decises ou mesmo de seguir e
incorporar regras de comportamento compatveis com o conjunto do
assentamento.
Logo, o efeito da educao tambm o efeito da seleo de
beneficirios: um assentamento pode ter um timo desempenho porque os
assentados tm um nvel educacional mais alto, no porque o programa
tenha permitido o acesso a condies favorveis para seu desenvolvimento.
O espao temporal de anlise tambm importante: uma avaliao de
assentamentos maduros pode ser afetada pelo fato de que em alguns
deles o acesso educao foi de bom nvel e em outros no. Geraes
educadas nos assentamentos podem afetar o resultado.
A varivel educao , portanto, uma das mais relevantes para
compreender os resultados dos programas, sobretudo em um pas, como
aponta Ueda (2001), em que as condies scio-econmicas da famlia so
determinantes e a eficincia da poltica educacional restringida pela
origem scio-econmica das pessoas.
No caso das polticas de assentamento, selecionar beneficirios de
melhor nvel educacional tambm significa excluir famlias com menor
capacidade de melhoria de condies de vida sem o auxlio de polticas
redistributivas.
Percebe-se a presena de certo trade off entre a simplicidade do
indicador e a facilidade para ger-los. A utilizao de indicadores
simplificados deve ser feita com cuidado para no gerar interpretaes
distorcidas da realidade. Por outro lado, a utilizao de um conjunto de
indicadores no assegura, por si s, anlise mais precisa, em particular
porque tendem a gerar resultados distintos, e certa impreciso na
avaliao, associados s situaes diferentes expressas nos indicadores.
77

Assim, em assentamentos mais maduros, os resultados so diferentes

do observado em assentamentos mais novos. Assentamentos com maior
proporo de membros educados tendem a responder aos estmulos de
forma diferenciada quando comparados aos assentamentos com menor
nvel educacional. Isolar tecnicamente esses efeitos nem sempre simples
ou possvel, e fica aos cuidados do analista apresentar interpretaes,
hipteses, chamar a ateno para eventuais limitaes e assim por diante.
2.10.4. Indicadores de consumo e segurana alimentar

Captar padres de consumo da populao, inclusive o padro de
consumo alimentar, tarefa que exige coleta minuciosa de dados,
raramente factvel em pesquisas que envolvem apenas um ou dois
perodos de coleta. Em geral, as coletas para determinar o consumo so
realizadas com maior periodicidade junto s famlias. No caso do meio
rural, existe ainda a necessidade de se estimar quantidades produzidas nas
propriedades e consumidas como alimentao. O Instituto de Terras do
Estado de So Paulo (Itesp) levantou informaes a partir de uma amostra
de 70 famlias de assentados da reforma agrria durante uma semana por
ms, repetindo a ao por 12 meses consecutivos.
Indicadores de consumo podem ser construdos com dados relativos
ao consumo de alimentos (in natura, semi-elaborados e elaborados/
industrializados), bens durveis (bens domsticos tais como
eletrodomsticos e mobilirio) e no-durveis (como produtos de higiene
e limpeza). Essas informaes permitem construir grupos de domiclios
que podem ser classificados segundo categorias de itens de consumo, em
vez de quantidades absolutas. Parte-se do pressuposto de que domiclios
com padro de consumo mais amplo, diversificado e sofisticado esto em
melhor posio do que domiclios que consomem apenas alimentos
bsicos (in natura ou semi-elaborados).
Trata-se de tentar construir uma varivel categrica (proxy para o
padro de consumo alimentar), considerando as dificuldades de se obter
bons dados sobre esse ltimo. Supe-se que uma famlia que passe a
consumir determinados produtos alimentares e no alimentares
industrializados j superou algumas de suas necessidades mais
elementares. Aquelas que adquirirem bens do patrimnio domstico
(eletrodomstico e mobilirio) estariam alguns passos frente. Esse um
caso tpico de varivel que pode ser utilizada em modelagem com
variveis dependentes qualitativas.
78

A segurana alimentar uma dimenso essencial do bem-estar dos

domiclios e indivduos. A privao de alimentos e a fome so indesejveis
sob vrios aspectos, mas, mormente gera problemas nutricionais, de sade
e do prprio desenvolvimento fsico e mental dos indivduos. A
insegurana alimentar pode estar diretamente relacionada com o grau de
pobreza e pode servir de instrumento para indicar tanto a focalizao
quanto o impacto em programas de combate pobreza. Alm disso,
permite questionar a adequao dos projetos vis--vis sua capacidade de
solucionar o problema.
O nvel de insegurana alimentar ou fome de um domiclio pode ser
determinado por meio de informaes a respeito de um conjunto de
condies, experincias e comportamentos, os quais so indicadores do
grau de severidade da condio vivida. Nesse caso, preciso obter
informaes junto aos domiclios com objetivo de capturar suas
condies, eventos, comportamentos e reaes subjetivas como:
ansiedade quanto ao oramento do domiclio no ser suficiente para
suprir as necessidades bsicas;
experincia de o estoque de alimentos acabar e no ter recursos para
obter mais;
percepo de que os alimentos consumidos pelos membros da
famlia foram inadequados em termos de qualidade e quantidade;
ajustamentos no padro normal de alimentao, consumindo
alimentos mais baratos e em menor quantidade do que o usual;
reduo (em certos perodos) no consumo de alimentos por adultos
do domiclio ou conseqncias dessa reduo, tais como sensao
fsica de fome ou perda de peso; e
reduo (em certos perodos) no consumo de alimentos por crianas
do domiclio ou conseqncias dessa reduo nas crianas.
Box 6
Definio de segurana alimentar
Segurana alimentar Acesso por todos os indivduos,

a qualquer tempo, alimentao suficiente para uma vida
ativa e saudvel. A segurana alimentar inclui, no mnimo:
pronta disponibilidade de alimentos adequadamente
nutritivos e seguros; alm de capacidade assegurada de obter
alimentos aceitveis por meios socialmente aceitveis (sem
recorrer a mecanismos de atendimento emergencial, coleta
em lixos, roubo ou outras estratgias semelhantes).
79

Insegurana alimentar sem fome Disponibilidade

limitada ou incerta de alimentos adequados (nutritivos e
seguros), ou capacidade limitada ou incerta de obter
alimentos aceitveis por meio de meios aceitveis.
Insegurana alimentar com fome Insegurana
alimentar, conforme descrito acima, mas com a agravante
situao de fome. Essa ltima definida como sensao
desconfortvel ou de dor causada pela falta recorrente e
involuntria de acesso a alimentos.
Fonte: Bickel, G.; Nord, M.; Price, C.; Hamilton, W.; Cook, J. Measuring food security in the United States:
guide to measuring household food security. United States Department of Agriculture, Food and
Nutrition Service, Office of Analysis, Nutrition and Evaluation. Revised, 2000.
O Office of Analysis, Nutrition and Evaluation Service (USDA) tem

aplicado questionrios em domiclios norte-americanos com objetivo de
capturar a extenso e a severidade da segurana alimentar e da fome. A
verso completa do questionrio possui 16 questes, mas sugere-se uma
verso reduzida (com 6 questes), em que os resultados possuem alto
grau de aderncia com o questionrio completo. Cada questo procura
certificar-se de que o comportamento ou condio do entrevistado
ocorreu devido s limitaes financeiras ou de recursos do domiclio,
incluindo questes do tipo porque no tinha como conseguir comida e
porque no tinha dinheiro para comprar mais comida. Cada questo
indaga sobre circunstncias que ocorreram em determinado perodo
(ano) de referncia. No Brasil, a PNAD tambm incorporou questes dessa
natureza ao seu questionrio.
As seis questes capturam trs tipos de situaes ou eventos: (1) a
percepo de que o oramento alimentar do domicilio ou sua
disponibilidade de alimentos inadequada; (2) percepes de que a
alimentao inadequada em termos de qualidade; e (3) momentos em
que houve reduo na ingesto de alimentos. A resposta de cada questo,
sozinha, no fornece qualquer medida de maior significado em termos de
insuficincia alimentar, insegurana alimentar, ou fome, e tambm no
deve ser utilizada para esse fim. Deve-se ressaltar que se est medindo a
suficincia de alimentos do domiclio tal como vivenciado pelos membros
do domiclio e no a adequao nutricional das dietas, como um
nutricionista poderia medir.
A partir das respostas, foi criado um indicador de segurana alimentar
que permite classificar os domiclios. A resposta de cada questo foi
80

codificada. O somatrio das respostas afirmativas constituiu-se em uma

varivel que permitiu classificar o domiclio segundo o nvel de segurana
alimentar em que se encontrava (ver definies no Quadro 1): segurana
alimentar (zero ou 1, resposta afirmativa), insegurana alimentar sem fome
(2 a 4, resposta afirmativa), insegurana alimentar com fome (5 ou 6,
resposta afirmativa).
Souza Filho et al. (2005) adaptaram a metodologia acima para avaliar a
focalizao e o impacto do Programa de Combate Pobreza Rural em trs
estados do Nordeste brasileiro. O indicador de segurana alimentar
apresentado revelou-se til para identificar grupos, domiclios e regies
em condies severas de insegurana. Nesse sentido, prestou-se como um
identificador de focalizao em programas sociais. Permitiu tambm
avaliar a evoluo dos domiclios antes a aps a implantao de um
programa. Nesse sentido, prestou-se ainda como indicador de impacto.
Nas estimativas apresentadas, a medio de impacto foi prejudicada
pelo fato de que no havia decorrido tempo suficiente para a maturidade
dos projetos, bem como no foi utilizada uma amostra de controle
(testemunha). Entretanto, uma vez atendidas essas condies, o indicador
de segurana alimentar poderia ser utilizado como indicador de impacto.
Finalmente, foi possvel identificar alguns claros determinantes da
condio de insegurana alimentar. Dentre eles encontra-se a prpria
renda. Rendas permanentes (no sujeitas a oscilaes considerveis e
oriundas de trabalho fixo), aposentadorias e mesmo auxlios obtidos por
meio da rede de proteo social (no vinculada ao programa sob anlise)
revelaram-se importantes quanto a este quesito. Destacaram-se ainda os
efeitos da seca, para o caso nordestino, bem como da criao de capital
social e o tamanho do domiclio.
2.10.5. Indicadores de capital fsico

O capital fsico pode ser medido pelo patrimnio e pela disponibilidade
de bens durveis (domsticos e produtivos) dos domiclios: disponibilidade
de eletrodomstico e mobilirio; caractersticas da moradia (nmero de
cmodos, materiais utilizados, disponibilidade de banheiro, fossa, gua
canalizada, iluminao eltrica, etc.); disponibilidade de bens produtivos
(veculos, mquinas, implementos e instalaes); imveis (terrenos urbanos,
casas, propriedade agrcola).
81

2.10.6. Indicadores de capital financeiro

(poupana)
Os indicadores de capital financeiro visam medir a disponibilidade de
economia financeira dos domiclios (poupana). Para tanto, so coletadas
informaes sobre saldos em contas bancrias (corrente e poupana),
aplicaes financeiras formais (bancria) e informais (emprstimos
concedidos a parentes, vizinhos, etc.). importante conhecer a poupana
financeira lquida, devendo-se para isso descontar as dvidas existentes.
Quando se considera o perfil de entrada (baseline), a experincia tem
demonstrado que esse indicador igual ou menor que zero para a maioria
da populao pobre do meio rural. Um pequeno aumento no seu valor
indicar um forte impacto. possvel que, para a maioria dos programas, o
impacto nesse indicador seja zero, uma vez que a soluo de problemas
mais urgentes, como a segurana alimentar, seja um objetivo prioritrio.
2.10.7. Variveis de controle das diferenas observveis

As variveis de controle so aquelas que definem as caractersticas dos
domiclios, das comunidades e dos projetos e que servem para controlar a
mensurao do impacto do programa sobre o bem-estar. Deve-se ressaltar
que essas variveis so independentes e no correlacionadas entre elas
nem com a varivel resultado dos modelos. Deve-se atentar que algumas
dessas variveis podem tambm fazer parte dos indicadores de impacto,
devendo-se, portanto, configurar o modelo economtrico (para cada
indicador de impacto existem variveis explicativas especficas e no
esprias). O conjunto total dessas variveis basicamente composto por
caractersticas dos domiclios e das comunidades (Box 7).
Box 7
Caractersticas dos domiclios e das comunidades
Domiclios
tamanho da famlia;
composio demogrfica da famlia (nmero de crianas, adultos,
idosos, sexo, idade, cor/raa, etc.);
cor/raa de pessoa de referncia (chefe do domiclio);
82

ocupaes (tipos de ocupao, rural/no rural, formal/informal,

com/sem carteira assinada, no ocupados, empregadores,
empregados, ramos de atividade);
membros economicamente ativos;
histria de vida (origem, migrao prvia, ocupao prvia);
articulao social (associativismo e grau de participao);
indicadores de capital fsico (produtivo e domstico);
poupana prvia;
nvel de instruo;
tipo de famlia (casal sem filhos, casal com todos os filhos com
menos de 14 anos, me com todos os filhos com menos de 14
anos, casal ou me com todos os filhos com 14 anos ou mais, casal
ou me com filhos com menos de 14 anos e de 4 anos ou mais,
outros tipos de famlias, enfim, criar uma tipologia de famlia).
Comunidades
indicadores de capital social;
distncia de centros urbanos maiores;
condies de transporte (estradas, transporte coletivo, tempo de
locomoo ao centro urbano mais prximo);
localizao segundo caractersticas scio-econmicas das regies.
2.10.8. Variveis de controle do vis de seleo

So variveis incorporadas nos modelos economtricos com objetivo
de resolver o problema do vis de seleo que ocorre, em geral, em
desenhos quasi-experimentais.
O conjunto dessas variveis deve descrever certas caractersticas dos
domiclios e das comunidades que determinam o processo de autoseleo (comunidades ou produtores que possuem maior capacidade de
organizao, experincia com projetos e programas, melhor acesso a
informaes, maior nvel educacional, etc. teriam chances de ser
beneficiadas com maior brevidade).
As variveis aqui referidas so as mesmas que so includas em anlises
de focalizao. Isso aponta para o teste de vrias hipteses sobre o
processo de seleo. Dentre essas variveis, podem se incluir: presena de
83

organizaes no-governamentais, presena de movimentos populares e

outros. Informaes coletadas dos domiclios tambm podem indicar o
grau de organizao e participao social.
2.10.9. Variveis de determinao do impacto

O impacto do programa pode ser determinado de vrias formas. O
programa poder ter vrios tipos de projetos que beneficiam diferentes
comunidades, de acordo com suas prioridades em infra-estrutura (gua,
energia, vias de transporte), atividades produtivas e sociais. O impacto total
pode ser considerado sem diferenciar os tipos de projetos ou por tipo de
projeto. Efeito total pode ser obtido por meio de uma varivel dummy (0,1),
indicando a presena ou no de um projeto do programa na comunidade
ou para o domiclio. O impacto segundo o tipo de projeto pode ser
capturado por meio da diferenciao: abastecimento de gua, conexo de
eletricidade, projetos produtivos e sociais, etc.
Quanto s variveis dummies, essas podem ser atribudas indicando a
presena ou no desses tipos de projetos. Deve-se estabelecer e testar
possveis interaes. Assim, pode-se testar a hiptese de que ocorrem
sinergias entre vrios tipos de projeto (gua, energia e social), resultando
maior impacto do que em projetos isolados.
2.10.10. Variveis indicadoras da presena de outros

programas
Existem duas razes bsicas para se incluir variveis identificadoras da
presena de projetos de outros programas na comunidade ou no
domiclio. Em uma, necessrio identificar o efeito das condies iniciais.
Comunidades ou domiclios que j foram beneficiados por outros projetos
podem ter indicadores de bem-estar melhores do que os que no foram,
e essa base inicial, j estabelecida, determinar um impacto diferenciado
em relao aos demais (assim, projeto produtivo em reas com energia e
gua tem maior probabilidade de sucesso do que em reas sem essa infraestrutura).
possvel que comunidades que j tenham sido beneficiadas por
outros projetos tenham consolidado maior capacidade de organizao e
disso resulte melhor gesto dos projetos e maior impacto. Mas deve-se
atentar que essas comunidades, ao partir de uma base scio-econmica
84

melhor, podem apresentar menores impactos. Se o nvel de educao j se

encontrava mais elevado, no dever crescer tanto quanto em
comunidades que partem de uma base inferior.
A segunda razo para se incluir variveis identificadoras da presena de
projetos de outros programas a necessidade de comparar a estrutura de
governana do programa que est sendo avaliado com outras estruturas
de carter diferente. Nesse caso, devem ser criadas variveis que
identifiquem a diferena. Na maioria dos programas que promovem
projetos de abastecimento de gua e/ou eletricidade, so as agncias
pblicas ou empresas privadas que tomam as decises relevantes,
caracterizando-se uma governana de carter centralizado. Um programa
alternativo, de carter descentralizado, poderia delegar s associaes
comunitrias vrias decises a respeito da implantao desses tipos de
projetos. Uma varivel que identifique essa diferena permitiria testar a
importncia da governana do programa na determinao do impacto no
bem-estar.
85

86

3. AVALIAO DE
CUSTO-BENEFCIO E
CUSTO-EFICCIA
Alguns aspectos metodolgicos relativos anlise de custo-benefcio e

custo-eficcia de projetos apoiados por programas de combate pobreza
sero ora detalhados.
A anlise de um projeto no pode estar dissociada dos seus objetivos
principais e do contexto no qual ele foi pensado e ser implantado. A relao
entre o projeto e a estratgia de desenvolvimento da comunidade no qual
ele ser implementado deve ser clara. O sucesso do projeto, em termos de
sustentabilidade e aumento do bem-estar dos seus beneficirios, , em
grande medida, o resultado da insero adequada do projeto na estratgia
geral de desenvolvimento da comunidade.
Significa que a anlise, de carter mais tcnico, tanto de custo-benefcio,
quanto de custo-eficcia, deve ser precedida de uma avaliao qualitativa
sobre a consistncia das aes/projetos vis--vis os objetivos globais que
se pretende atingir.
Boa orientao responder perguntas bsicas: quais os objetivos
especficos da ao/projeto? Como esto relacionados os objetivos globais
de reduo da pobreza e de promoo de desenvolvimento rural? A
execuo do projeto consistente com a estratgia adotada pelo
programa? Qual a dimenso dos recursos envolvidos na ao/projeto em
relao ao total de recursos mobilizados pelo programa? Qual a importncia
da ao/projeto para o xito do programa? As respostas ajudam a qualificar
os resultados produzidos pela aplicao das metodologias de custobenefcio e custo-eficcia a aes/projetos de combate pobreza rural.
A anlise do quadro poltico-institucional da comunidade escolhida
fornece informaes que complementam as anlises em termos de custobenefcio e custo-eficcia. Alm disso, existem condies e caractersticas
preexistentes nas comunidades em que os projetos so desenvolvidos que
aumentam em muito as chances de sucesso do empreendimento:
87

condies infra-estruturais, aparato institucional adequado, organizao

social voltada para os reais objetivos do projeto, etc. Parece bvio que
algumas dessas condies so de difcil quantificao. A dificuldade no retira
sua importncia e, onde for possvel, tais condies e caractersticas devem
ser apreendidas pelos estudos em termos de custos-eficcia e benefcio.
Qualquer avaliao de projetos envolve um estudo dos custos e dos
benefcios derivados direta e indiretamente do investimento9. Intuitivamente
fcil compreender o que so e a importncia desse tipo de avaliao: para
executar aes/projetos de combate pobreza rural incorre-se em custos de
naturezas diversificadas (equipamentos, treinamento de mo-de-obra,
benfeitorias etc.) que devem redundar em benefcios, diretos e indiretos, para
as comunidades/famlias/indivduos beneficirios. Esses benefcios tambm
podem ser de muitos tipos, desde um aumento de renda at a melhoria das
condies de sade. Assim, eles podem ser diretos, como o aumento da
renda associada ao aumento da rea cultivada, proporcionada pela aquisio
de um trator para atender comunidade; ou indiretos, como os benefcios
mltiplos decorrentes da oferta de gua em regies semi-ridas.
As anlises de custo-benefcio e de custo-eficcia procuram ponderar,
de maneira objetiva e quantitativa, os custos dos projetos com seus
benefcios ou eficcia. Ela pode fornecer ao formulador de polticas um
instrumento bastante til para tomar decises de alocao de recursos
entre dois tipos de projetos, at mesmo para avaliar o desempenho de um
projeto particular, cujo custo-benefcio efetivo pode ficar abaixo do custobenefcio esperado em razo dos problemas de m implementao.
Avaliaes quantitativas monetrias so desejveis sempre que possvel.
Para casos com essa possibilidade, recorre-se a metodologias de custobenefcio fundamentadas na anlise dos valores presentes lquidos (VPL)10 e
nas taxas internas de retorno (TIR). o caso de projetos produtivos
financiados por programas de combate pobreza rural. Quando os
benefcios no se traduzem em fluxos monetrios, utiliza-se a ansile de
custo-eficcia.
Deve-se notar que alguns projetos produtivos podem ter resultados
no quantificveis em termos monetrios, como os projetos de infraestrutura (eletrificao, saneamento, etc.). Nesse caso, o uso de indicadores
fsicos em relao aos custos incorridos pode proporcionar uma anlise
satisfatria. Essas questes remetem importncia da identificao,
9 Baker, J. Evaluation del impacto de los proyectos de desarrollo en la pobreza: manual para
profesionales. Banco Mundial, Washington D.C., EUA, 2000.
10 Adiante ser fornecida uma definio e o mtodo de clculo do VPL e da TIR, entre outras
medidas de avaliao financeira.
88

qualificao e quantificao dos custos e benefcios que devem ser

considerados na oportunidade da avaliao dos projetos.
Outra questo interessante da avaliao de um projeto a comparao
entre os resultados obtidos e aqueles que seriam alcanados se nenhuma
ao modificadora ocorresse. Dessa forma, um projeto sempre pode ser
comparado com a alternativa de no se fazer nada (do nothing). Examinar
as diferenas entre custos e benefcios, antes e depois da implementao
dos projetos, est na base de qualquer mtodo de avaliao de projetos.
Trata-se de avaliar os benefcios incrementais derivados do projeto. A
comparao antes/depois pode evitar que se atribua ao projeto benefcios
que seriam alcanados pela evoluo normal da situao na qual o projeto
pretende influir.
Figura 2
Uma comparao de benefcios com/sem projetos
A Figura 2 ilustra as mudanas que podem ocorrer nos benefcios

lquidos de um projeto em uma situao onde os mesmos benefcios j
estariam aumentando. O que interessa avaliar o aumento incremental
proporcionado pelo projeto.
Um projeto pode, pelo aumento da quantidade ofertada, diminuir
substantivamente o preo de produtos e/ou servios para a comunidade.
Mudanas de preo ocorrem em projetos que envolvem melhorias na
distribuio e produo de gua, energia e comunicaes. A princpio, a
diferena de preos pagos pelos consumidores deve ser considerada
como um benefcio do projeto.
89

Ressalta-se que o benefcio auferido pelo consumidor pode no ter

correspondncia equivalente para o fornecedor11. Nesse caso, um projeto
pode ter um alto VPL se esse benefcio includo, porm no ser
sustentvel, pois a gerenciadora do projeto (companhia distribuidora de
energia eltrica) no recebe benefcios equivalentes. Para solucionar
situaes como essas, podem ser feitos clculos de VPL que contemplem
todas as situaes possveis.
vital para a sustentabilidade do projeto que a instituio/empresa
responsvel pelo fornecimento do servio (gua tratada, por exemplo)
tambm tenha um VPL positivo no seu empreendimento. Deve-se
procurar uma soluo de compromisso onde o beneficirio e aquele que
prov o servio encontrem condies financeiras vantajosas na utilizao
e no fornecimento do servio prestado.
Vale mencionar a questo da depreciao na avaliao desses
empreendimentos. Muitas vezes, a depreciao no considerada como
um item de custo a ser analisado quando da avaliao do projeto. A
excluso da depreciao como item de custo pode levar a nosustentabilidade do projeto no mdio e no longo prazo. A depreciao
pode ser vista como a perda de valor do bem ao longo do tempo. A idia
subjacente a esta definio que, para que o projeto seja vivel no mdio
e longo prazo, deve ser construdo ao longo do tempo um fundo financeiro
capaz de compensar esta perda de valor. Um projeto de mecanizao
agrcola ou de transformao agroindustrial deve prever a constituio de
uma reserva que permita a manuteno do empreendimento, mas que,
sobretudo, permita a substituio e a modernizao dos equipamentos
quando esses precisarem ser modernizados ou sucateados.
As parcelas que formaro esse fundo podem e devem ser lanadas
como custo dos projetos. A no-contabilizao da depreciao eleva
artificialmente os ndices de avaliao financeira dos projetos. A criao do
fundo de depreciao importante, at mesmo, para projetos em que o
retorno no pode ser diretamente mensurado em termos financeiros. Um
projeto de eletrificao rural, baseado na captao de energia solar, est
fadado paralisao se no prever recursos para a reposio das baterias
que o permitem o adequado funcionamento dos equipamentos.
A anlise de projetos, quando efetuada nos seus primeiros anos de
existncia, tambm pode chegar a resultados que precisam ser examinados
com cuidado. Normalmente, o fluxo de caixa negativo nos seus primeiros
anos de existncia (Figura 3). Esta situao particularmente verdadeira no
caso de investimentos na agropecuria.
11 Belli, P. et alli. Handbook on economic analysis of investment operations. World Bank, janeiro de 1998.
90

Investimentos em cultivos agrcolas de ciclo perene ou empreendimentos

florestais (laranja, madeira, dend etc.) ou em produo pecuria de ciclo mais
longo (produo de bovinos) tendem a produzir fluxo de caixa negativo nos
primeiros anos.
Nos primeiros anos das culturas permanentes ou perenes, quando a
lavoura no est produzindo plenamente, mas os seus gastos com a
manuteno so fixos e no apresentam receitas relacionadas produo, o
balano do fluxo de caixa ser forosamente negativo. Obviamente, seria um
equvoco no levar em conta este ciclo de produo ao fazer a avaliao dos
resultados do projeto. Convm lembrar que a no-considerao dessa
caracterstica da produo de alguns produtos agropecurios tem sido um
erro comum nas polticas pblicas para o setor.
Ao desenhar os projetos, muitos governos imputam todos os
resultados financeiros para horizontes de planejamento e efetivam
anlises que lhes convm do ponto de vista poltico-estratgico. Este fato
resulta no estabelecimento de prazos irrealistas para a implementao e
avaliao dos projetos. Sem a considerao desses fatores, o horizonte de
planejamento e a anlise dos projetos podem ser artificialmente
reduzidos, o que resultar em anlises negativas de custo-eficcia e de
custo-benefcio. Sem a devida ponderao, aes relevantes para o
combate pobreza rural podem ser condenadas e abandonadas como se
no produzissem os resultados esperados.
necessrio que as anlises sejam efetuadas para um horizonte de
planejamento adequado. A durao do planejamento varia segundo as
caractersticas do projeto.
Figura 3
Fluxo de caixa de um projeto convencional
91

Alguns projetos podem gerar externalidades que afetaro, de maneira

negativa ou positiva, o meio-ambiente. So as chamadas externalidades
ambientais (environmental externalities). Avaliar os benefcios e custos do
projeto para a comunidade implica tentar mensurar e avaliar as
externalidades. Um projeto de irrigao pode diminuir o estoque de gua
disponvel para uma dada populao, diminuindo, como conseqncia, o
nmero de peixes ou a gua para o consumo. Projetos de agricultura em
regies de seca podem levar agricultores a desmatar vrzeas que
comportam matas ciliares importantes preservao dos cursos dgua.
Embora o conceito seja facilmente assimilado e compreendido, resta a
dificuldade de mensurar esses efeitos. A mensurao dos custos e
benefcios s pode ser feita considerando as caractersticas do projeto.
3.1. Anlise de Custo-Benefcio

Critrios aceitos para avaliar a viabilidade financeira de um projeto
derivam do clculo do seu Valor Presente Lquido (VPL) e da sua Taxa
Interna de Retorno (TIR)12.
Valores presentes lquidos positivos e taxas internas de retorno
superiores a determinada taxa mnima de atratividade (TMA) atestam a
viabilidade financeira de um projeto. Esses valores podem ser facilmente
calculados para alguns tipos de projetos produtivos e servem para avaliar
a atratividade econmica e a sustentabilidade dos projetos. Para que os
clculos possam ser feitos, todos os custos e benefcios dos projetos
devem ser quantificveis monetariamente. Quando isso no possvel,
pode-se recorrer a variveis substitutas ou proxies, que variam conforme o
projeto analisado.
interessante comparar o custo-benefcio do projeto sob anlise com
o custo-benefcio de projetos semelhantes, mas que estejam sob diferente
institucionalidade ou desfrutem de apoio de programas diferentes. Um
projeto de extenso de rede de eletrificao rural pode ser implantado sob
duas diferentes institucionalidades: (a) por meio de um programa de
combate pobreza de carter descentralizado, que vise formar capital
social com recursos financeiros administrados por uma associao
12 O VPL pode ser definido como sendo o somatrio, no instante atual, de todas as variaes de
caixa esperadas do projeto, descontadas a uma determinada taxa de juros. A TIR pode ser definida
como sendo a taxa de juros que torna uma srie de recebimentos e desembolsos equivalentes na
data presente. Matematicamente, pode-se dizer que a TIR a taxa de juros que torna o valor
presente lquido igual a zero.
92

comunitria que seja encarregada de adquirir equipamentos, prover mode-obra e contratar empresas; ou (b) por alguma organizao
governamental que assuma o custo de uma companhia distribuidora de
energia para administrar e realizar a obra, sem o envolvimento direto dos
beneficirios.
O objetivo principal da anlise identificar o desempenho econmico e
social de projetos que podem possuir forte participao da comunidade no
planejamento e gerenciamento do empreendimento; e de projetos em que
essa varivel menos presente. Mesmo em projetos que a varivel em
questo seja importante, mas que tenha sido apoiado por outros programas,
interessante comparar sistemas de gesto diferentes como forma de
identificar possveis fatores de sucesso ou fracasso dos empreendimentosalvo da pesquisa13.
A avaliao de custo-benefcio pode assumir duas linhas diferentes,
porm complementares, de investigao. A primeira delas est relacionada
sustentabilidade econmica e financeira dos projetos. A segunda, diz
respeito aos ganhos sociais, diretos e indiretos, auferidos pelos
beneficirios. Em relao primeira, pode-se analisar:
clculo do Valor Presente Lquido (VPL);

clculo da Taxa Interna de Retorno (TIR);
custo global do projeto;
custo-benefcio (C/B) do projeto ( benefcios/ custos);
pay-back, deflacionado, do investimento;
grau de formalidade no controle e na gesto de projetos produtivos;
margem lquida de retorno (lucro x 100/faturamento);
produtividade do capital (faturamento/valor do investimento);
produtividade do trabalho (faturamento/nmero de trabalhadores);
ociosidade (produo/capacidade instalada);
produtividade fsica da mo-de-obra (produo/nmero de
trabalhadores);
ndice de rendimento tcnico (produo em relao matria-prima).
Em face da simplicidade tecnolgica dos empreendimentos apoiados

pela maioria dos programas de combate pobreza, esses ndices, de fcil
aplicao, so capazes de avaliar a sustentabilidade das aes. Cumpre
destacar que os indicadores so mais ou menos adequados segundo as
caractersticas do projeto que ser analisado. Alm disso, vale dizer que os
13 Como ser visto mais frente, sistemas de apoio deciso baseados em mltiplos critrios
(sistemas multicritrios) prestam-se particularmente bem a este fim. Entre os mtodos disponveis
destaca-se o AHP (Analitic Hierarchy Process).
93

mesmos indicadores podem servir como critrios de deciso e controle na

eventual utilizao de mtodos com vrios critrios de avaliao de projetos.
Outra questo interessante a ser analisada a diferena de desempenho
(performance) entre os vrios tipos de projetos. Tomando os indicadores
acima, o resultado das comparaes pode, respeitando as condies locais,
apontar empreendimentos mais efetivos em termos de custo-benefcio
que orientariam futuras aes de desenvolvimento local. Os resultados
podem se tornar uma ferramenta importante de auxlio tomada de
deciso para os gestores do programa. Tambm servem para calibrar as
expectativas em relao aos resultados dos projetos, evitando o
sobredimensionamento ou mesmo o pessimismo.
3.1.1. Definio e clculo do mtodo do Valor Presente

Lquido (VPL)
O mtodo do Valor Presente Lquido (VPL) um dos indicadores mais
utilizados de avaliao econmica de projetos de investimento. O VPL pode
ser definido como a soma do fluxo de caixa descontado a certa taxa de juros
(taxa de mnima atratividade para o investimento), tendo como referncia o
incio do primeiro perodo do horizonte de planejamento do projeto.
N
VPL =
t =0
(Re ceitasBrutast
CustosOper acionaist )
(1 + i )
(Investimento t )
(1 + i )t
t =0
N
Dentro do horizonte de planejamento analisado, o projeto ser

economicamente aceitvel se o VPL apresentar valor positivo (VPL > 0).
Teoricamente, esse um dos melhores indicadores de valor atual de um
projeto.
Um ponto crtico do mtodo a escolha da taxa de juros que ser
adotada para a anlise. Mais do que uma escolha tcnica, a seleo da taxa
de juros pode representar uma opo estratgica para a anlise. Um projeto
ser mais ou menos atrativo segundo a taxa escolhida para a anlise.
3.1.2. Exemplo de aplicao do mtodo do VPL

Considere um determinado empreendimento agroindustrial que tenha
como receita prevista (entrada de dinheiro pela venda de produtos ou
servios) um valor anual de R$11.000,00. Para obter essa receita, foram
realizados investimentos da ordem de R$40.000,00. Os investimentos
94

foram necessrios no s para a compra de mquinas, como tambm para

a efetivao de treinamento de mo-de-obra, construo de instalaes
fsicas, etc. Alm disso, para que o empreendimento funcione
adequadamente, so necessrios custos operacionais anuais da ordem de
R$5.000,00 (mo-de-obra, energia, matria-prima, etc.). Ao final do horizonte
de planejamento do projeto, que ser de 15 anos, estima-se que todos os
equipamentos e benfeitorias podero ser vendidos por R$5.000,00. Para
uma taxa de juros (taxa de mnima atratividade para o investimento) de
10% a.a., ser que o projeto em comento economicamente vivel?
A representao do fluxo de caixa do projeto assumiria a forma da
Figura 4.
Figura 4
Fluxo de caixa de um projeto

5.000
11.000
10
11
12
13
14
5.000
40.000
Fonte: OCDE. Manual financial and economic analysis of development projects. Office for Official
Publications of the European Communities. Luxemburgo, 1997, 375 p.
Para este fluxo de caixa, o VPL seria de:

VPL = $40. 000 + ($11. 000 $5. 000) (1 + 0,1) + $6. 000 (1 + 0,1) + ... + $6. 000 (1 + 0,1)
1
VPL = $ 6.833,44
95
14
+ $ 11.000 (1 + 0,1)
15

Como o VPL positivo, o projeto, nas condies temporais e com a taxa

de juros assumida, interessante do ponto de vista econmico.
muito importante que parte das receitas do projeto seja acumulada
para constituir um fundo que permitir repor os equipamentos ao final do
seu horizonte de planejamento.
3.1.3. Definio e clculo da Taxa Interna de Retorno (TIR)

A Taxa Interna de Retorno (r) aquela taxa de juros que iguala o Valor
Presente Lquido a zero.
N
VPL =
t =0
(Re ceitasBrut ast
CustosOper acionaist
(1 + r )
(Investimen to t )
=0
(1 + r )t
t =0
N
O critrio de aceitabilidade do projeto simples. Se r for maior do que i

(taxa considerada de mnima atratividade para o investimento ser
considerado interessante), o projeto interessante do ponto de vista
econmico.
Para o exemplo apresentado anteriormente, quando da aplicao do
mtodo do VPL, a TIR do projeto de 13% a.a. Considerando uma taxa de
mnima atratividade de 10% a.a., o projeto interessante do ponto de vista
econmico. Esse resultado corrobora o resultado encontrado na anlise
realizada pelo mtodo do VPL.
3.1.4. Clculo do perodo de pay-back do projeto

O perodo de pay-back de um projeto aquele para o qual a soma dos
lucros lquidos acumulados do projeto torna-se maior do que os seus
custos.
Considerando o exemplo de projeto apresentado anteriormente:
96

Tabela 1
Ano
Despesas, receitas e resultados lquidos de um projeto

Receitas Brutas
Custos Operacionais
Investimento e
Acumulado
Resultado Lquido
40.000
-40.000
0
1
11.000
5.000
-34.000
11.000
5.000
-28.000
11.000
5.000
-22.000
11.000
5.000
-16.000
11.000
5.000
-10.000
11.000
5.000
-4.000
11.000
5.000
2.000
11.000
5.000
8.000
11.000
5.000
14.000
10
11.000
5.000
20.000
11
11.000
5.000
26.000
12
11.000
5.000
32.000
13
11.000
5.000
38.000
14
11.000
5.000
44.000
15
16.000
5.000
55.000
A Tabela 1 acima demonstra que o capital investido recuperado entre

o sexto e o stimo ano. Quanto menor for o perodo de pay-back do
projeto, menos risco ele possuir.
O mtodo possui as vantagens de ser simples para calcular e facilmente
compreensvel. Deve-se ter cincia de que na verso apresentada, o
modelo no leva em considerao as taxas de juros. A considerao da
taxa de juros implica aplicao do mtodo do pay-back descontado.
97

3.1.5. Clculo do custo-benefcio descontado (C/Bd)

O ndice definido pelo valor presente do lucro lquido e o valor
presente dos investimentos iniciais so largamente usados para avaliar
projetos de investimento. A frmula que pode ser utilizada para calcular
este ndice est apresentada abaixo.
N
(C
Bd ) =
(Re ceitasBrutas t
t =0
t =0
CustosOper acionais t )
(1 + i )t
(Investimento t )
(1 + i )t
O projeto ser considerado aceitvel se o C/Bd for maior que 1.

No caso do projeto j utilizado nos exemplos anteriores, o valor de C/Bd
de 1,17. Esse ndice significa que o projeto, tambm por esse indicador,
aceitvel economicamente.
Ainda tendo em vista a sustentabilidade do projeto, interessante
averiguar a integrao com fornecedores locais de matria-prima,
sobretudo para pequenas unidades agroindustriais, pois essa informao
permitiria avaliar, inclusive, o grau de influncia do projeto em outras
atividades econmicas da regio, notadamente na agricultura. Pode-se
ainda investigar se a instalao do projeto resultou em aumento de rea
cultivada na regio (caso dos projetos de irrigao).
A segunda linha de investigao busca avaliar o impacto dos projetos
na gerao de emprego e de renda, seja para os beneficirios diretos seja
para a comunidade em geral. Podem ser utilizados como indicadores:
potencial de gerao de emprego (nmero de empregos gerados/valor
do investimento);
nmero de pessoas contratadas;
nmero de famlias e pessoas beneficiadas diretamente pelo projeto;
participao da renda advinda do projeto em relao ao total da renda
familiar;
participao da mo-de-obra feminina e masculina no projeto;
qualidade do emprego gerado (participao de mo-de-obra infantil,
nvel de renda auferida em relao renda auferida em outras
atividades na regio, condies de trabalho, grau de formalidade no
trabalho, etc.).
98

A anlise conjunta de todas essas informaes permite construir um

ndice de sustentabilidade e um ndice de qualidade da ocupao
gerada nos projetos implantados. A metodologia da construo desses
ndices deve levar em considerao certa ponderao entre todos os
fatores considerados. Alm disso, a construo e a interpretao desses
ndices so tributrias das especificidades dos projetos. Cumpre salientar
que esses indicadores podem ser utilizados como parmetros de avaliao
em mtodos multicriteriosos.
3.2. Custo-Eficcia
Ao contrrio das anlises de custo-benefcio, apropriadas para projetos
com benefcios que podem ser mensurveis em termos monetrios, as
anlises de custo-eficcia prestam-se a uma grande gama de projetos
cujos benefcios no tm preos estabelecidos no mercado ou ento so
quantificveis monetariamente de modo bastante difcil. Se os benefcios
de um projeto no podem ser medidos em termos monetrios, os critrios
de VPL e da TIR no podem ser usados, logo, anlises econmicas de custoeficcia podem ser teis.
Na literatura sobre anlise de projetos, existem dois mtodos de avaliao
que no apresentam benefcios quantificveis em termos monetrios: o
mtodo do custo-eficcia e o do custo-eficcia ponderado. A principal
diferena entre os dois mtodos reside na maneira em que os benefcios so
medidos. Se os benefcios so medidos em uma nica unidade no
monetria, trata-se da aplicao do mtodo do custo-eficcia. Caso a
medio dos benefcios seja feita por intermdio de um conjunto de
variveis no monetrias, devem ser utilizadas as anlises de custo-eficcia
ponderado, tipo de mtodo que permite reduzir o resultado da anlise a um
nico indicador, aumentando a capacidade de comparao do resultado.
A anlise de ndices baseados no custo-eficcia de projetos deve ser feita
com cuidado. Na maioria dos casos, somente a anlise do custo-eficcia no
suficiente para identificar todos os resultados de um projeto. Na verdade, a
escolha entre os projetos deve considerar os custos e benefcios marginais.
Conforme j mencionado, alguns projetos devem ser avaliados pela
observao de resultados mltiplos. Um passo relevante avaliar a
importncia de cada um dos tipos de benefcios obtidos em relao ao
objetivo final esperado. Esse julgamento de ordem subjetiva, podendo
99

ser obtido por intermdio da opinio de experts, representantes da

comunidade, agncias governamentais, etc.
Consulta formulada a esses projetos permite criar um conjunto de pesos
que serviro para ponderar as participaes dos resultados parciais no
resultado global. O resultado obtido o chamado custo-eficcia ponderado.
O resultado da avaliao final , em grande medida, conseqncia dos pesos
atribudos aos indicadores que comporo o resultado final do projeto. A
escolha desses pesos e das pessoas que iro atribu-los deve ser realizada
com muito critrio, pois a influncia nos resultados direta.
O Box 8 apresenta um exemplo de aes possibilitadas por projeto de
construo de infra-estrutura rodoviria, bem como os resultados
esperados desses projetos e os indicadores que podem ser usados para
medir os resultados decorrentes. Os indicadores ora apresentados
poderiam servir para a construo do ndice de custo-eficcia
mencionado acima.
Box 8
Projeto de construo de estrada no espao rural
Aes relacionadas
ao projeto
Resultados
esperados
Reforma de estradas em reas

rurais;
Asfaltamento de estradas em
rea rural.
Aumento do trfico;
Aumento da relao entre
comunidades prximas;
Diminuio dos custos de
transporte;
Ganhos em termos de tempo
e conforto;
Maior segurana nas estradas;
Criao de empregos locais;
Desenvolvimento local;
Efeitos ambientais positivos.
Indicadores
N de km reformados ou
construdos;
N de novos usurios;
Volume de carga transportado;
Economias de transporte;
N de acidentes evitados;
Diminuio do valor de seguros;
N de empregos gerados com a
construo da estrada;
N de empregos gerados com a
manuteno da estrada.
Fonte: OCDE. Manual financial and economic analysis of development projects. Office for Official Publications of the European Communities. Luxemburgo,
1997,375 p.
100

Quando recursos de um mesmo programa so utilizados em projetos

muito distintos, medidas sintticas, tais como foram propostas nos
pargrafos anteriores, talvez no sejam solues possveis. Uma alternativa
, caso possvel identificar indicadores de eficcia para cada projeto e os
recursos empregados, o uso da tcnica Data Envelopment Analysis (DEA).
A idia central construir, de forma analtica, uma fronteira na qual
estariam includas as unidades executoras de projetos mais eficazes, com
as quais poderiam se comparar todas as demais, inclusive construindo-se
um ranking. A metodologia envolve uma anlise preliminar dos dados por
meio do uso de regresses. Isso ajuda a determinar quais variveis
disponveis podem ser consideradas na construo da fronteira de
eficcia, inclusive aquelas definidas pelos indicadores.
Na verdade, a fronteira de eficcia define um benchmark dos
empreendimentos considerados de sucesso, a partir dos quais os outros
projetos seriam relativizados quanto as suas prprias eficcias. Os ganhos
para os formuladores de polticas so bvios. A comparao entre
investimentos permite identificar casos de sucesso e disseminar best
practices (melhores prticas) que levaram ao sucesso empreendimentos que
esto na fronteira de eficcia delimitada pelo modelo.
A metodologia DEA utiliza conceitos de programao linear para
mensurar o desempenho relativo de unidades organizacionais em que a
presena de vrios insumos e produtos dificulta a comparao direta. A
citada tcnica vem sendo utilizada de forma crescente na comparao da
eficincia relativa de unidades como departamentos governamentais,
escolas, hospitais, lojas, agncias bancrias (de forma geral, onde exista
algum grau de homogeneidade). A medida tradicional de eficincia pode
ser considerada como alguma variao da expresso seguinte:
eficincia =
produtos
insumos
comum a inadequao dessa expresso devido presena de

insumos e produtos mltiplos relacionados a diferentes atividades,
recursos e fatores ambientais (consideram-se insumos e fatores ambientais
de forma anloga). Os produtos seriam os resultados obtidos em termos
de um indicador de eficcia escolhido com propriedade. Os insumos
seriam as condies scio-econmicas que servem de proxy para a
condio ambiental e os recursos do programa utilizados em cada projeto.
101

A expresso bsica utilizada para a mensurao da eficincia em um

contexto de mltiplos produtos e insumos pode ser nos seguintes moldes:
eficincia =
soma _ ponderada _ dos _ produtos

soma _ ponderada _ dos _ insumos
O indicador de eficincia um nmero restringido ao intervalo [0,1]. A

metodologia DEA parte do reconhecimento explcito do fato de as
comunidades adotarem um conjunto de pesos distintos para seus
projetos e insumos. A proposta que cada comunidade possa adotar um
conjunto de pesos que a coloque em situao mais favorvel possvel
quando comparada a outras comunidades. Sob essas circunstncias, a
eficincia de uma comunidade (j) pode ser obtida como uma soluo para
o seguinte problema:
maximizar a eficincia da comunidade (j);
sujeitar a eficincia de todas as comunidades em padres <=1.
As variveis do problema acima so os pesos, e a soluo produz os
pesos mais favorveis unidade (j), ao mesmo tempo em que produz uma
medida de eficincia.
A flexibilidade na escolha dos pesos representa uma vantagem do
mtodo, uma vez que a soluo do problema aponta para a ineficincia de
uma comunidade, mesmo que os pesos tenham sido escolhidos da forma
mais favorvel a ela. A metodologia ento se torna adequada tanto para os
casos em que as comunidades podem valorar insumos e (ou) produtos de
forma diferente quanto para aqueles em que exista um elevado grau de
incerteza ou discordncia sobre os valores que devem ser atribudos a
esses insumos/produtos.
A guisa de concluso, pode-se dizer que o DEA bem til para
mensurar, utilizando fatores quantitativos e qualitativos, a eficincia de
uma comunidade em implantar determinado projeto em relao a outra
comunidade que implantou projeto semelhante. As informaes obtidas
em vrios projetos similares permitem traar uma fronteira de eficincia
dos investimentos efetuados. O DEA permite avaliar quais projetos esto
dentro dessa fronteira aceitvel de eficincia.
O uso de mtodos multicritrios apresenta um grande potencial na
avaliao de projetos de combate pobreza. Mesmo menos tradicionais
do que os mtodos j discutidos, eles permitem avanos considerveis na
avaliao de projetos que envolvem critrios de avaliao qualitativos.
Entre os mtodos multicritrios disponveis, destaca-se o AHP (analytic
hierarchy process). O mtodo AHP, desenvolvido por Saaty14 em meados da
14 Saaty, T. L. Mtodo de anlise hierrquica. So Paulo: Makron Books, 1991, 367 p.
102

dcada de 70, utilizado em reas como planejamento estratgico,

marketing, avaliao de nvel de consenso de grupos, programas de
qualidade e produtividade bem como em anlise de projetos15. Possui
duas fases distintas de aplicao: (a) seleo de critrios (Box 9) e
construo das hierarquias a eles associadas; e (b) avaliao de alternativas.
Na etapa de construo das hierarquias, define-se a importncia relativa de
um critrio sobre o outro. A comparao feita par a par, segundo uma
escala de julgamento de importncia pr-definida (Saaty, 1991).
Alm disso, o AHP16 capaz de medir, com simplicidade e robustez,
quais tipos de projetos atingiram com maior sucesso as metas
estabelecidas pela comunidade e aceitas pelo analista. O mtodo permite
discernir com exatido quais critrios a comunidade escolheu e priorizou
para solicitar a implementao de um determinado projeto. um tipo de
conhecimento importante para a compreenso dos resultados alcanados.
Em funo dos resultados obtidos, o analista ser capaz de definir quais
projetos atingiram os resultados previstos, informao essencial para
direcionar futuros investimentos.
Box 9
Exemplos de critrios de avaliao que podem ser

utilizados em projetos de infra-estrutura
Obteno, armazenamento e distribuio de gua
nmero de pessoas atendidas;

nmero de domiclios atendidos;
nmero de audes construdos;
nmero de cisternas construdas;
capacidade de armazenamento de gua (audes, cisternas, etc.);
diminuio do preo da gua;
qualidade da gua;
confiabilidade no sistema de abastecimento;
aumento/diminuio de empregos gerados;
nmero de carros-pipa;
risco sanitrio;
nmero de poos artesianos;
indicadores de sade relacionados ao consumo de gua de m
qualidade.
15 Abreu, L. M. et al. Selection of water quality control program for human consumption: application
of method AHP. UCB, Braslia (mimeo).
16 O mtodo conta com softwares comerciais que facilitam em muito a aplicao.
103

Gerao e distribuio de eletricidade

nmero de domiclios atendidos;
nmero e tipo de eletrodomsticos presentes nas residncias
atendidas;
nmero de novos empreendimentos utilizadores de energia
eltrica;
reduo/aumento de custos;
extenso da rede de distribuio.
Transporte

aumento do trfego (em valor e fsico);
reduo do nmero de acidentes;
reduo no tempo de percurso entre a comunidade e as cidades
de maior porte na regio (acesso a alternativas de emprego,
assistncia mdica, etc.);
confiabilidade dos meios de transporte;
custo de manuteno dos veculos;
variao no preo do frete.
Nas anlises de custo-eficcia, so includos, alm dos custos diretos

necessrios implementao dos projetos (considerando os gastos
governamentais), aqueles suportados pelo conjunto da comunidade.
Alm disso, podem ser comparados os custos-eficcia dos projetos
apoiados pelo programa e por outras iniciativas governamentais e privadas.
Espera-se, com isso, avaliar, no somente a eficcia intrnseca ao projeto
avaliado, mas sua eficcia frente aos outros mecanismos de financiamento e
gesto. Para tanto, devem ser levantados dados de custos dessas iniciativas.
Finalmente, assume-se que a combinao de mtodos multicritrios,
como o AHP, combinados com metodologias baseadas em pesquisa
operacional, caso do DEA, municia o analista com um conjunto de
ferramentas poderosas para a avaliao de projetos que envolvem
componentes sociais.
O avaliador e o formulador de projetos e programas de combate
pobreza rural devem ter conscincia dos limites dos modelos de anlise que
foram apresentados neste captulo. Os resultados obtidos com os modelos
104

devem ser avaliados a luz de anlises rigorosas e criteriosas de aspectos no

financeiros e econmicos que circundam projetos desta natureza. Alm
disso, a natureza determinstica dos modelos apresentados no conforma
adequadamente os riscos inerentes a estes projetos.
Os modelos apresentados demandam previses de receitas, despesas,
investimentos, taxas de juros, resultados no-financeiros etc., os quais
constam imprecises importantes dos resultados obtidos. Uma maneira de
contornar o carter determinstico construir cenrios que permitam
exerccios de simulao e de anlise de sensibilidade dos modelos e dos
resultados que eles apontam.
Mesmo com essas limitaes, os mtodos apresentados representam
ferramentas valiosssimas para a avaliao de projetos e de programas
sustentveis de combate pobreza rural.
105

106

4. AVALIAO DA
FOCALIZAO
Parcela significativa da populao mais pobre no beneficiada por

programas sociais. Em injustificada contrapartida, indivduos com renda
mais elevada acabam sendo recipientes de benefcios. Nesse sentido,
vrios analistas argumentam que a incapacidade de muitos governos de
eliminar ou reduzir a pobreza deve-se ao fato de a poltica social encontrarse mal focalizada.
Lustig e Deutsch (1998) apresentam estimativas indicando que os
valores de transferncias necessrios para eliminar a pobreza extrema, nos
pases da Amrica Latina e Caribe, situam-se em torno de 0,5 a 1% do PIB,
em caso de perfeita focalizao. Em se confirmando a estimativa, o
problema de eliminao da pobreza no estaria na falta de recursos, mas
no desenho das polticas de transferncias.
Um programa social dito eficiente no critrio de focalizao se define
com clareza seu pblico-alvo, incluindo o maior nmero possvel de
indivduos como beneficirios e excluindo o maior nmero possvel de
indivduos que esto fora desse grupo. Ainda que bastante defendida, a
focalizao das polticas sociais pode apresentar problemas tanto do
ponto de vista econmico como do poltico. No primeiro caso, a questo
refere-se s distores geradas pelos mecanismos de focalizao (falta de
incentivo ao trabalho, migrao de famlias para reas assistidas por
programa social e o uso improdutivo dos recursos ou do tempo
problemas moral hazard).
O segundo problema para focalizao refere-se falta de suporte
poltico que tal medida pode apresentar. possvel, em uma democracia, o
equilbrio poltico ocorrer quando uma parcela significativa da populao,
bem mais ampla do que os realmente necessitados, for includa no
programa. Por outro lado, quando apenas os mais pobres so includos,
possvel que os recursos destinados a especfico programa sejam
insuficientes, o que possibilita inferir que programas para pobres seriam
programas pobres. Assim, focalizar os programas apenas para os mais
necessitados acabaria sendo pior para os prprios pobres.
107

Mesmo admitindo que haja um consenso social em relao

necessidade de focalizao das polticas, razovel admitir que os
governos no saibam como faz-la de forma muito precisa ou que o custo
seja bem elevado. Portanto, um aspecto adicional de dificuldades para a
focalizao das polticas sociais diz respeito s questes de ordem
tecnolgica. No caso das polticas voltadas para aliviar a pobreza, esse
problema pode surgir quando a renda dos beneficirios em potencial no
observada pelos executores do programa.
A anlise da focalizao de programas sociais voltadas para a
reduo/combate da pobreza deve revelar em que medida as aes
atingem, de fato, ao pblico-meta (os pobres). Embora pobreza e pobres
sejam realidades de fcil identificao em sociedades muito desiguais,
tanto a caracterizao precisa da pobreza quanto a delimitao da
populao pobre objeto de intenso debate acadmico e poltico, o que
significa que os resultados da anlise de focalizao sero muito sensveis
ao conceito/delimitao de pobreza e dos pobres.
4.1. Conceituando Focalizao

A focalizao pode ser entendida como um instrumento de seleo ou
processo que possibilita a seleo e a focalizao de polticas pblicas em
determinados grupos, regies, problemas. Dentro do contexto de
intervenes de combate pobreza, essas polticas focalizaro grupos e
regies excludas pelos mecanismos de mercado.
Van de Walle (1995) define focalizao como uma tentativa deliberada
de redirecionar recursos pblicos para os mais pobres por meio de
instrumentos que buscam selecion-los como beneficirios diretos. O
conceito um tanto restrito, pois trata somente da distino entre pobres
e no-pobres, enquanto muitas vezes o pblico-alvo pode ser definido no
somente em termos de pobreza, mas tambm por caractersticas de
gnero, ou ainda por famlias pobres com filhos em idade escolar.
Alguns autores estabelecem que uma poltica focalizada quando
determinado pblico-alvo tem acesso aos bens e servios oferecidos, em
oposio s polticas chamadas universais, nas quais, teoricamente, o
acesso permitido a toda a populao. Mesmo uma poltica ou programa
universal pode ser desenhado de forma a atender apenas certos grupos e,
dessa forma, ser classificado como focalizado. Como exemplo, um subsdio
fornecido a um tipo de produto de maior relevncia para as camadas mais
108

pobres da populao. Ainda que o acesso seja universal, a poltica foi

desenhada de forma a atingir a populao menos favorecida.
Identificar os grupos/regies/indivduos necessitados no tarefa
simples e sem custo. Pesquisa extensa, com coleta de dados para
identificar o pblico-alvo adequado, pode ser realizada antes da
implementao de um programa. Entretanto, o custo excessivo e requer
longo tempo para anlise, o que abriria possibilidade de uso ineficiente
dos recursos pblicos.
Desenhar uma poltica bem focalizada no um problema to simples
quanto parece. Pode apresentar problemas do ponto de vista polticoeconmico. Ademais, no existe consenso quanto melhor forma de
focalizao a ser adotada. Cada tipo de programa possui objetivos muito
distintos e formas diferentes de atingi-los. Os custos de cada opo so
diferentes e variam conforme a disponibilidade de informaes. Cada caso
deve ser analisado de forma a adequar a focalizao aos objetivos de cada
poltica de interveno.
4.2. Modalidades
Cada modalidade de focalizao possui custos e benefcios diferentes
que devem ser considerados e examinados em detalhe. A escolha e a
avaliao do processo de seleo tm que observar essas diferenas, assim
como as implicaes para a sustentabilidade poltica da abordagem
escolhida e a ao de intervenes pblicas (Buainain et al., 2000).
Van de Walle (1998) divide as modalidades de focalizao em duas
categorias principais: focalizao universal e focalizao restrita (broad and
narrow targeting). Bons exemplos de focalizao universal so despesas em
servios sociais bsicos como educao primria, sade pblica, servio
bsico de sade pblica e assim por diante. Nessa modalidade, nenhum
esforo feito com intuito de atingir os pobres na qualidade de indivduos.
O princpio bsico que alguns itens de despesa so mais importantes
para determinadas populaes. Dessa forma, espera-se que regies,
comunidades e indivduos menos favorecidos sejam os principais a se
beneficiar do benefcio/interveno, ainda que o acesso seja universal.
Um dos principais argumentos em favor da focalizao universal o fato
da abordagem ser considerada mais popular (termos polticos), uma vez
que no h distino scio-econmica de quem pode ou no participar. A
simplicidade operacional e o custo baixo so outras possveis vantagens
109

adicionais. O critrio de universalidade torna desnecessria a utilizao de

critrios de seleo especiais e mecanismos de implementao para
supervisionar a seleo de participantes e distribuio de benefcios.
Apesar de essa modalidade permitir economia de recursos no processo
de seleo e monitoramento de beneficirios, por sua maior abrangncia,
os custos com benefcios tendem a ser maiores do que em polticas mais
focalizadas. Os custos de programas universais inclinam a subir quando os
benefcios so estendidos a toda populao sem considerar a real
necessidade dos participantes. Quando se tem restrio de recursos caso
da maioria dos pases subdesenvolvidos , os governos decidem se
diminuem a extenso de programa ou permitem a deteriorao da
qualidade de servios oferecidos pelos programas. Por razes polticas
bvias, mais fcil deixar que ocorra a deteriorao dos servios do que
restringir a abrangncia.
A validade das abordagens baseadas na focalizao universal tambm
questionada em termos de eqidade. Embora a interveno possa
alcanar todas as regies e, assim, a populao inteira, o vazamento que
ocorre para pessoas menos necessitadas questionvel quando essas
poderiam pagar pelo servio, uma vez que sua incluso ocorre com
recursos que poderiam ser usados para os mais necessitados.
Por fim, ainda que abordagens baseadas na focalizao universal sejam
recomendadas para alguns tipos de interveno pblica (como educao
bsica e saneamento bsico), podem no ser instrumento adequado para
atingir grupos com especficas necessidades ou objetivos bem delineados.
Intervenes mais especficas, que levam em conta populaes mais
vulnerveis e suas necessidades, podem ser melhor forma de reduzir a
pobreza a custo menor.
A focalizao restrita definida como uma tentativa deliberada de
concentrar benefcios para os pobres (ou regies pobres), independente
da categoria de gasto. Consiste em identificar um conjunto de
caractersticas de pessoas pobres que seja correlacionada com baixa
renda, uma vez que a renda uma varivel de difcil observao. Essas
variveis assumem o papel de indicadores e so utilizadas como
aproximao de renda. Alguns tipos de indicadores usados so:
propriedade, estado nutricional e situao de emprego.
Critrio bastante utilizado na focalizao restrita o geogrfico (regies
especficas de maior incidncia de pobreza). A utilizao do critrio
geogrfico bastante problemtica, pois uma mesma regio pode
apresentar diferenas internas bastante significativas, levando incluso
de indivduos no necessitados e excluso de pessoas mais necessitadas
110

que, porventura, habitam regies mais ricas. Hoddinot (1999) conclui que a
focalizao geogrfica funciona melhor quando usadas pequenas
unidades geogrficas, como vilas e bairros, reduzindo possveis erros de
incluso de famlias/indivduos que no foram estabelecidos como foco
do programa e excluso daqueles que poderiam ter sido beneficiados.
4.3. Critrios
Trs critrios so apontados como os mais relevantes para se
determinar e avaliar a focalizao de um programa (Legovini, 1999):
4.3.1. Eficincia
A eficincia de uma poltica ou programa focalizado diz respeito ao
alcance ao pblico-alvo. Um programa considerado menos eficiente
quanto mais domiclios/indivduos do pblico-alvo no forem
contemplados com os benefcios do programa. Esse tipo de excluso
chamado de Erro Tipo I ou Erro de Excluso, que a probabilidade de
excluir domiclios/indivduos que deveriam ser includos. Muitas vezes, o
erro inevitvel devido a diversos fatores como a imperfeio dos
indicadores utilizados para se fazer a seleo e o acesso precrio
informao. A questo deve estar presente na mente dos policymakers
durante o desenho de um programa, a fim de evitar a criao de barreiras
entrada de domiclios/indivduos que pertencem ao pblico-alvo.
Algumas informaes dificilmente so obtidas e/ou tratadas
estatisticamente. Em projetos produtivos destinados a comunidades, o
esforo pessoal dos beneficirios e o comportamento das lideranas so
importantes para determinar o sucesso e o pblico-alvo. Mesmo pesquisas
diretas bastante detalhadas podem incorrer em erro, sobretudo quando
dependem de informaes fornecidas pela prpria populao. Hoddinott
(1999) aponta que, quando questionados diretamente, muitos indivduos
tendem a exagerar seu grau de necessidade/pobreza com o intuito de
aumentar as chances de serem selecionados para uma interveno
especfica. Problemas adicionais so enfrentados quando as informaes
usadas esto em constante mudana, em resposta a fenmenos
transitrios ou seculares.
A informao coletada em um nico perodo pode resultar na incluso
de indivduos que no mais se qualificam para a interveno, alm das
dificuldades fsicas de se atingir comunidades mais pobres.
111

4.3.2. Vazamentos
O segundo critrio a ser considerado no desenho de um programa
refere-se aos possveis vazamentos (incluso de indivduos no
pertencentes ao pblico-alvo Erro Tipo II ou Erro de Incluso). Existe um
trade-off entre os erros tipos I e II: a expanso de um programa tende a
reduzir o erro tipo I e aumentar o tipo II e vice-versa, no caso de uma
reduo na cobertura. Para uma dada quantidade de recursos possvel
reduzir os dois tipos de erros se a capacidade de discriminar e de
selecionar o pblico-alvo for melhorada. Contudo, uma melhor capacidade
de seleo pode aumentar os custos do programa, colocando outro tradeoff para os tomadores de deciso (Anuatti-Neto et al., s/d).
4.3.3. Custos
O terceiro critrio a ser observado a questo dos custos que decorrem
da focalizao. Podem ser analisados de forma separada dos custos do
programa como um todo. Somente uma anlise de custos e benefcios de
cada mtodo de focalizao pode apontar o melhor desenho.
De forma geral, trs tipos de custos so apontados na literatura como
decorrentes da focalizao: administrativos, polticos e decorrentes dos
incentivos do programa (Grosh, 1994; Van de Walle, 1998).
4.3.4. Custos administrativos

A implementao de uma poltica focalizada requer o uso de mtodos de
seleo que distingam o pblico-alvo do resto da populao. Em geral,
quanto maior a preciso do mtodo adotado, maior o custo a ele associado.
Em uma situao ideal, o bem-estar de cada indivduo da populao deveria
ser mensurado levando-se em conta as diferenas locais de preos, rendas
recebidas em espcie, mudanas sazonais, composio familiar etc. Ainda
assim, seria quase impossvel realizar esse tipo de mensurao, alm do alto
custo.
Qualquer outro tipo de mtodo utilizado discriminaria o pblico-alvo de
forma imperfeita, o que, por um lado, aumentaria os custos decorrentes dos
vazamentos; por outro, reduziria os custos administrativos.
A deciso sobre o melhor mtodo de seleo depende no apenas da
eficcia de um mtodo em discriminar o pblico-alvo, mas tambm de uma
112

avaliao dos custos administrativos diante dos benefcios alcanveis. Um

dado mtodo para discriminar o pblico-alvo pode ou no ser vantajoso,
depender da proporo que seu custo representa em relao ao benefcio.
Os custos administrativos iro variar conforme o mecanismo de seleo
escolhido, o nvel de informao existente, a capacidade institucional do
administrador do benefcio, alm dos custos com pessoal e equipamento
utilizados no processo de seleo (Grosh, op. cit.). A quantificao desses
custos deve ser cuidadosa e avaliada para a melhor escolha do mtodo a
ser utilizado em um programa focalizado.
4.3.5. Custos de incentivos

A introduo de um programa focalizado pode alterar o comportamento
dos beneficirios e dos no-beneficirios.Essas mudanas de comportamento
podem produzir alteraes entre o objetivo explcito do programa e o
resultado efetivo, produzindo custos e benefcios adicionais no previstos.
A magnitude desses custos varia de acordo com cada interveno e pode
ser influenciada pelo desenho e implantao do programa. Trs efeitos
negativos sobre os resultados finais de uma interveno focalizada so
freqentes na literatura: a escolha trabalho/lazer, a migrao e o uso
improdutivo de recursos (Grosh, 1994).
O primeiro surge em programas que selecionam os beneficirios a partir
da renda. Dependendo do valor do benefcio, muitos indivduos com renda
pouco acima do limite de elegibilidade seriam estimulados a reduzir seus
ganhos para se tornarem elegveis. Em um programa hipottico que
distribusse R$50,00 para indivduos com renda abaixo de R$200,00, todas as
pessoas que, sem o benefcio, tivessem renda entre R$200,00 e R$249,00
ficariam em situao melhor se diminussem suas horas de trabalho para
poder receber o benefcio. A renda aumentaria e ainda teriam mais tempo de
lazer.
Sahn e Alderman (citado por Van de Walle, 1995) concluram que a
distribuio de cupons de alimentao no Sri Lanka resultou em uma
reduo de 2 a 3 dias de trabalho por parte dos beneficirios, o
correspondente a 33% do valor do benefcio. Ressalta-se que a mensurao
desses custos no trivial e depender da abordagem utilizada. No exemplo
apresentado, a reduo nas horas trabalhadas representa um custo. Em uma
abordagem mais ampla de bem-estar (que atribusse valor ao tempo de lazer),
poderia apresentar um resultado positivo.
113

A migrao pode ser outro incentivo no desejado. Caso exista um

programa que utilize indicadores geogrficos para selecionar os beneficirios,
pode-se incentivar a migrao de pessoas para regies contempladas pelo
programa. No caso de migrao por parte de pessoas pobres para regies
beneficirias, o custo seria justificvel por conta do aumento da cobertura do
programa, ainda que os custos privados incorridos devam ser contabilizados.
Porm, pode ocorrer migrao de pessoas no-pobres, o que resultaria em
custos injustificveis e poderia levar reduo dos benefcios recebidos. Os
efeitos negativos com a migrao dependero do ganho individual relativo
aos custos privados incorridos com a mudana.
Exemplos de uso inadequado de recursos podem ser observados em
diversas intervenes focalizadas. Um programa que discrimine proprietrios
de terras de no-proprietrios pode incentivar a venda de propriedades para
garantir o acesso. Cupons de alimentao podem ser trocados por dinheiro,
que seria gasto para atender outras finalidades. No Chile, em programa de
distribuio de alimentos, com base no estado nutricional das crianas, foram
relatados casos de mes que subalimentavam as crianas para receber os
alimentos (Grosh, 1994).
4.3.6. Custos polticos

Muitos dos recursos governamentais destinados a programas sociais com
focalizao universal acabam beneficiando no pobres que,no raro,possuem
maior influncia poltica. A implementao de polticas mais focalizadas tende
a ser associada a uma reduo nos gastos que acabam beneficiando esse
pblico. Isso pode resultar em menor apoio poltico ao programa e,
conseqentemente, reduo na destinao de recursos. Muitos autores
argumentam que certo grau de vazamento necessrio, de forma a garantir
o apoio das classes mdias.
Alguns estudos confirmam essa suposio, mas h evidncias contrrias. A
populao poderia estar mais disposta a aceitar polticas focalizadas caso
estivesse convencida de que os recursos poupados pela reduo do
vazamento seriam destinados ampliao do programa ou outros gastos
sociais.
4.4. Mtodos de Focalizao

A escolha do mtodo a ser utilizado na seleo do pblico-alvo um dos
temas mais debatidos na literatura. O mtodo de focalizao diz respeito ao
114

conjunto de critrios, regras e outros elementos que definem a elegibilidade

dos beneficirios (Conning e Kevane, 2000). Sua importncia decorre do fato
de que o mtodo escolhido, em grande medida, determinar os custos do
programa, a eficcia e o grau de vazamento do mesmo. No existe um
mtodo de seleo superior a outro, e difcil o uso isolado deles, a escolha
dever ser baseada no nvel de informao existente, na capacidade
administrativa das instituies responsveis, na distribuio geogrfica da
pobreza, entre outros fatores. Para se decidir quando um programa deve ou
no ser focalizado, consideraes a respeito dos custos administrativos, bem
como dos custos de vazamento e excluso, devem ser ponderados.
Grosh (1994), Coady et al.(2002) e Legovini (s/d) estabelecem trs classes de
mtodos de focalizao: (a) por avaliao individual/domiciliar (means-tested
ou proxy means-tested, em Legovini (op. cit.)); (b) por categorias ou grupo; e (c)
por auto-seleo (self-targeting).
4.4.1. Avaliao individual/domiciliar

o mtodo utilizado quando a elegibilidade para um programa
determinada de forma individualizada para cada pretendente ao benefcio. Os
gerenciadores do programa decidem quem sero os beneficirios por meio
de comprovao de renda ou da observao de outros indicadores que
possuam alta correlao com a renda.
O uso de indicadores para determinar a situao individual ou domiciliar
de cada pretendente pressupe a escolha ex ante de uma linha de pobreza
bem definida que ser utilizada como limite (ver 4.4.1.1).O procedimento usual
consiste em considerar como pobres todos aqueles que vivem em famlias
cuja renda familiar per capita igual ou inferior ao valor da citada linha.
O mtodo conhecido como means test consiste em uma verificao
completa do nvel de renda e riqueza dos possveis beneficirios por meio da
comparao da renda declarada com outras fontes de comprovao como
holerites, imposto de renda e registros de propriedade. Ainda que essa
abordagem represente a situao ideal, por garantir maior eficcia e menor
vazamento, ela possui elevados custos administrativos.Por um lado, pressupe
a existncia de comprovantes confiveis; por outro, requer constantes
reavaliaes e capacidade administrativa para processar as informaes.
Em muitos pases em desenvolvimento, a verificao do nvel de renda
bastante dificultada pelo fato de que grande parte dos pobres trabalha no
setor informal ou na zona rural, onde a renda sazonal e, muitas vezes,
recebida em espcie.
115

Na falta de condies para uma verificao apropriada da renda, so

utilizados indicadores de fcil verificao (proxy means test) que
apresentam alta correlao com a renda (localizao do domiclio, tipo de
residncia, nvel educacional, quantidade de bens durveis, etc.). O uso
desses indicadores oferece uma alternativa mais barata e menos suscetvel
a fraudes do que o means test.
Para a escolha dos indicadores a serem utilizados, pode-se realizar uma
coleta de dados sobre renda e sobre possveis indicadores junto a uma
amostra da populao. Uma vez selecionados, a importncia relativa de
cada indicador estabelecida por meio de anlise estatstica ou calibrao.
Os pesos relativos, assim encontrados, so ento aplicados em toda
populao para prever se um indivduo ou domiclio qualifica-se para o
benefcio. Apesar de serem mais fceis de administrar, reduzindo assim os
custos administrativos associados, as proxies so substitutos imperfeitos
para a verificao da renda, o que aumenta a probabilidade tanto de Erro
Tipo I quanto de Erro Tipo II.
A eficincia em termos de alcance do mtodo ora avaliado em relao
utilizao do means tested depende do ajustamento do modelo
escolhido para prever a renda das famlias: quanto melhor o ajustamento
do modelo, menor ser a probabilidade de ocorrncia dos erros Tipo I e
Tipo II.
Na verdade, os custos em termos de excluso de pobres e incluso de
no-pobres devem ser comparados ao custo da coleta de um nmero
maior de informaes sobre as famlias que poderiam melhorar a
capacidade de previso do modelo. O aumento no nmero de variveis
proxies tende a melhorar a eficincia do mecanismo, mas os custos de
coleta tambm podem aumentar com o nmero de proxies.
4.4.2. Estabelecendo uma linha de pobreza

A avaliao de um programa social de combate pobreza exige a
estimao de uma linha de pobreza com o propsito de poder identificar
os beneficirios e focalizar o programa. Mas no h consenso sobre
nmeros que quantificam essa linha de pobreza.
A pobreza um fenmeno complexo. A definio no uma tarefa
simples e pontual, visto que envolve muitas determinaes. Uma das mais
importantes a que diz respeito abrangncia do conceito, isto , deve ser
feita apenas sob o ponto de vista econmico (material) ou considerar as
variveis no-econmicas.
116

Diversos autores reconhecem a importncia dos componentes no

materiais em qualquer avaliao geral da pobreza. A grande maioria
reconhece a dificuldade em mensurar variveis qualitativas, optando por
estudar apenas a pobreza derivada das carncias materiais por
considerarem ser, talvez, impossvel mensurar necessidades como norealizao pessoal, falta de prestgio, excluso social.
Embora se reconhea que a pobreza fenmeno multidimensional,
caracterizado por carncias de diversos tipos, de uma maneira geral, utilizase a renda como determinante do bem-estar das famlias. Assim, a
avaliao de sua dimenso tem como ponto de partida a associao da
pobreza insuficincia de renda.
A definio de um conceito de pobreza deve ser condio necessria
para a mensurao do fenmeno. Em qualquer estudo de pobreza deve
constar a definio adotada para evitar distores em anlises temporais
que calculem sua incidncia em uma mesma base geogrfica ou
problemas de comparabilidade para o clculo dos indicadores em diversas
regies. , pois, conveniente ressaltar que o elemento da arbitrariedade
sempre estar presente na descrio da pobreza, o que torna imperioso
deix-lo o mais explcito possvel (Romo, 1993).
De uma maneira geral, pode-se considerar que a mensurao da
pobreza consiste em duas operaes distintas (Sen apud Romo, 1993). A
primeira delas refere-se identificao (quem so os pobres?) e a segunda
agregao (como combinar as diferentes caractersticas de pobreza
numa mesma medida?).
A identificao, que consiste na separao da populao total em dois
subconjuntos (pobres e no-pobres), pode ser feita de diversas maneiras.
Cada uma delas relacionada a uma diferente interpretao da pobreza. Os
critrios utilizados para identificar a subpopulao pobre podem ser
subjetivos (pobreza como juzo de valor) ou objetivos. A pobreza refere-se,
enquanto juzo de valor, a opinies ou sentimentos das pessoas sobre o
seu prprio estado de pobreza ou de seu semelhante. critrio
questionvel, pois a pobreza no abstrata, no depende da opinio que
venha a se ter dela. A pobreza uma situao concreta e sua anlise passa
por consideraes de mbito material, no sendo reflexo de emoes
pessoais.
Os conceitos objetivos baseiam-se em critrios determinados
exogenamente (renda, habitao, consumo entre outras). Critrios objetivos
envolvem duas variantes operacionais importantes: a que focaliza a
pobreza sob um valor relativo e a que a considera do ponto de vista
absoluto. Trata-se de medida relativa quando compara a posio que um
117

indivduo ocupa em relao aos demais membros da sociedade. A

pobreza enfocada por meio de uma medida absoluta quando requisitos
mnimos de necessidade so estabelecidos. Indivduos que no possuam
esses requisitos so considerados pobres.
O simples fato de a conceituao de pobreza, em termos
absolutos, fazer meno explcita a nveis mnimos aceitveis de
satisfao de necessidades bsicas envolve o reconhecimento
de que entre os membros da sociedade existem alguns que
no preenchem os requisitos mnimos estabelecidos, o que
requer um desenho de polticas de superao da pobreza para
essas pessoas. Assim, o prprio conceito encerra um contedo
de vontade poltica que se pode expressar na determinao de
prover os grupos-objetivos de condies de acesso aos
patamares bsicos de bens e servios, em consonncia com os
padres de vida contemporneos (Romo, 1993:17).
Pode-se, pois, concluir que um estudo que pretenda identificar a
pobreza em pases pobres deveria adotar a noo de pobreza absoluta.
Existem vrias formas de mensurar a pobreza. A forma mais freqente de
determinar quem pobre consiste em comparar a renda familiar per capita
com o valor mnimo necessrio para viver em determinada sociedade a
chamada linha de pobreza. A linha de indigncia a que estabelece o valor
necessrio para satisfazer apenas as necessidades alimentares.
No Brasil, segundo Rocha (1996), os estudos que utilizam a abordagem
da renda dividem-se em duas categorias: a que utiliza o salrio mnimo
para determinar a linha de pobreza (freqentemente considera-se 1/4 do
salrio mnimo como valor da linha de pobreza); e a que busca refletir o
custo real de vida das populaes de baixa renda. Em ambas as
abordagens, a varivel mais utilizada para confronto com a linha de
pobreza/indigncia a renda familiar per capita, pois essa varivel leva em
conta todos os rendimentos dos membros da famlia, seu tamanho e seu
papel como unidade redistributiva (Rocha, 1999).
A utilizao dessa varivel apresenta como problemas no conseguir
captar os efeitos da queda do tamanho das famlias e nem o do ingresso
crescente dos membros familiares no mercado de trabalho (Lessa et al.,
1997). Sendo assim, entre outras coisas, a utilizao da renda familiar per
capita no permite apreender a queda do bem-estar familiar, provocada
pela necessidade de mais membros da famlia ter que entrar no mercado
de trabalho.
118

A abordagem que utiliza o salrio mnimo apresenta alguns problemas:

a variao do salrio real ao longo do tempo; a arbitrariedade do valor do
salrio mnimo como linha de pobreza (1/4 do valor do salrio mnimo
que pode no refletir a capacidade de cobrir as verdadeiras necessidades
bsicas dos indivduos); a existncia de diferenas regionais do custo de
vida no levadas em considerao quando se estipula um valor nico
para a linha de pobreza/indigncia com base em um salrio determinado
nacionalmente; entre outros.
Segundo Rocha (1996), os estudos que buscam refletir o custo de vida
da populao de baixa renda devem ser privilegiados quando existir
disponibilidade de dados. Utilizando-se estudos sobre o padro de
consumo das famlias, possvel determinar padres regionais de
consumo, o que solucionaria o problema do custo de vida regional que a
abordagem do salrio mnimo no enfrenta.
Rocha (1988 e 1996) apresenta um roteiro, aqui simplificado, para
determinar a linha de pobreza baseada no "enfoque biolgico" que
considera os padres observados de consumo alimentar (o clculo da linha
de indigncia deve suprimir a quarta etapa):
definio dos requerimentos nutricionais mdios a serem
atendidos considera-se como requerimento nutricional a
ingesto diria de 2.400 calorias por pessoa, independente da
pessoa ou do local onde ela vive;
estabelecimento de uma cesta alimentar que esteja de acordo
com as preferncias das populaes com renda baixa e que seja
capaz de atender aos requisitos nutricionais no uma cesta
normativa, pois se toma por base a preferncia dos consumidores,
especialmente os de baixa renda, considerando-se as
especificidades regionais;
clculo do valor da cesta alimentar a preos correntes a valorao
da cesta difere regionalmente e busca refletir as significativas
discrepncias de padres de preos entre regies e local de
residncia;
derivao da linha de pobreza, considerando o valor gasto com
alimentos e com as demais despesas bsicas (a determinao dos
custos dos itens no alimentares feita por meio da utilizao do
coeficiente de Engel para o decil de renda mais baixo entre
aqueles em que no so observadas deficincias calricas) esse
custo somado ao da cesta bsica para o estabelecimento das
linhas de pobreza.
119

Calculada a linha de pobreza, o passo seguinte adotar indicadores

agregados para expressar as caractersticas de pobreza. O indicador mais
conhecido o de proporo de pobres, que consiste no nmero de
indivduos cuja renda familiar per capita inferior linha de pobreza, em
relao ao total da populao. Contudo, tal indicador utilizado como
ponto de partida para estudos sobre pobreza, sendo insuficiente para
caracterizar a pobreza, dado que viola dois importantes axiomas (Sen apud
Prates, 1996). Primeiro, o indicador no se altera ao se reduzir a renda de uma
pessoa situada abaixo da linha de pobreza ou quando a renda eleva-se sem
alcanar a linha de pobreza. Em segundo lugar, a proporo tambm
insensvel distribuio de renda entre os pobres, no se alterando quando
se transfere renda de um indivduo pobre para outro mais rico.
Sendo assim, a proporo de pobres deve ser utilizada em combinao
com outros indicadores de pobreza. Um deles o "hiato de renda" ou
"ndice de insuficincia de renda". O hiato de renda permite a obteno de
informaes sobre a intensidade da pobreza por meio do desvio mdio
entre a renda dos pobres e o valor da linha de pobreza. O indicador mede
a distribuio mdia da renda dos pobres em relao linha de pobreza.
A utilizao da proporo de pobres e do hiato deixa de considerar outra
caracterstica importante da pobreza: a desigualdade de renda entre os
pobres.
Observando tal fato, Sen (1976) props um indicador de pobreza que
incorporasse o nmero de pobres, o montante de renda aqum do
mnimo de subsistncia (a intensidade mdia de pobreza) e a
desigualdade de renda entre os pobres, construindo assim um nico
indicador. Nota-se que o ndice de Sen expressa uma preocupao em
demonstrar a diferena de graus de pobreza dentro da prpria
subpopulao pobre. Em face disso, o ndice de Sen apontado como o
melhor para mensurar a pobreza (Romo, 1993).
Na esteira do indicador proposto por Sen, surgiram variaes
alternativas modificando alguns dos seus axiomas, entre eles o ndice de
Foster, Greer e Thorbecke (apud Rocha, 1998). Como o ndice de Sen, essa
variante tambm leva em considerao a proporo, a intensidade e a
distribuio de renda entre os pobres. A utilizao desse ndice
defendida devido consistncia em agregaes (a pobreza em cada
grupo pode estar caindo, enquanto o agregado pode estar subindo).
Assim, seu uso permite o clculo da pobreza em diversos nveis agregativos
(Prates, 1996).
Takagi, Graziano da Silva e Del Grossi (2001) discutem os conceitos
empregados e as metodologias utilizadas para estimar a linha de pobreza
120

com o propsito de apresentar uma proposta metodolgica para

mensurao do pblico-alvo do projeto Fome Zero no Brasil. Os principais
mtodos que tratam de estimar o nmero de pobres, segundo os autores,
podem ser divididos em diretos e indiretos. O mtodo direto estima a
populao carente com base em indicadores de consumo calrico e ou
dados antropomtricos (de altura e peso). Os mtodos indiretos estimam
a populao carente a partir da renda. A renda o principal fator que leva
as pessoas a no se alimentarem em quantidade adequada.
Assim, define-se, pois, uma dada linha de pobreza, que se considera
adequada para suprir as necessidades bsicas entre as quais a
alimentao e os outros itens custo de vida , e calcula-se a proporo de
pessoas que tm renda abaixo dessa linha.
A linha de pobreza pode ser definida nica para todo o pas (como nos
estudos de Hoffmann, 1995 e 2001), ou pode ser definida por regio. Nesse
ltimo caso, parte-se de estruturas de consumo diferentes para cada
regio. Pesquisa-se o gasto de uma cesta bsica com preos
regionalizados. Considera-se, ento, indigente a populao cuja renda
familiar per capita no alcana o valor referente cesta bsica alimentar; e
pobres as pessoas que no atingem a renda necessria para adquirir a
cesta de alimentos mais os bens no-alimentares bsicos. Nesses grupos,
encontram-se os estudos da Cepal (1989), do Ipea, incluindo o Mapa da
Fome, realizado em 1993 (Peliano, 1993), rias (1999), Rocha (2000) e
Ferreira, Lanjouw e Neri (2000).
A Metodologia da FAO parte do clculo da disponibilidade de
alimentos no pas, com base nos dados de produo local, saldo comercial
agrcola e estoques de alimentos. A partir desses dados, estimam-se o
coeficiente de distribuio de renda, o consumo alimentar (base para
estimar a desigualdade de acesso aos alimentos) e a porcentagem da
populao cujo consumo alimentar est abaixo da necessidade mnima.
importante salientar que essas metodologias que tratam de estimar
as linhas de pobreza e indigncia considerando a estrutura de consumo
apresentam uma srie de critrios ad hoc na elaborao que fazem com
que seus resultados sejam incomparveis. A Tabela 1 apresenta uma
sntese dos principais mtodos utilizados em estudos recentes que
pretendem quantificar a linha de pobreza e indigncia. Os problemas
devem ser levados em conta no momento de definir a linha de pobreza e
a indigncia, portanto, no momento de definir um ndice de focalizao do
programa.
121

Quadro 1 Comparao de alguns mtodos diretos e indiretos para

mensurao da fome, pobreza e desnutrio no Brasil
Parte I Mtodos diretos
Mtodo
Vantagens
Desvantagens
Dados mais
recentes
Parmetros
ideais/
recomendados
Fonte
Taxa de
Adequao
Energtica
(TAE<100%)
Medio mais
apropriada para o
problema da
fome
Exige pesquisa extensa e cara (ENDEF).

Dados desatualizados
42% da
populao em
1974/75
0% com TAE
<100%
Lustosa e
Figueiredo
(1990)
Mulheres com
baixo IMC
Medio direta do
efeito da fome
Pesquisa desatualizada.Mede o efeito da

fome aps sua manifestao.No considera
o acesso da populao alimentao
(pode ser por doao,lixo,etc)
6,2% das
mulheres em
idade frtil
em 1996
3% a 5% da
populao total
considerado
normal
Monteiro
(1997)
Crianas com
retardo no
crescimento
Medio direta da
desnutrio
Causas da desnutrio infantil so mltiplas

e so mais relacionadas com pobreza do
que exclusivamente com a fome
10,4% das
crianas em
1996
2% a 3% das
crianas de um
pas
Monteiro
(1997)
Parte II Mtodos indiretos

Mtodo
Vantagens
Dados mais
recentes
Desvantagens
Fonte
% da populao com renda

familiar per capita <1/4 s.m.
(R$ 46,15 em agosto de 1999)
Medio mais prtica

e transparente
Valor do s.m.no uma medida

adequada das necessidades bsicas da
populao.Mesma linha para o pas
18,1% da
populao em
1999
Hoffmann
(2001)
% da populao com renda <

US$ 1,00
Permite comparaes
internacionais
No considera as diferenas de custo de

vida dentro do pas.Taxa de cmbio pode
ter grande variao ao longo do tempo
5,1 da populao
em 1997
Banco Mundial
(2000)
Linha de indigncia (LI) da

Cepal
Estudo bastante
detalhado buscando
sanar as crticas
anteriores
Valor no atualizado.Diferena da LI entre

reas rurais e metropolitanas arbitrrias
(25% menores)
1990:31.679.095
pessoas ou
21,94% da
populao
IPEA/Mapa da
Fome
Estimativa de LI para reas urbanas e

rurais tambm arbitrria (mdia entre
ENDEF e POF)
1997:13% da
populao
Artas (1999b)
Linha de indigncia da
Comisso Mista IBGE,Cepal e
IPEA (coord.rtas,Cepal)
Linha de indigncia de Snia
Rocha (linha em 1999 varia de
R$ 20,37 Centro-Oeste rural a
R$ 41,86 RMRJ)
Srie histrica longa,

bastante detalhada.
Estudo de grande
referncia nacional
Utiliza mesma estrutura de consumo

regional entre reas urbanas e rurais do
ENDEF de 1974/75
1999:13,6
milhes ou 8,7%
da populao
IPEA/Snia
Rocha
Linha de Indigncia de Ferreira,

Lanjouvi e Nri (200) e
Camargo e Ferreira (linha em
1999 de R$ 75,00)
Dados mais atuais

para estrutura
regional de consumo
Utilizam a PPV,que teve baixa

abrangncia amostral (s regies
Nordeste e Sudeste e s 5.000 domiclios)
1999:29% das
pessoas
Ferreira,Lanjouvi
e Nri e Camargo
e Ferreira (PUCRJ,Banco
Mundial e FGV)
Fonte.Projeto Fome Zero.Instituto Cidadania.Acessado da Internet:http//www.icidadania.org.br.27.7.2001.P.77.
122

4.4.3. Focalizao por categorias ou focalizao por

grupos
Os mtodos de focalizao, tambm chamados de focalizao
estatstica, envolvem o uso de categorias usualmente correlacionadas com
pobreza (difceis de manipular e facilmente observveis como critrio de
elegibilidade). Faixa etria, gnero, estado nutricional, etnia e localizao
geogrfica so alguns exemplos de categorias utilizadas.
De forma geral, a maioria dos programas adota algum tipo de
focalizao geogrfica, seja de forma isolada ou combinada com o uso de
outros indicadores. A focalizao geogrfica requer que o gestor de
poltica saiba exatamente qual a rea ou local que mais necessita de ajuda.
O gestor deve ter conhecimento da distribuio geogrfica da incidncia,
profundidade e severidade da pobreza no pas ou regio. Esse mecanismo
trabalhar bem somente se a pobreza for bastante concentrada. Se
existirem muitos indivduos no-pobres na rea beneficiada pelo
programa, a eficincia diminui e a probabilidade de vazamento aumenta.
Outro fator que influencia a eficincia do mtodo em questo a unidade
geogrfica de escolha (comunidade, municpio, regio etc.). Quanto menor
a unidade, maior o alcance e menor o vazamento do programa.
O critrio geogrfico , na verdade, um tipo de proxy means-tested. Como
foi dito, ele identifica como beneficirios do programa todos os indivduos
dentro de uma rea geogrfica. o mesmo que considerar o local de
moradia (favelas, loteamentos populares, etc.) como proxy de renda.
A vantagem do uso focalizao categrica est na fcil administrao e
na imposio de baixos custos no processo de seleo. O sucesso
depende do conhecimento prvio da distribuio demogrfica,
profundidade e severidade da pobreza dentro dessas categorias. O
programa funcionar bem quando apresentar alta concentrao de
populao pobre em uma das categorias. Porm, seu uso no isento de
problemas. Alm de serem indicadores imprecisos de pobreza, costumam,
ainda, gerar incentivos adversos, como a quebra de ncleos familiares ou
de migrao para reas beneficirias.
4.4.4. Auto-seleo
O princpio bsico dessa abordagem deixar a escolha de participao
a cargo dos prprios beneficirios, em vez da interveno de um
administrador. A estratgia definir um conjunto de incentivos e custos de
123

participao (critrios de adeso) que induza um grupo especfico prselecionado a participar. O ponto principal que, apesar de ser universal,
apenas o pblico-alvo especfico deve se auto-selecionar para
determinada interveno.
So exemplos de intervenes que utilizam a auto-seleo programas
de empregos pblicos com baixos salrios e subsdios a alimentos de
maior relevncia para os pobres. O estigma decorrente de participar em
determinado programa, tambm pode servir como um fator impeditivo
de acesso para os mais ricos. Um caso bastante interessante apresentado
por Alderman e Lindert (1998, citado por Van de Walle, 1998). A Tunsia
converteu seu programa universal de subsdios, insustentvel na seara
fiscal, para um programa menor, focalizado por meio da auto-seleo.
Limitado pela ausncia de diferenas nas cestas de consumo dos pobres e
no-pobres, a soluo adotada pelo governo foi diferenciar os alimentos
no pela sua qualidade intrnseca, mas pelas embalagens. Bens inferiores
foram criados de forma a impedir seu consumo pelos no-pobres. De
forma complementar, o programa foi reforado pela introduo de bens
superiores, com embalagens atraentes e de boa qualidade, e pela
liberalizao da importao de bens substitutos.
Programas de reforma agrria pela via de mercado tm adotado
mecanismos de auto-seleo. Em tais programas so definidas apenas as
caractersticas gerais da populao de possveis beneficirios e as
condies de acesso, sem que haja prvia seleo dos participantes. A
participao associativa e no individual; apenas associaes podem
participar, e a escolha dos beneficirios feita pelas prprias associaes
que se apresentam para participar do programa. Os interessados que
porventura atenderem aos requisitos formais de participao devem se
associar a outros candidatos e pleitear a entrada no programa.
Um desafio enfrentado por programas baseados em auto-seleo
consiste em construir uma institucionalidade que desestimule a
dependncia dos beneficirios. Elevada dependncia de benefcios pode
arruinar a sustentabilidade e o sucesso do programa. Exigir uma possvel e
desejvel contribuio por parte dos beneficirios pode ser uma soluo.
A contribuio funcionaria como um custo de adeso. Espera-se com isso
que candidatos que no estejam dispostos a comprometer-se de fato com
o programa sejam excludos com essas exigncias. Um bom exemplo a
exigncia de manuteno dos filhos na escola como condio para
continuar recebendo benefcios do programa.
O desenho do programa dever conter mecanismos que induzam a
maximizao dos ganhos de renda, mas minimizem ganhos em outros
124

aspectos. Ilustra bem esse argumento o uso de workhouses destinadas aos

pobres na Inglaterra do Sculo XIX. As condies impostas eram to
desconfortveis que somente os mais necessitados aceitavam participar. O
aspecto-chave para que isso ocorra o custo de participao. O montante
desse custo deve ser maior para populaes no-necessitadas.
A idia por trs desse tipo de mecanismo de que os custos privados de
participao num determinado programa so diferentes para os pobres e
para os no-pobres, de forma que o programa, mesmo sendo muitas vezes
de acesso universal, impe um custo de participao mais elevado para os
no-pobres, desencorajando-os de participar. um mtodo que oferece
custos administrativos bastante baixos e uma abordagem interessante em
perodos de crise, pois se ajusta automaticamente (ao contrrio dos outros
mtodos que usam indicadores rgidos). Se bem desenhado, apresenta grau
de vazamento baixo,mas sua eficincia no clara e deve ser examinada caso
a caso.
Por fim, os programas que utilizam a auto-seleo tm tambm a
vantagem de retirar o poder de deciso de burocratas, o que reduz os
incentivos corrupo e ao favoritismo.
4.5. Medindo o Grau de Focalizao

A avaliao do grau de focalizao de um programa de combate
pobreza envolve duas etapas: a) definir o pblico-alvo; e, b) selecionar um
indicador de focalizao.
Para se definir o pblico alvo faz-se necessrio estabelecer uma linha
demarcatria entre pobres e no-pobres. preciso estabelecer um indicador
y (renda familiar per capita, consumo familiar per capita ou algum outro
indicador de bem-estar da famlia) e um valor especfico desse indicador (y*).
Todos os indivduos vivendo em famlias com y < y* so considerados
pobres.
A renda familiar per capita constitui-se em um dos indicadores mais
utilizados em estudos sobre pobreza, sendo y* a linha de pobreza (ver 4.4.2).
Dado que os problemas de renda no monetria e de flutuao da renda
corrente tendem a ser maior no meio rural, um bom indicador poderia ser o
consumo.
Trs so os critrios para se avaliar a focalizao dos programas: eficincia,
vazamentos e custos. De outra forma, necessria a avaliao de custos versus
benefcios (considerando os vazamentos como um benefcio negativo).
125

A forma mais comum de se avaliar a focalizao verificar se o pblico

beneficiado corresponde ao pblico-alvo proposto, ou seja, as taxas de nocobertura e de vazamento (erros tipo I e II). Para tal, necessrio que o
pblico-alvo esteja definido de forma precisa, assim como os indicadores
utilizados e a linha de corte a definir os beneficirios e os no-beneficirios.
Uma forma de fazer isso classificar toda a populao em quatro
categorias como na Figura 4 (adaptado de Grosh, 1994). Podemos observar
que o programa hipottico tinha como seu pblico-alvo 40% da populao,
mas beneficia 50%. Encontram-se excludos do programa 1/4 do pblico-alvo
que deveria ser beneficiado (Erro Tipo I); e encontram-se includos 1/3 de
beneficirios que no pertencem ao pblico-alvo (Erro Tipo II).
Quadro 2 Erros de excluso e incluso

Pblico-alvo
No pblico-alvo
Beneficirios
Sucesso
30%
Erro Tipo II (incluso)

20%
50%
No beneficirios
Erro Tipo I (excluso)

10%
Sucesso
40%
50%
40%
60%
Fonte: Adaptado de Grosh, 1994.
Este tipo de anlise bastante simples e pode ser usada para corrigir
distores dentro do prprio programa, embora apresente algumas
deficincias.Trs crticas so apresentadas por Coady et.al. (2002). A primeira
que a abordagem no diferencia entre nveis de intensidade de pobreza.
No exemplo citado a pouco, faz diferena se 1/4 do pblico-alvo excludo
composto pelos mais miserveis ou se composto por aqueles que esto
prximos linha da pobreza. O mesmo se aplica para os includos
erroneamente. A segunda crtica diz respeito ao fato de que a abordagem
apenas apresenta o nmero de pessoas que recebem o benefcio e no
explicita a diferenciao, em termos de quantidade, de recursos recebidos
por cada beneficirio17. Por fim, a comparao entre programas
17 Como vimos quando tratamos da questo do seguro-desemprego, isso pode fazer bastante
diferena no resultado da anlise.
126

dificultada pelo fato de que existe um trade-off entre os erros Tipo I e Tipo
II: programas que tem baixos vazamentos tendem a apresentar baixa
cobertura e vice-versa.
Anuatti-Neto et al. (op. cit., p. 6) propem o uso de um indicador de
focalizao no qual so atribudos pesos aos dois critrios de avaliao:
eficincia e vazamentos. O indicador proposto o seguinte:
T = (PI PE )+ (1 )(NPE NPI )
Onde:
T = indicador de focalizao;
PI = proporo de famlias/indivduos pobres corretamente includos;
PE = Proporo de famlias/indivduos pobres erroneamente
excludos;
NPE = Proporo de famlias/indivduos no-pobres corretamente
excludos; e
NPI = Proporo de famlias/indivduos no-pobres erroneamente
includos;
= fator de ajuste, onde 0 1.
Como possvel observar, (T) encontra-se no intervalo -1<T<1, sendo
que melhor o grau de focalizao quanto mais prximo de 1. No caso de
T=1, a focalizao seria perfeita, o significa que todos os indivduos do
pblico-alvo foram includos e foram excludos todos os indivduos de fora
desse pblico.
O termo [PI PE] representa a eficincia no alcance da poltica. Quando
ele assume valor (1), significa que todas as famlias pobres foram includas.
Quando assume valor ( 1), significa que todas foram excludas. Por sua vez,
o termo [NPE NPI] representa uma medida do vazamento do programa.
Em caso de assumir valor (1), significa que todas as famlias no-pobres
foram devidamente excludas; em caso de valor ( 1), significa que todas
foram indevidamente includas.
O fator de ajuste ( ) normativo e pondera os dois critrios de avaliao.
utilizado para representar um julgamento de valor, que depender de
cada interveno. Mais ou menos peso poder ser dado ou para a incluso
do pblico-alvo ou para a excluso correta dos indivduos fora do alvo. Em
programas cuja prioridade maior elevar o bem estar do pblico-alvo,
maior peso deve ser dado incluso correta dos pobres bem como a sua
no excluso (ou seja, >0,5). De forma anloga, se maior prioridade for dada
alocao correta de recursos escassos, ento maior peso deve ser
atribudo ao termo que reflete os vazamentos do programa ( <0,5).
127

Para melhor entender o significado desse indicador, interessante

supor a = 0,5. Seja IF = (PI NPI) um indicador de focalizao que avalia a
diferena nas probabilidades de incluso no programa, entre famlias
pobres e no-pobres. Note que se a escolha das famlias beneficirias fosse
realizada de forma aleatria, E[IF] = 0. Assim, se IF>0, ento, o mtodo de
seleo adotado possui uma capacidade de discriminar pobres e nopobres melhor que um simples sorteio.
Cabe ressaltar que na situao acima, a capacidade de discriminao o
nico critrio relevante. O grau de focalizao seria o mesmo se PI=1 e
NPI=0,6, ou se PI=0,5 e NPI=0,1. Entretanto, pode-se defender que a primeira
situao prefervel, uma vez que ela atende a todos os pobres. Trata-se de
um critrio valorativo que d mais peso para a incluso de pobres do que
para a excluso de no-pobres, fato captado na frmula que determina (T)
pelo termo . Note que se = 1, ou seja, apenas o critrio de incluso de
pobres considerado, ento (T) = PI PE. Nesse caso, uma soluo trivial e
que maximiza o indicador de focalizao consiste na universalizao dos
benefcios. Portanto, para 0 < < 1, ocorreria uma combinao desses dois
critrios: discriminao e incluso dos pobres. Anuatti-Neto, Fernandes e
Pazello (2000) sugerem trabalhar com 0,5 a 0,7.
O indicador em comento permite a comparao entre programas, mas
no considera a intensidade da pobreza, nem a diferenciao em termos
de quantidade de recursos recebida por beneficirio. A primeira
deficincia pode ser resolvida por meio da introduo de um novo peso,
que seja capaz de refletir a distncia de cada indivduo em relao linha
de pobreza18.
Uma forma simples de se avaliar a focalizao consiste em observar o
alcance dos programas por grupos de renda. Esse mtodo pode ser
utilizado, inclusive, quando uma linha de pobreza no est definida ou
quando informao sobre os no-beneficirios no est disponvel. Tem-se
como exemplo hipottico o apresentado na Tabela 2 (adaptado de Grosh,
1994).
18 Para mais detalhes, ver Anuatti-Neto e Fernandes (op. cit. p. 8) ou Grosh (1994, p. 25).
128

Tabela 2
Alcance de dois programas por quintil de renda

Exemplo 1 percentual dos beneficirios do quintil no
total de beneficirios
1 QUINTIL
2 QUINTIL
3 QUINTIL
4 QUINTIL
5 QUINTIL
TOTAL
Programa A
35,0%
25,0%
20,0%
10,0%
10,0%
100,0%
Programa B
40,0%
20,0%
25,0%
10,0%
5,0%
100,0%
Fonte: Adaptado de Grosh, 1994.
A Tabela 2 mostra o alcance de dois programas hipotticos por quintis

de renda. Os erros de incluso de cada programa podem ser aferidos se
uma linha de pobreza estiver definida. Suponha que a linha de pobreza
esteja definida para incluir apenas o 1 quintil. Percebe-se que o Programa
B possui menor vazamento que o Programa A, ainda que nada se possa
dizer sobre os erros de excluso.
Se a linha de pobreza inclusse os dois primeiros quintis de renda, os
dois programas apresentariam a mesma taxa de vazamento, ainda que
algum julgamento de valor pudesse ser feito sobre o fato do Programa B
ter maior alcance no 1 quintil. Esse tipo de distribuio permite fazer
comparaes entre pases ou regies com linhas de pobreza diferentes.
No caso de o Programa A ter como referncia uma linha de pobreza
que inclua os dois primeiros quintis e o Programa B apenas o primeiro, o
Programa A apresenta menor taxa de vazamento, ainda que somente pelo
fato de ser julgado por um critrio que no considera apenas o alcance da
populao mais pobre (1 quintil).
Tabela 3
Alcance em dois programas por quintil de renda

Exemplo 2 percentual dos beneficirios do quintil no
total da populao do quintil
1 QUINTIL
2 QUINTIL
3 QUINTIL
4 QUINTIL
5 QUINTIL
TOTAL
Programa A
90,0%
74,0%
62,0%
60,0%
48,0%
66,8%
Programa B
48,0%
33,0%
25,0%
22,0%
12,0%
28,0%
129

A Tabela 3 apresenta um segundo exemplo hipottico. De toda a

populao pobre pertencente ao 1 quintil de renda, 90% recebe
benefcios do Programa A e 48% recebe benefcios do Programa B. A
porcentagem do total de beneficirios sobre o total da populao pobre
foi calculada como a mdia da participao em cada quintil. primeira
vista, poderamos concluir que o Programa A mais eficaz que o Programa
B, j que apresenta uma cobertura maior em todos os quintis, em particular
nos de mais baixa renda.
A concluso vlida apenas se o pblico-alvo dos dois programas for o
mesmo. Muitos programas focalizados no so direcionados populao
pobre como um todo, e sim a um subgrupo especfico da populao
pobre. Assim, o Programa B pode ser um programa de reforma agrria que
tenha como foco apenas famlias com filhos em idade escolar. Dada essa
condio de acesso, o alcance desse programa ser menor quando
calculado sobre o total da populao pobre, e maior quando calculado
sobre o total de famlias obedientes condio de acesso.
Ainda que o denominador utilizado seja o mais adequado (como o uso
total de famlias pobres com filhos em idade escolar em vez do total de
famlias pobres) preciso ter cuidado ao avaliar os erros de excluso.
Muitas vezes, um baixo grau de cobertura pode ser apenas reflexo dos
poucos recursos disponveis ou falta de informao, no uma falha no
processo de seleo.
4.6. Comentrios Finais

Os conceitos e definies que envolvem o desenho de polticas
focalizadas mostram que existe um amplo espectro de aplicaes dessas
polticas e diversas questes que devem ser consideradas antes de sua
implementao. A combinao de diversos mecanismos e mtodos
permite que cada problema possa ser abordado de forma individualizada,
de acordo com os objetivos especficos de cada interveno.
A escolha do desenho ideal depende dos custos e dos benefcios
decorrentes, que, por sua vez, so especficos a cada situao. Porm, as
condies institucionais e polticas tm implicaes para a escolha final e
devem ser consideradas com cuidado. A teoria apresentada serve apenas
como referncia para a implementao de polticas focalizadas. Em muitos
casos, so as condies especficas, estruturais ou transitrias de um pas
ou regio que condicionam o resultado da interveno.
130

5. ESTUDOS DE AVALIAO
DO CAPITAL SOCIAL
O capital social um conceito de ampla latitude que se refere s

normas e s redes sociais que facilitam a ao coletiva com vistas ao
benefcio mtuo19. A agenda internacional dos programas de combate
pobreza incorporou o capital social das comunidades a partir da aceitao
das recomendaes de Robert Putnam:
(...) propostas para o fortalecimento das economias de
mercado e das instituies democrticas [dos pases em
desenvolvimento e em transio para o capitalismo] centramse quase que exclusivamente em deficincias no capital
financeiro e humano (demandando, portanto, emprstimos e
assistncia tcnica). Entretanto, as deficincias no capital social
so no mnimo igualmente alarmantes. Onde esto os esforos
para encorajar a formao de capital social? (Putnam, 1993: 38).
Os efeitos esperados da promoo do capital social nas comunidades
pobres deram sustentao terica implementao de estratgias e
programas de combate pobreza rural com as seguintes caractersticas:
recursos (a fundo perdido) aplicados em pequenos projetos locais,
incorporando associaes comunitrias e/ou conselhos municipais
na alocao e formulao;
pequenas firmas locais na construo; e
participao da comunidade beneficiria no financiamento e
manuteno do projeto.
Segundo essa concepo, tais mecanismos de interveno das polticas
(policies) produziriam os incentivos necessrios gerao de capital social
e, por conseqncia, desenvolvimento econmico local e rotas de sada da
pobreza (Tendler, 2000). Essa modalidade de poltica pblica supe que,
dada uma situao de equilbrio, caracterizada por relaes de
dependncia/subordinao e reprodutora da pobreza, o programa
operaria como um choque externo, por meio do qual o interesse das
19 Para uma reviso desta literatura, ver Woolcock (1998).
131

comunidades na obteno de um determinado bem geraria incentivos

para o comportamento cooperativo, rompendo com a situao de
equilbrio anterior.
Nessa acepo, o capital social seria um recurso coletivo que emergiria
como um resultado da interao entre atores racionais que reconheceriam
a necessidade de cooperar entre si para obter benefcios mtuos. O capital
social seria sinnimo de cooperao. Elemento essencial para a cooperao
seria a existncia de relaes de confiana entre os membros do grupo20.
Ainda que todos os atores saibam que tm a ganhar com a cooperao, a
ausncia de confiana com relao ao comportamento futuro dos demais
atores implica resultados no-cooperativos. Uma vez experimentados os
benefcios derivados do comportamento cooperativo, os indivduos
tenderiam a aumentar sua disposio para cooperar. O capital social seria
uma espcie de recurso moral dos grupos sociais, recurso cuja oferta
aumenta com o uso, em vez de diminuir, e que se esgota se no for utilizado
(Hirschman, 1984).
A estratgia de interveno considera que a reduo da pobreza
depende da criao ou fortalecimento de capital social que seja capaz de
mobilizar tanto recursos locais como recursos externos para enfrentar a
pobreza, criando oportunidades de gerao de renda e mobilizando
potencialidades locais. Assim, as polticas pblicas de combate pobreza,
alm de trazer um efeito direto sobre o bem-estar da populao pobre,
deveriam contribuir para criar capital social e detonar um processo de
mobilizao das comunidades em favor do prprio desenvolvimento.
So questes essenciais dessa estratgia:
um conselho que conte com representantes comunitrios a operar
como a instncia encarregada de tomar decises sobre a alocao
dos recursos; e
transferncia para organizaes comunitrias da responsabilidade
sobre a implantao dos projetos.
A criao e o adequado funcionamento de ambas as instituies teriam
o objetivo de estimular a criao do capital, a participao local, a
transparncia e a eficcia das aes. A hiptese subjacente que projetos
com essas caractersticas estimulariam a organizao das comunidades,
elevariam a participao da populao interessada nas decises sobre as
20 A literatura sobre capital social aborda a confiana simultaneamente como uma condio para
a cooperao e como um contedo das relaes sociais, de tal sorte que resta no resolvida a
questo da origem da disposio para a cooperao. Em qualquer de suas verses, contudo, a
confiana um atributo social frgil, isto , pode desaparecer facilmente e exige lenta construo.
132

prioridades e na gesto dos recursos, melhorariam o foco do projeto21 e

reduziriam problemas de m utilizao de recursos pblicos.
Capital social um ativo intangvel cuja construo necessariamente
um processo de longo prazo, condicionado tanto pela herana histrica e
cultural das comunidades como pelos desafios e circunstncias que cada
comunidade enfrenta cotidianamente. Avaliar os efeitos das polticas
pblicas sobre o capital social, ou as relaes entre capital social e
desempenho scio-econmico das comunidades, no nada simples.
A simples obteno de medidas de capital social das comunidades a
partir da construo de indicadores de capital social pode ser
insuficiente para indicar o que realmente ocorreu. A suposio de que um
projeto seja a nica fonte de capital social pode derivar de uma hiptese
muito forte de isolamento da comunidade. Assumir que o capital social
seja produto, em vez de causa das transformaes observadas em uma
pesquisa, tem suas vantagens, mas tambm acarreta dificuldades para a
anlise e para as formulaes claras de polticas.
Vale apontar algumas dimenses importantes que interferem no
processo de avaliao do capital social: o tempo e a amplitude do efeito.
Na maioria dos casos, as avaliaes de capital social no contexto de
programas de combate pobreza operam com prazos inadequados para
captar o desenvolvimento e a maturao do capital social. Ou seja, o
tempo se torna um fator limitante para a anlise. Os resultados dessas
avaliaes devem sempre ser entendidos como um esforo para
compreender o rumo e para identificar se as polticas/programas esto
contribuindo para a construo de capital social, no para se atingir um
resultado definitivo, preciso e afirmativo.
Mesmo que o alcance da anlise no permita generalizaes sobre
como montar programas/projetos que se fundam na busca estratgica de
promover o capital social, trata-se de um esforo vlido, em especial,
quando logra comparar duas situaes ou programas distintos.
Menos ambiciosos em seus propsitos, estudos de avaliao, quando
bem conduzidos, permitem distinguir as intervenes que esto tendo
impacto sobre o capital social daquelas que no contribuem para
promover a organizao e capacidade de mobilizar as energias sociais para
aes que no poderiam ser levadas a cabo por indivduos e/ou famlias
isoladamente.
21 Programa e projeto sero tratados indistintamente, ainda que em muitos casos haja diferenas
conceituais e operacionais entre eles.
133

Os estudos de avaliao do capital social devem distinguir trs

dimenses: a) a mensurao de variaes no capital social das comunidades;
b) o capital social como varivel dependente; e c) o capital social como
varivel independente.
Cada dimenso da anlise deve considerar diferentes relaes de
causalidade, bem como de variao intertemporal dos indicadores de
mensurao.
A mensurao de variaes no capital social das comunidades envolve
a construo de indicadores capazes de medir variaes na natureza das
relaes associativas entre os membros das associaes antes e depois da
ao orientada a estimular sua ampliao ou construo.
Esse tipo de estudo deve medir trs trajetrias possveis das formas de
cooperao existentes nas comunidades: a) aquelas em que a situao se
manteve inalterada, o que significaria que o programa avaliado no teve
efeito sobre o capital social pr-existente; b) aquelas que alternativamente
podem ter intensificado as prticas cooperativas, o que permitiria testar um
efeito positivo do programa avaliado; c) aquelas em que as comunidades
observadas podem ter reduzido seus laos associativos, o que indicaria a
possibilidade de frustraes derivadas da experincia vivificada entre o
perodo anterior e o posterior implementao do programa avaliado.
Para fazer inferncias e extrair concluses com relao a qualquer
dessas trajetrias possveis, os indicadores construdos para tal
mensurao devem ser mantidos constantes para os dois perodos no
tempo. Suponha-se a avaliao de um programa implementado no ano de
2004. A medio das variaes no capital social das comunidades deve
observar os mesmos fenmenos no perodo anterior implementao do
programa t0 e em um perodo posterior t1. Sem respeito estrutura lgica,
no possvel fazer qualquer inferncia confivel sobre a trajetria do
capital social das comunidades observadas. A ampliao do capital social
s ter ocorrido se os indicadores examinados apresentarem uma variao
positiva entre t0 e t1.
O segundo item refere-se possibilidade de inferir se as variaes no
capital social podem ser atribudas aos programas/projetos avaliados ou se,
alternativamente, so explicados por outros fatores do ambiente. Neste tipo
de estudo, o capital social avaliado como varivel dependente, isto ,
como tendo sua variao a ser explicada. Pelo teste das relaes entre o
funcionamento das regras, pelas instituies do programa/projeto avaliado
e pela medio das variaes no capital social das comunidades ser
possvel inferir se os primeiros so capazes de explicar os segundos.
Significa que o estudo de avaliao pretende examinar se as polticas e os
134

programas avaliados produziram efeitos e quais efeitos sobre o grau de

organizao prvio das comunidades, ou seja, sobre o capital social.
Neste estudo, no apenas essencial que os indicadores de mensurao
sejam os mesmos para os dois perodos de tempo, correspondendo, t0 e t1,
respectivamente, ao momento anterior e ao posterior implementao da
poltica pblica avaliada. preciso ainda testar hipteses relativas a outros
fatores do ambiente, evitando interpretaes falsificadas por fatores
externos ao programa avaliado.
Aqui, por externalidade, se entende que as variaes no capital social
possam ser explicadas por fenmenos contemporneos ao programa
avaliado. Nos estudos sobre capital social, constata-se que um conjunto de
outros programas de combate pobreza so implementados
simultaneamente.
Efeitos positivos sobre o capital social das comunidades podem ser
explicados pelos efeitos sinrgicos de todos os programas e no apenas
pelo programa avaliado. Alternativamente, efeitos negativos sobre o capital
social das comunidades podem ser derivados pela competio de outras
polticas pblicas que distribuem os mesmos recursos com base em
relaes clientelistas. Em qualquer dos casos, a avaliao do capital social
como varivel dependente deve controlar os efeitos de fenmenos
externos ao programa avaliado sobre as relaes cooperativas das
comunidades.
Alm disto, o exame rigoroso do capital social como varivel
dependente deve controlar o fato de que na maioria dos casos o resultado
das polticas/programas tambm depende do capital social prvio e da
prpria acumulao de capital social ao longo da vigncia das
polticas/programas. O duplo papel do capital social, como insumo
necessrio para o xito das polticas/programas de combate pobreza e, ao
mesmo tempo, como resultado dessas mesmas polticas/programas, torna
complexa a anlise e requer cuidados com a interpretao dos resultados e
das relaes causais que envolvem o capital social.
Entretanto, a mera variao positiva dos indicadores s pode ser
atribuda ao programa avaliado se o estudo de avaliao mantiver
controladas outras variveis do ambiente no estabelecidas pelo
programa em questo que possam eventualmente ter produzido esse
efeito22.
22 Ver Captulo 2.
135

Em geral, os estudos de avaliao do capital social, como varivel

independente, pretendem examinar se, de fato, o nvel de capital social
tem efeitos sobre a situao prvia de pobreza das comunidades, ou seja,
avaliar seu impacto. Em outras palavras, se a premissa dos programas de
combate pobreza de que o capital social um recurso para a gerao
de capacidade endgena de sada da situao de pobreza, o estudo do
capital social como varivel independente deve testar se variaes no
capital social das comunidades produziram rotas sustentadas de sada da
pobreza. Mais especificamente, devem testar se o nvel de capital social
afeta positivamente a capacidade de gesto coletiva dos recursos
recebidos e em que medida esses efeitos tm sustentabilidade.
Uma situao hipottica possvel de um programa que tenha sido
bem focalizado e adequadamente implementado. Adicionalmente, tal
programa foi capaz de produzir variaes positivas sobre o capital social
prvio das comunidades observadas. Entretanto, o postulado de que o
capital social produz efeitos positivos sobre a pobreza s seria confirmado
se fosse possvel comprovar que as comunidades observadas saram da
situao de pobreza por efeito de suas novas prticas cooperativas.
Somente o teste e a comprovao emprica deste conjunto de relaes
causais confirmariam a proposio de que o capital social uma varivel
independente, capaz de integrar uma poltica realista de combate
pobreza.
Neste caso, mantm-se ainda mais necessrias as cautelas quanto s
relaes de causa. plausvel supor que uma comunidade observada
tenha reduzido seus nveis de pobreza, e esta reduo no possa ser
explicada por variaes positivas nos nveis de capital social, mas por
fatores externos. Um rigoroso estudo de avaliao no pode deixar de
testar as hipteses relativas a tais fatores.
Em resumo, a discusso sobre capital social impe um considervel
desafio analtico. A idia geral de que existe uma forte correlao entre as
caractersticas das comunidades sua histria, a capacidade de encontrar
solues adequadas para seus problemas (que no estejam apenas
baseadas em tradio ou em mera reciprocidade entre membros da
comunidade) e a forma de conduzir programas sociais exige certos
cuidados metodolgicos na construo de indicadores minimamente
compatveis com o grau de dificuldade e a importncia do problema23.
Para avaliar impactos do capital, comunidades de beneficirios de
projetos e indicadores de capital social preciso considerar a dimenso
23 Estes problemas so semelhantes aos envolvidos na criao de variveis para a anlise de
focalizao e de impacto de bemestar.
136

temporal adequada e isolar os efeitos do capital social pr-existente, bem

como mudanas outras, que no aquelas pertinentes ao projeto em
anlise, para tomar o capital social como uma varivel independente,
causadora de impacto.
A anlise do capital social implica a construo de indicadores que
permitam uma clara indicao da direo dos efeitos e uma avaliao da
forma de estruturao dos indicadores construdos a partir do instrumento
de coleta de dados.
Os estudos de avaliao do capital social devem se orientar para a
construo de indicadores que possam ser objeto de anlise comparativa
dos resultados auferidos em dois perodos e que possam ser medidos ao
longo do tempo, permitindo, assim, tanto a anlise comparativa de
indicadores como das relaes de causalidade mencionadas. A experincia
emprica acumulada e a literatura sugerem a apresentao de alguns
indicadores de maior importncia24.
5.1. Indicadores do Capital Social das Comunidades

So recomendveis os indicadores a seguir.
5.1.1. O nvel e a natureza da organizao comunitria
As diferentes comunidades observadas tendem a apresentar distintos
nveis e formas prvias de organizao no momento t(0) seja por razo de
suas tradies espontneas seja pelo impacto prvio de outros programas
de interveno. Para examinar as variaes no t(1), necessrio distinguir o
nvel prvio da organizao das comunidades bem como testar sua
evoluo com base no mesmo indicador.
Recomenda-se, para o aumento de confiana no modelo analtico,
trabalhar com diferentes ndices de medidas. So sugeridos dois tipos de
ndices relativos a diferentes modalidades de organizao comunitria,
conforme a seguir.
5.1.2. ndice de participao comunitria

Deve medir as formas de cooperao existentes no interior de
uma comunidade, compreendendo tipos de atividades coletivas com
24 Ver Pope (2003), para uma reviso sobre indicadores de capital social.
137

diferentes exigncias de esforo para a obteno de bens coletivos. Pode

envolver as seguintes informaes quantitativas: a) nmero de associaes
comunitrias (de qualquer espcie) existentes na comunidade; b) nmero
de equipamentos sociais mantidos pela comunidade (escolas, creches,
clubes recreativos, etc.); c) nmero de atividades de mutiro (para qualquer
finalidade) desenvolvidas nos ltimos dois anos; d) nmero de
movimentos reivindicatrios organizados nos ltimos dois anos.
5.1.3. ndice de institucionalizao da associao
comunitria
Deve medir a densidade da associao do ponto de vista do
envolvimento dos membros da comunidade no processo de tomada de
decises e nas atividades coletivas. Pode envolver as seguintes informaes:
a) reconhecimento da associao comunitria pelos moradores; b) nmero
de scios da associao; c) participao dos scios na tomada de decises;
d) fontes de recursos da associao (contribuies dos scios, externos,
recursos pblicos, atividades comunitrias, etc.); e) periodicidade das
reunies da associao; f ) taxa de renovao do corpo de diretores; g) anos
de existncia da associao; h) atividades de prestao de contas dos scios.
A experincia em avaliao de projetos mostra que no trivial captar,
com preciso, a verdadeira participao das comunidades nos processos
sociais. Qualquer um dos indicadores tomados isoladamente, ou de forma
automtica, pode induzir a erros grosseiros. Qual o significado do nmero
de pessoas que participam das reunies? Pode-se objetar que muitos
esto apenas presentes, mas no participam de fato. So meros
acompanhantes (ou esto no local por razes que nada ou pouco tem a ver
com a prpria reunio). Como separar resultados amplamente majoritrios
e legtimos de votaes daqueles nos quais a maioria folgada pode traduzir
apenas a presena de mecanismos de controle que pouco tem a ver com
os processos de participao?
Para ganhar confiana na construo dos indicadores recomendvel
que sejam empregadas diversas informaes na construo de um
mesmo indicador. Diferentes questes no instrumento de coleta de dados
devem permitir medidas de maior preciso. Por isso, ganham importncia
a lista de informaes citadas e as estratgias de construo de
indicadores sintticos.
tambm recomendvel que a aplicao de questionrios fechados
seja complementada com entrevistas de carter qualitativo e investigativo
junto s lideranas e prpria comunidade.
138

5.2. Indicadores da Existncia Prvia de Capital Social nas

Comunidades
Os estudos de avaliao que pretendem examinar a variao do capital
social das comunidades devem testar as hipteses referentes existncia
prvia de capital social anterior interveno da poltica pblica sob
avaliao. O exame no pode se limitar apenas s variaes no capital
social das comunidades, mas tambm testar as variaes. Caso as variveis
sejam positivas, podem ser atribudas poltica em questo. Sugesto
plausvel a utilizao de indicadores orientados a testar a natureza prvia
da experincia comunitria. Veja-se:
5.2.1. ndice de tradio comunitria

Deve medir se a existncia de vida associativa constitui uma espcie
de patrimnio da comunidade. A avaliao busca conhecer se a confiana e
a cooperao pautam as relaes entre os membros da comunidade na
medida em que, tendo se manifestado por um longo perodo de tempo,
cristalizaram-se como normas sociais. Pode ser construdo com base nos
seguintes aspectos: a) tradio de trabalhos coletivos na comunidade
(referncia de medio = anos); b) tradio de manuteno coletiva de bens
pblicos (escolas, capelas, etc.) na comunidade (referncia de medio =
anos); c) tradio de organizao de eventos comunitrios (referncia de
medio = anos); d) tradio de associao com finalidades reivindicativas
(referncia de medio = anos).
5.2.2. Nvel de organizao da sociedade civil
Refere-se densidade e natureza da vida associativa no nvel
municipal. Busca medir a extenso do associativismo no mbito do municpio
no que se refere expresso numrica, tipo e tempo de existncia. As
informaes para construo desse indicador podem ser as seguintes: a)
nmero de clubes esportivos,multiplicado por seu tempo mdio de existncia;
b) nmero de associaes sindicais, multiplicado por seu tempo mdio de
existncia; c) nmero de associaes religiosas, multiplicado por seu tempo
mdio de existncia; d) nmero de associaes reivindicatrias, multiplicado
por seu tempo mdio de existncia; e) nmero de associaes de moradores,
multiplicado por seu tempo de existncia; f ) nmero de partidos polticos com
representao na cmara municipal.
139

Tambm neste caso, a anlise deve ser cautelosa, e as interpretaes

apoiadas em conhecimento mais aprofundado das comunidades. Tem
sido muito comum, em estudos de avaliao, associar, de forma
automtica, a presena de associaes de carter poltico a um nvel mais
desenvolvido de capital social, ou desqualificar o papel de organizaes
como clubes esportivos e associaes religiosas. Esse tipo de
procedimento deve ser evitado, pois, em algumas comunidades, o capital
social se desenvolve a partir do clube de futebol e da igreja, e no do
sindicato ou de uma luta poltica em torno de um objetivo conjuntural.
5.3. Indicadores do Capital Social nos Conselhos

A maioria dos programas sociais incorporou a idia de utilizar algum
tipo de conselho comunitrio, municipal, especfico do programa,
especfico para uma rea (sade, educao, desenvolvimento rural) na
gesto das polticas pblicas. A intensidade e a abrangncia da
participao dos conselhos variam de programa para programa. Em alguns
casos, os conselhos so apenas consultivos; em outros, tm a
responsabilidade de definir diretrizes, prioridades e tomar decises sobre a
alocao dos recursos disponveis.
Dimenso importante da avaliao dos efeitos das polticas pblicas
sobre a construo do capital social, e do capital social sobre a eficcia das
polticas, refere-se precisamente ao impacto da existncia de conselhos de
gesto e alocao de recursos sobre a construo do capital social. Devese medir o papel do conselho tomado como varivel independente,
admitindo que sua existncia e desempenho afetam a disposio
participativa e associativa das comunidades observadas.
Para tanto, necessrio construir um indicador especfico de anlise.
5.3.1. Desempenho dos conselhos municipais

Os dados desse indicador possibilitam medir a composio,
representatividade e mecanismos de funcionamento do conselho. As
seguintes informaes podem ser utilizadas: a) tempo de existncia do
conselho; b) funes e atividades desempenhadas pelo conselho no projeto;
c) percentual de representao das entidades comunitrias locais (0% a
100%); d) percentual de freqncia do prefeito s reunies do conselho (0% a
100%); e) percentual de freqncia das associaes s reunies do conselho
(0% a 100%); f ) regularidade das reunies do conselho (nmero de reunies
140

anuais); g) realizao de atividades de superviso durante a implementao

dos projetos (nmero de visitas por projeto financiado); h) atividades de
orientao das comunidades (nmero de eventos anuais); i) nmero de
demandas aprovadas pelo conselho e de projetos implementados; j) nmero
de demandas rejeitadas e razes de sua rejeio; l) critrios empregados para
seleo de projetos; m) realizao de atividades de mobilizao e organizao
comunitria; n) existncia ou no de liderana forte, competente e
comprometida no conselho; o) tipo de relao entre o conselho e o poder
pblico municipal; p) tipo de relao entre o conselho e o poder pblico
estadual.
O indicador desempenho dos conselhos municipais um indicador
sinttico, porque as informaes aqui destacadas, se tomadas
isoladamente, pouco significam. Reunies regulares podem, por exemplo,
ser o resultado de uma exigncia legal, cumprida burocraticamente sem
maior contedo ou interesse para as comunidades, ou podem refletir um
nvel mais elevado de participao. Um grande nmero de pessoas
participantes com pouca representatividade pode significar menos que
uma reunio com poucos participantes com liderana e insero na
comunidade. Em alguns casos, reunies freqentes podem revelar
situao de conflitos. Situao contrria pode resultar mecanismos sociais
de deciso eficientes, que no exigem tantas reunies. A combinao e a
anlise qualitativa das informaes permitem fazer inferncias mais
precisas sobre o desempenho dos conselhos.
5.4. Indicadores de Desempenho da Poltica Pblica
Para examinar a variao do capital social como varivel dependente de
uma poltica pblica, deve-se supor que a reao e o comportamento das
comunidades e dos grupos sociais beneficirios de programas pblicos so
em grande parte derivados das regras formais de gesto, isolando essa
varivel do contexto social e poltico no qual so implementados. Trata-se,
portanto, de examinar as diversas dimenses da gesto do programa
(composio, funcionamento e relao com as associaes comunitrias). Os
indicadores abaixo so sugeridos.
5.4.1. Desempenho da equipe gestora
A depender do desenho do programa em questo, a equipe pode
ser ligada ao governo estadual, nacional ou municipal, ou mesmo formada
em combinao com ONGs. Informaes sobre os seguintes aspectos
devem ser levantadas:
141

composio das equipes (em termos de nmero, qualificao e relao

com o poder pblico estadual e com os municpios);
extenso em que os compromissos assumidos pela equipe gestora
parecem crveis aos conselhos e associaes;
extenso e qualidade de eventos de treinamento e qualificao dos
conselheiros municipais e lideranas comunitrias;
fluxo de liberao dos recursos e a identificao de seus pontos de veto;
publicidade e coerncia dos critrios para liberao de recursos.
Os estudos de avaliao do capital social revelam que os mecanismos
e as regras de gesto dos programas podem operar como sinalizadores
para as comunidades sobre comportamentos que seriam aceitveis e
desejveis no mbito do programa. Nesse sentido, as regras de gesto
afetam a formao do capital social na medida em que indicam quais os
tipos de associaes e de atitudes tendem a ser premiadas com os
recursos e quais no. Por exemplo: as regras sinalizam que as decises das
associaes e dos conselhos sero, de fato, levadas em conta pela
burocracia do programa, ou podem ser mudadas pela ao de um poltico
amigo, que d uma palavrinha com os responsveis e atende a demanda
da comunidade, canalizada, neste caso, por uma liderana local que opera,
provavelmente, como cabo eleitoral do poltico amigo. O exame
cuidadoso dessas regras e mecanismos, bem como a construo de algum
indicador sinttico, pode permitir uma avaliao mais precisa se (e em que
medida) o programa avaliado produziu estmulo ou frustrao em relao
promoo de prticas associativas.
O conjunto de indicadores apresentados procura cobrir as dimenses
temporal e de mbito na avaliao do efeito de programas no capital
social em comunidades de beneficirios. Intenta ainda permitir, pelo
caminho da mensurao, a identificao de causas exgenas, como a
organizao prvia dos assentamentos. Tem como objetivo mais
ambicioso formar uma base slida para que se avalie o impacto do capital
social criado pelo programa nos indicadores de bem-estar dos
beneficirios do programa e de suas comunidades.
Esse objetivo demanda o uso de indicadores sintticos e de tcnicas
que os relacionem com os indicadores de bem-estar, tudo o mais
controlado. Algumas metodologias para avaliar este tipo de impacto so
apresentadas a seguir. Sua aplicao adequada exige no s cuidadosa
construo dos indicadores baseados em instrumentos fidedignos de
coleta e com corretos procedimentos amostrais , mas tambm
conhecimento do objeto de anlise.
142

No presente trabalho, a discusso centra-se no impacto de polticas de

combate pobreza; polticas essas relacionadas distribuio de ativos
(basicamente infra-estrutura) no contexto de municpios. Temporalidades
distintas e novos mbitos demandam novos indicadores e a aplicao
adequada dos instrumentos metodolgicos disponveis. Portanto, vale o
alerta de que nenhuma receita substitui o conhecimento aprofundado
do assunto que se deseja analisar.
O Anexo 6 apresenta um conjunto de metodologias de construo de
indicadores de capital social e sua anlise estatstica. O objetivo da anlise
estatstica do capital social complementar os outros nveis de anlise e
testar as hipteses relativas s relaes de causalidade entre os programas
de interveno pblica, variaes no nvel de capital social das
comunidades e combate pobreza.
Os anexos seguintes, 7 e 8, apresentam algumas tcnicas para
construo de indicadores agregados de capital social e para a validao
de variveis latentes, que so aproximaes a variveis indicadoras de
capital social obtidas por meio de entrevistas de percepo dos agentes.
143

144

6. ANLISE
EXPLORATRIA DOS
DADOS: ANLISE DE
CORRESPONDNCIAS
MLTIPLAS
O perfil dos domiclios de uma comunidade e de suas relaes com

diferentes instncias de poder local e central, assim como com um
conjunto vastssimo de fatores de natureza poltica, econmica, ambiental,
tecnolgica e institucional, envolve um conjunto amplo de aspectos
representados por variveis de distinta natureza, nominais, categricas,
binrias, cujas caractersticas so determinadas, inclusive, pela escolha do
instrumento de coleta adotado.
A relao entre essas variveis, ainda que faam parte de um modelo
formal de anlise, no pr-estabelecida. Mesmo para um grupo de
pesquisa com larga experincia de campo, difcil antecipar qual ser o
conjunto de correlaes, o feixe de correlaes mais intenso entre
variveis partindo do modelo formal e da experincia prvia.
O uso de tcnicas exploratrias de dados torna-se mais necessrio
quando dimenses amplas esto envolvidas. Para muitos projetos, o
impacto em termos de ganho de bem-estar de domiclios beneficirios
no se revela em um perodo curto de tempo, por melhor que sejam o
delineamento da amostra e o rigor utilizado nas tcnicas economtricas. O
recurso literatura (trabalho seminal de Deaton, 1992) nem sempre d
conta das caractersticas especficas de um espao geogrfico nico em
sua combinao das dimenses:
de capital humano (uso efetivo das habilidades pelo pblico-alvo do
estudo);
das caractersticas edafoclimticas da regio (mais marcantes em
regies rurais pobres);
de sade econmica e da acumulao de capital prvia do pblico
investigado (e das restries impostas ao acesso a crdito pela
desigualdade na posse de ativos e pelas falhas de mercado,
145

caractersticas de regies em que a desigualdade social muito

acentuada);
de capacidade das comunidades e do poder local em criar redes que
geram efetiva troca de informaes na soluo de problemas locais e
na criao de um ambiente de confiana que permite a adaptao a
mudanas originadas de choques exgenos.
Essa multidimensionalidade da natureza de estudos de avaliao de
programas de combate pobreza. Os efeitos dos financiamentos de infraestrutura so condicionados pelas quatro dimenses citadas e, por seu
turno, so de vital importncia na articulao entre elas (Bardhan &
Mokherjee, 1999).
A articulao entre um programa de combate a pobreza e as quatro
dimenses pode ser apreendida em um momento especfico do tempo
pela anlise multivariada, sugerida aqui como instrumento de investigao
exploratrio. Ela permite identificar, no (hiper) espao dos indivduos (os
domiclios, as comunidades e mesmo os municpios, dependendo do grau
de agregao desejado), o feixe de variveis mais correlacionadas aos
planos de projeo identificados como mais importantes e dotados de
significado25.
No (hiper) espao das variveis ser possvel no s buscar o significado
do agrupamento dos indivduos, mas as principais variveis responsveis
pela qualificao desses agrupamentos.
Finalmente, as variveis mal representadas nos planos mais importantes
podem sugerir posterior refinamento dos modelos, seja de avaliao dos
impactos sobre o bem-estar seja na construo de indicadores para o
capital social.
O mtodo multivariado permite incorporar variveis (suplementrias)
que no participam dos clculos para obteno dos fatores e dos planos
fatoriais. Elas podem aparecer ilustrando aspectos relevantes da anlise.
Nesse contexto, variveis latentes, construdas em uma anlise de capital
social, referindo-se a municpios e comunidades, podem ser incorporadas
como variveis suplementrias, permitindo a tipificao de municpios
dotados de certo capital social em relao a outras dimenses (de capital
humano, fsicas e econmicas). Assim, seria possvel observar se municpios
com maior valor em capital social estariam localizados (em determinado
plano) em regies de maior dotao de capital fsico e econmico.
25 Vale lembrar que na seo sobre capital social, aplicou-se um tipo de anlise multivariada, a
anlise dos componentes principais, para sintetizar indicadores de capital social. O uso
exploratrio visa reduzir um pouco o espao de complexidade apresentado por problemas
multidimensionais.
146

O uso de mtodos exploratrios nada tem a ver com a busca ad hoc de

variveis para o modelo. Para cada bloco de anlise correspondendo, por
exemplo, a cada uma das 4 dimenses apresentadas acima devem ser
definidas variveis segundo o modelo terico-analtico adotado e em
conformidade com o planejamento realizado para os instrumentos de
coleta de dados. O modelo terico-analtico permitir formular hipteses
sobre as relaes entre as variveis. Alguns dos resultados esperados de
programas sociais complexos (como reforma agrria) poderiam ser
previamente formulados:
as aes do programa tendem a se concentrar em algumas regies,
devido at mesmo ao efeito demonstrao (o aparecimento de
fenmenos de dependncia de caminho, a despeito de uma
focalizao pr-definida). No limite, podem ocorrer fenmenos de
dependncia de caminho, em que o sucesso de um assentamento
motiva assentamentos prximos, criando uma autocorrelao espacial;
as variveis de carter meso-ambientais tm correlao com os
indicadores scio-econmicos, ou seja, h uma interao positiva
entre locais com melhores condies edafo-climticas e comunidades
mais propensas a uma melhor gesto do agronegcio;
as variveis relacionadas aos indicadores de nvel de capital humano
esto relacionadas aos de eficincia ou uso eficiente dos recursos
disponveis;
os programas descentralizados esto associados a formas mais geis
de organizao do capital social.
No mbito da anlise exploratria, fenmenos como vieses de seleo
no so controlados, mas podem ser causa de alguns resultados obtidos:
uma comunidade com maior capital social previamente acumulado pode
ter mais facilidade em se organizar para obter um financiamento de
programas do tipo reforma agrria assistida pelo mercado, captar
adequadamente os incentivos dados pelo programa e obter melhores
resultados, em termos de indicadores de desempenho. O papel de atribuir
ao programa o resultado obtido fica facilitado pela percepo dada
anlise exploratria de que o problema existe.
Medir distncias entre os grupos de amostras no o objetivo da
anlise, como o seria em uma anlise discriminante ou de resposta
quntica. O que se espera encontrar transies que apontem, nesse nvel,
para a existncia de relaes no-lineares entre variveis e que esse
caminho transitrio seja, em parte, relacionado presena do programa
(projetos produtivos e de infra-estrutura em que os resultados devem
permitir a identificao do papel do programa e de seu efeito persistente
sobre a vida das comunidades em situaes como instalaes e
147

benfeitorias). tambm importante permitir a identificao do papel de

investimentos realizados antes do programa e de vantagens locais que
potencializam os efeitos do prprio programa.
Muitas vezes, um nvel excessivo de infra-estrutura poderia ser
relacionado a uma escolha equivocada de prioridades das comunidades
das tarefas a serem conduzidas pelos assentamentos em sua trajetria
rumo emancipao. como se o esforo estivesse canalizado para casas
e barraces, no para a instalao de cultivos permanentes ou formao
de pastos. Isso d idia das relaes no-lineares entre variveis, o que
pode ser percebido na anlise exploratria do tipo aqui proposto.
Em resumo, o objetivo da incluso da anlise exploratria permitir
melhor definio de tipos de indivduos (em anlises separadas para os
distintos nveis de agregao), segundo as variveis que pertencem s
quatro dimenses mencionadas, de forma a ilustrar e indicar os nexos mais
relevantes. Permite ainda confirmar/refutar argumentos sobre a insero
do programa que a relaciona a impactos ocorridos sobre o bem-estar e/ou
sobre a atuao das comunidades na busca da soluo de seus problemas
efetivos.
A Anlise de Correspondncias Mltiplas (ACM) enquadra-se s
especificidades de um estudo exploratrio. J a que se segue, faz uma
sntese da literatura recente: os trabalhos de Escofier (1988) e Lbart (1977).
A pesquisa agropecuria tem feito uso, de forma crescente, de mtodos
fatoriais de anlise de dados associados a mtodos classificatrios para
estudar tipologias de produtores e regies na avaliao de programas
sociais (Everitt, 1981; Silveira et alii, 1999).
A seguir, apresenta-se um exemplo da organizao de variveis em
blocos, em estudos de avaliao de programas sociais aplicados a um
ambiente predominantemente rural ou marcado pela importncia das
atividades agrcolas. Tal exemplo ilustra a preparao para a aplicao da
anlise exploratria. O Quadro 3 resume o conjunto de procedimentos
envolvidos neste tipo de estudo.
6.1. Blocos de Variveis

Definidas as quatro dimenses importantes para o estudo que
orientam a formao de quatro blocos de variveis e de indicadores
utilizados na anlise de correspondncias mltiplas. Em cada bloco, as
fontes dependem do nvel de agregao da anlise.
148

Variveis e indicadores podem ser utilizados em uma anlise

exploratria de um programa de combate pobreza rural. Na anlise
exploratria, as variveis so transformadas em variveis categricas e
inseridas no modelo em duas modalidades bsicas: ativas e suplementares.
A apresentao em blocos visa, apenas, organizar a apresentao, pois os
blocos no estaro representados nas entradas e nem serviro para
organizar as sadas do procedimento ACM.
6.1.1. Bloco de capital fsico

indicadores externos de distncia dos mercados de produto (ndice
composto de distncia em km do mercado regional e da qualidade
do acesso; ver Buainain et alii, 2000);
qualidade das terras (ndice composto de topografia e fertilidade);
risco de seca (Buainain et alii, 2000) e regime hdrico (Banco do
Nordeste);
ndice de desertificao;
disponibilidade de recursos hdricos (ndice composto de tipos de
fontes de recursos hdricos e da finalidade: consumo humano,
consumo animal,salada, pequena irrigao, irrigao comercial).
149

Quadro 3 Resumo esquemtico para o estudo das populaes e

seleo das variveis relevantes para a anlise do
Programa de Combate Pobreza Rural II, sob a
aplicao da Anlise de Correspondncias Mltiplas
Beneficirios do Programa PCPR II
Domiclios/Comunidades
No beneficirios do do Programa PCPR II
Outros/Controle
Questionrio por
levantamento
Variveis
Quantitativas
Questes = variveis
Nominais
Variveis
Qualitativas
Tabulao de dados
Ordinais
Seleo de variveis por meio
de estatsticas descritivas
univariadas (distribuies de
frequncia, normal plot e box plot
Gerao de novas matrizes de dados
Matriz de variveis quantitativas

e qualitativas
Matriz disjuntiva completa
Aplicao da ACM
Tipologia de linha
= unidades produtivas
Tipologia de colunas
= classes de variveis
Sobreposio das duas tipologias
Classificao das unidades

em grupos semelhantes
150

6.1.2. Bloco sobre indicadores de condies scioeconmicas (acumulao de capital prvia)

indicadores de posse e propriedade da terra e suas formas de utilizao
(distribuio da posse da terra, ndice de Gini);
uso do solo, composio da produo;
indicadores da importncia da atividade agrcola e de seu dinamismo
(ver Banco do Nordeste, 1995; Buainain et al., 2000);
indicadores de produo em nvel de beneficirios;
uso da fora de trabalho e nvel de emprego;
indicadores do nvel tecnolgico das distintas modalidades de
explorao (ndice de desfrute na pecuria; produtividades parciais
rendimentos fsicos; utilizao de insumos modernos e de prticas
agrcolas);
disponibilidade e oferta de bens pblicos (ndice composto ou um
conjunto de indicadores per capita de equipamentos pblicos
disponveis: sade e educao);
condio scio-econmica das comunidades e dos beneficirios
(escolaridade, renda per capita);
condio de sade dos beneficirios (morbidade, mortalidade infantil,
esperana de vida, presena de doenas graves em beneficirios);
indicadores de movimentao financeira e de disponibilidade e acesso
ao crdito;
modalidades de comercializao de produtos;
indicadores de modalidades de acesso a financiamento pelas
comunidades e pelos beneficirios em programas centralizados,
descentralizados ou por intermdio de formas privadas e/ou
comunitrias.
6.1.3. Bloco de capital humano
indicadores de antecedentes histricos dos beneficirios do programa:
ndice de migrao e origem da famlia (ver Buainain et alii, 1999);
ndice de caracterizao das famlias de beneficirios: razo de
dependncia (crianas/adultos), patrimnio das famlias, indicadores do
nvel de escolaridade;
indicadores de formao tcnica do municpio e/ou indicadores de
formao dos beneficirios;
indicadores de disponibilidade de assistncia tcnica: disponibilidade
de profissionais e ocorrncia de cursos de formao profissional.
151

6.1.4. Indicadores de capital social e coletivo

indicadores de capital coletivo (comunidades): ndice de infraestrutura prvia (Buainain et alii, 1999);
ndices de capital social: participao comunitria e desempenho
municipal (ver Item 5.2.1).
6.2. Preparando os Dados

A ACM estuda a ligao entre variveis qualitativas definidas sobre um
conjunto de indivduos e, por isso, a matriz de entrada de dados deve ser
construda s de variveis qualitativas. Surge a necessidade de transformar
as variveis quantitativas em qualitativas e, fase seguinte, uma codificao
condensada deve ser criada.
As variveis quantitativas so convertidas em qualitativas codificandose em classes os seus valores pela subdiviso em intervalos de variao.
Dois objetivos principais levam a esse procedimento. Em primeiro lugar, a
necessidade de homogeneizar a massa de dados composta de variveis
numricas e de variveis qualitativas, a fim de permitir sua anlise conjunta
(transformao de idade, varivel numrica, quantitativa discreta, em uma
varivel qualitativa, permitindo tratar o conjunto dessa varivel junto com
outras de natureza qualitativa). Em segundo lugar, h interesse na
codificao de variveis qualitativas mesmo quando se dispem de um
conjunto de variveis numricas, sobre o qual uma anlise de
componentes principais (ACP) pode ser aplicada. Com efeito, uma ACM
dessas mesmas variveis codificadas em classes faz outra aproximao dos
dados.
A ACM de variveis numricas codificadas em variveis qualitativas
uma aproximao de uma anlise no linear no seguinte sentido:
procuram-se variveis sintticas que sejam combinaes lineares de
quaisquer funes das variveis estudadas.
Essa codificao permite estudar variveis cujas distribuies so muito
irregulares e para as quais o coeficiente de correlao uma medida
inadequada (se o valor observado de uma varivel para um determinado
domiclio muito diferente dos demais, ele influenciar de maneira
preponderante sobre um coeficiente de correlao; entretanto, uma
codificao qualitativa poder neutraliz-lo).
152

6.3. Escolha do Nmero de Classes

Para codificar por classes uma varivel quantitativa, preciso dividir os
valores de uma varivel numrica, segundo seu intervalo de variao, em
subintervalos, definindo-os como modalidades. Obtm-se, assim, o nmero
de classes e os limites de cada classe.
Cada reduo do nmero de classes reagrupa indivduos cada vez mais
diferentes e, dessa forma, perde-se muita informao. As modalidades
passam a cobrir situaes com muita variabilidade e seu estudo no
evidenciar fenmenos muito gerais.
Aumentando-se o nmero de classes, surge o risco de se obter classes
de efetivos fracos e sujeitos a inconvenientes. Se o efetivo da populao
muito grande, o risco menor e possvel escolher um grande nmero de
classes. Contudo, um nmero de classes excessivamente grande gera
problemas. Quanto maior o nmero de classes, maior o risco de surgir
ligaes pontuais entre quaisquer modalidades. De outro lado, cada
varivel intervm na anlise pelo subespao de (n-1) dimenses geradas
pelas suas (n) modalidades. Quando se aumenta (n), aumenta o nmero de
fatores sobre os quais uma varivel pode influenciar; ademais, o aspecto
sinttico da anlise no aperfeioado, ocorrendo exatamente o contrrio.
A experincia mostra que no conveniente ultrapassar o nmero de
oito modalidades para cdigos de variveis quantitativas e que quatro ou
cinco so suficientes.
6.4. Escolha das Classes

Para escolher as classes, deve-se examinar a existncia de classes nicas
ou clssicas para a varivel medida. Quando essa determinao no
suficiente, estudam-se as irregularidades da subdiviso dos valores. Para tal,
deve-se construir um histograma com classes numerosas. Os vazios nessas
subdivises sugerem o corte do intervalo de variao.
Quando os dois princpios anteriores no se impem, deve-se realizar
uma diviso sistemtica do intervalo de variao. O princpio norteador da
operao a obteno de classes de efetivos iguais, de preferncia com a
mesma amplitude.
153

Para que as comparaes de classes representando certo nmero de

indivduos tenham sentido, elas devem ser anlogas quanto aos seus
efetivos (freqncias). Tal fato importante na ACM, pois a distncia das
modalidades em relao ao baricentro cresce quando o efetivo decresce.
Esse procedimento evita as classes de fraco efetivo, tambm chamado
de efetivo perturbador. O perfil dessas classes muito sensvel s variaes
da populao, o que se torna um incmodo quando os indivduos dessa
populao vm de uma amostragem. Ele permite expressar os valores
numricos da varivel quantitativa em classes de valores, que passam a ser
atributos da unidade produtiva. Cada classe passa a ser representada por
um cdigo.
O procedimento de preparo dos dados para o clculo das distncias X2,
e o sistema de ponderao correspondente est detalhado em Escfier
(1988) e em Lbart (1977)26.
Em resumo, o objetivo da incluso da anlise exploratria permitir
uma melhor definio de tipos de indivduos (em anlises separadas para
os distintos nveis de agregao), segundo as variveis que pertencem s
quatro dimenses mencionadas, de forma a ilustrar e indicar os nexos mais
relevantes. Permite ainda confirmar/refutar argumentos sobre a insero
do programa, principalmente aqueles que se relacionam a impactos sobre
o bem-estar e/ou sobre a atuao das comunidades na busca da soluo
de seus problemas efetivos.
26 Esse conjunto de procedimentos executado pelo software WINSPAD3 (http://www.cisia.com).
154

7. PLANO AMOSTRAL
O desenho de um plano amostral para a avaliao de impactos scioeconmicos de um programa pode representar um enorme desafio. Um
conjunto de fatores deve ser considerado: a complexidade das questes
que devem ser respondidas; a sofisticao dos instrumentos analticos
propostos; a precariedade das informaes disponveis; e as dificuldades de
obteno de informaes para fins de amostras por meio de procedimentos
tpicos (como a elaborao de cadastros/listagens e o elevado custo de
obteno dessas informaes).
A experincia tem demonstrado que a melhor estratgia a ser adotada
em relao ao desenho de uma amostra a simplicidade e a aceitao das
restries colocadas pelo binmio disponibilidade de informaes e custo.
Sem comprometer o rigor tcnico necessrio, busca-se maximizar a
utilizao de informaes disponveis e minimizar o recurso produo
primria de dados para o desenho amostral.
A outra opo seria desenhar um modelo amostral mais sofisticado, em
teoria, superior ao resultante de uma estratgia mais simples. No entanto, a
implementao de modelos amostrais mais complexos depende de
considervel massa de informaes no disponveis que devero ser geradas
durante o processo de avaliao em meio a imprevisveis dificuldades
logsticas, com custos elevados e resultados duvidosos. As experincias com
trabalhos de campo no meio rural revelam que no vale a pena enveredar
por essa via,e que o eventual benefcio gerado pelo produto final no justifica
nem a elevao de custos nem os riscos envolvidos27.
O objetivo principal das amostras obter informaes que permitam
estimar e comparar caractersticas de bem-estar traduzidas em variveis
que representem as dimenses consumo, sade, educao e capital (social,
fsico, econmico) para diferentes grupos de populao:
27 A equipe responsvel pelo desenho da metodologia de avaliao de impactos scioeconmicos do Programa Cdula da Terra (ver Buainain et allii., 1998) e do Programa de Combate
a Pobreza Rural II, ambos na Regio Nordeste do Brasil, enfrentou enormes problemas na execuo
do estudo de avaliao associados s dificuldades para a obteno das informaes necessrias
para a preparao do Plano Amostral. Essas dificuldades mostraram-se insuperveis, e a equipe
teve que aceitar as restries de informao/custo/tempo e reformular o plano amostral. Os
resultados preliminares obtidos em pesquisas de campo confirmaram a robustez do modelo
amostral implementado e que as eventuais perdas no comprometeram a qualidade dos
resultados produzidos pela pesquisa.
155

populao de beneficirios do programa (populao beneficiada), que

inclui comunidades com projetos do programa;
populao de beneficirios de outros programas (populao outros),
que inclui comunidades contempladas com outros projetos
semelhantes ao do programa, mas com alocao de recursos e
governana distinta (programas centralizados versus programas
descentralizados);
populao de controle (populao controle), que inclui comunidades
no contempladas seja com projetos do programa (populao
beneficiada) seja com projetos de programas de alocao/governana
distinta (populao outros), no perodo do estudo.
A segmentao das populaes deve estar fundamentada nos
objetivos tanto do programa como do estudo de avaliao de seus
impactos. A comparao com outros programas desejvel quando se
trata de programa-piloto, em que se desejam testar sua eficincia diante
de programas com governana distinta (programas centralizados versus
programas descentralizados).
Deve-se ressaltar a complexidade da tarefa e indicar que este
documento contm apenas linhas gerais de uma concepo do desenho
amostral que pode ser adotada em estudos de avaliao de programas de
combate pobreza rural. Um desenho amostral completo tarefa que s
cabe no bojo da prpria execuo do estudo. A seguir, apontam-se alguns
dos desafios a ser enfrentados para a formulao de um desenho amostral.
7.1. Sorteio em Mltiplos Estgios

Uma amostra pode ser extrada em mltiplos estgios. Os estgios so
definidos em seqncia:
Primeiro estgio: Sorteio de municpios (unidades amostrais primrias).
A restrio da amostra a um conjunto de municpios sorteados favorece
um maior controle do trabalho de campo e, alm disso, pode ser til para
a construo do cadastro de comunidades no beneficiadas.
Segundo estgio: Sorteio de comunidades (unidades amostrais
secundrias) nos municpios sorteados.
Terceiro estgio: Sorteio de domiclios (unidades amostrais tercirias)
nas comunidades sorteadas.
O procedimento em mltiplos estgios tende a inflacionar o erro
amostral, espera-se, no entanto, que um bom procedimento de estratificao
156

compense o aumento no erro. Da a importncia dada criao de estratos

com alta homogeneidade interna.
7.2. O Que Uma Comunidade?

Um desafio a ser vencido encontra-se na prpria noo de
comunidade. provvel que as pessoas no tenham dificuldades para se
identificar como membros de uma comunidade definida e nomeada e
nem para delinear os limites da comunidade a que pertencem. Em muitos
pases, as comunidades rurais tm demarcao geogrfica e populacional
precisas, a tal ponto que as famlias carregam no nome referncia
comunidade a que pertencem.
No Brasil, particularmente na Regio Nordeste, marcada por fortes
movimentos migratrios, a delimitao das comunidades rurais algo
muito mais impreciso. As famlias tendem a se identificar como residentes
ou provenientes de espaos geogrficos ampliados, nos quais convivem
vrias comunidades. Essas comunidades podem ser habitaes beira de
uma estrada; uma vila de moradores de uma propriedade rural; as famlias
de um assentamento do Incra; os membros das associaes criadas para
participar de um programa governamental; o conjunto de beneficirios de
polticas pblicas particulares; os membros de uma igreja e ou de uma
associao comunitria (formal ou informal).
Para alguns dos exemplos citados, a idia de comunidade est associada
a um espao geogrfico mais ou menos identificado e identificvel
(moradores do Riacho do Navio, assentados do Projeto de Assentamento
Mata Fria, que vivem em torno ao Centro Comunitrio do Projeto). Em
outros casos, o fato gerador da comunidade no remete a uma localizao
to precisa (comunidades cimentadas pela ao das igrejas).
Outro desafio refere-se pertinncia de um domiclio a uma
comunidade particular ou estabilidade dos membros das comunidades
rurais. Estudos sobre a pobreza rural demonstram que uma parte relevante
das famlias pobres rurais tem uma insero precria no mercado de
trabalho, e que a migrao (temporria e definitiva) um meio de ajuste das
famlias s dificuldades estruturais (falta de terras e de emprego, deficincia
de servios pblicos) e conjunturais (seca, sazonalidade da demanda por
trabalho temporrio)28.
28 Ver Maletta, Buainain e Villalobos (1999) e os resultados da avaliao preliminar do Programa

Cdula da Terra, mais particularmente Buainain et allii (1999) e Sousa et allii (2001).
157

Essa realidade significa uma elevada mobilidade espacial dos membros

das comunidades pobres, tornando ainda mais difcil a delimitao precisa
das comunidades e dos seus membros. No trivial, portanto, a questo da
definio e delimitao das comunidades para fins da avaliao dos
impactos de um programa, particularmente para fins do desenho das
amostras. Uma alternativa aceitar como ponto de partida as listagens de
comunidades rurais preparadas pelas administraes governamentais
municipais, por rgos das administraes pblicas estaduais, organizaes
no-governamentais e outras.
Em segundo lugar, deve-se destacar que as listas de comunidades j
disponveis podem induzir a vieses de seleo e outros erros difceis de
previso ex ante. Em geral, no se conhecem os procedimentos adotados
para a elaborao dessas listas, a cargo de uma multiplicidade de
organismos pblicos estaduais e municipais.
plausvel supor que maior a probabilidade de incluso de
comunidades que j contam com melhor nvel de organizao nas listas
do que as comunidades menos organizadas. Sendo tal suposio
verdadeira, poder-se-ia enviesar as amostras em favor das comunidades
que j contam com nvel de organizao mais elevada. Evitar esse tipo de
vis essencial para assegurar uma avaliao precisa dos impactos do
programa.
7.3. Segmentando Grupos Populacionais

Outro ponto que merece ateno refere-se segmentao dos grupos
populacionais. Como j se mencionou, a segmentao deve ser
consistente com a concepo do programa e com os objetivos da
avaliao. Sua implementao no trivial, mesmo supondo que as
comunidades possam ser identificadas e que as listas no contenham
vieses que comprometam a anlise. Dois aspectos relacionados a este
assunto devem ser destacados. Um, o chamado spill over dos efeitos entre
comunidades beneficirias e no-beneficirias do programa. Outro, a
dificuldade de lidar com a caracterizao/definio dos chamados
programas de governana distinta (programas centralizados versus
programas descentralizados).
Em relao ao spill over dos efeitos, pode-se dizer que o fato de uma
comunidade particular no ter sofrido ao direta do programa no
significa que ela no se beneficie do mesmo, mormente quando os
158

investimentos so em infra-estrutura produtiva e social (crianas de uma

localidade freqentam escolas implantadas em outras localidades do
mesmo municpio que, s vezes, recebem alunos residentes em uma rea
com raio de dezenas de quilmetros).
O ponto central que vrias das localidades no so beneficirias do
programa e, portanto, seriam includas na lista de outros e ou de controle. A
falta de controle desse fato pode produzir resultados inversos ao
alcanado pelo programa, posto que o spill over positivo dos seus efeitos
sobre outras comunidades contribuiria para diminuir seu efeito lquido nas
comunidades beneficirias. O mesmo tipo de resultado pode ser
produzido por estradas vicinais, infra-estrutura de sade, linhas de energia
e infra-estrutura produtiva (casa de farinha, tratores, conjunto de irrigao,
etc.) utilizada por vrias comunidades.
Em relao caracterizao do grupo de controle, as dificuldades
apresentam-se por duas razes bsicas. Por um lado, quando se toma o
conjunto de intervenes sociais e produtivas com foco sobre populaes
pobres, talvez seja raro encontrar localidades que no tenham se
beneficiado de algum tipo de interveno, seja na rea de sade pblica,
educao, agricultura e reforma fundiria, seja de outras aes sociais mais
especficas. De outro lado, est o problema de estabelecer um corte entre
programas de carter centralizado e descentralizado no incio do processo
de avaliao dos impactos.
Na prtica, apenas ao final do estudo haver informaes sobre a
atuao dos vrios programas, a participao efetiva das comunidades, o
nvel de organizao e outros. Somente com esses conhecimentos, a
posteriori, ser possvel separar, com preciso, processos centralizados,
processos apenas formalmente descentralizados e os descentralizados de
fato. O risco tomar o fato pela declarao formal e incorrer em erros de
avaliao. Assim, possvel que, do ponto de vista formal, programas de
eletrificao implementados por companhias, privadas ou estatais, sejam
centralizados; no entanto, na prtica, as decises de investimento tm
passado, cada vez mais, por discusses com as comunidades, polticos e
organizaes locais. Na prtica, tais decises tm certo grau de
descentralizao. Para reduzir as possibilidades de erros, o desenho da
amostra e a definio dos grupos de amostra devero levar em conta essas
possibilidades, o que requerer o levantamento e a anlise de informaes
preliminares para assegurar tanto a consistncia do desenho em relao
aos propsitos da avaliao como a aleatoriedade das amostras.
159

7.4. Plano Amostral

Para a avaliao de impacto, conveniente obter dados em pelo menos
duas etapas para adequada manifestao: no incio do programa (baseline) e
algum tempo depois (follow-up).
A amostra de beneficirios pode ser extrada de um cadastro contendo uma
listagem de projetos aprovados a ser fornecido pelos rgos financiadores.
A amostra controle pode ser obtida de um cadastro de comunidades no
beneficiadas pelos projetos, informao adquirida por ocasio do
levantamento amostral. Em sua primeira etapa, essa amostra extrada na
mesma ocasio da amostra de beneficirios. O cadastro de comunidades
dessa populao pode ser construdo com informaes a serem levantadas
em rgos pblicos.
Seguindo o exemplo estabelecido no incio do captulo, uma amostra
outras poder ser extrada de uma listagem de comunidades que tenham tido
projetos recentemente aprovados ou em processo inicial de implementao,
caso essa listagem possa ser fornecida (ou elaborada) para os municpios que
faro parte da amostra. Caso no seja vivel a construo dessa listagem, a
amostra controle pode ser aumentada para posterior separao das
comunidades que receberam projetos durante o perodo do estudo.
Na segunda etapa (follow-up), as comunidades sorteadas no instante
inicial sero novamente amostradas.
7.4.1. Aspectos comuns

A fim de minimizar o erro amostral, as amostras das trs populaes so
estratificadas. Espera-se que o grau de homogeneidade das comunidades
em cada estrato seja alto. Nesse sentido, os estratos podem ser criados
considerando-se os seguintes critrios:
estado se o programa tem uma dimenso nacional ou regional a
envolver mais de um estado, so extradas amostras de cada estado. Isso
possibilita observar eventuais diferenas causadas por particularidades
na implementao do programa em cada estado;
IDH em cada estado, os municpios podem ser classificados segundo
seu IDH. Nesse caso, no procedimento amostral, poder-se- garantir
maior probabilidade de seleo para municpios com menor IDH;
grupos de municpios para garantir um maior grau de homogeneidade
das comunidades de um mesmo estrato, essas sero sorteadas em
160

grupos de municpios com IDH semelhantes e que, alm disso, forneam

condies similares de desenvolvimento. Para tanto, os municpios de um
estado so agrupados segundo caractersticas fsicas, demogrficas e
variveis extradas de fontes secundrias, como o Censo Agropecurio.
No processo de criao desses grupos, podem ser utilizadas tcnicas
de anlise de agrupamentos29. Uma vez definidos os estratos, uma
amostra pode ser sorteada em mltiplos estgios, conforme definido no
incio desse captulo.
7.4.2. Aspectos especficos

Amostra de beneficirios: O segundo estgio do sorteio para a amostra de
beneficirios corresponde ao sorteio de uma amostra de comunidades
beneficiadas. Para a amostra dessas comunidades, podem ser consideradas as
tipologias de projetos (de infra-estrutura, produtivos e sociais), caso existam, o
que garante a presena de toda a diversidade de projetos de interesse.
Diferentes mecanismos de alocao de recursos do programa podem ser
considerados como critrio de estratificao.
Amostra outras: Conforme mencionado, a amostra outras, na primeira
etapa do estudo (baseline), depender da disponibilidade de um cadastro
confivel e atualizado de comunidades que estejam recebendo projeto de
outros programas, semelhante ao apoiado pelo programa sob anlise. Essa
lista pode ser obtida por intermdio de um levantamento prvio junto a
rgos estaduais e municipais que implementam projetos a partir de
governana distinta (centralizada ou descentralizada).
Caso no seja vivel o levantamento dessa lista, algum esforo poder ser
empreendido no sentido de constru-la apenas para os municpios que
comporo a amostra. Pode-se utilizar a pertinncia a programas diferentes
como critrio para a estratificao das comunidades. Se a informao no
estiver disponvel, procede-se apenas o sorteio da amostra de beneficirios e
de controle. Essa ltima dever ser superdimensionada na primeira etapa
(baseline), a fim de que na segunda etapa (follow-up) exista um nmero
razovel de comunidades que tenham recebido outros projetos.
Amostra controle: A maior dificuldade da amostra controle a existncia de
um cadastro de comunidades. O cadastro pode ser criado por meio de
29 Johnson, R. A. & Wichern, D. W. (1998). Applied multivariate statistical analysis. 4th ed. Upper Saddle
River: Prentice Hall. Hair, J. F., Anderson, R. E.,Tatham, R. L. & Black, W. C. (1998). Multivariate data analysis.
5th ed. Upper Saddle River: Prentice Hall.
161

informaes fornecidas por organizaes locais (conselhos municipais e

servios de extenso rural). Cabe reforar que essa amostra dever ser maior
que as anteriores, uma vez que entre o baseline e o follow-up de uma
comunidade desse grupo pode migrar tanto para a populao de
beneficirios como para a populao outras. Apesar desse cuidado, corre-se o
risco de que, ao final do estudo, o nmero de comunidades restantes nesse
grupo seja bastante reduzido.
A alternativa para solucionar o problema aplicar um questionrio
simplificado a todas as comunidades (ou pelo menos a uma grande
amostra) no contempladas com projetos de qualquer tipo no instante
inicial (baseline). Esse questionrio adicional coletaria informaes sobre
algumas variveis essenciais a um dimensionamento da amostra de controle,
visando evitar o seu esgotamento. verdade que isso pode incrementar os
custos, mas garante a amostra necessria para a avaliao economtrica dos
impactos.
7.5. Dimensionamento Amostral

Para o dimensionamento amostral podero ser utilizados os parmetros
descritos no item anterior. O nmero a ser sorteado de municpios ser
definido aps aquisio de dados sobre correlao intraclasse obtidos de
outras pesquisas j realizadas com comunidades rurais.
O controle do erro amostral poder ser feito para cada estado ou
conjunto de estados, de acordo com simulaes que devem ser realizadas
no incio do desenvolvimento da pesquisa. Cabe ressaltar que possvel
dimensionar a amostra trabalhando com diferentes nveis de erros mximos
tolerveis para a totalidade da amostra (3%) e para cada estado (10%). As
simulaes podero ser realizadas considerando-se vrios cenrios de erros,
e a deciso final sobre a melhor alternativa depender de uma anlise dos
custos.
O dimensionamento amostral determinar os parmetros expanso
dos resultados para o conjunto da populao. O Anexo 9 apresenta as
expresses matemticas para a expanso dos resultados e as expresses e
respectivas varincias do estimador do parmetro razo populacional, alm
de um mtodo de agrupao dos municpios sorteados.
162

8. ELEMENTOS PARA
COLETA DE INFORMAES
E CONSTRUO DE
QUESTIONRIOS
A maioria dos estudos de avaliao requer a ampla utilizao de

informaes colhidas por meio de pesquisa amostral, informaes
secundrias e estudos de caso. Todas as informaes devem estar
relacionadas e hierarquizadas do ponto de vista geogrfico e analtico,
tornando possvel a agregao e a utilizao cruzada das informaes
entre diferentes nveis. O conjunto de informaes aqui apresentado
reflete os objetos centrais no estudo: os beneficirios, os projetos e as
comunidades.
As informaes podem ser agrupadas de acordo com os seguintes
exemplos:
estados: caracterizao geral do estado e das unidades tcnicoadministrativas no mbito de cada estado. So utilizadas informaes
secundrias agregadas (indicadores de pobreza rural, caractersticas
dos principais programas de polticas pblicas, atividades econmicas,
infra-estrutura, mercado de trabalho, servios sociais de sade e
educao etc.) e informaes primrias, coletadas diretamente na
unidade tcnica responsvel pelo programa.
municpios: caracterizao geral do municpio, semelhana do
estado. So utilizadas informaes secundrias e primrias. Os dados
secundrios referem-se aos indicadores de pobreza rural
(caractersticas dos principais programas de polticas pblicas
voltadas para o municpio), atividades produtivas, infra-estrutura,
mercado de trabalho rural e urbano, servios sociais de sade e
educao, etc. Tambm so coletadas informaes sobre o quadro
fsico e natural do municpio (clima, solo predominante), riscos de
seca e organizaes sociais. So observadas informaes sobre os
agentes sociais que participam do programa de maneira indireta, via
prefeitura ou conselho municipal, como os tcnicos locais que
elaboram laudos, projetos e oferecem assistncia tcnica.
163

comunidades: caracterizao geral da comunidade (histria e

formao, perfil das organizaes sociais, perfil das principais
lideranas, participao dos membros em organizaes sociais, infraestrutura, atividades econmicas, servios sociais existentes e sua
utilizao, etc.). Pode ainda ser feita uma breve caracterizao das
associaes existentes na comunidade.
projetos: caracterizados por meio de aspectos tcnicos, principais
componentes, recursos financeiros e humanos necessrios,
cronograma, etc.
domiclios: caracterizao das condies de vida da famlia, renda,
atividades produtivas, assalariamento, consumo de bens e alimentos,
acumulao de bens durveis, poupana, etc. Na coleta de
informaes sobre os domiclios, so obtidas informaes sobre as
famlias residentes e os membros dessas famlias, chegando s
caractersticas individuais de cada pessoa em termos de aspectos
demogrficos, de educao, sade, trabalho, renda.
Alm do agrupamento de informaes nos nveis apresentados,
podem ser coletadas informaes sobre as condies que afetam os
estados de maneira genrica, sem seletividade como as polticas federais,
condicionantes macroeconmicos e outros.
O conjunto de variveis e tipos de informaes a seguir um exemplo
do que se pode coletar em termos de dados, especialmente dados
primrios, bem como suas fontes. Os temas e variveis esto agrupados
nos seguintes roteiros: questionrio a ser aplicado nos domiclios; coleta de
informaes sobre as unidades tcnicas; coleta de informaes sobre os
estados e municpios.
8.1. Roteiro de Questionrio a Ser Aplicado nos Domiclios

O questionrio a ser aplicado junto aos domiclios pode ser formado
por blocos de questes.
Caractersticas demogrficas: total de membros, gnero, idade, cor/raa,
relaes de parentesco, presena de outros membros, etc.
Relaes intrafamiliares: participao dos membros (chefe da famlia,
cnjuge, filhos e outros) em relao s decises familiares.
Condies de moradia: caractersticas da moradia (nmero de
cmodos, materiais utilizados, disponibilidade de banheiro, fossa, gua
164

canalizada, iluminao eltrica, etc.); e o acesso aos principais servios

pblicos (energia, gua, coleta de lixo).
Educao: anos de escolaridade, analfabetismo, distncia e tempo de
percurso at a escola, principal meio de transporte para a escola mais
prxima (tanto do ensino mdio quanto do fundamental). Para anlises
mais detalhadas, de valia obter informaes sobre evaso escolar e
repetncia, teste de conhecimentos a ser aplicado nas crianas
matriculadas no ensino fundamental (teste do tipo utilizado pelo sistema
de avaliao de ensino realizado pelo Ministrio da Educao).
Sade: nmero de membros da famlia com dificuldades para realizar
atividades (alimentar-se, tomar banho ou ir ao banheiro, movimentar
objetos) e que apresentaram doenas infecciosas (clera, malria, dengue,
etc.); quantidade de visitas recebidas de agentes de sade nos ltimos 12
meses; nmero de membros da famlia que receberam atendimento
mdico nos ltimos 12 meses, segundo especficas finalidades (consulta
mdica, odontolgica ou com outros profissionais de sade); nmero de
membros da famlia que deixaram de realizar atividades de trabalho por
problemas de sade nas ltimas duas semanas; nmero de membros da
famlia que procuraram atendimento de sade nas ltimas duas semanas
e no foram atendidos (no conseguiram vaga, no havia mdico
atendendo, etc.); distncia, tempo de percurso e principal meio de
transporte do ponto de atendimento de sade mais prximo (farmcia,
posto de sade, hospital); peso e altura para crianas abaixo de 5 anos;
manifestao de doenas e deficincias nutricionais (diarria infantil).
Ocupaes: tipos de ocupaes, locais onde se desenvolvem as
atividades, emprego formal/informal, empregador/empregado, ramos de
atividade da ocupao (as questes sobre ocupaes podero ser
compatveis com uma pesquisa nacional por amostragem de domiclios
(PNAD) para posterior comparao).
Migrao: questes sobre migrao do chefe do domiclio, compatveis
com uma PNAD.
Consumo: produtos alimentares (in natura, semi-elaborados,
elaborados/industrializados, de produo prpria ou adquiridos), produtos
no-durveis (produtos de higiene e limpeza).
Renda: rendimentos da produo agropecuria, salrios e rendimentos
do trabalho temporrio (rural/urbano), rendimento de empreendimentos
no-agropecurios da famlia (comrcio, artesanato), auxlios, penses,
aposentadorias, rendimentos patrimoniais (aluguel) e financeiros e outros
tipos de rendimentos.
165

Patrimnio: bens domsticos durveis (eletrodomstico e mobilirio),

imveis (imvel rural, terreno urbano e casa), bens produtivos (veculos,
mquinas, implementos e instalaes), bens econmicos (poupana e
aplicaes financeiras formais em bancos e informais, como emprstimos
para vizinhos, parentes e outros).
Associativismo, organizaes sociais e relao com a comunidade:
participao em organizaes sociais (associao comunitria, cooperativa,
movimentos religiosos, movimentos de luta pela terra, partidos polticos,
movimentos reivindicatrios, atividades de mutiro); grau de participao e
envolvimento nas decises da comunidade/associao comunitria
(comparecimento em reunies diversas e de prestao de contas,
participao nas decises, participao na construo das demandas
comunitrias, participao como membro dirigente, participao em
atividades de integrao e outras); percepo do domiclio sobre as
vantagens da comunidade/associao comunitria (informao e
capacitao, acesso a bens pblicos e privados, acesso sade e educao,
acesso a benefcios da previdncia social como instrumento de participao
poltica, acesso a programas sociais, acesso a emprstimos financeiros e a
emprego, outras vantagens); identificao de membros ativos dentro do
domiclio (participantes mais freqentes nas aes comunitrias chefes de
famlia, jovens, mulheres); aspirao para as demandas comunitrias.
Acesso a programas: gua, energia, produtivo e social, estgio da
implementao, outros programas implementados pelos governos
estadual/federal (centralizados e descentralizados).
8.2. Roteiro para Coleta de Informaes sobre as Unidades

Tcnicas
As informaes a serem coletadas sobre as unidades tcnicas referem-se
s caractersticas do processo de execuo do programa e suas relaes
com os beneficirios/comunidades.
Caracterizao do programa: caracterizao e histrico do programa
avaliado, instituies de apoio, recursos humanos envolvidos, alocao dos
recursos (critrios e prioridades), custos operacionais, tipos de projetos
atendidos/recusados, localizao geogrfica dos projetos, cronograma de
execuo e metas atingidas.
Relaes com as comunidades: identificao das polticas de formao
de associaes, de orientao tcnica/burocrtica para as comunidades e de
166

orientao/capacitao na elaborao e implantao de projetos; perfil dos

agentes encarregados do relacionamento com as comunidades.
Institucionalidade das unidades tcnicas: posio na estrutura polticoadministrativa, mecanismos de deciso (instncias, agentes do processo de
deciso), relaes com governos e conselhos municipais, mecanismos de
imputao de responsabilidades, diretrizes para contratao de servios.
8.3. Roteiro para Coleta de Informaes sobre os Estados e

os Municpios
Trata-se de um conjunto de informaes a serem obtidas considerando
fontes secundrias e/ou informaes adquiridas em rgos da administrao
pblica estadual/municipal e no sistema de monitoramento de informaes
do programa.
No mbito estadual tem-se a caracterizao dos principais programas
de polticas pblicas (volume de recursos, fonte, critrios de alocao) alm
do nmero e do tipo de projetos atendidos pelo programa.
Quanto aos municpios: IDH, populao total, populao rural,
microrregio e mesorregio, nmero de projetos do programa recebidos,
outros projetos e programas, comunidades atendidas por outros projetos,
indicadores de atividades econmicas (PIB municipal, empregados
segundo os setores econmicos), indicadores rurais (relao entre
populao rural e urbana, concentrao fundiria, efetivo dos rebanhos e
reas destinadas para agricultura, pastagens, florestas, etc., porcentagem da
rea municipal, valor da produo na agropecuria) e variveis tecnolgicas
(nmero de tratores por hectares).
8.4. Planejamento de Campo

A pesquisa de campo tem como objetivo recolher informaes que
possibilitem a avaliao dos resultados do programa, assim como a eficcia
em relao aos projetos. Quando se trata de pesquisa por amostragem de
domiclios, a metodologia inclui um plano amostral detalhado com cadastros
e questionrios bsicos, que devero ser testados antes do incio do estudo,
definio das equipes de campo (caractersticas tcnicas, necessidade de
treinamento especfico etc.) e instalaes adequadas (equipamentos e
material de apoio).
167

Dada a importncia, complexidade e custo das pesquisas de campo, sua

implementao requer um cuidadoso planejamento que assegure
eficincia e compatibilidade com os custos previstos. Nesse sentido, a
metodologia apresenta os elementos bsicos que devero ser levados em
conta no planejamento das atividades de campo30.
O objetivo do planejamento fornecer as orientaes bsicas para a
montagem da equipe de campo que ser responsvel pela aplicao dos
questionrios e coleta de informaes. A abordagem alcana:
planejamento e dimensionamento das equipes de campo;

critrios de recrutamento e seleo de pessoal;
capacitao e treinamento para aplicao dos questionrios;
estratgias possveis da pesquisa de campo.
A experincia adquirida com o teste do questionrio pode definir as

necessidades de treinamento das equipes para a apresentao dos critrios
e conceitos que devero ser observados na aplicao do questionrio.
Outro elemento importante do planejamento definir ou indicar os
procedimentos de campo. Alm da definio das diferentes funes que
compem o trabalho de campo, necessrio elaborar as listas de municpios
e comunidades bem como os croquis de cada rea de pesquisa, realizar o
planejamento das visitas (iniciar pelos lugares mais distantes e voltar base
em ziguezague) e providenciar os meios necessrios para a aplicao dos
questionrios (meios de locomoo, gravadores, pastas de arquivos etc.).
8.4.1. Dimensionamento da equipe de campo

preciso considerar na formao da equipe de campo requisitos pessoais
(idade, disponibilidade, condies de viajar, capacidade de liderana) e
profissionais (conhecimentos bsicos, experincia profissional), necessrios
para a boa execuo do trabalho e, ainda, indicaes gerais sobre a
composio da equipe de campo. O dimensionamento e a composio final
dessa equipe devem ser definidos aps o pr-teste da metodologia.
30 O planejamento deve considerar possveis alternativas para a aplicao da pesquisa de campo,

levando em conta o custo, a eficincia para o estudo e a gerao de "externalidades" positivas. Por
exemplo, pode-se pensar em terceirizar a aplicao dos questionrios por meio de contratos com
instituies de ensino e pesquisa locais; pode-se criar grupos de estudantes que poderiam,
inclusive, participar do estudo durante vrios anos; pode-se considerar ainda a viabilidade de uma
articulao com os grupos responsveis pela extenso rural e assistncia tcnica, pblica ou no,
com ou sem envolvimento direto das organizaes dos produtores.
168

O tamanho da equipe deve considerar a extenso da amostra, o prazo

necessrio para sua realizao e a estimativa de custos da coleta de
informaes.
8.4.2. Equipe necessria para aplicao de

questionrio
Aps o pr-teste e a definio final do questionrio ser possvel
identificar, com preciso, a equipe para aplicao do questionrio. Para esse
dimensionamento, devero ser levados em conta parmetros como
tamanho mdio das famlias que vivem nos domiclios; tempo de durao da
aplicao do(s) questionrio(s); nmero de domiclios sorteados; nmero de
entrevistas realizadas por pesquisador,por semana;nmero de pesquisadores
que podem ser organizados e acompanhados por um supervisor.
As equipes de aplicao do questionrio podem ser formadas por um
supervisor de campo, um supervisor de checagem (essas supervises
podero ser feitas pela mesma pessoa), dois pesquisadores e um checador.
No dimensionamento do tempo a ser gasto no trabalho de campo, deve-se
prever um perodo adicional para treinamento e preparo da equipe.
8.4.3. Recrutamento e seleo de pessoal

O recrutamento e seleo de pessoal tm a finalidade de organizar e
agilizar o processo para a composio das equipes de campo.
fundamental a qualificao dos candidatos e os objetivos do projeto.
Coordenador de campo: O coordenador de campo dever ter a
capacidade de organizar, gerenciar e acompanhar todas as atividades do
campo (os setores de superviso de campo e suas equipes de
pesquisadores; os setores de checagem e listagem). Cabe tambm ao
coordenador de campo a preservao da qualidade da pesquisa, tanto no
tocante ao aproveitamento da amostra como na correta aplicao dos
conceitos propostos.
Pode-se exigir para um supervisor de campo idade superior a 21 anos;
terceiro grau completo, de preferncia em curso de cincias sociais ou
agrrias; experincia profissional prvia em pesquisa; e, a ttulo de
conhecimentos bsicos, noo de organizao e mtodo de trabalho de
campo, gerenciamento/liderana de equipe, noo de listagem e
verificao de questionrio.
169

Supervisor de campo/checagem: O supervisor de campo/checagem

dever ter a capacidade de organizar, gerenciar e acompanhar uma equipe
de pesquisadores ou listadores/checadores.
Como requisitos, prefervel que se tenha idade superior a 21 anos;
terceiro grau completo ou em curso (de preferncia na rea de cincias
sociais ou agrrias); experincia profissional prvia em pesquisa; e, a ttulo
de conhecimentos bsicos, noo de organizao e mtodo de trabalho
de campo; gerenciamento/liderana de equipe; noo de listagem e
verificao de questionrio.
Checador: O checador dever ser responsvel pela verificao em
campo de questionrios aplicados pelos pesquisadores, buscando a
identificao, in loco, de erros de preenchimento e de algumas
inconsistncias nas respostas fornecidas pelo entrevistado.
So sugestes de requisitos: idade mnima de 18 anos; ensino mdio
completo; experincia prvia em pesquisa desejvel (no necessria
experincia profissional); e, como conhecimentos bsicos, senso de
localizao e direo; capacidade de expresso escrita.
Listador e pesquisador: O listador dever ser o responsvel pela
realizao do arrolamento dos estabelecimentos que compem os
setores censitrios. J o pesquisador, pela correta aplicao do
questionrio no estabelecimento devidamente sorteado.
Para ambos, so requisitos sugeridos: idade mnima de 18 anos; ensino
mdio completo; e, embora a experincia profissional no seja necessria,
desejvel experincia prvia em pesquisa.
8.4.4. Aplicao de questionrio

A aplicao do questionrio deve ser precedida de um treinamento da
equipe, cuja finalidade apresentar os critrios e conceitos que devero
ser seguidos na aplicao do questionrio.
fundamental uma boa compreenso da metodologia da pesquisa
para que haja uniformidade em sua aplicao, garantindo a qualidade dos
dados para posterior anlise.
No campo, devem ser seguidos procedimentos e critrios especficos
para as diferentes funes que compem o trabalho.
170

Assim, ao coordenador de campo compete:

acompanhar as atividades e integrar as equipes de campo;
estabelecer metas de produo de acordo com o tamanho da
amostra, prazo de concluso e tamanho da equipe;
acompanhar os trabalhos dos supervisores quanto s dvidas,
aplicao dos conceitos e avaliao/correo dos questionrios;
verificar o aproveitamento da amostra total de domiclios
realizados versus o total de no realizados;
acompanhar os trabalhos do setor de checagem nos aspectos
quantitativo e qualitativo.
Ao supervisor de campo:
regionalizar os municpios que compem a amostra escolhida;
separar os municpios/comunidades que oferecem maior grau de
dificuldade para o trabalho de campo, como estradas difceis e outros
(sugere-se que esses municpios/comunidades no sejam distribudos
nem no incio das atividades de campo nem no seu trmino);
visitar previamente, caso necessrio, os domiclios/comunidades para
agendar a entrevista e facilitar a pesquisa que posteriormente ser
realizada;
dividir a amostra pelo nmero de pesquisadores de sua equipe e
distribu-la em etapas, de acordo com o recebimento das informaes;
verificar todos os questionrios, observando dvidas conceituais e de
listagem (localizao do domiclio);
avaliar o desempenho de cada entrevistador quanto ao aproveitamento
da amostra; qualidade da aplicao dos questionrios; ocorrncia ou
no de problemas apontados pela checagem; e ao cumprimento dos
prazos e cotas estabelecidas.
Em relao ao supervisor de checagem, de se destacar que suas
atividades visam contribuir para a manuteno da qualidade dos dados, isto
, para a verificao correta da aplicao dos questionrios no endereo do
domiclio sorteado.
O supervisor de checagem, ao receber os questionrios j conferidos
pela superviso de campo, dever retirar uma amostra para ser checada. No
incio das atividades da pesquisa, a amostra retirada para a checagem
dever estar em torno de 80% da produo de cada pesquisador. No
decorrer do processo da pesquisa em campo, e como meta, essa amostra
dever ser reduzida para o patamar de 20% dos questionrios, assim
171

permanecendo at o trmino da pesquisa em campo, desde que no haja

indcios de problemas.
Alm disso, o supervisor de checagem deve:
acompanhar o desempenho de sua equipe;
avaliar os problemas detectados em campo pelos pesquisadores da
equipe;
notificar aos supervisores de campo os problemas detectados pelos
checadores, sob o aval da coordenao.
O checador deve se responsabilizar por:
verificar se a aplicao do questionrio foi realizada no estabelecimento
sorteado;
realizar a checagem do questionrio de acordo com o roteiro
determinado, tendo o cuidado de anotar as respostas dadas e as
eventuais divergncias (caso haja divergncia entre as informaes
contidas no questionrio e as obtidas pelo informante, deve verificar se
o pesquisador formulou a questo de forma incorreta ou se o
entrevistador est revendo sua resposta);
entregar o resultado colhido em campo somente ao supervisor de
checagem.
O pesquisador ser o responsvel pela aplicao do questionrio nos
estabelecimentos sorteados. Para tanto, alm de conhecer os conceitos e
a metodologia utilizada no questionrio, necessrio:
fazer visitas em horrios adequados para a realizao da entrevista com
os moradores;
desenvolver mtodos de abordagem junto ao entrevistado, explicando
a finalidade da pesquisa, uma vez que ningum obrigado a
respond-la;
priorizar a realizao de entrevista direta com o entrevistado;
explicar que todas as questes so sigilosas e que no so utilizadas de
maneira individual.
Por fim, o listador o responsvel pelo arrolamento dos domiclios das
comunidades. Deve seguir todos os critrios adotados na pesquisa.
importante que faa uma boa descrio da localizao dos domiclios e
das formas de acesso, facilitando, assim, o trabalho de localizao do
pesquisador e do checador.
172

9. CONSIDERAES
FINAIS
O objetivo principal deste trabalho foi o de fornecer aos pesquisadores

e gestores que atuam em desenvolvimento rural um amplo panorama de
metodologias e procedimentos que envolvem monitorar e avaliar os
programas sociais. Em um mesmo livro, foram reunidas vrias discusses
sobre diversos temas: sistemas de monitoramento, avaliao de impactos
e anlise custo/benefcio. Todos articulados em torno ao tema de
desenvolvimento rural. A idia central a de que o leitor reconhea
quando e porque aplicar cada um deles, segundo distintos objetivos, bem
como torn-lo capaz de combin-los em um s estudo, quando necessrio
ou conveniente.
Iniciou-se, propositadamente, pelas metodologias de monitoramento,
indicando a necessidade dos formuladores e dos responsveis pelos
projetos sociais de manterem sua ateno nos processos de implantao
e no acompanhamento dos projetos. O programa Piloto Cdula da Terra
(PCT ) fornece um exemplo til da importncia dos sistemas de
monitoramento. Esse programa-piloto serve, em ltima anlise, para testar
uma alternativa de governana para distribuio de terra a chamada
reforma agrria amparada pelo mercado. Por esse mecanismo,
associaes de produtores sem-terra, ou com pouca terra, obtm
emprstimos em condies especiais para compra de terra no mercado.
O monitoramento do PCT permitiria analisar a situao dos diferentes
assentamentos e levantar estatsticas sobre sua sustentabilidade, por meio
da anlise de indicadores das famlias de beneficirios nos projetos. Outro
indicador interessante seria obtido pela combinao de algumas variveis
relativas ao processo de aquisio de terras. Nesse caso, a ateno voltaria
para o quesito evoluo: ser que a expanso do projeto ao longo do
tempo engendrou maior capacidade de negociao na compra da terra
por parte dos futuros beneficirios, ou, estariam os potenciais vendedores
melhor informados sobre como conduzir a negociao? Apenas para
exemplificar, um aumento no valor pago pelas terras indicaria a
necessidade de redefinir os parmetros que guiam o processo de
negociao.
173

Os sistemas de monitoramento no podem ser confundidos com

pesquisas de avaliao de impacto, ainda que tenham grande utilidade
para elas. As avaliaes de impacto exigem cuidados maiores em seu
planejamento, visando obteno do melhor resultado possvel ao menor
custo. O captulo sobre Avaliao de Impactos abriu uma janela para um
nmero considervel de anlises que derivam dela, como as anlises sobre
a focalizao dos programas e a anlise de custo/benefcio de projetos e
de subprojetos. Assim, se for possvel conduzir um experimento, que seja
feito.
Os impedimentos so de duas naturezas: custo elevado e/ou
problemas de ordem social. Um experimento que custe a uma
determinada comunidade 5 anos de excluso de benefcios sociais, no
pode ser feito. O resultado provaria a eficcia do programa, mas tambm a
prpria avaliao seria responsvel pela situao socialmente desfavorvel
do grupo de controle, o que seria mais grave quanto melhor fosse
desenhado e executado o programa em questo. Portanto, cabe o uso de
outras tcnicas descritas no captulo, como o mtodo das diferenas
duplas. O conhecimento das principais tcnicas economtricas
disponveis, cujo contedo encontra-se aprofundado nos anexos,
fundamental mesmo para os pesquisadores e gestores no familiarizados
com esses mtodos: trata-se de ter competncia para dialogar com
especialistas de forma que, desde o desenho amostral, passando pela
construo do instrumento de coleta de informaes, seja possvel aplicar
os mtodos economtricos mais adequados. Vale ressaltar que tanto a
definio do mtodo quanto a interpretao de seus resultados requerem
a crescente participao de especialistas.
A anlise custo/benefcio a que melhor se aplica a avaliao de
projetos ou subprojetos bem definidos (medir o impacto de um
financiamento de um equipamento agrcola para uma comunidade rural).
Neste caso, tem-se claramente o preo do equipamento, sua finalidade e o
projeto delineado de maneira prvia para seu uso. A anlise
custo/benefcio simples de ser feita, mas exigente em informao: nem
sempre as comunidades desenvolveram um sistema de contabilidade
adequado para a aplicao da tcnica, e seria inadequado exigir que assim
procedessem para que o projeto fosse aprovado. Alternativas ou estudos
complementares podem basear-se na criao de indicadores que
mostrem que o projeto foi eficaz. No exemplo do equipamento agrcola,
indicadores de aumento de produtividade do trabalho, de produtividade
da rea ou mesmo da produo poderiam indicar a capacidade de o
projeto atingir seus objetivos com eficcia.
174

O resultado da anlise custo/benefcio, todavia, apenas parte de uma

anlise mais ampla: um projeto pode ter resultado positivo, com um valor
presente lquido positivo, mas ser causador de uma srie de problemas
para a comunidade, derivados da dificuldade em definir uma alocao
justa para o equipamento ou mesmo pelo efeito que exerce sobre a
demanda de mo-de-obra da comunidade. Inserir esse tipo de anlise em
uma avaliao mais ampla, que contemple impactos sociais e ambientais,
sempre uma estratgia bem-vinda para melhor justificar seus impactos.
O uso de mtodos chamados de multicritrio permite uma viso mais
abrangente dos impactos, a partir do uso de escalas baseadas em
percepo de agentes selecionados, como o caso de um painel de
especialistas.
A importncia de avaliar a focalizao fundamental em avaliaes de
impacto. Grande impacto em um pblico restrito leva, geralmente, a
descontinuidade do programa. Trata-se de uma questo crucial, pois
alguns programas de desenvolvimento rural, ao selecionarem territrios
muito bem delimitados, logram serem bem-sucedidos por quaisquer tipos
de avaliaes. Todavia, so incapazes de desencadearem um conjunto de
aes que sejam relevantes foram do mbito em que foram concebidos.
Trata-se de um problema de foco. O inverso vlido: desconhecer se o
programa atingiu o pblico-alvo pode significar que ele foi capturado por
certos grupos de interesse, reduzindo sua eficincia e eficcia. Nesse caso,
a descontinuidade ocorre pela falta de recursos ou pela diviso de
recursos por um grupo cada vez maior de beneficirios. O texto permite ao
investigador e ao gestor conhecer os critrios relacionados questo da
focalizao e em seguida planejar sua anlise.
A aplicao da metodologia para avaliao do processo de focalizao
pode ser feita de forma independente e ex post (depois que o programa
estiver estabelecido), mas tambm na etapa de seleo de beneficirios.
Deve ficar claro para o investigador (ou para o gestor) que a definio ex
ante do critrio de focalizao faz parte da estrutura de governana do
programa/projeto e que estudos, nesta fase, podem evitar erros de
concepo capazes de comprometer todo o resultado.
H programas cuja concepo bsica complexa, para no dizer
ambgua, dificultando a definio de linhas divisrias que correspondam
aos objetivos do processo de focalizao. Avaliaes do Programa Cdula
da Terra, conduzidas pela Fecamp desde 1997, mostraram que o programa
visou atender demandas de um pblico rural pobre, pressupondo, ao
mesmo tempo, que esse pblico era competente para desenvolver um
projeto agrcola minimamente rentvel. O estudo de avaliao evidenciou
175

que algumas comunidades de pequenos agricultores cumpriram os

objetivos do projeto, seja em termos de construir uma comunidade, seja
em termos de expanso da produo agropecuria. Entretanto, isso no foi
verificado em outros casos, uma vez que grupos de ex-diaristas pobres e
de sem-terra, legitimamente identificados como pblico-alvo do
programa, encontravam enormes dificuldades, seja para formar uma
associao, seja para produzir e gerar renda monetria para pagamento do
emprstimo. Logo, a interpretao dos estudos de avaliao deve ser
cuidadosa, para que no se imponha critrios de focalizao que
contrariem ainda que parcialmente a concepo geral do programa
em anlise.
O trabalho fornece ainda um conjunto de elementos para a
investigao da formao do capital social nas comunidades de
beneficirios de programas sociais, assim como a base para a construo
de indicadores que permitam isolar os efeitos do programa daqueles que
pr-existiam nos grupos sociais analisados. H clara percepo de que no
se trata simplesmente de medir a capacidade de acumular capital social.
Grupos cujo capital social est baseado na religio ou em preferncias
ideolgicas podem ser fortemente refratrios ao estabelecimento de
ligaes externas fundamentais para o sucesso de programas que
dependem do empreendedorismo. Portanto, o trabalho chama a ateno
para a importncia da construo de indicadores sintticos de capital
social, mas tambm para a capacidade de pesquisadores e gestores em
analisar tais resultados luz do contexto mais amplo do programa, o que
chamado de estrutura de governana.
Cabe chamar ateno para a questo da amostragem. Uma amostra
representativa o que se pode chamar de pedra fundamental dos
estudos de avaliao de impactos. Pesquisadores no devem apenas
contentar-se com a frase, dita com mais freqncia que o aceitvel, de que
nossa amostra semi-estruturada. Sempre que possvel fundamental
definir amostras que possam gerar variveis e parmetros que permitam
expandir as concluses obtidas para o universo que se est querendo
representar. As avaliaes devem permitir que se faam inferncias sobre o
desempenho do programa como um todo. Apenas dessa forma ser
possvel afirmar que a renda mdia do beneficirio de tantos reais, com
um intervalo de confiana variando em uma determinada faixa para certo
nvel de confiabilidade.
176

No foi por acaso que o trabalho terminou com um roteiro detalhado

sobre como proceder nas diferentes etapas relativas pesquisa de campo.
A coleta de informaes deve ser criteriosa e metodologicamente
fundamentada. A realizao de um bom trabalho de campo depende de
equipes treinadas, motivadas e qualificadas para entender o significado da
informao desejada. Ainda assim, isso pode no ser suficiente. Mesmo
uma equipe bem treinada poder ter dificuldades na aplicao de
questionrios complexos, embora teoricamente fundamentados pelo
investigador. Quanto maior a complexidade das questes, maior a
probabilidade de ocorrerem distores ou subverses por parte do
entrevistador. Isso fica evidente quando ocorre a participao de vrias
equipes locais, necessrias para viabilizar a coleta de dados em domiclios
rurais dispersos em um vasto territrio. Afinal, cada entrevista nica, tem
seu prprio ritmo e, no raro, suas prprias interpretaes. Portanto,
treinamento de equipes e um bom desenho do questionrio devem
reduzir os erros e aumentar a probabilidade de se obter um conjunto
adequado de informaes para se proceder a avaliao.
Enfim, por melhor que os passos sugeridos neste texto metodolgico
sejam respeitados, nada substitui a capacidade crtica daqueles que
pensaram como proceder para conduzir a avaliao. No existe receita de
bolo, mas metodologias de suporte, que no prescindem do
envolvimento intenso tanto da equipe central responsvel intelectual do
trabalho quanto das comunidades envolvidas. Etapas finais de validao
da avaliao so fundamentais. Voltar ao campo e apresentar os resultados
em reunies com gestores, lderes locais e pesquisadores de campo
envolvidos to importante quanto utilizar as tcnicas corretamente.
Afinal, a validao a etapa final de um processo de avaliao. a partir
dela que podero ser tomadas decises quanto aos rumos do programa.
A percepo de que um processo de avaliao caro, e por isso
injustificvel, pode se revelar totalmente infundada aps a validao. Muito
dinheiro e esforos podem ser poupados por meio das correes de rumo
fundamentadas na avaliao. Poupar dinheiro do contribuinte, corrigindo
falhas de programas sociais, o objetivo ltimo das avaliaes, mensagem
que nunca deve ser esquecida por qualquer pesquisador e, sobretudo,
pelos gestores envolvidos.
177

178

10. ANEXOS
ANEXO 1
A correo de Heckman visando eliminar o vis proveniente das
variveis no-observveis
Neste livro, foram discutidas diversas tcnicas economtricas cujo
objetivo o de reduzir ou eliminar o vis de seleo de amostragem.
Foram identificadas as tcnicas que utilizam variveis instrumentais e as
tcnicas pareamento de amostras. Mesmo que a aplicao dessas tcnicas
seja bem sucedida, persiste a necessidade de diferenciar o problema do
vis de seleo do problema da endogeneidade, que so bem distintos.
Quando se tem razes para acreditar que o impacto tem meramente
um efeito de intercepto sobre a varivel resultado (indicador pelo qual se
deseja mensurar o impacto do programa), ou seja, uma mudana paralela
para cima no indicador de resultado, ento uma abordagem de
endogeneidade, utilizando variveis instrumentais, poder ser utilizada.
Caso a varivel participao no programa seja endgena, pode-se utilizar
uma abordagem de estimao em dois estgios, por intermdio de um
modelo logstico: estimam-se as probabilidades dos domiclios
participantes do programa e substitui-se a varivel participao no
programa da equao de impactos pelo valor da probabilidade estimada.
Se houver motivos para acreditar que a participao no programa afeta
no somente o intercepto, mas possui tambm um efeito de inclinao
(coeficientes beta da regresso diferem de acordo com a participao ou
no no programa), ento um modelo de seleo de amostragem deve ser
utilizado. O mais conhecido desses modelos a chamada correo de
Heckman.
O modelo Yiv = a + bX i + cCv + dPv + iv 31 pode ser avaliado em conjunto
com outro modelo dentro do contexto do procedimento Heckit. Esse
ltimo prope uma correo do vis atribudo ao problema da autoseleo por meio do seguinte modelo bsico de duas equaes:
31 O modelo corresponde Equao 3.
179

Equao 7
Ti* = zi +
(equao de deciso)
Yi* = x i +
(equao de resultado)
T* uma propenso no observada seleo. O vetor (Z) de variveis

explanatrias observveis, que podem ser tanto algumas caractersticas
observveis dos domiclios como caractersticas das comunidades a
existncia de condies prvias e localizao geogrfica, por exemplo. J o
vetor ( ) no observvel.
Equao 8
0
*
*
Y = Y .T (T > 0) = *
Y
se T 0,
*
se T * > 0.
O indicador potencial (Y*) e o indicador observado (Y) so iguais

somente se a propenso do domiclio a ser selecionado na amostra for
positiva (T* > 0). Para os domiclios no selecionados na amostra (Y* 0), (Y*)
no observado e igual a zero.
Problema na auto-seleo ocorrer se os termos estocsticos do
Modelo 7 ( e ) forem correlacionados. Nesse caso, variveis no
observadas, relevantes na deciso de selecionar na amostra, so
correlacionadas com as variveis no observadas, relevantes na obteno
dos resultados. Esses ltimos so obtidos por meio das equaes que
determinam os indicadores: a Equao 3 e a segunda equao do Modelo
7, que tambm pode ser representada pela Equao 3.
O procedimento proposto por Heckman (modelo paramtrico) assume
que e so distribudas de forma conjunta:
Equao 9
0 ,

= N ,
, 1

A varincia de no identificvel e fixada em 1. Sob essa hiptese, a

segunda equao do Modelo 7, equao de resultados, para a varivel
dependente observvel (Y), pode ser escrita como:
180

Equao 10
E (Y / x ) = E (Y * / x, I * > 0) = E (x / x, I * > 0) + E ( , I * > 0)
= x + E / x, x T >
= x +
, ( z / )
( zT / )
T
Onde:
a funo densidade da distribuio normal padro;

a correspondente funo de distribuio;
d, a covarincia entre e .
Quando se utiliza MQO na equao de resultados do Modelo 7, a

estimativa
, em geral, viesada, no caso da presena de uma varivel
omitida, em que a razo, conhecida por razo de Mills (Equao 11), a
prpria varivel omitida.
Equao 11
( z T / )
( zT / )
Se a quantidade , ( z T ) / ( zT ) , na Equao 10, no for zero, os

estimadores MQO so viesados. Se ao incluir essa varivel omitida na
regresso MQO da equao de resultados a equao a seguir for
alcanada, a estimao por MQO consistente.
Y =x +
*
( z T / 0 ) ,
'
+
( z T / 0 )
Os parmetros do Modelo 7 podem ser estimados pelo seguinte

procedimento em duas etapas:
1) Etapa Probit: estimar por meio do modelo probit utilizando todas as
observaes, ou seja, aquelas com os participantes do programa (T (T * > 0 z) = 1)
e com os no-participantes do programa (T (T * > 0 z ) = 0) .
Equao 12
P(T (T * > 0 z ) = 1) = ( z )
181

O modelo probit pode ter a especificao mais simples:

Equao 13
prob (y i = 1) = (X i ) =
Xi
z2
1
exp
2
2
dz
Na Etapa Probit, tem-se estimativas de utilizadas para obter a
razo inversa de Mills.
2) Etapa Mnimos Quadrados Ordinrios: utiliza-se somente as

observaes com ( I ( I * > 0 z) = 1) , participantes do programa, para estimar a
funo de regresso, qual seja E (Y / x ) = x T + , ( zT ) / ( z T ) , por uma
regresso de mnimos quadrados ordinrios da varivel observada (Y)
sobre (x) e ( zT / ( zT )), onde a estimativa de na primeira etapa do
procedimento32.
A discusso sobre a existncia de variveis endgenas nos modelos
apresentados anteriormente (com introduo de vis na estimativa de
seus parmetros, dado pela correlao no nula entre essas variveis e o
termo aleatrio das equaes) pode ser tratada em duas partes. Em
primeiro lugar, quando nos referirmos varivel que indica participao no
programa (no caso do modelo geral (1), uma parte do vetor de variveis
binrias D jt ), preciso considerar que as variveis explanatrias (Z), na
equao de deciso do Modelo 7, devem ser as mesmas variveis
explanatrias (X) da equao de resultados do mesmo modelo. Nessa
situao, tem-se um caso conhecido como seleo por observveis, de
forma que e , no Modelo 7, so no correlacionadas, e o problema de
endogeneidade da varivel de participao desaparece.
Essas consideraes no so suficientes para tratar o problema da
endogeneidade quando consideradas as outras variveis, alm daquela
especfica que define participao no programa. Nesse segundo caso,
necessrio considerar o uso de variveis instrumentais para corrigir o vis
causado pela endogeneidade dessas outras variveis explanatrias do
Modelo 1, que no sejam a varivel que define a participao no programa.
preciso trabalhar no modelo conjuntamente com o procedimento
Heckit e com o uso de variveis instrumentais.
32 Esse procedimento poder ser executado por meio do software Stata. O comando
denominado Heckman estima modelos de regresso de seletividade, seja utilizando o
procedimento em duas etapas ou por mxima verossimilhana. Alm disso, esse comando possui
as clusulas cluster e robust que consideram um desenho amostral em etapas.
182

Em termos computacionais, diversos pacotes economtricos incluem

comandos para estimar o sistema de equaes do modelo 7 como o
comando Heckman do software Stata 9.1.
ANEXO 2
Os mtodos de pareamento utilizados para corrigir
o vis das observveis
Alm das tcnicas economtricas apontadas, devem ser consideradas
tambm tcnicas de avaliao de impactos que se baseiam na
comparao de grupos de domiclios escolhidos na amostra de acordo
com determinados critrios. A proposta obter grupos de domiclios que
possuem caractersticas semelhantes nos dois grupos (beneficirios e
controle) e, a partir da, calcular as diferenas mdias dos indicadores. Para
evitar a dificuldade em identificar esses grupos com base em um nmero
muito elevado de caractersticas (variveis) domiciliares e comunitrias,
pode-se fazer uso dos escores de propenso obtidos do modelo de
deciso (primeira equao do Modelo 7). Esses escores de propenso
representam os do modelo probit (ou logit).
Esse mtodo ir basear-se na hiptese de independncia condicional
que considera que a esperana do indicador na ausncia do projeto
independente da participao, dado o conjunto (X) de caractersticas. De
acordo com a notao empregada no Item 2.1, isso significa que E[R0/D=1]
= E[R0/D=0] e, como o vis de seleo dado por V = E[R0/D=1] E[R0/D=0], significa que, sob a vigncia dessa hiptese, tal vis de seleo
nulo. Os procedimentos a serem adotados para o emparelhamento so:
estimar um modelo probit (segunda equao do modelo 7), cuja
varivel dependente a participao no programa como funo das
variveis que supostamente (ou provavelmente) determinam a
participao no programa esse modelo ser aplicado para toda
amostra de participantes e no-participantes do programa
(beneficirios e controle);
calcular para cada domiclio da amostra o escore de propenso a
participar do programa a utilizao desse escore como varivel de
referncia para o emparelhamento baseia-se na idia de que, se a
esperana do indicador, na ausncia do projeto, independente da
participao, dado o conjunto (X) de caractersticas (independncia
183

condicional), ento tambm existe independncia do escore de

propenso em relao participao no projeto. Ou seja:
1
z2
dz
E[Pi / P = 0, X] = E[Pi / P = 1, X] = E [ ( X i ] = E
exp
2
2
formar o emparelhamento dentro da amostra, obtendo, para cada

domiclio no grupo de beneficirios, os cinco vizinhos mais prximos
em termos de escore de propenso no grupo de controle;
calcular os valores mdios para os indicadores em relao a esses
cinco vizinhos mais prximos e calcular a diferena entre essa mdia
e o valor efetivo dos indicadores para o domiclio correspondente no
grupo de beneficirios o valor dessa diferena ser o ganho
atribudo ao programa para aquele domiclio;
calcular a mdia para esses ganhos individuais e, assim, obter o ganho
mdio total.
Existem mtodos mais sofisticados de emparelhamento que podem
ser aplicados, como o proposto por Heckman et al. (1998), que consiste em,
em vez de utilizar o vizinho mais prximo, utilizar todos os noparticipantes do programa como potenciais pares, mas ponderando-os de
acordo com a distncia em relao ao domiclio correspondente no grupo
de participantes (beneficirios). Essa distncia calculada da mesma forma
que a diferena absoluta entre os escores de propenso a participar no
programa de acordo com o modelo probit.
A literatura recomenda considerar o chamado lack of common support,
que ocorre quando alguns dos domiclios da amostra de no-participantes
possuem um escore de propenso menor do que qualquer um dos que
fazem parte da amostra de participantes do programa. Quando isso
ocorre, aquelas observaes do conjunto de no-participantes devero ser
eliminadas para formar o grupo de comparao e garantir que sero
comparados ganhos em uma mesma faixa de escores de propenso.
importante considerar que os mtodos de emparelhamento no
eliminam o vis que advm na chamada seleo com base em fatores noobservveis. Esses mtodos apenas eliminam o vis devido a diferenas em
caractersticas observveis33 e, no caso dessas fontes de vieses serem
33 Os mtodos de pareamento partem da hiptese da independncia condicional, que significa

que o valor da varivel dependente na equao de resultados independente da participao,
dado o vetor de caractersticas (X). Sob essa condio, os mtodos de pareamento resultam em
uma estimativa no viesada do impacto. A hiptese de independncia condicional significa
tambm que no existe vis de seleo (vis atribudo s variveis no-observveis), caracterizando
uma situao em que a varivel Pv em (3) exgena ou no so correlacionados em (7).
184

opostas, uma positiva e outra negativa, as estimativas por emparelhamento

podem conduzir a um vis maior do que as estimativas ingnuas (obtidas
pela simples comparao das mdias dos dois grupos beneficirios e
controle , sem utilizar emparelhamento).
Deve-se ater ao fato de que diferentes modelos de deciso resultaro
em diferentes escores de propenso e conseqentemente em distintas
estimativas de impacto. Dessa forma, o desafio dessa metodologia fica
condicionado possibilidade de obter o melhor modelo probit para o
modelo de deciso, o que requer uma escolha adequada das variveis (Z)
e, inclusive, uma mais adequada especificao desse modelo34.
ANEXO 3
O mtodo da dupla diferena e o modelo de efeitos fixos
At aqui os modelos foram tratados considerando apenas regresses
cross sections e admitindo que os impactos fossem mensurados com essas
regresses aplicadas aos dados de um follow-up (segunda pesquisa de
campo). No entanto, com um conjunto de dados baseline (ou o perfil de
entrada), pode-se avanar mais. Ser possvel calcular a diferena entre os
indicadores relativos aos participantes do programa e ao grupo de
comparao no perfil de entrada, alm de subtrair esses valores da
diferena aps o programa (follow-up). Essa transao ajuda a resolver o
problema das variveis no-observveis tendo como hiptese que elas no
variam no tempo. Considera-se a verso mais simples do mtodo da dupla
diferena, dado pela seguinte seqncia de procedimentos:
ETAPA 1: obter duas amostras, uma no baseline e outra no follow-up,
tanto do grupo de beneficirios como do grupo de comparao. Seria
ideal ter uma amostra follow-up contendo as mesmas observaes da
amostra baseline e seguindo o mesmo mtodo (questionrio, mtodo
de entrevista).
ETAPA 2: para cada grupo (beneficirios e controle), calcular a diferena
mdia entre os valores posteriores e anteriores do indicador.
ETAPA 3: calcular a diferena entre as duas diferenas mdias. Essa a
estimativa do impacto do programa.
34 Em termos computacionais, o software Stata 9.1 possui o comando psmatch2 (que deve ser
instalado previamente a partir dos comandos disponveis na Internet) que implementa o mtodo
de pareamento amostral (com diversas alternativas tcnicas) denominado propensity score
matching.
185

Formalmente:
Equao 14
I = (Ybeneficirios ,t +1 Ybeneficirios ,t ) (Ycontrole ,t +1 Ycontrole ,t )

Dados em painel podem ser utilizados para avaliar os impactos e
consideram, ao mesmo tempo, dados em corte temporal (cross section) e
dados de sries temporais. Na avaliao de impacto de programas, a srie
temporal tem poucos perodos (pelo menos dois). Nesse caso, tem-se uma
nova formulao. Considerando os dados em painel equilibrados, ter-se-
o mesmo nmero de observaes para cada unidade secional e, portanto,
um total de nxT observaes. Pode-se escrever, em termos matriciais:
Equao 15
y=X +
Onde:
y um vetor de observaes do tipo Tx1;
X uma matriz de coeficientes conhecidos do tipo nxTxk;
o vetor de resduos aleatrios do tipo Tx1;
um vetor dos parmetros populacionais desconhecidos do tipo
Tx1.
O mtodo de estimao mais simples da Equao 15 consiste em
ignorar a estrutura do painel e assumir it ~ iid (o, 2) para todo i e t. Ou
seja, para cada indivduo, as observaes no esto serialmente
correlacionadas; j para os indivduos e o tempo, os erros so
homocedsticos. A estimao desse modelo trivial e se faz utilizando os
MQO. Porm, assumir que as observaes so iid ignorar a estrutura de
painel dos dados. Embora, o mtodo dos MQO seja o mais fcil, no
necessariamente o mais adequado. Assim, sugere-se:
Equao 16
yit = Xit + it
A estrutura do termo de perturbao aleatria :
Equao 17
it = it + it
186

Ao primeiro termo da decomposio, i, d-se o nome de efeito

indivduo, e o segundo, it, no est correlacionado com Xit. O
desconhecido ( it) est composto por duas partes: a primeira ( it) varia
com os indivduos ou com a unidade secional, mas constante ao longo
do tempo (pode estar ou no correlacionada com as variveis explicativas).
A segunda ( it) varia (no de maneira sistemtica) ao longo do tempo e
dos indivduos. a forma mais simples de captar o aspecto de que duas
observaes para o mesmo indivduo sero mais iguais do que duas
observaes para indivduos diferentes.
As aplicaes empricas de dados de painel envolvem um dos
seguintes pressupostos acerca do indivduo: a) Modelo de efeitos
aleatrios (random effects) ( i no est correlacionado com Xit); b) Modelo
de efeitos fixos (fixed effects) ( i est correlacionado com Xit).
A diferena relevante entre os dois modelos no reside no fato do
efeito ser fixo ou no, mas no fato de o efeito estar ou no correlacionado
com as variveis explicativas.
Modelo de efeitos aleatrios (random effects)

De se ressaltar que o principal pressuposto a distinguir o modelo
random effects do modelo fixed effects que o efeito especfico do
indivduo ai, invariante no tempo, no est correlacionado com Xit. Essa
condio de ortogonalidade adicionada aos pressupostos sobre it
bastante para que o mtodo dos MQO seja assimpttico, no enviesado.
O modelo random effects uma forma de lidar com o fato de que ter (T)
observaes sobre (n) indivduos no o mesmo que ter observaes
sobre (nT) indivduos diferentes. A soluo a esse problema direta.
Primeiro, obtm-se um estimador para a matriz de covarincias do termo
de perturbao e, depois, utiliza-se a estrutura da matriz de covarincias
para estimar .
A natureza do erro a seguinte:
Equao 18
E[ ] = 0
->
E[
] =
InT
E[ i j] = 0, para i j
-> E[ i j] =
E[ i jt] = 0 -> E[ i] = 0
187

Todos os valores esperados so condicionados por (X). Considerando

todos os pressupostos, pode-se escrever a covarincia dos erros do termo
de perturbao para cada uma das unidades secionais:
Equao 19
2 + 2
2
2
2
+ 2
,
2
2 ,
E[ i i ] = I T + ii =
:
:
2
2
...
2
:::
:
2
... + 2
...
Aqui, i um vetor Tx1 de uns. A covarincia do termo perturbao para

o modelo pode ser escrita do seguinte modo:
Equao 20
0 ... 0
0 ... 0
,
= I n = E[ ] =
: : : :
0 0 ...
A matriz TxT = E( j j). A estrutura diagonal por blocos de

fcil para obter a inversa, em que :
Equao 21
1 / 2 =
=
A varivel
se torna
1 ,
I T T ii

2
T 2 + 2
uma quantidade desconhecida que tem de ser estimada.
O estimador MQG (mnimos quadrados generalizados) admissvel

requer estimativas das quantidades desconhecidas. Em particular,
necessita-se das estimativas das varincias de
e
na expresso de .
Modelo de efeitos fixos (fixed effects) no caso de dois perodos

Os dados de painel so apresentados como uma verso mais complexa
dos dados seccionais. No se pode esperar que a informao obtida
quando (n) indivduos so tratados (T) vezes seja a mesma que se obtm
quando se observam (nT) indivduos. H que se lidar com esse problema.
188

Essa limitao pode ser verificada observando-se o estimador do modelo

randon effects, que se reduz ao estimador agregado como um nico
conjunto de dados secionais quando a varincia do componente do
indivduo zero.
Por outro lado, os dados de painel permitem, de certa forma, reduzir um
grave problema enfrentado pela maioria de pesquisadores: a ausncia de
uma lista adequada de variveis independentes para explicar uma varivel
dependente. Para entender isso, apresenta-se uma idia intuitiva do
modelo fixed effects: modelo simples de dois perodos (t = 1,2), assim
representado:
Equao 22
yit = Xit
Onde:
+ Zi + it
X = uma matriz de variveis explicativas, que varia com o tempo e com

os indivduos;
Y = uma matriz de variveis observveis, que varia com os indivduos,
mas, para um mesmo indivduo, mantm-se constante ao longo dos
dois perodos.
Em analogia ao modelo randon effects, define-se:
Equao 23
it =
it +
it
A assuno dos pressupostos seguintes (os mesmos do modelo randon

effects) determina:
Equao 24
E[ ] = 0 -> E[ ] = 2 InT
E[ i j] = 0, para i j
-> E[ i j] = 2
E[ i jt] = 0 -> E[ i] = 0
Na Equao 24, todos os valores esperados so condicionados por (X) e
(Z). A diferena essencial entre o caso presente (fixed effects) e o modelo
randon effects envolve um pressuposto adicional relativo ao efeito
especfico do indivduo. Considerando Wit = [Xit Zit], tem-se:
Equao 25
E[Wit it] 0
189

Destaca-se o fato de as variveis independentes estarem correlacionadas

com . O no-cumprimento dessa condio de ortogonalidade tem
conseqncias importantes. Considere-se o estimador MQO apenas para os
dados do primeiro perodo:
Equao 26
yi1 = Xi1 + Zi + i1
Ao contrrio do modelo random effects (conseqncia da Equao 28),
o estimador MQO ser enviesado. A extenso e a direo do enviesamento
dependero da natureza precisa da relao entre o efeito especfico do
indivduo e as outras variveis explicativas. Uma forma de trat-lo
imaginar a seguinte regresso para a populao:
Equao 27
i = Wit + erro
O coeficiente populacional
desta projeo linear representa o
enviesamento. Se for o coeficiente MQO da segunda varivel explicativa

da Equao 28, e 2 for o parmetro populacional para a mesma varivel
explicativa na projeo linear descrita na Equao 27, pode-se escrever
plim = 2 + 2, onde 2 o verdadeiro valor do coeficiente da segunda
varivel explicativa da populao.
Pela lgica, os mesmos problemas sero enfrentados ao se utilizar o
estimador MQO com os dados de segundo perodo:
Equao 28
yi2 = Xi2 + Zi + i2
A vantagem dos dados de painel est em ressaltar que as equaes nos
dois momentos no tempo, isto , equaes 26 e 28, so representaes
vlidas do mundo real e, portanto, qualquer combinao dessas relaes
tambm vlida. A primeira diferena delas uma combinao real e vlida,
assim:
190

Equao 29
yi1 = Xi1 + Zi + i1
yi2 = Xi2 + Zi + i2
yi2 - yi1 = (Xi2 - Xi1) +( Zi - Zi) +( i2- i1)
y = X + Z + e
A varivel o operador diferena (X = Xi2 - Xi1). A Equao 29
equivale, pois, a:
y = X +
Nota-se que os termos invariantes no tempo, Zi e i, desaparecem aps
aplicao do operador diferena. A principal diferena entre a equao em
diferenas (Equao 29) e as equaes em nveis (ou equaes no
transformadas, equaes 26 e 28), que a condio necessria de
ortogonalidade verificada nos dados transformados:
Equao 30
E[Xh] = 0
A principal conseqncia dessa observao que MQO para os dados
transformados produz estimativas no enviesadas dos coeficientes da
varivel (X). a essncia do modelo fixed effects.
Com os dados de painel, possvel obter estimativas consistentes dos
parmetros de interesse, mesmo em presena de efeitos correlacionados
omissos. A aplicao do estimador MQO a dados secionais (indivduos) no
poderia consegui-lo. o uso dos indivduos como controle deles mesmos.
Trs lies podem ser tiradas do modelo simples de fixed effects:
1. Com estimadores fixed effects, em geral, no se pode recuperar
estimativas para quaisquer variveis explicativas invariantes no tempo. Por
vezes, possvel recuperar os coeficientes dos regressores invariantes no
tempo se houver informao a priori adicional acerca dos elementos dos
regressores variantes no tempo (Hausman, 1981). Quando se removem os
efeitos correlacionados no-observveis i, tambm se removem os efeitos
de qualquer varivel observvel que seja invariante no tempo. No modelo
simples de fixed effects, a transformao de diferenciao tem como
conseqncia o desaparecimento na equao final a estimar de Zi e i.
Todos os efeitos invariantes no tempo recebem o mesmo tratamento.
191

2. O estimador do mtodo fixed effects robusto em relao omisso

de quaisquer regressores invariantes no tempo. Esta a expectativa da
estimao do modelo fixed effects. Em princpio, com o modelo fixed effects,
reduz-se a necessidade de informao adicional, bsico para satisfazer a
condio de ortogonalidade.
3. Quando o modelo random effects for vlido, o estimador de fixed
effects ainda assim produzir estimativas consistentes para os parmetros
de identificao. A condio de ortogonalidade da Equao 30 ainda
vlida quando o modelo randon effects descreve a realidade, embora o
estimador de fixed effects no seja, neste caso, eficiente em relao ao
estimador random effects.
ANEXO 4
Consideraes sobre a utilizao de dados em painel em modelos
economtricos com variveis dependentes qualitativas
Uma das questes mais importantes nos modelos que utilizam dados
em painel encontra-se no controle da correlao serial. Nos modelos de
efeitos aleatrios, os mtodos de estimao de mnimos quadrados
generalizados produzem eficientes estimadores consistentes e
assimptticos. Para modelos que possuem variveis dependentes
qualitativas, a correlao serial introduz problemas adicionais que, em
alguns casos, tornam os mtodos usuais intratveis.
Considere o caso de um modelo probit com dados de painel, em que
no se observa a varivel y it , mas sim um indicador d it :
1 se yit 0
d it =
0 se contrrio
O modelo para y it pode ser dado pela seguinte especificao:
y it = X it + it
it = i + it
A varivel i representa um efeito aleatrio invariante no tempo e it
independente e identicamente distribuda (iid). Desse modo, a estrutura de
covarincia de it dada por:
192

Equao 31
2 se j = 0
E ( it it j ) = 2
se j 0
Tem-se, ento: . i ~ N (0, )

Define-se J it = {di1 ,..., d it } como o conjunto das escolhas do i-simo
indivduo no perodo [1,t], e que Pr ob( J it | X i ; ) seja a probabilidade desse
conjunto, onde X i = ( X i1 ,..., X iT ) e so os parmetros de interesse. Ento,
o logaritmo da funo de verossimilhana dado por:
N
l( ) = ln[Pr ob ( J iT | X i ; )]
i=1
A dificuldade de maximizar essa funo est relacionada estrutura de

dependncia dos erros. No caso em que it iid, tem-se:
Equao 32
Pr ob( J it | X i ; ) = Pr ob(d il | X il ; )
l =1
Somente integrao univariada necessria para obter a verossimilhana.

No caso em que existem efeitos aleatrios, ocorre:
Equao 33
Pr ob( J it ) =
Pr ob( d
il
| X il ; ) f ( )d
l =1
Aqui, f(.) a densidade de uma distribuio normal. Para se obter a

verossimilhana necessria a integrao bivariada.
Para estruturas nos erros mais gerais, a ordem de integrao da
mesma ordem que (T), o que torna invivel a utilizao de mtodos de
mxima verossimilhana.
Uma alternativa a utilizao de mtodos de estimao que
independam de normalidade e da especificao da estrutura nos erros.
Uma possibilidade usar o mtodo de Equaes de Estimao
Generalizada35.
O mtodo das equaes de estimao generalizadas (Liang e Zeger,
1986) permite a estimao de modelos de regresso nos casos em que a
35 Ver Liang & Zeger (1986), Crowder (1986), Crowder (1987) ou Mtodos de Estimao via
Simulao (Keane, 1993).
193

varivel endgena no segue uma distribuio normal, e tambm quando

existe uma estrutura longitudinal associada a essa varivel. Ou seja, para
um mesmo indivduo ela observada vrias vezes ao longo do tempo.
Para a construo de tais equaes necessrio, para cada indivduo da
amostra, definir funes de estimao (funes dos dados e dos
parmetros de interesse) que tenham esperana matemtica igual a zero e
fazer suposies sobre a estrutura de correlao entre essas funes ao
longo do tempo36. O mtodo permite que o nmero de avaliaes da
varivel endgena seja diferente de um indivduo para o outro.
A idia do Mtodo de Estimao por Simulao generalizar o mtodo de
momentos para estimao de parmetros, em que a varivel integral, na
Equao 33 substituda por simuladores de Monte Carlo das probabilidades.
O principal problema desses mtodos est na implementao, dado que
os softwares disponveis (Limdep) no apresentam tais alternativas.
ANEXO 5
Anlise dos Componentes Principais (ACP): um resumo do
procedimento
A anlise de componentes principais aplica-se a variveis quantitativas
(cuja escala tem sentido paramtrico, ou seja, possvel calcular seus
momentos, como mdia, varincia, assimetria, kurtosis). Ela tem como objetivo
primordial reagrupar um conjunto de variveis em torno de fatores
componentes principais que permitam uma representao grfica em
planos denominados planos fatoriais que facilite a interpretao da
relao de um amplo conjunto de variveis.
Por exemplo, se queremos analisar o que se passa com os municpios
paulistas, podemos coletar dados quantitativos sobre variveis de diferentes
tipos e organiz-las em grupos; a) variveis de estrutura fundiria; b) variveis
sobre grau de urbanizao; c) variveis sobre intensidade de atividade
econmica; d) variveis sobre uso da tecnologia agrcola; e) varivel sobre
prticas contratuais.
Espera-se, portanto, como em Fvaro (2005), que uma anlise de ACP
aplicada a cada um desses itens resulte em um ou dois fatores que possam
ser utilizados para representar cada um dos grupos apresentados.
36 Ver detalhes sobre essa construo em Crowder (1987).
194

Outra possibilidade, que a aplicao do mtodo ACP para todas as

variveis (cerca de 20) resultasse em 4 ou 5 componentes fatoriais que
permitissem observar no s os agrupamentos de municpios em torno de
certas variveis, mas quais variveis foram as principais responsveis pelas
diferenas entre municpios, no mbito do Estado de So Paulo. No caso da
anlise de capital social, a ACP pode at ser utilizada para checar a estrutura
proposta.
Tecnicamente, pode-se sintetizar o procedimento de ACP (ver Escofier e
Pags, 1992), conforme o que se segue.
Em linhas gerais, pode-se considerar que a representao vetorial de cada
indivduo (por exemplo, um assentado, uma famlia de beneficirios, um
assentamento ou um municpio) feita em um espao Mk, ou seja, cada
indivduo representado por (k) atributos37.
Para um conjunto de (n) observaes, tem-se uma nuvem de pontos no
chamado espao das variveis. Tambm possvel qualificar cada varivel no
espao Mn dos indivduos. A idia central do ACP ser possvel encontrar
uma matriz Azk, cujos elementos so coeficientes de correlao linear entre
variveis e fatores comuns, que igual diferena entre a variabilidade total
encontrada a partir da matriz dos dados (R) (padronizados e com a norma
valendo 1), e uma matriz cujos elementos comuns so coeficientes de
correlao linear entre as variveis e os fatores singulares.
Obviamente, trata-se de uma formulao terica. Toda vez que se busca
vetores que sintetizem relaes mais intensas, perde-se informao. Assim,
algumas variveis vo estar mais prximas de outras e este feixe de variveis
o que melhor distancia indivduos. Por exemplo, municpios rurais
diferenciam-se dos urbanos no s pelas variveis relativas ao grau de
urbanizao, mas tambm por alguns indicadores de desempenho de
arrecadao. Isto no perfeito, pois alguns municpios agrcolas podem ter
uma agricultura pujante que os aproximem dos urbanizados apesar de seu
fraco desempenho nas variveis que indiquem o grau de urbanizao.
Associaes com muita participao podem diferenciar-se daquelas com
pouca participao,mas pode existir um grupo que se confunde com os dois,
pois existe apenas uma festa anual em que as pessoas se renem com
grande contribuio monetria de todos os membros da comunidade.
O problema pode ser descrito como a busca do melhor plano (ou dos
melhores planos) fatorial que permite projetar a nuvem de pontos, seja do
espao de indivduos seja do espao de variveis. O problema encontrar
37 As variveis resultantes dos indicadores, utilizadas na anlise, so numricas.
195

uma boa representao para uma nuvem de pontos que, em sua

complexidade, no pode ser interpretada. Mais do que isso, busca-se uma
interpretao desses planos em termos da importncia das variveis originais
(os planos obtidos podem ser interpretados segundo o tema de estudo).
O mtodo ACP utiliza um algoritmo de otimizao da matriz
caracterstica
, que passa por encontrar um (auto)
vetor ek1 a minimizar os erros de projeo da nuvem de pontos no
(primeiro) fator, que aquele com maior inrcia, representada pelo maior
38.
autovalor (W). Isso obtido quando
O algoritmo seqencial. Obtm-se a melhor projeo, correspondente
ao maior autovalor, ou seja, maior varincia projetada, passando a seguir
para o segundo maior e assim sucessivamente.
Os prximos autovetores e autovalores so alcanados sob a restrio
dos resultados obtidos nos processos imediatamente anteriores (ver Escofier
e Pges, 1992).
Como passar do resultado desse ajuste para indicadores? Trata-se de
utilizar, da melhor forma possvel, as informaes resultantes do processo de
otimizao. Esse ir fornecer as varincias associadas a cada fator (eixo de
projeo) e sua contribuio para a inrcia total. Tambm fornece as cargas
fatoriais como a decomposio de cada fator em termos das (k) variveis
utilizadas e a composio de cada varivel em termos dos fatores.
Para a representao grfica, o resultado fornece as coordenadas das
variveis em cada plano fatorial que se deseja representar (dos indivduos,
em outro plano). A boa representao das variveis nesses planos permite
a interpretao de seu significado e de cada um dos fatores, conforme o
caso. Essa representao pode ser melhorada utilizando algum mtodo de
rotao39. Esse seria o cenrio ideal, mas nem sempre ocorre.
38 A matriz AA uma expresso geral de um procedimento que busca a melhor projeo de uma
nuvem de pontos no espao da k variveis originais no espao dos fatores, aqui representado pela
matriz Ekk, composto pelos vetores ekk. Para isso, preciso estabelecer uma mtrica (uma unidade
de medida aplicada lgebra matricial) que permita realizar a projeo ponto a ponto no vetor
que melhor se serve a esta tarefa. O critrio utilizado considerar a projeo que, para o conjunto
de pontos, maximize a varincia da projeo. Intuitivamente, aquela que distribui os pontos ao
longo do vetor de forma a ampliar a medida conjunta de distncia ao quadrado. Os
procedimentos para obteno da mtrica so detalhados em Escofier e Pags (1992:75).
39 No realizado pelo WINSPAD3, mas disponvel em outros softwares, como STATISTICA, SAS ou
SPSS.
196

ANEXO 6
Metodologias de construo de indicadores de capital social
A discusso abaixo visa apontar alguns cuidados na elaborao de
indicadores de capital social e sugerir alguns procedimentos que podem
auxiliar na agregao dos indicadores obtidos. Referidos procedimentos
podem ser aplicados mesmo no caso de amostras no representativas do
ponto de vista estatstico40.
Adiante, destaca-se um roteiro para a agregao de indicadores de
capital social. Esses indicadores podem ser utilizados tanto em anlises que
tomam o capital social como varivel dependente (cuja acumulao seria
impactada pelo programa em anlise), quanto em anlises que
consideram o capital social como varivel independente, cujo nvel e
variao provocam mudanas nas condies de vida e de bem-estar de
comunidades de beneficirios.
Outro tema discutido refere-se relao entre o capital social e as
variveis que no diretamente so atribudas s causas dos fenmenos em
estudo. Essas variveis podem ser obtidas por procedimentos derivados da
investigao qualitativa, da percepo dos entrevistados: so as variveis
latentes41. Confirmando as possibilidades abertas pela explorao
estatstica de indicadores qualitativos, o trabalho de Flora & Flora (2000)
apresenta indicadores compostos, obtidos por meio de tcnicas fatoriais.
Surge tambm a noo de uma varivel latente ao coletiva como
composio de outras trs variveis latentes: a) legitimidade de alternativas
(composta a partir de 3 indicadores); b) mobilizao de recursos (3
indicadores); c) qualidade no estabelecimento de redes (4 indicadores; um
deles composto por 9 variveis combinadas por meio de anlise fatorial).
Tal exemplo permite captar a idia de que na impossibilidade de mensurar
o fenmeno diretamente, possvel manejar escalas de percepo de
beneficirios no sentido de criar variveis passveis de validao por
mtodos estatsticos, aplicados posteriormente.
40 Para anlise de procedimentos bastante cuidadosos na criao de indicadores que expliquem

a renda de diferentes estratos da populao no Brasil, ver Kageyama e Hoffmann (2000).
41 Uma aplicao corrente das variveis latentes a construo do European Consumer
Satisfation Index (ECSI). Para se obter tal index, levanta-se por meio de instrumento de coleta as
seguintes variveis latentes: expectativas dos clientes, qualidade percebida dos produtos e
servios, valor percebido, satisfao do cliente, reclamaes e lealdade do cliente.
197

Outro exemplo de aplicao o trabalho de Csar, Soares e Mambrini

(2000)42, em que se discute os fatores que influenciam em resultados de
desempenho no teste de avaliao de alunos do Sistema Nacional de
Avaliao da Educao Bsica (Saeb) do Ministrio da Educao, Brasil. Os
autores trabalharam com variveis, segundo diferentes tipos de escala: a)
variveis binrias para sexo o que parece totalmente adequado; b) uma
escala ordinal para uma varivel que sintetiza a percepo dos alunos do
grau de dificuldade do teste; c) uma escala construda a partir de uma
varivel latente que sintetiza o status scio-econmico dos alunos,
utilizando a Escala de Samejima (1969), citado por Wright & Masters (1982).
Tais aplicaes, tanto do conceito de varivel latente quanto da anlise
multivariada, sugerem que o estudo do capital social deve ser fundado em
um instrumento de coleta adequado para a obteno de ndices que
respeitem as caractersticas desejadas para sua agregao e que possam,
de preferncia, ser utilizados com base em anlises amostrais. Por outro
lado, surge a possibilidade de utilizar variveis de percepo para tratar a
acumulao de capital social, variveis latentes que componham modelos
estruturais e que permitam o uso de tcnicas de sua validao estatstica.
Tcnicas estatsticas aplicadas anlise do capital social so apresentadas
a seguir: anlise fatorial para construo de indicadores, mtodo de anlise
estrutural, anlise confirmatria e aplicao de modelos hierrquicos.
A utilizao de anlise fatorial para construo de indicadores

Em muitos casos, desejvel utilizar um ndice que represente um
conjunto de variveis com significado comum. Uma das formas de
proceder a uma reduo utilizar a Anlise de Componentes Principais
(ACP). Ribeiro e Dias (2004) obtiveram um ndice agregado de atividade
econmica municipal a partir de sries sem o componente sazonal de
vrios indicadores parciais, como consumo de energia eltrica residencial,
industrial, atividade de emplacamento de automveis, habite-se
concedidos, alvars e arrecadao de vrias modalidades de impostos. Os
autores obtiveram, ento, um indicador de como evolui um determinado
municpio no tempo sem que o leitor tenha que consultar vrios
indicadores. possvel at mesmo evitar ambigidades na interpretao
dos resultados.
42 interessante consultar uma verso anterior do trabalho de Csar, Soares e Mambrini (1999),
que detalha ainda mais as variveis e suas caractersticas. Disponvel para download em:
www.est.ufmg.br/proav/influence.html.
198

A tcnica utilizada bastante acessvel, pois demanda apenas uma tabela

com todos os indicadores nas colunas, de preferncia em escalas
padronizadas (nmeros/ndices, escalas do tipo Likert ou Osgord). Todavia,
sendo possvel normalizar os dados, pode-se, inclusive, alimentar a anlise
com indicadores de distintas dimenses43.
O primeiro passo obter os chamados componentes principais,
utilizando-se a multivariada tcnica Anlise dos Componentes Principais
(ACP), descrita no Anexo 544. Em linhas gerais, cada componente principal
resultado de uma combinao linear das variveis (indicadores de capital
social) ponderadas pela contribuio de cada uma na varincia total do
componente.
Para obter o ndice agregado, utilizam-se os n primeiros componentes
que mais contriburam para a varincia total. A partir da, dois caminhos so
possveis:
utilizar diretamente os valores dos componentes obtidos para cada um
dos indivduos analisados, caso esses possam ser interpretados com
clareza (exemplo: o primeiro componente combinaria os indicadores
parciais de capital social para fornecer uma clara indicao da capacidade
de organizao da comunidade; outro seria indicador da tradio
comunitria; outro indicaria capacidade das comunidades de gesto, at
o nmero n de componentes com significado para a anlise)45;
utilizar os componentes principais para obter a importncia (peso) de
cada varivel (indicador parcial de capital social) em um (ou mais)
indicador agregado de capital social.
No caso da escolha recair sobre o procedimento mencionado no item a,
uma adequada construo de ndices depende da possibilidade de
interpretar os planos fatoriais obtidos ou, pelo menos, os eixos fatoriais. Assim,
a relao entre Participao Associativa e Desempenho dos Gestores
poderia formar um plano resultante do ajuste e no intencionalmente bem
entendido em que os municpios estariam representados (com a ressalva
das limitaes impostas pela amostra intencional).
43 claro que informaes do tipo binrio, sim ou no, no seriam adequadas a este tipo de
anlise. Tambm limitante saber antecipadamente que, devido a regras do programa analisado,
o indicador varia entre 1 e 6, por exemplo, se o programa exigisse no mnimo uma reunio anual
e as condies efetivas dos beneficirios tornassem muito raro uma freqncia anual uma reunio
cada dois meses.
44 Os aspectos formais da anlise de ACP esto em Escofier e Pges (1992). Privilegiou-se a
interpretao do mtodo e os aspectos mais diretamente relacionados construo do ndice.
Softwares, como o SPSS ou o SPADN, permitem realizar anlises de componentes principais de
forma a atender metodologia sugerida para a obteno de ndices agregados.
45 Fvaro (2005) utilizou este tipo de procedimento para formar indicadores tecnolgicos, de
urbanizao, de estrutura fundiria, visando caracterizar municpios do Estado de So Paulo.
199

claro que algumas variveis da matriz de dados originais contriburam

com maior intensidade para a formao de um plano, participando
fortemente na deformao da nuvem de pontos originais tendo elevada
inrcia enquanto que outras contriburam mais fortemente para formao
de outro plano, lembrando que na ACP cada plano formado por fatores
ortogonais. Existindo variveis fortemente relacionadas com cada um dos
eixos (fatores), possvel utilizar a matriz quadrada XX de ordem nxn para
gerar dois fatores, cada qual com significado e cada um com contribuies
maiores de um conjunto distinto (e quase disjunto) de variveis.
No segundo caso, seguindo a sugesto de Ribeiro e Dias (2004), o
procedimento passaria por duas etapas. Na primeira, para cada varivel
(indicador parcial de capital social, como o nmero de reunies realizadas
no ano pela associao), calcula-se sua importncia utilizando a frmula
seguinte.
Icpi =
Pj
n
Pj
* Cij
f =1
Onde:
Cif o valor da i-simo indicador de capital social no j-simo
componente principal;
Pj a parcela da varincia atribuvel ao j-simo fator.
Assim, o ndice agregado obtido pela soma dos valores das variveis
(valor do ndice para cada assentamento analisado) ponderadas os Icpi (a
importncia de cada indicador, obtida pelo uso da ACP), ou seja:
k
ICS = Icpi *Vi

i =1
Os dois procedimentos para obteno de ndices agregados

demandam ateno com as variveis utilizadas, seja a partir de
mensurao de atributos diretos da populao, seja por resultados da
aplicao de escalas de percepo. Dada a facilidade de conduo do
mtodo ACP, seu uso deve ser parcimonioso e restrito aos casos em que
realmente o rescalonamento obtido com a tcnica fatorial represente a
variabilidade original do conjunto de variveis que o alimentaram. Essa
observao crtica no primeiro tipo proposto de agregao, uma vez que
um componente principal precisa ser interpretvel para receber uma
ponderao e gerar um indicador agregado de capital social.
200

O mtodo de anlise estrutural e suas aplicaes na anlise do

capital social
A proposta de criao de indicadores a partir de informaes
levantadas para avaliao do capital social fornece a base para estudos de
carter exploratrio. Novos indicadores e novos grupos de variveis em
torno de variveis construdas a partir de variveis de percepo sobre o
capital social (latentes) podero ser criados, o que permite um ganho no
s na obteno de um melhor significado dos indicadores (sntese mais
clara), mas tambm abre a possibilidade de analisar a mudana estrutural
entre dois perodos.
Os mtodos de modelos estruturais envolvem um conjunto de
variantes, desde modelos de regresso, anlise do caminho, mtodos de
medida, modelos confirmatrios, at a anlise de caminho com variveis
latentes, no sentido de trabalhar com as diferentes variveis estruturadas
em grupos em torno da criao de variveis latentes.
O desenvolvimento pormenorizado do mtodo depender de um
conjunto de anlises prvias, univariadas (para caracterizar o
comportamento das variveis na amostra) e multivariadas.
Um esboo sobre anlise confirmatria

Uma anlise confirmatria busca checarse uma determinada estrutura
de relao de variveis d sustentao s variveis latentes que lhes
correspondem. Visa tambm avaliar a correlao entre variveis latentes.
Para ilustrar de forma mais ampla a anlise estrutural, um exemplo
esquemtico explicita as possibilidades de trabalhar com a chamada
anlise confirmatria para o estudo de indicadores de capital social46. A
anlise estrutural de indicadores, apresentada na Quadro 4, considera os
seguintes elementos:
as caixas nas margens do Quadro 4 apresentam vetores que contm
os valores dos indicadores de participao comunitria (CPI,
esquerda) e de desempenho do conselho (MCPI, direita);
46 Para um exemplo relativo a variveis que apresentem correlao entre variveis ordinais
(obtendo assim coeficientes de correlao chamados polychoric), ver Jreskog e Srbon (1993) e
Byrne (1989).
201

a cada indivduo (associao/municpio) da amostra esto associados

valores do conjunto de indicadores que iro compor os vetores de
cada uma das caixas47;
as setas originadas das margens, apontando para as caixas, referem-se
mensurao do erro de medida associado a cada uma delas, que
contribuem para o random effect;
as figuras circulares centrais indicam as variveis latentes que, no caso,
sintetizam duas medidas de capital social48;
as setas em direo s caixas quadradas indicam a contribuio de
cada uma para a varivel latente, como um sistema de pesos, ou
melhor, de cargas fatoriais.
Entre as duas variveis latentes, existe uma correlao. Sua interpretao
depende dos termos do problema. Pode ser interessante que CPI e MCPI
sejam positivamente relacionadas. A estrutura do problema garante a priori
que comunidades ativas no necessariamente estejam em municpios
com bom desempenho do Conselho Municipal e vice-versa (da a razo da
seta no pr-determinar um efeito de causalidade, que, todavia, pode ser
testado).
Quadro 4 Anlise confirmatria: um esquema simples para

relacionar CPI e MCPI
Associaes
participam?
Indicador de
associao?
Renova
diretores?
CPI
MCPI
Alavanca
recursos?
Relao com
a prefeitura
Reunies
regulares?
47 A escala dessas variveis pode ser construda de vrias formas, segundo o estudo univariado
da distribuio de cada um dos indicadores. Esses modelos podem ser simples, como a escala
construda por Costa (2000), ou pode envolver a utilizao de mtodos mais complexos de
mensurao. Pode-se criar escalas nominais, ordinais, intervalares e mesmo criar variveis binrias.
Em outras palavras, possvel ganhar flexibilidade em relao a uma padronizao de escalas para
todas as variveis
48 No caso desse exemplo so variveis originadas do ajuste do modelo, que permitem que se
imponham restries sobre o comportamento da varincia de uma delas e mesmo se padronize
a escala das variveis
202

A anlise permite estabelecer a correlao entre os indicadores49.

O Quadro 4 apresenta um modelo de anlise confirmatria adequado
para relacionar duas variveis latentes, relacionadas a dois subgrupos
estruturados j no questionrio, ou seja, a partir do instrumento de coleta
de informaes. A adequao do processo se baseia na criao de dois
subgrupos associados s duas variveis latentes para representar o CPI. No
exemplo, testa-se o modelo com dois fatores, cada fator sendo
determinado por apenas trs variveis observveis.
A seguir, apresenta-se a mesma anlise um pouco mais formalizada.
Sugere-se aos leitores que desejem aprofundar seus conhecimentos a
consulta ao trabalho de Jreskog e Srbom, 1993.
Considerando que duas variveis grau de participao nas reunies e
periodicidade das reunies estejam relacionadas a uma varivel latente
(participao efetiva); e que resoluo de problemas com recursos
prprios e emprstimos financeiros componham uma varivel latente
(potencial financeiro), essas quatro variveis tm erro de medida e so
representadas por xi, que parte do vetor X. Elas esto estruturadas de
forma a relacionar-se com z, que o vetor das variveis latentes.
As duas primeiras linhas de X esto relacionadas primeira linha de V,
ou seja, a varivel latente zi. Cada varivel assume valores segundo a escala
construda a partir das observaes tomadas s P comunidades
amostradas. As variveis latentes, nesse caso (como tambm no exemplo
anterior), so no-observveis.
Um teste economtrico pode ser feito: aplica-se a metodologia dos
componentes principais para as variveis mencionadas. Espera-se que o
resultado, na forma de fatores, reflita a estrutura que se est propondo:que
um fator sintetize a participao efetiva e que outro, o potencial financeiro.
O passo seguinte pode ser conduzir uma anlise de caminho
considerando variveis latentes e estimando a relao entre elas. Essa anlise
pode ser estendida para abranger duas situaes (a contribuio e a relao
entre as variveis de cada grupo nos dois perodos), o que permitiria observar a
relao dessas variveis latentes no tempo. Pode-se, inclusive, testar o quanto
isso afetaria os resultados do CPI, caso a anlise anterior indique uma relao
causal clara dos indicadores de MCPI para a varivel latente CPI.
49 Alm das medidas de correlao, possvel testar a qualidade do ajuste (Goodness-of-Fit, ver
Jreskog e Srbom, 1993, Cap. 4), comparando a matriz de covarincia do modelo irrestrito todas
variveis correlacionadas - com a do modelo estruturado. A anlise permite avaliar os ganhos
resultantes da modificao de indicadores. O modelo permite ento que conheamos a interrelao entre eles.
203

Outro passo, agora relacionado a estimar parmetros, e no apenas

checar o processo estrutural de variveis e indicadores, seria trabalhar as
variveis a partir de um modelo estrutural hierarquizado, o que significaria
considerar dois nveis bsicos: municpio e comunidades.
Aplicao de modelos hierrquicos
possvel ainda hierarquizar a anlise para que capte a influncia dos
municpios e das comunidades (famlias) como forma de reforar a
investigao sobre os indicadores de desempenho das associaes e dos
municpios. Como j citado, o uso de regresso hierrquica se aplica aos
casos em que a populao est estruturada, como bem ilustra o caso da
educao (Goldstein, 1995; Cesar, Soares e Mambrini, 1999)50.
Um modelo geral para um sistema hierrquico em dois nveis
apresentado a seguir. Os indicadores MPCI e CPI ou proxies obtidas de
variveis da amostra apresentada no Captulo 3 poderiam ser
transformados em variveis dependentes e, por conseqncia, em um
modelo desse tipo, para buscar uma anlise desagregada das explicaes
por fatores fixos e aleatrios que expliquem seu comportamento. Com isso,
pode-se perceber o efeito dos municpios em cada um dos ndices e o
efeito dos fatores aleatrios relacionados s comunidades.
Supe-se o seguinte esquema:
Yijk, com:
k = 1,2,...,;
j = 1, 2,..., ni (unidades de nvel 1, comunidades);
i = 1, 2,..., N (unidades sorteadas de nvel 2, municpios).
Supe-se tambm que existem xil = {1, 2,...q} variveis representando o
segundo nvel de observaes (variveis caractersticas dos municpios,
mas no especificamente das comunidades). Na i-sima observao do 2
nvel, pode-se escrever os dados observados da seguinte forma:
Na equao acima, cada um dos j-simos e dos q-simos dizem respeito

s variveis relativas aos dois nveis em que o modelo est estruturado
50 Reafirma-se que um municpio especfico x no est sendo estudado, no se constitui em uma
varivel e sim em um estgio da amostra. O mesmo se passa com as comunidades. Pode-se
todavia avaliar a influncia dos municpios sobre a variabilidade observada pelo estudo. O mesmo
se aplica a comunidades.
204

(variveis das comunidades e dos municpios). O modelo hierrquico

ento definido por um sistema de equaes (respectivamente identificados
como 0.1 e 0.2):
Nessas equaes, X(y) e X(x) so matrizes visando captar os efeitos fixos

(fixed effects) e Sij e Ri so matrizes para captar efeitos aleatrios (random
effects).
O modelo assume alguns pressupostos bastante restritivos, como
supor que os termos de erro vij e uij so iid com N(0, B) e N(0, w). Alm
disso, assume a seguinte composio:
Os detalhes da estimao do modelo esto em McDonald (1985). O

intuito foi sintetizar as vantagens e estimar o modelo hierrquico como
forma de melhor decompor as causas de variao que explicam o capital
social, notadamente se a entidade municpio causa de maior
participao comunitria ou se maior participao comunitria tem
influncia no desempenho dos conselhos municipais.
Em resumo, o objetivo da anlise estatstica do capital social
complementar os outros nveis de anlise e permitir testar as hipteses
relativas s relaes de causalidade entre os programas de interveno
pblica, variaes no nvel de capital social das comunidades e combate
pobreza.
ANEXO 7
A obteno de um indicador sinttico de capital social usando ACP
Esse mtodo adequado se as variveis com maior peso forem as que,
em conjunto, sejam capazes de dar o significado desejado ao ndice. o
que ser apresentado a seguir, como proposta em situaes em que se
perceba que indicadores em que se espera significado comum levem os
205

indivduos para bem longe na nuvem de pontos e, conseqentemente,

nos planos fatoriais obtidos pela ACP.
Pode-se apresentar a construo do ndice de maneira mais formal
(trabalha-se a matriz original de dados, e aps o ajuste recm-descrito,
sero obtidas as seguintes matrizes):
Xnk matriz de (v) variveis transformadas;
Fnk matriz dos valores para cada observao em cada fator comum;
Azk matriz cujos elementos so coeficientes de correlao linear entre
as variveis e os fatores comuns.
O ndice representado pelos vetores Mi,1 (conjunto das somas dos
produtos dos escores fatoriais correspondentes a uma observao pela
participao relativa dos fatores comuns na explicao da varincia
, em que:
total51). Com z k52, tem-se
FL fatores comuns selecionados (L =1,...,z), cujos elementos so
escores fatoriais;
VL percentagem de varincia total explicada pelo fator comum
respectivo (L);
fcil mostrar que ao substituir V1 pela soma de quadrados das cargas
fatoriais do l-simo fator comum, dividido pela porcentagem da varincia
comum explicada por esse mesmo fator comum para transformar a
equao imediatamente anterior, obtm-se o ndice desejado:
Nessa equao, tem-se W1.z, o vetor de autovalores dos fatores comuns

(como as cargas fatoriais so coeficientes de correlao linear, seus
quadrados so coeficientes de determinao que indicam a proporo
explicada da varincia das variveis).
Esse ndice pode sofrer algum tipo de reescalonamento, visando evitar
problemas decorrentes de interpretao do ndice absoluto gerado. Como
se pode perceber, sua interpretao pode ser difcil, caso as variveis
escolhidas sejam de natureza muito diversa. Variveis com natureza muito
prxima, por seu turno, do pouca contribuio inrcia, podendo criar
problemas para a distribuio da varivel ndice ou propiciar o predomnio
de poucas variveis, o que tornaria o exerccio desnecessrio.
51 Alguns detalhes relativos s propriedades do sistema de ponderao foram omitidos para

simplificar. Ver Escofier e Pges (1992).
52 O que representa o processo de reduo de um espao das variveis de maior ordem para um
espao Z.
206

ANEXO 8
Anlise confirmatria de estruturas baseadas em variveis latentes
Essas estruturas, segundo Byrne (1989), permitem estimar um conjunto
de parmetros segundo a equao abaixo:
Essa equao pode ser expressa na forma de matriz de varinciacovarincia. Veja-se:
Apenas para ilustrar melhor a idia de estruturao em grupos de

variveis relacionadas s variveis latentes, apresenta-se a expanso da
acima transcrita.
Percebe-se que x composta por cargas fatoriais53 relacionadas s
variveis latentes 1 e 2, respectivamente. Cada elemento de fornece a
varincia-covarincia dos fatores54. Seu termo 21 zero quando os fatores
so ortogonais, o que s aconteceria se as variveis de um grupo fossem
independentes daquelas pertencentes ao outro grupo.
Finalmente, d a matriz dos erros de medida ou termos residuais
associados a cada varivel observvel. Na equao anterior, impe-se uma
restrio de que esses erros so no-correlacionados, o que pode ser
relaxado55.
A anlise d lugar avaliao da qualidade do ajuste e da possibilidade
de recompor os grupos, utilizando ndices de medida e introduzindo
novas variveis56.
53 As cargas fatoriaisindicam a importncia de uma varivel x em uma determinada varivel sntese.
54 Espera-se uma baixssima co-varincia entre eles, em funo da prpria frmula de calcular os
fatores: escolhe-se o primeiro vetor que mais contribui para a varincia total, passa-se para o segundo
vetor, ortogonal ao primeiro, com o segundo grau de contribuio, assim por diante (dependendo
de quantas variveis entram no clculo).
55 Detalhes sobre os problemas de estimao de parmetros so apresentados em Goldstein (1995)
e tambm em Birk & Raudensbush (1992).
56 Nessa apresentao esquemtica, foi desconsiderada a influncia do tipo de varivel nas matrizes
de varincia e covarincia. Para o tipo de varivel definida por Costa, a matriz de varincia e
covarincia baseada diretamente nas variveis categricas no seria adequada. No h necessidade
de impor uma estrutura to rgida de escala quando se busca estimar variveis latentes (ver Jreskog
& Srbom, 1993, para uma discusso aprofundada). As variveis latentes sendo no-observveis no
tm uma escala intrnseca. Pode-se, como nas escalas de Samejima, definir uma unidade de medida
padronizando a varivel e impondo limites para sua variao (no caso de 3 a +3). Quando existe
mais de um grupo, o problema pode ser resolvido padronizando-se uma das variveis (em termos
de mdia e varincia) e estimando os valores das variveis latentes do outro grupo, na relao entre
os nveis relativos aos mencionados CPI e MCPI.
207

O mesmo procedimento pode ser feito em relao criao de variveis

latentes relacionadas avaliao do desempenho dos conselhos. Como no
caso anterior, pode-se proceder a uma anlise confirmatria para avaliar se
a formao de grupos apresenta bom ajuste.
ANEXO 9
Expanso dos resultados amostrais, estimador razo e agrupao
de municpios
A expanso dos resultados referentes s amostras baseia-se na teoria da
amostragem. As expresses para a estimao de mdias e erros-padro,
com base no plano amostral, so assim exemplificadas57:
Notao
H: nmero de estratos presentes em um determinado estado;

Lh: nmero de municpios presentes no estrato (h) (h = 1, 2, ..., H);
lh: nmero de municpios sorteados no estrato (h);
Nhi: nmero de unidades amostrais secundrias presentes no
municpio (i) (i = 1, 2, ..., Lh) do estrato (h);
nhi: nmero de unidades amostrais secundrias (UAS) selecionadas no
municpio (i) (i = 1, 2, ..., lh) do estrato (h);
Mhij: nmero de unidades amostrais tercirias presentes na UAS (j) (j =
1, 2, ..., nhi) do municpio (i) no estrato (h);
mhij: nmero de unidades amostrais tercirias (UAT) selecionadas na
UAS (j) do municpio (i) do estrato (h);
f1h =
frao amostral relativa s unidades amostrais primrias
(UAP) selecionadas no estrato (h);
f2hi =
frao amostral relativa s UASs selecionadas na UAP (i)
no estrato (h);
f3hij =
frao amostral relativa s UATs selecionadas na UAS
(j) na UAP (i) no estrato (h);
xhijk e yhijk: valores assumidos por duas variveis de interesse na
unidade terciria (k) (k = 1, 2, ..., Mhij) da UAS (j) no municpio (i) e no
estrato (h);
57 Aspectos tericos da metodologia descrita neste captulo so encontrados nos captulos 7 e 9

de Hansen, M. H., Hurwitz, W. N. e Madow, W. G. (1993a). Sample survey methods and theory: methods
and applications. Vol. 1. New York: John Wiley & Sons (Wiley Classics Library Edition).
208

Mh ij
Mh ij
k =1
k =1
Xhij = x hijk e Yhij = y hijk : total das variveis de interesse para todas
as UATs presentes na UAS (j) do municpio (i) no estrato (h);
mh ij
mh ij
k =1
k =1
xhij = Mhij x hijk m hij e yhij = Mhij y hijk m hij : estimador do total das
variveis de interesse na UAS (j) do municpio (i) no estrato (h);
Nhi
N hi
j =1
k =1
Xhi = X hij e Yhi = Yhij : total das variveis de interesse no

municpio (i) no estrato (h);
nh i
nh i
j= 1
j= 1
xhi = N hi x hij nhi e yhi = N hi y hij nhi : estimador do total das

variveis de interesse no municpio (i) no estrato (h);
Lh
Lh
i= 1
i=1
Xh = Xhi e Yh = Yhi : total das variveis de interesse no estrato (h);

lh
lh
i= 1
i= 1
xh = Lh x hi lh e yh = Lh y hi lh: estimador do total das variveis

de interesse no estrato (h);
H
h =1
h=1
X = X h e Y = Yh : total das variveis de interesse da populao;

H
h=1
h=1
x = x h e y = y h: estimador do total das variveis de interesse na

populao.
Estimador Razo
As estimativas e as respectivas varincias do estimador do parmetro

razo populacional so definidas por R = X .
Y
A escolha desse parmetro deve-se ao fato de que vrios indicadores

de interesse podem ser escritos na forma do estimador (R) e, alm disso,
mdias e propores tambm podem ser encaradas como razes, onde a
varivel (Y) indica o tamanho populacional e yhijk assume o valor 1.
Como estimador de (R) tem-se a expresso
209
r=
x
y

A varincia de (r) dada por58

V r2 =
H 1 L h N2
H 1 Lh 1 Nhi Mhij
1 H L2h
2
2
hi
(
1
f
)
S
+
(
1
f
)
S
+
(1 f3hi )S 23hij ,
2hi
2hi
1h
1h
2
l
f
n
f
f
m
h =1 1h i=1 hi
h =1 1h i= 1 2hi j =1 hij
Y h =1 h
Lh
2
2
2
onde S1h
= S1hX
+ R 2 S 21hY 2RS1hXY , S1hX
=
(X hi Xh )2 ,
L h 1
i =1
Xh =
Xh
Lh
2
, S1hY ;
Lh
anlogo; S1hXY =
i =1
(X
hi
)(
X h Yhi Y h
;
Lh 1
Yh =
Yh
Lh
;
Nhi
(X hij X hi )2
j=1
N hi 1
S 22hi = S 22hiX + R 2 S 22hiY 2RS 2hiXY ; S 22hiX =
Xhi =
Yhi
Y hi =
; S22hiY anlogo;
Nhi
S 2hiXY =
(X
hij
X hij
Mhij
; S2
3hijY
)(
X hi Yhij Y hi
N hi 1
j =1
M hij
(X hijk X hij )2
k= 1
Mhij 1
; S 23hij = S 23hijX + R 2 S 23hijY 2RS 3hijXY ; S 23hijX =
Nhi
Xhij =
Xhi
N hi
);
Mhijk (
Yhij
X hijk X hij )(Yhijk Y hij ) ;
anlogo; S
.
Y hij =
3hijXY =
Mhijk 1
k =1
M hij
Partindo do princpio de que a variabilidade das UAPs predomina na

varincia do estimador, Hansen, Hurwitz e Madow (1993a) propem que
Vr2 seja estimada por:
v r2 =
xh =
1
y2
xh
Lh
H L 2h 2
2
2
2
s1h , onde: s1h
= s1hX
+ r 2 s 21hY 2rs 1hXY ; s1hX
=
h =1 l h
lh
2
; s1hY
anlogo; s1hXY =
(x
hi
i =1
)(
x h y hi y h
lh 1
);
yh =
Lh
(x
i =1
yh
Lh
hi
xh
lh 1
58 Hansen, M. H., Hurwitz, W. N. e Madow, W. G. (1993b). Sample survey methods and theory: theory.
Vol. 1. New York: John Wiley & Sons (Wiley Classics Library Edition).
210

Agrupao de municpios sorteados

Quando o desenho amostral para avaliao do programa realizado
em multiestgio, prevendo o sorteio de municpios, pode ser conveniente
agrupar os municpios sorteados em espaos homogneos. Esse
procedimento aumenta a probabilidade de que as comunidades de uma
mesma rea tenham condies similares de desenvolvimento. Uma forma
para atingir esse propsito seria utilizar regies scio-econmicas
definidas pelos rgos estatsticos governamentais (como as
microrregies homogneas), embora se deva reconhecer que essas
divises podem no garantir a homogeneidade desejada.
Como alternativa para se proceder ao agrupamento de municpios
sorteados, pode-se utilizar o modelo estatstico conhecido como anlise de
cluster59. Os municpios dentro de uma microrregio homognea que
mostrarem similares em termos de condies de desenvolvimento seriam
agrupados. O input utilizado nessa tarefa seria um conjunto de
informaes em nvel de municpio, que poderia ser obtido de fontes
secundrias, como o censo demogrfico e o agropecurio.
A anlise de cluster uma ferramenta de carter exploratrio, cujo
objetivo agrupar elementos de um conjunto em subgrupos
homogneos, considerando que a similaridade entre os elementos de um
mesmo agrupamento deve ser maior do que a similaridade desses com os
elementos de outros agrupamentos. A anlise de cluster permite classificar
grupos de municpios homogneos a partir dos municpios sorteados.
A classificao dos municpios sorteados em grupos elaborada de um
vetor de (p) variveis que caracterizam cada um dos municpios
selecionados. Formalmente; Mi (Xi1, Xi2, ... Xip), onde Mi identifica o municpio
(i) (i = 1, 2, ..., k), e (k) o total de municpios sorteados nos quatro estados. De
se destacar que Xj equivale varivel (j) (caracterstica do municpio); e Xij
ao valor da varivel (j) no municpio (i).
A seleo das variveis utilizadas para a medio da similaridade entre
os municpios pode ser feita com base:
a) em informaes disponveis na(s) unidade(s) de gerenciamento do
programa como:
pertence ou no rea prioritria;
populao total do municpio;
populao rural;
59 A anlise de cluster tambm conhecida como anlise de agrupamentos, taxonomia numrica,
tipologia, entre outros.
211

localizao (regio scio-econmica ou outra a que pertence);

nmero de projetos demandados e concedidos;
nmero de comunidades atendidas por outros projetos.
b) informaes disponveis em censo agropecurio:
variveis relacionadas com a vocao produtiva da terra (terra para
agricultura, pecuria, florestas e no utilizveis como porcentagens da
rea total do municpio);
variveis relacionadas com a gesto econmica e com os resultados
da atividade agrcola (investimentos, financiamentos, despesas do
valor de produo, valor adicionado em reais por hectare R$/ha);
varivel que ressalta o nvel tecnolgico (nmero de tratores por mil
hectares);
varivel relacionada ao nvel de concentrao fundiria (ndice de
Gini).
Os valores dessas variveis, para cada municpio, so ordenados na
forma de uma matriz denominada matriz de dados. Cada linha da matriz
corresponde a um municpio e, cada coluna, a uma varivel.
Quadro 5 Matriz de dados

V1
V2
... VJ ...
VP
M1
X11
X12
... X1J ...
X1P
M2
X21
X21
... X2J ...
X2P
:::
:::
:::
:::
:::
MI
XI1
XI2
... XIJ ...
XIP
:::
:::
:::
:::
:::
MM
XM1
XM2
... XMJ ...
XMP
XIJ: valor da varivel VJ para o municpio MI
Formada a matriz de dados, essa deve ser padronizada60 para evitar que
as unidades dimensionais de cada varivel possam afetar o clculo da
60 Uma varivel padronizada adimensional, ou seja, um nmero puro que permite a

comparao entre variveis e apresenta mdia zero e desvio padro igual a 1. As variveis sero
padronizadas com a relao seguinte:
onde, Zj a varivel padronizada, Sj e Xj so,
respectivamente, o desvio padro e a mdia da varivel Xij.
212

similaridade ou distncia61. Com as variveis padronizadas e, escolhida a

forma de quantificar similaridade ou distncia entre pares de municpio,
forma-se a matriz de similaridades ou de distncias (Quadro 5).
Quadro 6 Matriz de similaridades

M1
M2
... MJ ...
MM
M1
D11
D12
... D1J ...
D1M
M2
D21
D21
... D2J ...
D2M
:::
:::
:::
:::
:::
MI
DI1
DI2
... DIJ ...
DIM
:::
:::
:::
:::
:::
MM
DM1
DM2
... DMJ ...
DMM
Dij: Similaridade ou distncia entre o municpio Mi e o municpio Mj.
A matriz de similaridades serve de base para agrupar municpios. Os

agrupamentos so obtidos por meio de dois algoritmos, utilizados em
forma seqencial. Primeiro, utiliza-se um algoritmo hierrquico aglomerante
(tree clustering) para determinar o possvel nmero de agrupamentos ou
clusters. A seguir, com o propsito de confirmar o nmero de clusters
obtidos com o algoritmo hierrquico, e as possveis variveis que o
determinam, emprega-se um algoritmo de otimizao (k-means).
O algoritmo hierrquico aglomerante (tree clustering) parte de uma
configurao inicial formada por todos os (n) municpios. Cada municpio,
na microrregio homognea, forma um agrupamento, tendo-se, portanto,
(n) agrupamentos. Novos clusters so fundidos, unindo dois dos clusters
existentes em um nico agrupamento. Os dois clusters escolhidos para a
fuso so os mais prximos. O processo de fuso continua, passo a passo,
at que todos os municpios formem um nico agrupamento62. Uma vez
determinados os agrupamentos ou clusters, o processo representado
graficamente por meio de um dendrograma. Os saltos significativos
apresentados so a guia para a deciso do nmero de agrupamento.
61 Para a medida de similaridade ou distncia entre dois municpios dentro de uma MRG, em base
s variveis listadas, pode ser utilizada a distncia euclideana Dij = (X i Y i)2 .
i
62 A forma de agrupar os municpios pode ser feita pelo mtodo Wards (1963). Esse mtodo usa
a anlise de varincia para avaliar as distncias entre os clusters e tenta minimizar a soma de
quadrados (SS) de qualquer par (hipottico) de clusters que podem ser formados a cada passo.
213

Uma vez selecionado o nmero de clusters em cada microrregio

homognea, por meio do algoritmo tree clustering, aplica-se o algoritmo kmeans63. Em geral, esse mtodo produzir (k) agrupamentos, os mais
diferentes possveis. Escolhido o nmero de agrupamentos (k), os (n)
municpios so classificados em (k) agrupamentos, de acordo com
determinado critrio de similaridade ou distncia.
Essa classificao a primeira etapa. A seguir, passo a passo, movem-se
os municpios de um agrupamento para outro, de forma a melhorar a
qualidade da partio, que medida por uma funo objetivo64. Dessa
forma, melhorar a qualidade significa maximizar (ou minimizar) o valor
dessa funo. A diferena entre os mtodos de otimizao reside na forma
pela qual a partio inicial dos municpios obtida e na funo que
pretendem otimizar com a nova alocao dos municpios.
Uma vez determinados os agrupamentos de municpios, esses so
caracterizados em funo dos parmetros estatsticos das variveis usadas
para determin-los. As estatsticas utilizadas so: mdia, desvio padro,
mnimo e mximo de cada varivel.
importante assinalar que as tcnicas da anlise de cluster so de
carter exploratrio, conduzindo a agrupamentos em funo das variveis
utilizadas. Portanto, esses devem ser revistos em funo de outros critrios,
a fim de aprimorar os agrupamentos. Nesse sentido, a anlise de cluster
apenas uma ferramenta auxiliar para o pesquisador. A experincia de
peritos fundamental nesse processo. Cabe a eles discutir os
agrupamentos obtidos e, principalmente, elaborar hipteses para justificar
a classificao obtida. Essa no uma tarefa fcil, so inmeros os casos em
que no possvel explicar as diferenas entre os agrupamentos ou nem
mesmo caracterizar alguns deles.
63 Operacionalmente, pode-se pensar no algoritmo k-means como uma anlise de varincia

(Anova) ao contrrio. O teste de significao da Anova avalia a variabilidade entre os grupos contra
a variabilidade dentro do grupo ao realizar o teste de significncia para a hiptese que as mdias
so diferentes umas das outras. Na anlise de varincia padro, a maior possibilidade de aceitar a
hiptese nula: as mdias de (n) grupos so estatisticamente iguais (Ho: 1 = 2 = . . . = n) e
depende de duas coisas: i) maior disperso dos elementos dentro de cada grupo, porque a
diferena observada entre as mdias amostrais pode ter ocorrido aleatoriamente, mesmo que as
mdias sejam todas iguais; ii) as mdias dos grupos prximas umas das outras. O algoritmo kmeans procura a menor disperso entre os grupos e a maior diferena entre as mdias dos grupos.
64 O algoritmo k-means parte de (k) agrupamentos aleatrios e coloca os elementos em (k)
agrupamentos pr-estabelecidos tratando de otimizar dois objetivos: i) minimizar a variabilidade
dos elementos dentro dos agrupamentos e; ii) maximizar a variabilidade entre os agrupamentos.
Os elementos so recolocados tratando de conseguir resultados significativos para a Anova. Isso
feito examinando as mdias de cada agrupamento sobre cada varivel para avaliar as distncias
dos (k) agrupamentos. A magnitude do teste F da Anova, realizada sobre cada varivel, uma
indicao de como a varivel discrimina entre os agrupamentos.
214

Finalmente, a anlise do perfil dos agrupamentos no deve limitar-se

apenas a medidas estatsticas relativas s variveis utilizadas na sua
determinao. O comportamento de outras variveis deve ser estudado e
talvez essas novas variveis permitam entender melhor as diferenas entre
os agrupamentos. A seleo de municpios com similares nveis de
desenvolvimento, para avaliar um programa, e com variveis institucionais
como a governana, capital social, entre outras, podem ajudar a aprimorar
a seleo realizada.
215

216

11. REFERNCIAS
BIBLIOGRFICAS
ABREU, L. M. et al. Selection of water quality control program for human

consumption: application of the method AHP. Braslia, UCB, 2000
(mimeo).
ANAIS DO II FRUM CONTAG DE COOPERAO TCNICA, 1999, So Luiz. A
formao de capital social para o desenvolvimento sustentvel.
ANUATTI, F.; FERNANDES, R.; PAZELLO, E. T. Polticas voltadas para aliviar a
pobreza. In: ANAIS DO XXVII ENCONTRO NACIONAL DA ANPEC,
Campinas, SP. 2000. CD-Rom. Download: <www.anpec.org.br>.
RIAS, A. Estimativas de indigncia e pobreza no Brasil no perodo 1990-1996.
Resumo metodolgico e resultados, 1999 (mimeo).
ARRETCHE, M.; MARQUES, E. Caracterizao dos municpios brasileiros:
capacidade fiscal e administrativa, desempenho econmico e poltica
de sade, 2000 (mimeo).
ARRETCHE, M. T. S. Mitos da descentralizao: mais democracia e eficincia
nas polticas pblicas? In: Revista Brasileira de Cincias Sociais, ano
11, v. 31, p. 4-66, 1996.
BAKER, J. Evaluacion del impacto de los proyectos de dessarrollo en la pobreza.
Manual para professionales. Washington, D.C., WorldBank, 2000.
Download: <http://www.worldbank.org>.
BARDHAN, P.; MOOKHERJEE, D. Corruption and decentralization of
infrastructure delivery in developing countries. 2000. Download:
<http://globetrotter.berkeley.edu/macarthur/inequality/papers/#Bardhan>.
__________ Decentralizing anti-poverty program delivery in developing countries.
2000. Download:
<http://globetrotter.berkeley.edu/macarthur/inequality/papers/#Bardhan>.
217

BELLI, P. et alii. Handbook on economic analysis of investment operations.

Washington, D.C., Worldbank, 1998.
BOURDIEU, P. O capital social. In: CATARIN, A.; NOGUEIRA, M. A. Escritos de
educao. Rio de Janeiro: Vozes, 1998.
BUAINAIN, A. et alii. Metodologia de avaliao de impactos do Programa
Cdula da Terra. NEA-IE/Unicamp, NEAD/WB, 1998 (mimeo), p. 237.
BYRK, A.; RAUDENBUSH, S. W. Hierarchical linear models. 1a. ed., Sage,
Newbury Park, 1992.
BYRNE, B. M. A primer of Lisrel: basic application and programming of
Confirmatory Factor Analytic Models. New York, Springer-Verlag. 1a. ed.,
1989. 183 p.
CEPAL. Brasil: canastas bsicas de alimentos y determinacin de la lnea de
indigencia e de pobreza, 1989.
CESAR, C. C.; SOARES, J. F.; MAMBRINI, J. Fatores determinantes do desempenho
dos alunos mineiros no SAEB de 1995. S. Carlos, 1a. Jornada LatinoAmericana de Estatstica Aplicada, 1999. p. 96-104.
__________. Relative influence of family and school factor on student cognitive
achievement: a brazilian experience. In: <www.est.ufmg.br>, 2000. p. 8.
COLEMAN, J. Foundations of social theory. Cambridge (UK).The Belknap Press
of Havard University Press.
COSTA, A. Impacto do PCPR sobre a participao comunitria e o
desenvolvimento de capital social. 2000 (mimeo).
DAVIDSON, R.; MAKINNON, J. G. Estimation and inference in econometrics.
New York, Oxford. Oxford University Press, 1993.
DEBOECK, G. J. Case studies of monitoring and on-going evaluation systems of
rural development projects. Rural Operation Review an Support Unit,
Agriculture and Rural Development Department. The World Bank, 1976.
DE DONDER, P.; HINDRIKS, J. The political economy of targeting. Public Choice.
218

DEATON, A. The analysis of household surveys: a microeconometric approach

to development policy. World Bank, Baltimore and London. The Johns
Hopkins University Press, 1998.
__________. Panel data from a series of repeated cross-sections. Journal of
Econometrics 30, 1985, p. 109-126.
DEUTSCH, R. Good practices in poverty targeting in IBD projects. InterAmerican Development Bank, 1997.
ESCOFIER, B.; PAGS, J. Anlises factoriales simples y multiples. Bilbao,
Universidad Del Pais Vasco., trad., 1992, p. 285.
FLORA, C. B.; FLORA, J. Measuring and interpreting social capital on the
community level. 1998 (mimeo). In: <www.ncrcrd.iastate.edu>.
GELBACH, J. B.; PRICHETT, L. H. More for the poor is less for the poor.
GOLDSTEIN, H. Multilevel statistical methods. New York, London and Halted,
Press. 2a. ed., 1995.
GONALVES, R. Distribuio de riqueza e renda: alternativa para a crise
brasileira. In: LESBAUPIN, I. (org.). O desmonte da nao: balano do
Governo FHC. Petrpolis, RJ: Vozes, 1999.
HAUSMAN, J.; TAYLOR, W. Panel data and unobservable individual effects.
Economtrica 49, 1981, p. 1.377-1.398.
HECKMAN, J. Instrumental variables. A study of implicit behavioral, 1997.
<http://lily.src.uchicago.edu/papers/IADB/theory17.pdf>.
__________. Sample selection bias as a specification error. Econometrica, v. 47,
n. 1, 1979.
HECKMAN, J.; LALONDE, R.; SMITH, J. The economics and econometrics of
active labor market programs. In: ASHENFELTER, O.; CARD, D. (eds.).
Handbook of labor economics, v. III. N.Y., Elsevier Science Publishing
Co., 1999.
219

HECKMAN, J. J.; ICHIMURA, H.; SMITH, J. Characterizing selection bias using

experimental
data.
Econometrica
66:
101799,
1998.
HECKMAN, J. J.; ICHIMURA, H.; TODD, P. Matching as an econometric
evaluation estimator: evidence from evaluating a job training program.
In: Review of economic studies, 1997. Download:
HECKMAN, J. J.; JEFFREY, A. S. Assessing the case for social experiments. Journal
of Economic Perspectives, n. 9 (2): 85110, 1995. Download:
HECKMAN, J.; RICHARD, R. Alternative methods of evaluating the impact of
interventions: an overview. Journal of Econometrics 30: 23967, 1985.
HIRSCHMAN, A. Against parsimony: three easy ways of complicating some
categories of economic discourse. In: American Economic Review: 74:
93, 1984.
HOFFMANN, R. A distribuio de renda no Brasil no perodo 1993-99. [s1.: s.n.],
(mimeo) 2001.
__________. Pobreza, insegurana alimentar e desnutrio no Brasil. Estudos
Avanados, v. 9, n. 24, 1995.
INSTITUTO CIDADANIA. Fome Zero, 2001. Download:
<http://www.Icidadania.Org.br>.
JOHNSTON, J.; DINARDO, J. Mtodos Economtricos, MacGraw-Hill, 2001.
JRESKOG, K.; SRBOM, D. Structural equation modeling with simplis
command language. In: HILSDALE, N. J. SS International, 1993, 226 p.
KAGEYAMA, A.; HOFFMANN, R. Determinantes da renda e condies de vida
das famlias agrcolas no Brasil. Revista Economia da Anpec, vol. (2:3-41),
2000.
LAITIN, D. D. The civic culture at 30. In: American Political Science Review,
v. 89, n. 1, p. 168-73, 1995.
220

LEBART, L. et alii. Techniques de la description statistique. Paris, Dunod, 1977.

LEGOVINI, A. Targeting methods for social programs. Inter-American
Development Bank. In: Poverty and Inequality Technical Notes, n. 1,
1999.
LESSA, C. et.al. Pobreza e poltica social: excluso nos anos 90. Praga, n. 3, 1997.
LIEBERSON, S. Einstein,Renoir and Greelwy: some thoughts about evidence in
sociology. In: American Sociologic Review, p. 1-15, 1992.
LOCKE, R. Remaking the italian economy. Cornell, Cornell University, 1995.
LUSTIG, N.; DEUTSCH, R. The Inter-American Development Bank and Poverty
Reduction: an overview. Inter-American Development Bank, n. POV-101r,
Washington, 1998.
LUSTOSA, F. Pobreza no Brasil: mtodos de anlise e resultados. Pesquisa e
planejamento econmico. Rio de Janeiro, v. 20, n. 2, 1990.
MATTOS, A. G. A dialtica de formao e apropriao do capital social nos
assentamentos da reforma agrria. Relatrio final da pesquisa. Recife,
2000 (gentilmente cedido pelo autor).
MCDONALD, R. P. Factor analysis and related methods. HILSDALE, N. J.;
LAWRENCE, E. 1985.
MONTEIRO, C.; BENCIO, M.; FREITAS, I. Melhoria em indicadores de sade
associados pobreza no Brasil dos anos 90: descrio causas e impactos
sobre as desigualdades regionais. So Paulo: Nupens/USP, 1997.
NARAYAN, D. Bonds and bridges: social capital and poverty. World Bank,
mimeo, p. 52, 1997. <http://www.worldbank.org>.
NEDER, H. D.; GOMES, D. C. Evoluo da pobreza urbana e rural na dcada de
90. In: X World Congress of Rural Sociology XXXVIII Brazilian
Congress of Rural Economics and Sociology, 2000, Rio de Janeiro.
__________. Pobreza nos anos 90: os efeitos da estabilizao. In: V Encontro
Nacional de Economia Poltica, 2000, Fortaleza, CE.
221

NEDER, H. D. Um estudo sobre a variabilidade das informaes obtidas a partir

das PNADS. In: CAMPANHOLA, C.; GRAZIANO DA SILVA, J. (eds.). Campinas,
Embrapa/Unicamp, v. 1, 1. ed., p. 101-136, 1999.
NISBETT, R. E.; COHEN, D. Culture of honor: the psychology of violence in the
South. Colorado, Westview Press/Harper Collins, 1996.
PEREIRA, J. C. R. Anlise de dados qualitativos. So Paulo, Edusp-Fapesp, 1a. ed.,
p. 157, 1999.
PESSOA, D. G. C.; SILVA, P. L. N. Anlise de dados amostrais complexos. In: 13
Sinape, Caxambu, MG. ABE., p. 187, 1998.
PTRY, F. In: Monitoring systems for agricultural and rural development projects.
FAO: Economic and social development paper, n. 12, Rev. 1. Food and
agricultura organization of the United Nations.
PITT, M. M.; ROSENZWEIG, M. R.; GIBBONS, D. M. The determinants and
consequences of the placement of government programs in Indonesia.
World Bank Economic Review, v. 7, n. 3, 1993.
PRATES, F. M. Desigualdade de renda e pobreza em Minas Gerais. Dissertao
de mestrado, Cedeplar/UFMG, Belo Horizonte, MG, 1996.
PUTNAM, R. D. The prosperous community: social capital and public life. The
American Prospect, Spring, 1993.
PUTNAM, R. D. Comunidade e democracia. Rio de Janeiro: Editora Fundao
Getlio Vargas, 1996.
RAVALLION, M. The mystery of the vanishing benefits: Ms Speedy Analysts
Introduction to Evaluation. <http://www.worldbank.org>.
__________. Is more targeting consistent with less spending? World Bank,
Policy Research Working Paper, n. 2079, 1999.
ROCHA, S. Opes metodolgicas para a estimao de linhas de indigncia
e de pobreza no Brasil. Rio de Janeiro, RJ: Ipea, abr., 2000. Texto para
discusso: <http://www.ipea.gov.br/pub/td/td.html>.
__________. Pobreza e desigualdade no Brasil: o esgotamento dos efeitos
distributivos do Plano Real, 1999 (mimeo).
222

__________. Desigualdade e pobreza no Brasil: a evoluo 1981/95. Texto

para discusso n. 567, Ipea, 1998. Download:
<http://www.ipea.gov.br/pub/td/td.html>.
__________. Estabelecimento e comparao das linhas de pobreza para o
Brasil. Texto para discusso interna, Inpes/Ipea, 1998.
__________. Do consumo observado linha de pobreza. Pesquisa e
Planejamento Econmico, Ipea, v. 27, 1997.
__________. Renda e pobreza: os impactos do plano real. Texto para
discusso n. 439, Rio de Janeiro, RJ: Ipea. Download:
<http://www.ipea.gov.br/pub/td/td.html>.
ROCHA, S. Governabilidade e pobreza: o desafio dos nmeros. In: COELHO, M.
P.; VALLADARES, L. (orgs.). Governabilidade e pobreza no Brasil. Rio de
Janeiro: Civilizao Brasileira, 1995.
ROMO, M. C. Pobreza: conceito e mensurao. Caderno de Economia, n.
13, Ipea, 1993.
SAATY,T. L. Mtodo de anlise hierrquica. So Paulo, Makron Books, 1991, 367 p.
SEN, A. (1976) Poverty: an ordinal approach to measurement. Economtrica,
v. 44, n. 2.
SILVEIRA, J. M.; Buainain, A. M.; Magalhes, M. Novas formas de reorganizao
fundiria no Brasil: O Programa Cdula da Terra. In: ANAIS DO XXVI
ENCONTRO BRASILEIRO DE ECONOMIA, Belm, v. III, p. 115-141: Anpec,
1999.
SOUZA-FILHO, H. M.; BUAINAIN, A.; HOMEM DE MELLO, C.; SILVEIRA, J. M.;
MAGALHES, M. Community-based land reform in Brazil: assessing the
selection process. Revista Economia da Anpec. v. 3, 2001.
TAKAGI, M.; GRAZIANO DA SILVA, J.; DEL GROSSI, M. Pobreza e fome: em busca
de uma metodologia para quantificao do problema no Brasil.
IE/Unicamp. Texto de discusso, n. 101, jul. 2001. Download:
<http://www.ie.unicamp.br>.
TENDLER, J. Bom governo nos trpicos. Rio de Janeiro/Braslia, Revan/Enap,
1998.
223

TENDLER, J. Safety nets and service delivery: what are social funds really telling
us? Tulchin, J. S.; Garland, Allison M. Social development in Latin
America. Washington: Woodrow Wilson Center. Cap. 5. 2000.
VAN DE WALLE, D. Targeting revisited. The World Bank Research Observer. v.
13, n. 2, 1998.
VAN ZYL, Sonn e Costa. Decentralized rural development, enhanced
community participation and local government performance: evidence
from Northeast Brazil. Draft. 2000.
WOOLCOCK, M. Social capital and economic development: toward a
theoretical synthesis and policy framework. In: Theory and Society, 27:
151-208, 1998.
WRIGTH, B.; GEOFFREY, M. Rating scale analysis: rasch measurement. Chicago,
Mesa Press, 1a. ed., 1982. 206 p.
224

Este material didtico foi preparado a partir de documentos elaborados

pela equipe do Instituto de Economia da Unicamp para a avaliao dos
impactos socioeconmicos do Programa de Combate Pobreza Rural.
Coordenao Tcnica
Marta Teresa da Silva Arretche

Universidade Estadual de So Paulo
Antnio Mrcio Buainain

Economista Agrcola
Instituto de Economia Unicamp
Miliene Mitsuyuki Foshini

Estatstica
Universidade Federal de So Carlos
Rinaldo Barcia Fonseca

Economista Agrcola
Roberto Alves de Lima

Universidade Federal de
Pernambuco
Consultores Tcnicos
Tales Wanderley Vital

Universidade Federal Rural de
Pernambuco
Ahmad Saeed Khan

Universidade Federal do Cear
Antonio Marcos Correia Melnio
Estatstico IICA
Valentina Buainain
Economista e Sistemas de
Informao IICA
Carlos Enrique Guanziroli

Universidade Federal Fluminense
Estagirios
Henrique Neder
Estatstico e Econometrista
Universidade Federal Uberlndia
Aguirre Chung Mussi

Caroline Nascimento Pereira
Hildo Meirelles de Souza Filho

Economista Agrcola
Universidade Federal So Carlos
Felipe Barbosa
Jos Maria Silveira

Economista Agrcola
Felipe Serigatti
Instituto de Geocincias Unicamp
Marcelo Francisco Melo

Economista
Guilherme C. K. V. Machado
Marcelo M. Magalhes
Engenheiro Agrnomo e Sistemas
de Informao IICA
Secretria Executiva
Maria Sebastiana Nogueira Vieira
225
Instituto Interamericano de Cooperao para a Agricultura IICA

Representao do IICA no Brasil
SHIS QI 3, Lote A, Bloco F Centro Empresarial Terracotta
CEP: 71.605-450 Braslia-DF
Fone: 55 61 2106 5477
Fax: 55 61 2106 5459
E-mail: iica.br@iica.int
Homepage: www.iica.org.br
A SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

expressa a efetiva colaborao tanto da Representao
do IICA no Brasil quanto do Frum Permanente de
Desenvolvimento Rural Sustentvel em busca do
desenvolvimento agrcola e do bem-estar das
comunidades rurais.
Rene artigos assinados por renomados profissionais
nacionais e internacionais com o objetivo de difundir
e suscitar o intercmbio de conhecimentos e de
iniciativas bem-sucedidas de desenvolvimento
sustentvel no meio rural, promovidos por instituies
acadmicas, instituies governamentais e nogovernamentais e organizaes da sociedade em geral.
Realizao Tcnica

Acoes de Combate A Pobreza Rural

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Acoes de Combate A Pobreza Rural

Enviado por

Direitos autorais:

Formatos disponíveis

IICA

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

INSTITUTO INTERAMERICANO DE COOPERAO PARA A AGRICULTURA (IICA)

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Reviso: Marco Aurlio Soares Salgado

PREFCIO PELO IICA

A dinmica das transformaes hoje vividas pelas organizaes, tanto

Carlos Amrico Basco

PREFCIO PELA SECRETARIA DE ESTADO

Esta obra preenche um espao fundamental nas organizaes

Inquestionavelmente, o Brasil um pas rico, mas a circulao de riqueza

O Instituto Interamericano de Cooperao para a Agricultura (IICA)

desde meados da dcada de 1990, visa facilitar a compreenso do

resultado de fcil percepo neste trabalho: quem avana essas pginas

The Inter-American Institute for Cooperation on Agriculture (IICA)

developed and put into practice as external create ownership difficulties

Programs fail for a number of reasons. Unlike what many assessment

El Instituto Interamericano de Cooperacin para la Agricultura (IICA)

desde mediados de la dcada de 1990, apunta a facilitar la comprensin

de polticas sociales. Un resultado interesante y de fcil percepcin del

O objetivo principal deste trabalho fornecer aos pesquisadores e

This work aims mainly at providing public managers and researchers

El objetivo principal de este trabajo es brindar a los investigadores y

3. AVALIAO DE CUSTO-BENEFCIO E CUSTO-EFICCIA . . . . . . . . . . . . . . . . 87

6. ANLISE EXPLORATRIA DOS DADOS:

Despesas, receitas e resultados lquidos

Exemplo: Sntese da avaliao de impacto do

Relao entre renda e consumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61

Comparao de alguns mtodos diretos e

A correo de Heckman visando eliminar o vis

Dados em painel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural:

Em muitos pases, governos tm despendido recursos considerveis

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural:

efetivamente do programa. Essa questo seria irrelevante caso os recursos

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural:

Todos so pobres, mas uns so mais pobres do que os outros; todos so

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural:

necessidade de monitoramento quanto os prejuzos associados a erros de

Antnio Mrcio Buainain (IE/Unicamp)

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural:

1.1. Definio e Propsito do Monitoramento e da Avaliao

Monitoramento e avaliao de programas podem ser definidos como

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural:

Os principais elementos considerados na concepo do sistema de

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural:

a coleta de informaes apropriadas;

As fases (i) e (ii) so a prpria essncia do monitoramento; a fase (iii) a

1.2. Avaliao Contnua e Avaliao Ex Post

A atividade de avaliao contnua estabelece a ligao entre a gesto do

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural:

comparao da operao real, do desempenho e do impacto do projeto

1.3. Monitoramento de Objetivos e Resultados

SRIE DESENVOLVIMENTO RURAL SUSTENTVEL

Aes de combate pobreza rural: