Livro Av Econ Ajuste PDF

Ficha Tcnica ISBN 978-85-98149-04-2
Iniciativa Crditos da Publicao

Fundao Ita Social Organizador
Vice Presidente Naercio Menezes Filho
Antonio Jacinto Matias Autores
Superintendente Betnia Peixoto
Valria Veiga Riccomini Cristine Campos de Xavier Pinto
Gerente Lycia Lima
Isabel Cristina Santana Miguel Nathan Foguel
Coordenador do Programa Ricardo Paes de Barros
Antonio Bara Bresolin
Projeto Grfico e Diagramao
Coordenao Tcnica Andr Godoi Comunicao Completa
Ita Unibanco Apoio
Gerncia de Avaliao de Projetos Carlos Eduardo Garrido
Lgia Maria de Vasconcellos Evandro da Silva e Silva
Clarissa Gondim Teixeira Gabriela Gall Rosa
Luciana Rocha Vidal
Reviso de textos
Jos Paulo Ferrer
1 Edio - Brasil - 2012
Dinmica Grfica e Editora Ltda.
1 Edio - Brasil
2012
ORGANIZADOR
Naercio Menezes Filho
AUTORES
Betnia Peixoto
Cristine Campos de Xavier Pinto
Lycia Lima
Miguel Nathan Foguel
Ricardo Paes de Barros
NDICE
Apresentao 07
Antonio Jacinto Matias
Srgio Ribeiro da Costa Werlang
Prefcio 09
Introduo 13
Ricardo Paes de Barros - Lycia Lima
1. Avaliao de Impacto de Programas Sociais:
Por que, para que e quando fazer?
Parte I - Mtodos Bsicos de Avaliao de Impacto 31

2. Modelo de Resultados Potenciais 35
3. Mtodos de Aleatorizao 49
4. Diferenas em Diferenas 69
5. Pareamento 85

Parte II - Mtodos Avanados de Avaliao de Impacto 107
6. Variveis Instrumentais 107
7. Regresso Descontnua 125
Parte III - Anlise de Retorno Econmico 147

Betnia Peixoto
8. O Clculo do Retorno Econmico 149
Bibliografia 175
Bibliografia Complementar 183
Autores 185
APRESENTAO
O Ita Unibanco, comprometido com o crescimento social e econmico do
pas, busca a sustentabilidade nos negcios, apostando em relaes dura-
douras, fundamentadas nos seus valores de transparncia, tica, respeito ao
dilogo e capacidade de gesto de riscos. E, por entender que a educao o
principal caminho para o desenvolvimento sustentvel do Brasil, este o foco
do investimento social do banco.
A Fundao Ita Social, um dos braos do investimento social do Ita Uniban-
co, tem como atividades centrais a formulao, a implantao e a disseminao
de metodologias voltadas melhoria de polticas pblicas na rea educacional.
Sua atuao acontece em todo o territrio brasileiro, em parceria com gover-
nos, setor privado e organizaes da sociedade civil.
Os valores estruturantes da cultura do Ita Unibanco permeiam as aes da
Fundao, compartilhando competncias que garantem a execuo das me-
lhores prticas de gesto, na busca de resultados, nos ganhos de escala, no
monitoramento e na avaliao das aes sociais apoiadas e desenvolvidas.
Neste contexto, a Fundao Ita Social e o banco lanaram, em 2004, o Progra-
ma Avaliao Econmica de Projetos Sociais, colocando conhecimentos muito
prprios da empresa a servio da causa social. Com a convico de que a avalia-
o uma importante ferramenta de gesto, diversas aes foram desenvolvi-
das desde ento, entre elas cursos e seminrios ofertados em todo o pas, com
o objetivo de disseminar a cultura da avaliao.
Este livro complementa as estratgias de disseminao dos conceitos da ava-
liao econmica de projetos sociais ao tornar metodologias de impacto, hoje
ainda ensinadas em poucos cursos de ps-graduao, acessveis a alunos de
graduao interessados no tema. Alm disso, traz exemplos de avaliaes de
projetos brasileiros, mostrando que nos ltimos anos a avaliao tem sido as-
sumida, pouco a pouco, como um relevante instrumento de gesto e de pres-
tao de contas sociedade.
Colocamos foco tambm na anlise de retorno econmico, pois, consideran-
do-se que a escassez de recursos para investimentos voltados para o desenvol-
vimento social uma realidade constante, importantssimo garantir que tais
investimentos estejam alcanando seu melhor resultado.
Agradecemos ao coordenador e aos autores deste livro, em especial ao Ricardo
Paes de Barros, por sua dedicao e empenho para a realizao deste projeto,
convencidos, como ns, da importncia da disseminao deste conhecimento.
Esperamos, com mais este esforo de difundir a prtica da avaliao econmica
em projetos sociais, estar, de fato, contribuindo para a maior eficincia e alcan-
ce das aes sociais no nosso pas.
Antonio Jacinto Matias

Vice-presidente da Fundao Ita Social
Srgio Ribeiro da Costa Werlang

Vice-presidente do Ita Unibanco
PREFCIO
H meros 10 anos, a avaliao econmica de projetos sociais, tema deste livro,
era uma rea praticamente inexplorada por economistas e cientistas sociais no
Brasil. Os primeiros estudos brasileiros nesse campo, avaliando o impacto de
programas de treinamento e emprego, foram realizados no incio deste sculo.
A atuao da Fundao Ita Social na rea de avaliao de impacto e retorno
econmico iniciou-se em 2004, quando o programa Razes e Asas foi avaliado
economicamente.
Desde ento, a Fundao Ita Social oferece cursos para gestores de organiza-
es no governamentais, do setor pblico e de fundaes empresariais, alm
de seminrios internacionais e regionais e cursos avanados para alunos de
ps-graduao de todo o pas. A partir do interesse pelos cursos, que quase
sempre geram lista de espera, surgiu a ideia de lanar uma publicao que tra-
tasse do tema com amplitude e rigor, para atingir o pblico que tem interesse
pelo assunto, mas que no tem a possibilidade de presenciar os cursos e semi-
nrios. Dessa ideia nasceu este livro.
A preocupao com avaliao tem ganhado fora na medida em que a socie-

dade brasileira sente a necessidade de usar seus recursos na rea social da me-
lhor forma possvel. Afinal, vrios programas e polticas em diversas reas so
lanados todos os anos nos vrios nveis da administrao pblica e existe a
necessidade de sabermos o real efeito desses programas nas vidas das pessoas.
Da mesma forma, o trabalho desenvolvido no terceiro setor, principalmente
na rea social, precisa prestar contas sociedade e para os seus financiadores,
mostrando que os recursos esto sendo gastos da melhor forma possvel.
Mas, o que significa avaliar economicamente os projetos sociais? Como os au-

tores mostram nos captulos que se seguem, a avaliao econmica com-
posta de duas partes: avaliao de impacto e clculo do retorno econmico.
A avaliao de impacto usa ferramentas estatsticas para estimar o efeito de
um programa sobre os seus beneficirios, ou seja, se o programa atingiu ou
no seus objetivos iniciais e qual a magnitude desse efeito. Para que essa an-
lise seja feita de forma objetiva, a avaliao necessita ter indicadores objetivos
e mensurveis, que possam ser utilizados para aferir o sucesso do programa.
Alm disso, necessrio que haja um grupo de controle, ou seja, pessoas, es-
colas ou regies que no foram atendidas pelo programa e que so parecidas
com o grupo que sofreu a interveno, chamado, seguindo a tradio da litera-
tura mdica, de grupo de tratamento.
Avaliao Econmica de Projetos Socias l 9

Mas, para que a avaliao seja completa necessrio tambm saber se os be-
nefcios gerados a partir do impacto estimado superam os custos do programa,
ou seja, se o projeto vale a pena do ponto de vista econmico. Muitas das ava-
liaes quantitativas existentes no chegam a essa parte, concluindo a avalia-
o com a estimativa do impacto. Entretanto, o clculo do retorno econmico
essencial para verificar se os custos do programa so altos a ponto de invia-
bilizar a replicao do projeto. Alm disso, essa metodologia permite o clculo
da taxa interna de retorno de diferentes projetos, que podem assim ser compa-
rados. Para esse fim, so utilizadas tcnicas simples de matemtica financeira,
que so muito usadas para calcular o retorno de outros tipos de investimentos.
Os autores desse livro esto entre os maiores especialistas em avaliao do

pas. No primeiro captulo, guisa de introduo, Ricardo Paes de Barros e Lycia
Lima discutem por que a avaliao de impacto to necessria. Afinal, por que
deveramos gastar recursos avaliando um programa que, se no apresentasse
resultados satisfatrios, no seria demandado por ningum? Os autores expli-
cam que a avaliao conduzida de forma rigorosa pode mostrar se os resulta-
dos esperados foram efetivamente alcanados, dada a imperfeio com que
diversos programas so colocados em prtica. Alm disso, projetos que tive-
ram impacto comprovado para um grupo especfico ou regio podem ter um
resultado completamente diferente quando implementados em outra regio
ou grupo de pessoas ou at em outro perodo de tempo.
Aps a introduo, a primeira parte do livro trata dos mtodos bsicos de

avaliao de impacto. No segundo captulo, Miguel Nathan Foguel introduz o
modelo bsico que permeia todas as metodologias de avaliao de impacto,
chamado Modelo de Resultados Potenciais. Em seguida, no capitulo 3, Miguel
explica a teoria por detrs do procedimento que considerado o padro-ouro
nas avaliaes de impacto, no qual os grupos de tratamento e controle so es-
colhidos aleatoriamente, ou seja, atravs de um sorteio. Mas, como na grande
parte dos casos prticos a escolha dos tratados no se d de forma aleatria, a
maior parte do livro foca as metodologias no experimentais. Assim, no quarto
captulo, Miguel explica a metodologia de diferenas em diferenas, que deve
ser utilizada quando possumos informaes sobre a varivel de resultado an-
tes e depois da realizao do programa. Por fim, no captulo 5, Cristine Campos
de Xavier Pinto explica o mtodo de pareamento, o mais utilizado na prtica
pelas avaliaes de projetos sociais, que procura comparar grupos de trata-
mento e controle que so parecidos em termos de suas caractersticas.
A segunda parte do livro apresenta mtodos mais sofisticados de avaliao de

impacto. No captulo 6, Cristine explica o mtodo de variveis instrumentais,
que lida com o fato de que a participao no programa pode ser explicada por
10 l Fundao Ita Social

fatores que no so observados pelo avaliador. Em seguida, a mesma autora
apresenta o mtodo de regresso descontnua, bastante utilizado atualmente
em artigos acadmicos, que apropriado para os casos em que a probabilida-
de de uma pessoa ou escola ser tratada muda drasticamente dependendo de
fatores especficos.
A terceira parte do livro lida com o clculo do retorno econmico de um proje-

to social. No captulo 8, Betnia Peixoto explica detalhadamente os conceitos
e o instrumental necessrios para o clculo desse retorno, incluindo aplicaes
prticas e um exemplo para que os conceitos sejam sedimentados. Conceitos
como valor presente lquido, taxa interna de retorno e custo-efetividade so
discutidos nesse captulo.
Este livro foi planejado tendo em vista um pblico formado por alunos de gra-
duao de cursos na rea de cincias sociais, que tenham passado por um bom
curso de estatstica bsica e que tenham interesse por projetos sociais. Gesto-
res de entidades do terceiro setor, fundaes empresariais e dos vrios nveis
do governo tambm acharo o contedo bastante estimulante. Alm disso, o
instrumental desenvolvido nos captulos avanados ideal para os interessa-
dos em se aprofundar na metodologia.
O apndice do livro comenta uma bibliografia complementar nas reas de

estatstica e matemtica financeira que pode ser utilizada como auxlio para
entendimento dos captulos do livro. Alm disso, cada captulo traz exerccios
especficos que servem para ajudar a fixao do contedo. Finalmente, a parte
final traz um exerccio prtico para ser resolvido pelos leitores. As bases de da-
dos e as respostas dos exerccios esto disponveis na pgina da Fundao Ita
Social na internet.
Esse livro deve estimular ainda mais a realizao de avaliaes de impacto, para
que possamos conhecer e replicar os projetos sociais e polticas pblicas com
maior retorno econmico, de forma a gerar o mximo de valor para a socieda-
de brasileira.

CAPTULO 1
Avaliao de Impacto
de Programas Sociais
Por que, para que e quando fazer?

Lycia Lima
1
Introduo
A deciso dos formuladores de polticas pblicas de investir em um programa
social sempre parte do pressuposto de que aquela interveno ter um impac-
to positivo sobre um conjunto de resultados de interesse coletivo ou individual
que, em ltima instncia, deve trazer benefcios para ao menos uma parcela da
sociedade. Mas ser que, na prtica, as polticas pblicas e os projetos sociais
do terceiro setor atingem os objetivos para os quais foram desenhados?
O principal propsito de uma avaliao de impacto verificar se, na realidade,

um determinado programa est alcanando os objetivos, ou impactos, espe-
rados. Entenderemos por impacto as diferenas entre a situao dos partici-
pantes do projeto aps terem participado e a situao em que estariam, caso
no tivessem tido acesso a ele. Dessa forma, o impacto do programa definido
como o contraste entre duas situaes: uma real (a situao dos participantes
aps a participao no projeto) e outra hipottica (a situao em que estariam
caso no tivessem tido a oportunidade de participar do programa). Esta defi-
nio de impacto, entretanto, apenas um ponto de partida. Os demais cap-
tulos deste livro se encarregaro de aprofundar essa discusso e apresentar os
diferentes mtodos existentes para a estimao do impacto.
Avaliaes de impacto certamente consomem recursos que, alternativamente,

poderiam ser investidos diretamente no prprio programa. A crescente expan-

so de estudos dessa natureza sinaliza que a importncia de dedicar esforos e
recursos para este fim cada vez mais reconhecida. Mas por que avaliaes de
impacto so importantes?
Os resultados dessas avaliaes tm uma variedade de utilidades potenciais.

A mais bvia delas utilizar as informaes produzidas para a melhoria do de-
senho do prprio programa em questo. Alm disso, os resultados produzidos
podem ser usados para auxiliar no desenho de outros programas subsequen-
tes na mesma comunidade ou at mesmo para informar formuladores de po-
lticas que pretendam desenhar programas com objetivos similares em outras
comunidades.
Este livro busca descrever a metodologia necessria para a realizao de ava-

liaes de impacto. Entretanto, antes de iniciar a discusso metodolgica,
fundamental entender por que, para que e quando avaliar programas sociais.
2
Por que avaliar o impacto de
um programa social?
Nossa sociedade investe uma grande quantidade de recursos, tanto humanos
quanto financeiros, em programas sociais. Avaliaes de impacto nos permi-
tem verificar se estes recursos esto de fato sendo aplicados da melhor manei-
ra possvel. No entanto, avaliaes de impacto tambm consomem recursos.
Ser que a realizao da avaliao de impacto do programa sempre o melhor
uso daqueles recursos ou seria melhor revert-los em um maior investimento
no prprio programa? Afinal, os benefcios de uma avaliao de impacto supe-
ram seus custos?
2.1 No evidente que um programa

amplamente utilizado tem impacto?
A justificativa da importncia da aplicao de recursos para avaliar impacto
no to bvia. Uma contra-argumentao vlida poderia ser fundamentada

na alegao de que pouco provvel que um programa com acesso voluntrio
no tenha impacto sobre aqueles que o procuram e dele se utilizam.
Por que algum dedicaria tempo e esforo a um programa que no lhe traz
benefcios e, portanto, no tem qualquer impacto? A ampla utilizao de um
programa por ao menos um segmento da sociedade no seria por si s indcio
de existncia de impacto? De fato, pouco provvel que a maioria dos progra-
mas existentes no traga benefcio algum a seus beneficirios. Afinal, em sua
maioria, os programas sociais so voluntariamente utilizados pelos seus bene-
ficirios que, portanto, devem estar convencidos da sua utilidade.
Em sua maioria, os programas sociais se baseiam em teorias que preveem um

elo entre o acesso ao programa e impactos positivos sobre um conjunto pr-
determinado de resultados. Portanto, os formuladores de polticas pblicas,
geralmente, contam com argumentos tericos e, frequentemente, com evi-
dncia emprica, ambos sinalizando a eficcia do programa em questo.
Assim, investigar a existncia de impacto de um programa cuidadosamente

desenhado e voluntariamente utilizado pela sociedade no seria questionar a
racionalidade dos usurios e a validade dos argumentos tericos e empricos
adotados no desenho do programa? Existem duas possveis respostas a essa
pergunta.
Uma das motivaes de uma avaliao de impacto , precisamente, a validao

das teorias que serviram de base ao desenho do programa. Por este motivo,
to comum e importante a avaliao de impacto de programas em escala
piloto. A avaliao de um piloto busca verificar se a ligao entre o acesso ao
programa e os resultados esperados vlida, para que o programa possa ser
expandido com menos incerteza sobre o seu potencial de alcanar sucesso. Si-
milarmente, uma avaliao de impacto tambm til para confirmar se as per-
cepes dos usurios sobre a eficcia do programa coincidem com a realidade.
Por outro lado, podemos argumentar que o objetivo de uma avaliao de im-
pacto vai muito alm de simplesmente determinar a existncia ou no do im-
pacto. Mesmo que tenhamos convico da existncia de impacto de um dado
programa, ainda assim ser necessrio conduzir uma avaliao para que pos-
samos entender o impacto. Tanto para o gestor do programa, quanto para os
usurios, to ou mais importante do que saber se h algum impacto conhe-
cer a magnitude do impacto, assim como saber sobre quais dimenses o pro-
grama tem impacto e que canais permitem que este impacto se manifeste. Este
conhecimento indispensvel para o aperfeioamento do desenho do progra-
ma e para a melhoria na sua adequao s necessidades de seus usurios.

2.2 Demanda pelos mais ricos evidncia
de impacto?
Muitos dos programas sociais existentes so ofertados gratuitamente para a
parcela mais pobre da sociedade. Nesse caso, adeso voluntria ao programa
deve ser necessariamente interpretada como indcio do impacto do programa?
Pode-se argumentar que no. possvel que os pobres tenham conhecimen-
to limitado sobre a eficcia daquele servio ou programa. Alm disso, como a
oferta gratuita, os beneficirios aderem porque no perdem nada participan-
do.
Contudo, o que dizer do impacto de um servio oferecido gratuitamente aos

mais pobres, mas para o qual existe proviso privada para suprir a demanda
dos mais ricos, que pagam preos significativos pelo acesso? Assumindo que a
qualidade dos servios oferecidos gratuitamente aos pobres seja igual quali-
dade da oferta privada aos ricos, no seria a existncia de demanda pelos mais
ricos evidncia suficiente de que o servio teria impacto? Com base na teoria
econmica, podemos argumentar que a existncia de demanda por um servi-
o com preo significativo sim um indcio de impacto. Por que ento a neces-
sidade de realizar uma avaliao de impacto nesta situao?
Em primeiro lugar, observadas as diferenas entre os pobres e os ricos, pode-

se argumentar que o fato de um servio ou programa ter impacto sobre um
grupo no implica necessariamente que ter o mesmo impacto sobre o outro
grupo. Dessa forma, havendo demanda dos mais ricos por um servio, ainda
assim ser necessrio avaliar a magnitude do impacto sobre os mais pobres.
Em segundo lugar, mesmo quando no h dvidas sobre a existncia do im-

pacto do servio, pode ser importante avaliar a sua magnitude sobre os mais
pobres. Sabemos que, em geral, as prioridades dos indivduos (e, portanto, o
valor dos benefcios) variam com o nvel de renda. Benefcios que tm eleva-
do valor para os mais ricos podem no ser classificados como prioritrios para
os mais pobres. Logo, a evidncia da eficcia do programa entre os mais ricos
pode no ser suficiente para justificar a implantao de um programa anlogo
para os mais pobres. Nesses casos, justifica-se, pois, a utilizao da avaliao
de impacto para produzir evidncia direta do impacto do programa e do valor
desses benefcios para o grupo dos mais pobres.

2.3 A relao entre impacto, ambiente
socioeconmico e caractersticas da
populao beneficiada
Formuladores de polticas pblicas, geralmente, desenham um programa so-
cial visando a uma populao-alvo especfica sendo beneficiada em um am-
biente pr-estabelecido. Assim, natural que existam poucas dvidas sobre o
impacto de um determinado programa quando este implementado no local
e momento corretos e beneficia a populao para a qual foi originalmente de-
senhado. Porm, este mesmo programa implementado em um ambiente com-
pletamente distinto do planejado provavelmente no ter o mesmo resultado.
de se esperar que a mesma ao dirigida a outra populao, outro local e ou-
tro momento do tempo no beneficie da mesma forma os que dela participam.
Uma das utilidades da avaliao de impacto , precisamente, determinar em

que medida a eficcia de um programa depende das caractersticas da popula-
o beneficiada, do momento no tempo e da natureza do ambiente socioeco-
nmico em que ocorre.
2.4. Impacto potencial versus impacto

efetivo
O impacto de um programa no depende apenas do seu desenho e da sua
adequao ao perfil dos beneficirios e ao ambiente socioeconmico em que
estes vivem. Igualmente determinante da magnitude do impacto a forma
como o programa implementado. Mesmo sendo poucas as dvidas sobre o
impacto potencial de um programa bem desenhado e focalizado, podem per-
sistir grandes incertezas relativas ao efetivo impacto desse programa quando
implementado de maneira deficiente. Neste caso, o objetivo da avaliao de
impacto no investigar o impacto terico ou potencial do programa, mas sim
sobre o seu impacto efetivo, dada a maneira imperfeita como foi implementa-
do.
Em suma, o impacto de um programa depende no apenas do seu impacto

potencial, mas est tambm intrinsecamente ligado s condies da sua im-
plementao. Ainda que um programa tenha comprovadamente impacto po-
tencial, fundamental avaliar o seu impacto real. Nesse caso, a avaliao de
impacto til para verificar qual parcela do impacto potencial foi desperdiada

devido a falhas no processo de implementao.
Esse dilema inerente avaliao de impacto de polticas pblicas. Em vrias

reas, existem estudos tericos que, consensualmente, apontam para a im-
portncia de determinadas aes. Em contraste, muitas avaliaes de impacto
encontram impactos irrisrios dessas mesmas aes aps a implementao.
Assim, o frequente descompasso entre os resultados tericos e empricos re-
fora ainda mais a necessidade de uma avaliao de impacto, essencial para
discernir entre o impacto do programa como originalmente desenhado (im-
pacto potencial) e o impacto do programa como de fato implementado (im-
pacto efetivo).
2.5 Avaliao de impacto como forma de

monitoramento
Os impactos de um determinado programa social dificilmente so invariveis
ao longo do tempo. Assim, nada garante que um programa avaliado hoje con-
tinue tendo o mesmo impacto no prximo ano ou no ano subsequente.
Podemos apontar pelo menos quatro razes para justificar essa potencial in-
constncia temporal do impacto. Primeiramente, o impacto de um programa,
normalmente, est relacionado com o tempo de exposio do beneficirio, po-
dendo tanto declinar rapidamente logo aps o trmino do programa como
persistir por um longo perodo de tempo. Em segundo lugar, ao longo do tem-
po podem ocorrer flutuaes na qualidade da gesto do programa e, conse-
quentemente, na eficcia da implementao, gerando oscilaes na magnitu-
de do impacto. Em terceiro lugar, o impacto pode variar ao longo do tempo se
for sensvel a mudanas no ambiente socioeconmico. Por fim, se o perfil da
populao beneficiada pelo programa se modifica ao longo do tempo, de se
esperar que a magnitude do impacto tambm se altere.
Devido a cada um desses motivos, mesmo programas que tm impacto inicial

de magnitude conhecida devem ser continuamente avaliados. Por um lado,
uma avaliao contnua a nica maneira de identificar os impactos de m-
dio e longo prazos do programa e, portanto, a nica forma de avaliar seu grau
de maturao e persistncia. Por outro lado, repetidas avaliaes do mesmo
programa podem revelar como o impacto do programa responde a mudanas
no ambiente socioeconmico e no perfil dos beneficirios. Por fim, mesmo no
caso em que o perfil da populao beneficiada e o ambiente socioeconmico
permanecem estveis, avaliaes de impacto peridicas podem ser de extre-

ma utilidade como um instrumento de gesto. Neste caso, flutuaes na mag-
nitude do impacto podem indicar uma melhoria ou deteriorao na forma de
funcionamento e, portanto, na gesto do programa.
Os argumentos apresentados sinalizam que o impacto de um programa tem

carter mutvel ao longo do tempo. Portanto, uma avaliao de impacto deve
ser considerada como uma ferramenta para a utilizao contnua, j que as
concluses auferidas a partir de sua utilizao pontual no so necessariamen-
te vlidas intertemporalmente.
2.6 A questo da relao custo-efetividade

A existncia de impacto no suficiente para justificar a alocao de recursos
adicionais para um dado programa. Em uma sociedade, se existirem programas
alternativos que perseguem os mesmos objetivos, a opo por um determina-
do programa depender de este ser aquele que produz o maior impacto por
unidade de custo. Esse critrio comumente denominado custo-efetividade.
Assim, em um cenrio onde os recursos so escassos e diferentes programas

competem pelos mesmos recursos, a avaliao de impacto essencial para
mensurar a magnitude do impacto e calcular a relao custo-efetividade de
cada programa. Mesmo que o impacto de um dado programa seja inquestio-
nvel, este programa pode no ser aquele com a melhor relao custo-efetivi-
dade e, portanto, pode no ser o melhor candidato a receber os recursos dis-
ponveis. Assim, para se avaliar a relao custo-efetividade de um programa,
necessrio no apenas reconhecer a existncia do impacto, mas tambm men-
surar a sua magnitude.
2.7 A questo da relao custo-benefcio

Para que recursos sejam alocados a um programa, no basta que o programa
tenha impacto ou mesmo que seja aquele com a melhor relao custo-efeti-
vidade. necessrio tambm que o valor dos benefcios do programa supere
seus custos, isto , que o programa tenha uma relao custo-benefcio favo-
rvel. No clculo desta relao, deve-se considerar todos os custos e benef-
cios sociais, tanto aqueles sobre os agentes diretamente envolvidos como as
externalidades sobre o restante da sociedade. Mesmo diante da evidncia de
que um programa tem impacto, essencial ainda assim estimar a magnitude

deste impacto para que se possa verificar se o valor dos benefcios produzidos
superam os custos demandados. Muitas vezes, diferentes aes com objetivos
anlogos no diferem substancialmente com relao ao seu custo. Nestes ca-
sos, so as diferenas na magnitude do impacto que iro determinar qual o
programa que tem a melhor relao custo-benefcio.
Em princpio, possvel argumentar que todos os programas com relao cus-

to-benefcio favorvel deveriam ser implementados. Esta certamente a regra
quando no existe interdependncia entre os programas. De fato, se os bene-
fcios e os custos de um programa no dependem da existncia ou operao
dos demais, ento no existe razo para que todos os programas com relao
custo-benefcio favorvel no sejam simultaneamente implementados.
No entanto, em geral, os benefcios e custos de programas alternativos depen-

dem da existncia ou operao de seus concorrentes, e as relaes custo-bene-
fcio so estimadas supondo que estes no foram nem sero implementados.
Neste caso, o procedimento decisrio deve ser necessariamente sequencial.
Primeiro decide-se sobre a implementao do programa com a melhor relao
custo-benefcio. Em seguida, novas relaes custo-benefcio so recalculadas
para os programas no implantados, levando em considerao que aquele de
melhor relao custo-benefcio foi efetivamente implantado. Aps esta reava-
liao, caso ainda exista algum programa com relao custo-benefcio favor-
vel, o melhor deles deve ser implantado e o procedimento novamente condu-
zido. Note que esta anlise sequencial requer a estimao do impacto de cada
programa tanto na ausncia quanto na presena dos demais.
2.8 Por que no investigar diretamente a

propenso a pagar?
A seo anterior demonstrou que, em ltima instncia, o objetivo de uma ava-
liao de impacto deve ser investigar a relao custo-benefcio de um progra-
ma. Para tanto, realiza-se uma comparao entre os custos e o valor dos benef-
cios do programa, sendo o ltimo obtido a partir do produto entre a magnitude
do impacto e o valor atribudo a este pelo conjunto de beneficirios.
Nesse sentido, uma avaliao de impacto apresenta duas limitaes. Primei-

ramente, um programa tem geralmente uma variedade de impactos, alguns
intencionais e muitos outros colaterais. Neste caso, para obter a relao cus-
to-benefcio, seria necessrio estimar a magnitude de todos esses impactos, o
que j seria um desafio, dado que muitos desses impactos so de difcil men-

surao. Em segundo lugar, mesmo que fosse possvel estimar a magnitude de
todos os impactos, ainda seria preciso estimar o valor que cada beneficirio
atribui a cada um deles. De fato, a avaliao de impacto apenas um primeiro
passo para se estimar a relao custo-benefcio.
Caso a mensurao da magnitude de cada impacto, seguida de sua valorao,

fosse a nica alternativa para se obter o valor dos benefcios, sem dvida, a ava-
liao de impacto seria essencial para a estimao da relao custo-benefcio
de um programa. No entanto, existe uma alternativa para estimar o valor dos
benefcios: a propenso a pagar do beneficirio pelo servio.
O valor total de um programa, benefcio ou servio para um beneficirio pode

ser avaliado a partir da investigao do valor pelo qual ele estaria disposto a
trocar o acesso ao programa, medido em termos monetrios ou em termos do
acesso a outros bens e servios. As tcnicas utilizadas para a investigao da
propenso a pagar podem ser classificadas em dois grandes grupos: (i) com-
portamental e (ii) no comportamental.
Nos mtodos no comportamentais, pergunta-se diretamente ao beneficirio

quanto ele estaria disposto a pagar pelo acesso a um determinado programa,
benefcio ou servio. O desafio neste caso que frequentemente a resposta
pode no ser fidedigna. Como a pergunta se refere a uma situao hipottica,
as pessoas tendem a superestimar o valor que elas efetivamente estariam dis-
postas a pagar. Existem, entretanto, protocolos pr-estabelecidos que definem
como investigaes desta natureza podem ser conduzidas visando mitigar a
possibilidade de resultados pouco confiveis.
Por outro lado, nos mtodos comportamentais, o valor do benefcio inferido

a partir da observao direta do efetivo comportamento do beneficirio. No
caso dos servios para os quais existe um mercado, verificamos que o preo
de mercado o valor (ou a propenso a pagar) que o beneficirio marginal
atribui ao servio em questo. Quando no existe mercado, ainda assim o va-
lor associado ao servio pode ser inferido com base na observao de outros
comportamentos. No caso de um posto de sade, por exemplo, o valor pode
ser avaliado a partir do raio de cobertura do servio. Quanto mais valorizado
o servio, maior a distncia que os beneficirios estaro dispostos a percorrer
para acess-lo.
Em resumo, a vantagem metodolgica da utilizao da propenso a pagar

que este mtodo estima diretamente o valor do benefcio, evitando problemas
potenciais causados pela necessidade de estimar mltiplos impactos e o valor
atribudo a cada um deles. Ao contrrio da avaliao de impacto, no neces-
srio primeiramente decompor o impacto nos seus diversos componentes e

posteriormente valorar cada um destes individualmente. Sendo assim, dado
que a avaliao de impacto se apresenta como um instrumento mais complexo
e que via de regra exige maior esforo, qual seria ento a justificativa para a sua
utilizao?
Existem essencialmente trs justificativas que sustentam o uso da avaliao

de impacto. Em primeiro lugar, quando o impacto de um programa ocorre via
poucas dimenses de fcil mensurao, a magnitude do impacto pode ser ava-
liada de forma relativamente incontestvel com base em mtodos experimen-
tais. Alm disso, na ausncia de mercados para o servio ou benefcio em ques-
to, a utilizao da propenso a pagar poderia levar a estimativas ainda menos
confiveis. No entanto, importante ressaltar que um aumento do nmero de
dimenses do impacto e o surgimento de mercado para o servio ou benefcio
em questo tornaria o uso da propenso a pagar mais fundamentada vis--vis
utilizao da avaliao de impacto.
Em segundo lugar, pode-se argumentar que a utilizao da propenso a pagar

tem sua confiabilidade reduzida quando existem externalidades e o programa
em questo tem impactos sobre no beneficirios. Neste caso, se o nmero de
dimenses do impacto limitado e o grupo de no beneficirios impactados
pelo programa est bem definido, uma avaliao de impacto experimental
provavelmente capaz de produzir estimativas mais confiveis.
Por fim, o uso da propenso a pagar tem a grande limitao de no permitir a

identificao dos motivos pelos quais os beneficirios valorizam aquele servi-
o. Assim, sabe-se quanto o programa valorizado, mas nada se sabe sobre os
mecanismos pelos quais o programa influencia o bem-estar dos beneficirios.
Essa limitao especialmente problemtica no caso de programas multiface-
tados, na medida em que impossvel distinguir qual componente do progra-
ma est contribuindo mais ou menos para a satisfao do usurio.
Do ponto de vista dos beneficirios, possvel que seja suficiente saber o grau
de satisfao dos beneficirios com o programa de um modo geral. Porm,
para os gestores e aqueles que financiam o programa, essa informao pode
ser insuficiente.
Existem duas razes que justificam a necessidade de identificar os impactos

especficos de um programa. Por um lado, possvel que os responsveis pelo
financiamento valorizem os impactos especficos de maneira distinta dos be-
neficirios. Em outras palavras, aqueles que financiam o programa podem
querer se assegurar de que o programa est causando satisfao pela via pre-
tendida e no por algum outro motivo qualquer. Por outro lado, identificar a
magnitude dos impactos especficos importante para avaliar a adequao
do programa no alcance dos seus objetivos especficos. Essa informao pode

ser til tanto para o redesenho do prprio programa quanto para o desenho
de outros programas em contextos nos quais alguns impactos especficos so
particularmente valorizados.
2.9 Heterogeneidade do programa e da

populao-alvo
A grande maioria das intervenes heterognea e oferecida a uma cliente-
la tambm heterognea. Na maioria dos casos, possvel ajustar os diversos
parmetros do programa, desde sua durao e intensidade at seu contedo
e qualidade. de se esperar, portanto, que a magnitude do impacto varie com
estes parmetros e, tambm, segundo as caractersticas do beneficirio e o
contexto socioeconmico em que o programa se insere. Assim, a realizao de
uma avaliao de impacto essencial para entender como a heterogeneidade
na interveno e no perfil dos usurios se reflete nos resultados alcanados.
Um mesmo programa pode ter muitos desenhos que variam em termos da sua
eficincia. Uma avaliao de impacto possibilita no apenas identificar o dese-
nho mais eficiente, mas tambm identificar os segmentos da populao-alvo
para os quais os benefcios so maiores. A identificao destes grupos fun-
damental para o desenho do programa. No curto prazo, a atuao do progra-
ma deveria se concentrar nos segmentos da populao-alvo que tm a maior
probabilidade de se beneficiar destas aes. Por outro lado, a identificao dos
segmentos que pouco se beneficiam das aes igualmente importante na
medida em que revela a necessidade do investimento em aes alternativas
voltadas para estes grupos.
3. Para que avaliar o impacto de

um programa social?
Avaliaes de impacto tm, em geral, uma multiplicidade de usos que podem
ser categorizados em dois grandes grupos: (i) uso interno e (ii) uso externo. O
uso interno de uma avaliao diz respeito sua utilidade para a tomada de
decises sobre o prprio programa avaliado. O uso externo de uma avaliao
relativo utilizao dos resultados da avaliao como instrumento para o
desenho ou a melhoria do desenho de outros programas similares.

3.1 Sobre o uso interno:
o aperfeioamento do desenho,
funcionamento e gesto do
programa avaliado
Em seu uso interno, a avaliao de impacto serve como insumo para a tomada
de deciso sobre o prprio programa. Neste sentido, a mesma pode ser uti-
lizada com vrios objetivos, dependendo do usurio a que se destina. Quan-
do os usurios dos resultados so aqueles responsveis pela continuidade ou
descontinuidade do programa, a avaliao de impacto tipicamente utilizada
como veredicto. Enquanto resultados positivos justificam a permanncia ou
ampliao de um programa, a ausncia destes d suporte desativao pro-
gressiva ou imediata do programa. Em resumo, em primeiro lugar, uma avalia-
o de impacto serve para (i) justificar a existncia de um programa e (ii) decidir
sobre sua desativao, continuidade ou expanso.
Outra utilidade interna potencial de uma avaliao de impacto fornecer in-

sumos para a promoo de melhorias no desenho do programa. Para tanto,
fundamental que a avaliao no apenas obtenha estimativas da magnitude
do impacto, mas tambm identifique os fatores determinantes do impacto.
Saber como a magnitude do impacto varia com os parmetros que definem a
interveno a nica maneira atravs da qual uma avaliao pode contribuir
para a reformulao dos princpios que embasam o programa, possibilitando
assim o aperfeioamento do seu desenho e a adequao do seu marco lgico.
O impacto de um programa, entretanto, no determinado apenas por seu de-

senho. A natureza dos beneficirios e a forma e o grau com que estes utilizam
as aes do programa tambm influenciam a magnitude do impacto. Assim, na
medida em que a avaliao revela como a magnitude do impacto do programa
varia com a forma e grau de utilizao dos servios e tipo de beneficirio, a
mesma se torna um instrumento de extrema utilidade ao gestor responsvel
pela operao do programa. A partir dessas informaes, o gestor capaz de
realizar ajustes finos no programa, podendo, potencialmente, readequar a na-
tureza dos servios e bens oferecidos s necessidades dos beneficirios e assim
promover uma maior efetividade do programa em questo.
Por fim, deve-se ressaltar ainda que o impacto do programa tambm depende da
forma como a gesto e operao do programa conduzida. Assim, uma avaliao de
impacto que contempla informaes sobre a sensibilidade da magnitude do impac-
to s variveis relacionadas gesto e operao do programa fornece informaes
valiosas para o aperfeioamento ou reformulao do sistema de gesto e operao.

3.2 Sobre o uso externo: para o desenho
e aperfeioamento de programas
similares
O uso externo de uma avaliao de impacto est relacionado com a sua uti-
lidade para auxiliar no desenho, na implementao ou na gesto de outros
programas similares em contextos distintos. Neste sentido, avaliaes de im-
pacto funcionam como bens pblicos, na medida em que beneficiam uma po-
pulao muito maior que aquela que originalmente participou do programa e
financiou a avaliao.
Dentre a grande variedade de usos externos de uma avaliao de impacto, tal-

vez o de maior importncia seja a identificao de melhores prticas. Gesto-
res em toda parte esto continuamente em busca dos melhores programas,
aes e prticas que permitam alcanar seus objetivos da forma mais eficaz
possvel. Em todo momento, dada a tecnologia social existente, h um conjun-
to de prticas que so aquelas com as melhores relaes custo-efetividade. A
identificao destas intervenes requer avaliaes de impacto de uma ampla
variedade de programas com objetivos similares. Assim, indiscutvel que a
identificao das melhores prticas e, portanto, avaliaes de impacto so fun-
damentais para o aprimoramento da eficcia dos programas sociais em vigor.
A avaliao dos impactos de um programa, quando associada avaliao de

seu custo, permite compar-lo com as alternativas disponveis em termos de
suas relaes custo-efetividade. A sua posio relativa queles programas
que representam as melhores prticas define o seu potencial de expanso e
difuso. Programas com as relaes custo-efetividade mais favorveis esto
em evidncia como candidatos tanto para a expanso nos locais onde atuam
quanto para a adoo em outras reas (desde que seu impacto seja robusto a
mudanas nos contextos socioeconmicos e culturais).
Assim, para que a utilizao externa das avaliaes de impacto seja a mais
ampla possvel, essencial que estas investiguem no apenas o tamanho do
impacto, mas tambm a interao deste com caractersticas do ambiente so-
cioeconmico e cultural em que as avaliaes se inserem. Este o conceito de
validade externa que, em outras palavras, determina em que medida o impac-
to estimado de um programa pode ser extrapolado para diferentes contextos.
Trata-se, fundamentalmente, de uma avaliao da robustez ou da sensibilidade
do programa ao contexto.
Frequentemente, os programas avaliados se mostram sensveis ao contexto

em que se inserem. Esta sensibilidade, entretanto, no de forma alguma uma
indicao de que o programa no possa ser ajustado para outro contexto. A

constatao da sensibilidade do impacto do programa ao seu ambiente deve
ser utilizada apenas como um alerta para que a expanso do programa seja
feita de forma cuidadosa, adequando o mesmo s caractersticas especficas
do novo contexto. Nestes casos, importante que as avaliaes de impacto es-
tabeleam no apenas o grau de sensibilidade do impacto do programa como
um todo ao contexto, mas fundamentalmente estabeleam quais aspectos do
programa determinam esta sensibilidade (ou, em outras palavras, como a mag-
nitude do impacto depende do contexto).
Esse tipo de informao fundamental para sinalizar quais cuidados devem ser
adotados na difuso do programa, mas nada dizem sobre quais os ajustes ne-
cessrios no seu desenho para que o seu impacto seja invariante ao contexto.
Para que estes ajustes possam ser identificados, seria necessrio que as avalia-
es tambm indicassem como os parmetros do programa devem ser ajusta-
dos em cada situao para que sua eficcia seja preservada nos mais distintos
ambientes. Este um dos grandes desafios de uma avaliao de impacto: ava-
liar a sensibilidade do impacto ao contexto e identificar as adequaes neces-
srias para que o programa seja apropriado s mais variveis circunstncias.
4. Quando avaliar o impacto de

um programa social? Avaliaes
ex-ante versus ex-post
Existem essencialmente trs momentos na execuo de um programa em que
avaliaes de impacto podem ocorrer: (i) antes do incio do programa (so as
ditas avaliaes ex-ante), (ii) durante o perodo de execuo do programa (so
as ditas avaliaes ex-post de percurso) e (iii) aps a concluso do programa
(so as ditas avaliaes ex-post de encerramento). Em cada caso, a avaliao
caracterizada por metodologias e objetivos distintos, condicionados dis-
ponibilidade de informaes relacionadas ao programa naquele momento do
tempo.
4.1 Sobre a necessidade de avaliaes

ex-ante e ex-post
A deciso pela implementao de um dado programa geralmente precedida
pela apresentao de argumentos que justificam a racionalidade da opo por

aquela determinada interveno. Em geral, justificativas deste tipo se baseiam
em estimativas de custos e impactos esperados do programa em questo. Pre-
ver a magnitude dos impactos antes que a interveno seja implantada o
objetivo das avaliaes ex-ante de impacto. Embora o objetivo primordial de
uma avaliao ex-ante seja justificar a adoo de um dado programa, possvel
e recomendvel que avaliaes ex-ante sejam tambm utilizadas para decidir
sobre o melhor desenho da interveno.
Uma vez elaborados e implementados, programas sociais muitas vezes permi-

tem ajustes ao seu desenho durante a fase de operao. Avaliaes de impacto
realizadas durante o perodo de operao do programa, denominadas avalia-
es ex-post de percurso, so utilizadas para verificar a validade das previses
realizadas pelas avaliaes ex-ante. Desta forma, esse tipo de avaliao mostra-
se fundamental para traar recomendaes sobre o futuro do programa, seja
no sentido de interromper, continuar ou aperfeioar as aes da interveno
em curso. Este tipo de avaliao muito comum durante a fase piloto da imple-
mentao de um programa, embora seja importante que a sua aplicao no
se limite a esta fase.
O grande desafio para a realizao de uma boa avaliao ex-post de percurso

o tempo. Por um lado, importante que a avaliao seja realizada quanto
antes para que tenha sua influncia sobre o desenho, operao, continuidade e
expanso do programa maximizada. Por outro lado, dado que alguns impactos
podem levar tempo para se manifestar, quanto mais cedo realizada a avaliao
de impacto, maior a probabilidade de se subestimar ou at ignorar impactos
importantes que no se manifestaram no curto prazo. Esse problema par-
ticularmente grave j que, frequentemente, os impactos de maior importn-
cia podem ser os de longo prazo. Assim, toda avaliao ex-post de percurso
precisa analisar cuidadosamente o trade-off entre fornecer respostas rpidas
para auxiliar no aperfeioamento e expanso do programa e aguardar o tempo
necessrio para que parte substancial dos impactos do programa se manifeste.
Portanto, avaliaes ex-post de percurso so mais comuns em programas de
longa durao ou mesmo de durao ilimitada, sendo difceis de serem realiza-
das em programas de curta durao.
A realizao de uma avaliao de impacto tambm justificada aps o encer-

ramento de um programa social. Neste caso, dois objetivos merecem ateno.
Por um lado, a avaliao ex-post de encerramento til para determinar quo
adequada foi a deciso de alocao de recursos quele programa. Trata-se de
uma avaliao ex-post das decises realizadas no passado e da qualidade da
gesto do programa. No permite rever ou aprimorar aes, mas apenas veri-
ficar se os agentes envolvidos no processo decisrio tomaram ou no decises
adequadas e se os responsveis pelo programa fizeram uma boa gesto.
Por outro lado, uma utilidade extremamente importante das avaliaes ex-post

em geral est relacionada identificao de melhores prticas. Avaliaes ex
-post de programas com objetivos similares geralmente fornecem informaes
relevantes que podem auxiliar na tomada de deciso de gestores pblicos em-
penhados em desenhar novos programas ou aperfeioar os programas exis-
tentes na rea em questo.
Por fim, vale ressaltar que as avaliaes ex-post de encerramento tm a grande

vantagem de evitar o conflito entre o momento da avaliao e o prazo de ma-
turao do impacto do programa. Neste caso, no h restrio de tempo para
a sua realizao, o que torna este tipo de avaliao ideal para garantir a cap-
tao dos impactos verdadeiramente de longo prazo de um programa social.
4.2 Diferenas informacionais e

metodolgicas
Em decorrncia do momento em que so realizadas, as avaliaes ex-ante e ex
-post se baseiam cada qual em um conjunto distinto de informaes, aquelas
disponveis naquele dado momento do tempo. Avaliaes ex-post podem con-
tar com informaes sobre a situao de beneficirios e no beneficirios antes
e em vrios momentos aps o incio da interveno. Por outro lado, avaliaes
ex-ante so conduzidas s vezes sem informaes sobre quem sero os efeti-
vos beneficirios do programa. Na medida em que informaes naturalmente
se acumulam ao longo do tempo, avaliaes ex-post tm grande vantagem
informacional sobre suas contrapartidas ex-ante.
Todo trabalho avaliativo sempre o resultado da combinao de teoria com

evidncia emprica. No entanto, no h uma recomendao pr-estabelecida
sobre os pesos que devem ser atribudos teoria ou evidncia emprica em
avaliaes de um modo geral. Em uma avaliao ex-post cuidadosa, na qual
uma grande quantidade de informaes pertinentes e fidedignas foi coletada,
o papel da teoria tender naturalmente a ser dominado pelo da evidncia em-
prica. J numa avaliao ex-ante, o papel da teoria passa a ser primordial, uma
vez que as estimativas de impacto so obtidas a partir de simulaes com da-
dos na maioria das vezes secundrios sobre o comportamento hipottico dos
futuros beneficirios do programa a ser implantado. Neste caso, com base na
teoria sobre o comportamento destes beneficirios que so derivadas as hip-
teses a partir das quais estas simulaes de impacto so realizadas.
5. Consideraes finais
Na nossa sociedade, formuladores de polticas continuamente propem uma
grande variedade de solues visando atender s mais diversas necessidades

da populao. Entretanto, dada a escassez dos recursos disponveis, nem todas
estas solues podem ser efetivamente implementadas. necessrio, portan-
to, escolher bem. Quais das propostas apresentadas abrangem a maior parte
das necessidades da populao ao menor custo? Em outras palavras, quais des-
tas propostas representam o melhor uso do oramento disponvel?
Um dos instrumentos fundamentais para se obter a resposta a estas questes

a avaliao de impacto, que permite isolar a contribuio de uma ao espe-
cfica no alcance dos resultados de interesse. No entanto, isolar o impacto de
uma ao no tarefa fcil. Este livro trata das metodologias disponveis para
identificar e estimar o impacto de intervenes implementadas por agentes
governamentais ou no governamentais.
Neste captulo inicial, procuramos apresentar ao leitor por que, para que e
quando deve-se realizar uma avaliao de impacto. A nossa discusso sinaliza
que a avaliao de impacto uma ferramenta valiosa que serve a propsitos
mltiplos, sendo assim relevante no apenas para aqueles diretamente envol-
vidos no programa, mas potencialmente para vrios outros agentes da socie-
dade.
Exerccios
1) Quais so as possveis motivaes para uma avaliao de impacto?
2) O impacto de um programa no depende apenas do seu desenho e da sua

adequao ao perfil dos beneficirios e ao ambiente socioeconmico em que
estes vivem. Do que mais depende o impacto do programa?
3) Explique a importncia da avaliao de impacto em um cenrio onde os re-

cursos so escassos e diferentes programas competem pelos mesmos recursos.
4) Existem essencialmente trs momentos na execuo de um programa em

que avaliaes de impacto podem ocorrer. Explique cada caso.
5) Explique os conceitos de uso interno e uso externo de uma avaliao.

PARTE 1
Mtodos Bsicos de
Avaliao de Impacto
A parte I do livro dedicada a apresentar um conjunto de mtodos que
so amplamente empregados para isolar e medir o impacto de programas
sociais. Esses mtodos so comumente divididos em duas categorias: o
mtodo experimental e os mtodos no experimentais. O primeiro, a ser
apresentado no captulo 3, baseado na seleo aleatria dos indivduos
que faro parte do grupo que receber o programa (grupo de tratamento)
e do grupo que no o receber (grupo de controle). Como veremos, esse
mtodo faz com que a nica diferena entre os grupos seja a participao
no programa, uma vez que a aleatorizao garante que eles sejam muito
semelhantes tanto em termos das caractersticas observadas como das no
observadas pelo analista. Pelo fato de conseguir fazer com que a interven-
o seja a nica diferena entre os grupos de tratamento e controle, esse
mtodo tem a denominao de padro-ouro na rea de avaliao de im-
pacto.
Os demais captulos apresentaro em detalhes os mtodos no experimen-

tais. Como no so baseados na seleo aleatria dos grupos de tratamento
e controle, esses mtodos no asseguram que os dois grupos difiram entre
si apenas pela participao no programa. Na realidade, o que eles fazem
substituir a aleatorizao do mtodo experimental por certas condies e
hipteses que visam a tornar o grupo de controle parecido com o grupo de
tratamento. Como veremos, cada mtodo adota um conjunto especfico de
hipteses para identificar o efeito causal do programa. Essas hipteses no
so diretamente testveis, mas algumas podem ser confirmadas de modo
indireto.
A escolha do mtodo a ser empregado depende em larga medida do pro-

grama a ser avaliado, dos arranjos institucionais existentes, dos custos en-
volvidos na avaliao, alm da disponibilidade de dados. O aumento da
importncia da avaliao de impacto e da anlise de custo-benefcio entre
financiadores, gestores e fiscalizadores dos programas tem sido acompa-
nhado pelo desenvolvimento e aperfeioamento de um conjunto de m-

todos que formam hoje uma ampla caixa de ferramentas utilizada na rea
de avaliao de impacto. Ao apresentar uma introduo a alguns dos prin-
cipais mtodos disponveis nessa caixa de ferramentas, esta parte do livro
pretende auxiliar no somente no entendimento das metodologias, mas
tambm no processo de escolha da metodologia mais adequada a ser ado-
tada no contexto especfico no qual se insere o programa. A esse propsi-
to, vale assinalar que o foco do livro sobre as metodologias ex-post. Em
contraste com as avaliaes ex-ante, que so baseadas em modelos sobre
o comportamento dos agentes, as metodologias ex-post so baseadas em
dados especficos colhidos para a avaliao do programa (ver Box 1 e seo
4 do captulo 1).
Antes de entramos no detalhamento de cada mtodo de nossa caixa bsi-

ca de ferramentas, apresentaremos no captulo 2 um arcabouo conceitual
amplamente utilizado na rea de avaliao de impacto. Alm de estabele-
cer a notao que empregaremos em outros captulos desta parte do livro,
sua principal finalidade apresentar um dos principais problemas da rea
de avaliao de impacto, a saber, o vis de seleo.

Box 1: Avaliaes Ex-ante e Ex-post
As avaliaes ex-ante so elaboradas los tericos, mas sim em mtodos emp-
com base na construo de um modelo ricos que procuram estimar diretamente
sobre o comportamento dos agentes e dos dados os impactos do programa. Em
do ambiente econmico no qual eles e o contraste com o mtodo ex-ante, que
programa em avaliao esto inseridos. geralmente empregado antes da im-
Em alguns casos, o modelo proposto plementao da interveno, as avalia-
estrutural, ou seja, baseado em hipte- es ex-post s podem ocorrer durante
ses acerca das formas funcionais que re- ou aps a execuo do programa. Ade-
presentam o comportamento econmi- mais, a maior parte das avaliaes ex
co dos indivduos e do funcionamento -post so model-free, isto , preferem
da economia ao longo do tempo (por deixar os prprios dados falarem ao in-
exemplo, Heckman et al., 1998). Em ou- vs de proporem modelos tericos para
tros casos, o modelo proposto basea- explicar os resultados encontrados. Em-
do em formas reduzidas, isto , em equa- bora extremamente teis para se conhe-
es que procuram refletir as relaes cer a efetividade das intervenes, as
diretas entre as decises dos agentes, os avaliaes ex-post normalmente s es-
indicadores de resultado e demais vari- timam os impactos especficos dos pro-
veis consideradas relevantes na estima- gramas. Nesse sentido, elas no permi-
o do impacto do programa (ver, por tem construir diferentes cenrios para
exemplo, Bourguignon e Ferreira, 2003). o programa e, portanto, no oferecem
uma ideia das variaes no impacto para
Tipicamente, as avaliaes ex-ante uti- diferentes desenhos do programa.
lizam dados de fontes secundrias ao
programa para estimar os parmetros Mas as abordagens ex-ante e ex-post
do modelo proposto, incluindo o pr- no so mutuamente excludentes. Re-
prio impacto do programa. Aps a esti- centemente, Todd e Wolpin (2006) com-
mao do modelo, possvel alterar os binaram os dois tipos de mtodos para
valores de alguns dos seus parmetros estudar o impacto do programa mexica-
e, por meio de simulaes, avaliar como no de transferncia condicional de renda
as variveis de interesse mudam. Esse Progresa (atualmente chamado de Opor-
tipo de exerccio bastante til para se tunidades). Basicamente, o exerccio dos
obter um balizamento de como os im- autores consistiu em prever o impacto
pactos do programa podem variar para do programa com base na abordagem
diferentes hipteses sobre o comporta- ex-ante e posteriormente compar-lo
mento dos agentes e o funcionamen- com o impacto obtido pelo mtodo ex
to da economia. Por outro lado, o mto- -post de aleatorizao (ver captulo 3). A
do ex-ante tipicamente requer a adoo varivel de resultado foi a frequncia
de um conjunto de hipteses no tes- escola de crianas entre 12 e 15. Os im-
tveis, tanto sobre o comportamen- pactos obtidos pelas duas abordagens
to dos indivduos quanto sobre a iden- foram bastante semelhantes, o que per-
tificao dos parmetros do modelo. mitiu a realizao de cenrios mais con-
Distintamente, as avaliaes de impac- fiveis a partir de variaes nos parme-
to ex-post no so baseadas em mode- tros do modelo de base.

CAPTULO 2
Modelo de resultados
potenciais
O problema central da rea de avaliao de programas construir o contra-

fatual do grupo tratado pelo programa. Na forma mais simples de apresen-
tar esse problema, podemos pensar que qualquer indivduo est sempre
em uma de duas situaes distintas: ter sido ou no ter sido tratado pelo
programa. Idealmente, o melhor grupo de comparao para os indivduos
tratados seria formado pelos mesmos indivduos na situao em que eles
no fossem tratados. Contudo, essas situaes so mutuamente exclusivas:
claramente no possvel observar os mesmos indivduos na condio de
tratados e de no tratados ao mesmo tempo. O desafio do avaliador, por-
tanto, encontrar um grupo de indivduos que represente adequadamente
a situao de no tratamento, ou seja, um grupo que funcione como um
bom contrafatual do grupo tratado.
Uma srie de pontos precisam ser levados em considerao para se en-

contrar um grupo de controle que possa replicar o grupo tratado caso ele
no tivesse passado pela interveno. Naturalmente, como no possvel
observar essa situao contrafatual, a escolha desse grupo de comparao
envolver o uso de procedimentos e hipteses cuja finalidade bsica mi-
nimizar o que se costuma denominar de vis de autosseleo. Para enten-
der melhor o que est por trs desse vis, apresentaremos neste captulo
o arcabouo mais utilizado na rea de avaliao, a saber, o arcabouo de
resultados potenciais. Um elemento crucial para um bom entendimento
desse arcabouo e da rea de avaliao de impacto em geral ter sem-
pre em mente a potencial existncia de uma situao contrafatual.
Antes de apresentarmos formalmente esse arcabouo, vale a pena analisar

dois mtodos ingnuos, porm amplamente utilizados por no especia-
listas para construir o grupo de controle. O primeiro baseado na compa-
rao do que ocorre com o grupo de tratamento antes e depois da inter-
veno. O segundo consiste em comparar o grupo que escolhe passar pelo

programa com um grupo que decide no participar da interveno. Como
veremos, esses mtodos dificilmente so capazes de fornecer o impacto do
programa.
2.1 Comparando os Tratados Antes e Depois

Considere uma situao em que um programa de treinamento profissional
foi oferecido para trabalhadores de baixa escolaridade numa certa localida-
de, por exemplo, um municpio ou uma rea de uma cidade. Esse programa
consistia de um curso ministrado por pessoal especializado e tinha como
objetivo aumentar o rendimento do trabalho dos participantes. Suponha
que o total de inscritos tenha sido igual ao nmero de vagas oferecidas e
que todos os inscritos tenham participado do programa.
Um pouco antes do comeo do programa (por exemplo, no dia da inscri-

o), todos os participantes responderam um questionrio que levantou
informaes sobre suas caractersticas socioeconmicas, incluindo a situ-
ao de emprego e rendimento laboral naquele momento. Suponha que
o rendimento mdio do trabalho para todos os indivduos que entraram
no programa de treinamento tenha sido de R$ 1000. Um ano depois, os
mesmos tipos de informaes foram novamente coletadas com todos os
participantes do programa. O rendimento mdio encontrado nesse segun-
do momento foi igual a R$ 1100.
A Figura 2.1 ilustra as informaes obtidas para o rendimento mdio para

os perodos anterior e posterior ao programa1. Os retngulos esto asso-
ciados aos valores observados. Alguns diriam que o efeito do programa foi
de R$ 100 (R$ 1100 R$ 1000), o que equivale a um aumento de 10% no
rendimento mdio inicial. Mas ser que podemos afirmar que esse foi o
verdadeiro efeito do programa?3
1
A ocorrncia do programa foi simplificada para se dar no momento demarca-
do pela linha vertical tracejada.

Figura 1: Rendimento mdio dos participantes antes e depois do
programa
Rendimento Mdio (R$)
Antes Depois
1100
Impacto?
1000
t=0 Programa t=1 Tempo
Para responder essa pergunta, temos que nos questionar se o grupo de trata-
mento antes do programa representa o contrafatual adequado para a situao
de no tratamento depois do programa. Ou seja, em termos da Figura 2.1, ser
que o losango representa o valor que seria recebido pelo grupo tratado de-
pois do programa, caso ele no tivesse passado pela interveno? A resposta a
essa pergunta seria normalmente negativa, j que h uma srie de fatores que
podem ter afetado o rendimento mdio do grupo tratado alm do programa.
Por exemplo, possvel que a situao do mercado de trabalho da localidade
onde residem os participantes do programa tenha melhorado ao longo dos
doze meses entre as coletas das informaes. Para ilustrar essa possibilidade,
suponha que essa mudana nas condies do mercado de trabalho tenha sido
responsvel por levar o rendimento mdio para o ponto associado forma
circular na Figura 2.1. Nesse caso, a variao do rendimento mdio que pode

ser atribuda ao programa deixa de ser os R$ 100 estimados inicialmente. Esse
exemplo mostra que, a menos que possamos controlar a influncia do merca-
do de trabalho e de todos os outros fatores que afetam o rendimento mdio
do trabalho, a simples comparao entre o que ocorre com o grupo de trata-
dos antes e depois do programa no identifica corretamente o efeito causal de
uma interveno. 23
2.2 Comparando os Tratados com os No

Tratados
Outra prtica ingnua comumente usada pelos no especialistas a que com-
para o grupo de tratados diretamente com um grupo de no tratados. Entre-
tanto, apenas por no ter passado pela interveno no significa que o grupo
de no tratados representa bem o que ocorreria com o grupo de tratamento
caso este no tivesse sido tratado. Em outras palavras, a ausncia do tratamen-
to para alguns no gera automaticamente o contrafatual de no tratamento
para outros.
As principais razes para isso esto relacionadas com as diferenas nas caracte-
rsticas observveis e no observveis (pelo avaliador) entre os dois grupos. Por
exemplo, possvel que, mesmo que os grupos sejam parecidos (em mdia)
em atributos observveis como gnero, idade, escolaridade, renda familiar etc.,
eles difiram em habilidades, motivao, esforo, e outras caractersticas que
tipicamente no esto disponveis nas bases de dados utilizadas nas avaliaes
de impacto. Na medida em que muitas dessas caractersticas podem afetar a
varivel de resultado sobre a qual se quer medir o impacto da interveno, o
uso da comparao direta entre os dois grupos no necessariamente mede o
efeito causal do programa. Afinal, as diferenas nas caractersticas no observ-
veis entre os grupos poderiam estar misturadas ao efeito do programa.
Para ilustrar esse problema, continuaremos com a situao hipottica da sub-

seo anterior. Assim, admita que o segundo questionrio usado com os par-
ticipantes do programa de treinamento tenha sido aplicado a uma amostra de
pessoas da mesma localidade que no tenham participado do programa. Su-
ponha que a mdia do rendimento do trabalho obtida com as informaes co-
letadas com esse grupo de no tratados aps o programa tenha sido de R$900.
Suponha que os dois grupos sejam idnticos, em mdia, nas caractersticas le-
vantadas no questionrio, que no incluiu nenhuma tentativa de medir a mo-
2
Vale observar que um conjunto de variveis observadas nos dados referentes aos prpri-
os indivduos podem ter mudado entre os dois perodos. Essas mudanas podem afetar a
diferena de rendimento mdio observada. Por exemplo, como a idade tende a influenciar
o rendimento mdio das pessoas, o fato de que se passou um ano entre os perodos de
comparao seria um fator adicional a explicar parte da diferena observada.

tivao das pessoas. A Figura 2.2 contm as informaes para os dois grupos
para o perodo depois do programa, onde o tringulo representa o rendimento
mdio do grupo de no participantes.
Figura 1: Rendimento mdio dos tratados e no tratados
Antes Depois
1100
1000 Impacto?
900
Embora as pessoas dos dois grupos sejam parecidas em mdia em diversas

caractersticas, no podemos afirmar que os R$ 200 de diferena no rendimen-
to mdio dos grupos (ou seja, a distncia entre o retngulo e o tringulo em
t=1) medem corretamente o impacto do programa de treinamento.3 Para isso,
basta admitirmos que a motivao (que no foi medida) seja uma caracterstica
que afeta o desempenho das pessoas no mercado de trabalho, incluindo o seu
salrio. Se os dois grupos diferem em termos de motivao diferena essa
3
Nesse exemplo, assumimos que no h informaes para o grupo de no tratados antes
da interveno. Essas informaes sero introduzidas no captulo 4 dentro do contexto do
mtodo de diferenas em diferenas.

que pode explicar porque o grupo tratado decidiu participar do programa e o
grupo no tratado preferiu no participar , ento provvel que parte dos R$
200 de diferena entre os grupos se deva ao fator motivao. Se isso ocorrer,
no podemos tratar essa quantia como o efeito causal do programa de treina-
mento.
Os prximos captulos desta parte do livro sero dedicados a apresentar um

conjunto amplo de metodologias que buscam isolar o efeito dos programas
dos efeitos causados por outros fatores que afetam a(s) varivel(eis) de resulta-
do de interesse. O arcabouo conceitual que apresentaremos na prxima seo
tem a finalidade de facilitar o entendimento dessas metodologias.
2.3 O Arcabouo de Resultados Potenciais

Para apresentar o arcabouo de modo formal, utilizaremos o algarismo 1 para
denotar a situao em que o indivduo tratado e o algarismo 0 para a situa-
o contrafatual na qual esse mesmo indivduo no tratado. Estamos interes-
sados em avaliar o impacto de um programa (por exemplo, um programa de
qualificao de mo de obra) sobre uma varivel de resultado (por exemplo,
o rendimento do trabalho). Denotando por essa varivel, podemos pensar
que seu valor para indivduo ser caso ele esteja na situao de tratado,
mas poderia assumir, pelo menos potencialmente, o valor caso ele no
seja tratado. A vantagem de apresentar o problema dessa forma explicitar
que cada uma das situaes est associada a um resultado potencialmente dis-
tinto para um mesmo indivduo. Assim, se fosse possvel observar o indivduo
nas duas situaes, a diferena forneceria o impacto do
programa para esse indivduo.
Cada indivduo possui um par de resultados potenciais e ca-

ractersticas observveis pelo avaliador, que denotaremos por meio do vetor
. Exemplos tpicos de caractersticas observadas que so includas em ava-
liaes so o gnero, a idade e a escolaridade da pessoa. Uma maneira ampla-
mente utilizada para especificar o modelo de gerao de valores dos resulta-
dos potenciais o par de equaes lineares:
onde o componente no observvel (pelo avaliador) que influencia os re-

sultados potenciais do indivduo .
Seja uma varivel discreta que assume valor igual a um se o indivduo par-

ticipa do programa e valor zero caso ele no participe. Trata-se, portanto, do
que chamamos de uma varivel binria (ou dummy, em ingls), cujos valores
unitrio ou nulo podem depender da deciso do indivduo de participar ou
no da interveno, respectivamente. O fato de que o valor dessa varivel pode
depender da deciso do indivduo importante, pois, como veremos, essa de-
ciso pode estar correlacionada com outros elementos que determinam ,
gerando o vis de autosseleo.
Dado o apresentado at aqui, podemos expressar a equao de resultados po-

tenciais como:
Note que ela informa o resultado observado para qualquer indivduo , pois
quando ocorre a participao no programa observamos a situao de
tratado, , ao passo que quando no h participao observamos a
situao de no tratado, .
Aplicando agora as equaes (1) e (2) na equao (3), esta ltima se transforma
em:
que uma equao de regresso linear cuja nica diferena em relao que-
las tipicamente encontradas em livros de estatstica e econometria bsica
que o parmetro que captaria o efeito do programa, , varia entre os indiv-
duos. Em muitas avaliaes, faz-se a hiptese de que o impacto do programa
igual para todos os indivduos, ou seja, para qualquer indivduo da
populao. Nesse caso, a equao (4) se especializa em4:
O maior problema para estimar corretamente o impacto do programa por

meio da equao (5) que a varivel potencialmente correlacionada com
o componente no observvel . Na realidade, bastante provvel que isso
ocorra, j que a participao no programa normalmente no se d de forma
aleatria. Ao contrrio, a participao geralmente decorre de uma deciso vo-
luntria do indivduo (ou da famlia), a qual pode ter sido tomada com base em
informaes que no so observadas pelo avaliador e, portanto, esto embu-
tidas no componente da equao (5). Um exemplo o que apresentamos na
seo 2.2, no qual os indivduos que participam de programas de treinamento
4
Tratar o impacto da interveno como homogneo na populao tende a ser uma hiptese
forte. De fato, parece mais razovel esperar que o efeito de grande parte dos programas seja
heterogneo entre as pessoas. Contudo, a hiptese de homogeneidade facilita a exposio
e, assim, a menos que explicitado no texto, estaremos supondo que ela se aplica.

so considerados mais motivados. Como motivao uma dimenso do com-
portamento das pessoas que pode afetar (por exemplo, o rendimento do
trabalho) e dificilmente medida nos dados (ou seja, passa a ser incorporada
em ), aparece um problema de correlao entre e que precisa ser resolvido
para que o parmetro de interesse, , seja corretamente estimado.
Esse problema de estimao incorreta de devido correlao entre a partici-

pao no programa ( ) e a parte no observvel ( ) geralmente recebe o nome
de problema de autosseleo. A magnitude dessa incorreo chamada de
vis de autosseleo. Sua denominao decorre do fato de que so os prprios
tratados que se selecionam para participar do programa. Se essa autosseleo
estiver associada com caractersticas no observveis dos indivduos, esse gru-
po se torna um grupo especial da populao (por exemplo, mais motivados),
o que pode afetar diversas variveis de resultado, tornando difcil o isolamento
do efeito causal do programa5.
Boa parte do esforo de pesquisa realizado at os dias de hoje na rea de ava-

liao tem sido dedicado a encontrar solues para contornar o problema da
autosseleo. A fim de apresent-lo de forma mais geral, considere as seguin-
tes mdias populacionais da varivel de resultado para os grupos de tratados
e no tratados6:
Note que somente e so mdias que podem ser calculadas direta-

mente dos dados. J e representam mdias contrafatuais, a primeira
correspondendo mdia para os tratados caso eles no tivessem sido tratados
e a segunda a mdia para os no tratados caso eles tivessem sido tratados.
5
Muitas vezes, o governo ou entidade gestora do programa que escolhe o grupo de in-
divduos ou famlias que recebero as aes da interveno. Se essa escolha recair sobre
parcelas especiais da populao em caractersticas no observveis, surge tambm uma
correlao entre o termo e a varivel de participao da equao (5). Nesse caso, muitas
vezes diz-se que h um problema de vis de seleo, mas no de autosseleo, pois no
so os prprios indivduos que se selecionam para participar do tratamento. A anlise do
problema permanece essencialmente a mesma, apesar das distintas denominaes.
6
Todas as expresses a seguir poderiam estar condicionadas ao vetor de caractersticas ,
ou seja, cada expresso poderia ser computada para diferentes combinaes dos valores
assumidos pelas variveis contidas nesse vetor. Para no tornar a notao demasiadamente
carregada, optamos por no o incluir nas expresses.

Em geral, na rea de avaliao, estamos interessados em computar o que se
costuma denominar de efeito mdio do programa sobre os tratados (EMPT):
ou seja, a diferena entre a mdia da varivel de resultado para os tratados na

situao de tratados e a mdia para esses mesmos indivduos na situao con-
trafatual de eles no terem passado pela interveno. O EMPT um parmetro
importante, uma vez que informa o impacto mdio do programa para aquela
parcela da populao que foi efetivamente tratada7.
Como mencionado anteriormente, o desafio encontrar um grupo que repre-

sente adequadamente o contrafatual do grupo tratado. comum o uso de um
grupo de indivduos no tratados como o grupo que representa o contrafatual
desejado por exemplo, o grupo de no participantes do nosso exemplo hi-
pottico do programa de treinamento da seo 2.1. Quando isso ocorre, geral-
mente calcula-se a diferena:
que tomada como o impacto mdio do programa. No entanto, isso tende

a ser um procedimento incorreto, uma vez que o grupo de no tratados no
necessariamente funciona como um bom contrafatual. Para ver isso formal-
mente, adicionaremos e subtrairemos da equao (7) a mdia contrafatual
:
Como se pode ver, D no igual ao EMPT por conta da existncia do termo

, que corresponde ao que denominamos
vis de autosseleo. Note que ele corresponde diferena de mdias da vari-
vel de resultado na situao de no tratamento (isto , ), quando os indiv-
duos participam ou no do programa.
7
Existem dois outros parmetros que tambm recebem bastante ateno na rea de avalia-
o. Um deles chamado de efeito mdio do programa sobre os no tratados (EMPNT): N =
E[Yi (1)|Ti = 0] E[Yi (0)|Ti = 0] = D01 D00, que mediria o impacto da interveno sobre
aquela parcela da populao que no foi tratada. O outro parmetro capta o impacto do
programa sobre um indivduo aleatrio da populao e recebe o nome de efeito mdio do
programa (EMP). Ele definido como: P = E[Yi (1)] E[Yi (0)], onde E[Yi (1)] e E[Yi (0)] so
respectivamente as mdias para tratados no caso de eles participarem ou no participarem
da interveno.

Como mencionado anteriormente, o termo autosseleo est associado deci-
so dos prprios indivduos de participar ou no da interveno.
Para que V seja igual a zero, a mdia observada para os no tratados, D00, deve
ser igual mdia do contrafatual que buscamos, D10. O problema que no
observamos D10 e, portanto, no temos como saber a magnitude do vis de
autosseleo embutido em D.
Nossa tarefa nos prximos captulos ser apresentar mtodos que buscam
solucionar o problema do vis de autosseleo. Cada mtodo lana mo de
certos procedimentos e hipteses para tentar resolver esse problema. Embora
cada metodologia v ser discutida em detalhes em cada captulo, faremos aqui
um sumrio das hipteses bsicas utilizadas.8
Considerado o padro-ouro da rea de avaliao, o primeiro mtodo baseia-se

na aleatorizao de indivduos, famlias ou at mesmo de comunidades intei-
ras para participar ou no do programa. Esse procedimento de aleatorizao
gera dois grupos experimentais, o de tratamento, formado pelos indivduos
que foram aleatorizados para participar do programa, e o grupo de controle,
composto pelos que foram aleatorizados para ficar de fora. O fato de que a par-
ticipao ou no no tratamento ou seja, na notao introduzida neste captu-
lo, o fato de a varivel T assumir valor um ou zero, respectivamente definida
pelo procedimento de aleatorizao garante que os grupos de tratamento e
controle sejam parecidos tanto nas caractersticas observveis quanto nas no
observveis. O vis de autosseleo fica assim contornado, permitindo que a
comparao entre os grupos identifique o efeito causal do programa.
Outro mtodo que discutiremos em detalhes chamado diferenas em diferen-

as (DID). Esse mtodo requer dados em painel das unidades tratadas e no
tratadas, com perodos de observao antes e depois da interveno. Ele re-
cebe esse nome porque duas diferenas so calculadas: a diferena entre os
perodos de tempo para cada unidade observada e a diferena entre as uni-
dades para cada perodo de tempo. Como os dados so em painel, o mtodo
comporta a presena de um termo invariante no tempo para cada unidade de
observao. Esse termo, que eliminado no cmputo da diferena temporal
para cada unidade, capta todas as caractersticas no observadas da unidade
que so constantes no tempo. A principal hiptese desse mtodo que a tra-
jetria da varivel de resultado do grupo de controle reflita a do grupo de tra-
tamento na ausncia da interveno. Embora essa hiptese no seja testvel,
uma indicao de sua validade ocorre quando os grupos possuam uma mes-
8
Assumindo a especificao linear da equao (5), se calcularmos
obteremos o impacto mdio do programa, , somado ao vis

de autosseleo, aqui representado por .

ma trajetria temporal da varivel de resultado antes da interveno. A ideia
que, se as trajetrias dos grupos so semelhantes no perodo pr-programa,
ento aumentam as chances de que a trajetria do grupo de controle aps o
programa represente bem a trajetria do grupo de tratamento na ausncia da
interveno. Neste caso, qualquer diferena entre os grupos que aparea aps
o programa pode ser interpretada como o impacto da interveno. Quando as
informaes disponveis cobrem um intervalo relativamente extenso antes do
programa, o teste de trajetrias iguais entre os grupos pr-programa passvel
de ser testada estatisticamente nos dados.
O mtodo denominado pareamento busca tornar o grupo tratado semelhante a

um grupo de no tratados, com base em um conjunto amplo de caractersticas
observadas dos indivduos. A hiptese que, ao levar em considerao essas
caractersticas, a varivel de resultado passa a independer da participao ou
no dos indivduos no programa ou seja, as variveis e tornam-se
independentes de T , fazendo com que o vis de autosseleo deixe de ope-
rar. Existem diversas maneiras de tornar os grupos de tratamento e controle
semelhantes em caractersticas observadas, sendo a mais utilizada conhecida
como mtodo do escore de propenso (MEP). Neste mtodo, assume-se que
a probabilidade de um indivduo participar do programa depende apenas de
um conjunto de caractersticas observadas, que esto disponveis nos dados
a serem utilizados pelo avaliador. Estimada essa probabilidade, o pareamento
dos grupos realizado em termos das semelhanas dessa probabilidade esti-
mada. A ideia por trs do MPE que, quando a probabilidade de participao
similar entre os indivduos tratados e no tratados, os dois grupos tornam-se
comparveis, o que permite identificar o efeito causal da interveno. A hipte-
se de que apenas as caractersticas observveis so suficientes para contornar
o vis de autosseleo no passvel de ser testada diretamente nos dados.
Muitos programas e polticas definem sua populao-alvo com base em crit-

rios que estabelecem valores de corte para quem pode ser ou no elegvel a
receber ou participar das aes da interveno. Por exemplo, o programa Bol-
sa-Famlia estabelece que somente a famlia cuja renda per capita est abaixo
de certa linha de corte pode receber a transferncia monetria prevista pelo
programa. Outro exemplo o programa de Jovens Aprendizes do governo fe-
deral, que fixa uma idade abaixo da qual um jovem estudante pode ser contra-
tado com benefcio fiscal por uma empresa no Brasil. O mtodo denominado
regresso descontnua procura explorar a existncia desse tipo de desconti-
nuidade nos critrios de elegibilidade dos programas para criar os grupos de
tratamento e controle. A ideia bsica que os indivduos no elegveis que
esto prximos linha de corte (por exemplo, acima dela) so comparveis
em caractersticas observveis e no observveis aos indivduos elegveis que
tambm esto prximos a essa linha (por exemplo, abaixo dela). Como a nica
diferena entre esses dois grupos de cada lado do valor de corte o fato de

um poder participar do programa e outro no, o problema de autosseleo
fica, pelo menos em princpio, resolvido. Assim, sob a hiptese de que no h
uma descontinuidade marcante na varivel de interesse em torno da linha de
corte para o grupo de no elegveis, a diferena nessa varivel entre os dois
grupos fornece o impacto do programa. Embora seja um mtodo que s pode
ser empregado para avaliar o impacto de intervenes que possuam linhas de
corte, ele considerado bastante consistente para estimar o efeito de progra-
mas nessa categoria, pelo menos para os indivduos que se situam em torno da
linha de corte estabelecida pelas regras dos programas.
O ltimo mtodo a ser apresentado nesta parte do livro o de variveis instru-

mentais. Trata-se de uma metodologia na qual se procura encontrar alguma
varivel (instrumento) que influencie a deciso de participar no programa e ao
mesmo tempo no seja correlacionada com as caractersticas no observadas
dos indivduos que afetam a varivel de resultado ou seja, uma varivel que
se correlacione com T, mas no com na equao (5). Como capaz de afetar
a participao no programa, mas no est correlacionada com as caractersti-
cas no observadas, essa varivel corrige o problema de autosseleo, permi-
tindo assim identificar o efeito causal de interesse. Naturalmente, a existncia
de uma varivel com essas caractersticas vai depender do contexto no qual o
programa est inserido e da disponibilidade dos dados. Ademais, tipicamente,
no possvel testar a validade da hiptese de que o instrumento no de fato
correlacionado com as caractersticas no observveis dos indivduos. De todo
modo, o mtodo de variveis instrumentais uma abordagem bastante geral
dentro da rea de econometria, sendo tambm bastante empregada na rea
de avaliao de impacto.

Exerccios
1) Um jornal de grande circulao apresentou numa matria um grfico com a
srie histrica da incidncia de diarreia em crianas de certo municpio. O gr-
fico mostrava que a incidncia de diarreia permanecia inalterada e a matria
dizia que o programa de saneamento do governo no teve nenhum impacto
sobre a doena. Essa afirmativa do jornal est correta? Por qu?
2) O prefeito de uma capital implantou um programa de alfabetizao de adul-

tos no terceiro ano de seu mandato. No ano seguinte, em campanha eleitoral,
ele comparou a taxa de analfabetismo da sua cidade com a do interior do es-
tado para mostrar que o programa era um sucesso. Seria o interior do estado
um bom grupo de controle para avaliar o programa implantado na capital?
Discuta.
3) Qual a mais importante funo do grupo de controle em uma avalio de

impacto?
4) Tipicamente, a escolha do curso universitrio uma deciso que envolve

uma anlise sobre as motivaes, interesses, aptides, os custos pessoais e fi-
nanceiros de fazer o curso, alm de uma previso sobre a renda que a profisso
escolhida pode oferecer no futuro. Tomando o curso universitrio como um
programa (de treinamento), responda os seguintes itens:
a) Seria o rendimento do trabalho de pessoas com ensino superior

influenciado por caractersticas normalmente no observadas pelo avaliador?
Cite algumas dessas caractersticas.
b) A escolha por entrar em certo curso universitrio equivale deciso

de participar de certo programa. Seria essa deciso correlacionada com o ren-
dimento futuro do trabalho dos formados?
c) Qual o principal tipo de problema que pode surgir se compararmos

diretamente os rendimentos do trabalho dos estudantes formados em diferen-
tes cursos?

CAPTULO 3
Mtodo de
Aleatorizao
O principal problema da rea de avaliao encontrar um grupo de controle

que represente adequadamente o contrafatual do grupo tratado, ou seja, um
grupo de comparao que seja o mais prximo possvel do que teria ocorrido
com o grupo tratado caso este no tivesse recebido a interveno. Embora a
situao contrafatual no tenha como ser concretamente observada, ela pode
ser bastante bem aproximada pelo uso do mtodo de aleatorizao. Este m-
todo, muitas vezes chamado de mtodo experimental, baseado na seleo
aleatria dos indivduos, famlias ou at mesmo comunidades inteiras que fa-
ro parte dos grupos de tratamento e controle.39 Quando bem implementado,
o mecanismo da aleatorizao fornece o balanceamento necessrio tanto das
caractersticas observadas quanto das no observadas das unidades que com-
pem os dois grupos. Portanto, por construo, o mtodo permite criar uma
situao na qual no h correlao entre ser ou no tratado e os atributos das
unidades de observao. O problema do vis de autosseleo fica assim resol-
vido.
A avaliao aleatorizada utilizada em diversos campos, sendo considerado o

procedimento de referncia para se estabelecer causalidade e medir o impac-
to de vrios tipos de tratamento. Por exemplo, ele amplamente empregado
nas reas de medicina e farmacutica, em que medicaes e procedimentos
mdicos so avaliados com base na aleatorizao dos indivduos que recebe-
ro ou no o tratamento em avaliao. Na realidade, tamanha a importncia
do mtodo de aleatorizao que o seu uso obrigatrio para se comprovar a
efetividade (e a existncia de eventuais efeitos adversos) dos medicamentos
que os laboratrios farmacuticos pretendem disponibilizar para uso humano.
Alm de ser o padro-ouro para determinar a causalidade de um tratamen-

to, o mtodo de aleatorizao tem outro apelo importante: sua simplicidade
9
O mtodo de aleatorizao recebe vrios nomes na literatura especializada, incluindo ex-
perimento social (controlado), experimento aleatrio, avaliao experimental, avaliao
aleatorizada ou mtodo experimental. Usaremos indistintamente essas denominaes ao
longo deste captulo e do livro.

de clculo. De fato, para obtermos o impacto da interveno com base nes-
se mtodo, basta subtrairmos a mdia da varivel de interesse do grupo de
tratamento da mdia correspondente calculada para o grupo de controle. Em
condies ideais, essa simples diferena de mdias fornece uma estimativa do
efeito causal do tratamento sobre os tratados. Esse atributo dos experimentos
sociais um atrativo importante, pois torna o mtodo mais transparente para
os gestores do programa e para o pblico em geral.
Contudo, apesar de suas diversas vantagens, o mtodo de aleatorizao no

est isento de problemas. Como veremos, a maior parte deles surge de situa-
es prticas que ocorrem aps a aleatorizao dos indivduos entre os grupos
experimentais. Os principais exemplos so o no comparecimento s ativida-
des do programa por parte de uma parcela do grupo selecionado para o tra-
tamento e a substituio da interveno por outros programas similares por
parte de uma frao do grupo de controle. Em ambos os casos, pode haver
uma mudana de composio das caractersticas entre grupos experimentais,
que foram selecionados a priori de forma aleatria, porm terminaram influen-
ciados a posteriori por decises de participao ou no no programa em ava-
liao ou em similares. Problemas desse tipo podem causar vieses no negli-
genciveis na estimao do efeito que se pretendia isolar com o experimento
aleatrio.
Neste captulo, apresentaremos as principais propriedades do mtodo de alea-

torizao, incluindo suas limitaes e possveis solues. Antes, porm, dis-
cutiremos um ponto importante existente na rea de avaliao de impacto, a
saber, a validade das concluses que podem ser inferidas a partir dos estudos
de avaliao.
3.1 Validade Interna e Validade Externa

A validade interna questiona se o desenho da avaliao identifica corretamente
o efeito causal de um programa. Quando um estudo possui validade interna,
seus resultados conseguem isolar o verdadeiro impacto do programa, isto ,
esto livres da influncia de outros fatores que no o prprio efeito da inter-
veno. Quando bem realizadas, as avaliaes baseadas em experimentos
aleatrios criam um grupo de controle que estatisticamente equivalente ao
grupo de tratamento antes do incio do programa. Em situao ideal, qualquer
diferena observada entre os grupos aps a interveno atribuda ao efeito
causal do programa. Tem-se ento que a seleo aleatria dos grupos de tra-
tamento e controle assegura a validade interna de uma avaliao. Ela garante
que os resultados da avaliao so vlidos dentro do contexto especfico da-
quela avaliao.

J a validade externa a capacidade de estender os resultados para fora do con-
texto da avaliao. Em outras palavras, uma avaliao possui validade externa
se for possvel generalizar as estimativas do impacto do programa avaliado
para outras populaes e outros momentos no tempo. Uma forma de garantir
a validade externa dos resultados em certo ponto no tempo que a amostra
utilizada na avaliao seja representativa da populao-alvo do programa na-
quele momento. Normalmente, quando a amostra obtida por mtodos de
amostragem aleatria da populao-alvo, essa representatividade assegu-
rada.
3.1.1 Validade Interna

A caracterstica bsica de um experimento aleatrio o uso de um mecanismo
que seleciona aleatoriamente os indivduos a participar ou no do programa.
Quando essa seleo aleatria feita de forma correta, cada indivduo perten-
cente ao conjunto de participantes potenciais tem a mesma probabilidade de
ser selecionado a participar da interveno, independentemente de suas ca-
ractersticas pessoais. Em outras palavras, quando o processo de aleatorizao
bem realizado, devemos esperar que os grupos de tratamento e controle se-
jam semelhantes tanto nas suas caractersticas observadas quanto nas no ob-
servadas. A nica diferena que se espera entre os dois grupos que o grupo
de tratamento participe do programa, ao passo que o de controle no passe
pela interveno.
A ideia de que deve haver um balanceamento de caractersticas entre os dois

grupos aleatorizados bastante natural. Para ver isso, considere uma situao
hipottica em que h 2000 indivduos elegveis para frequentar um programa
de treinamento bsico para o uso de planilhas eletrnicas em computadores.
Suponhamos que, nesse total de duas mil pessoas, 1200 (60%) sejam homens,
1000 (50%) tenham cabelo preto e 400 (20%) sejam hbeis com nmeros. Ad-
mita que esta ltima caracterstica seja difcil de medir e, nesse sentido, tor-
na-se no observada para ns. O que deveramos esperar do balanceamento
dessas caractersticas, se os 2000 potenciais participantes fossem aleatorizados
em dois grupos com 1000 indivduos em cada? intuitivo esperar que cada
grupo fosse composto de aproximadamente 60% de homens, 50% de pessoas
de cabelo preto e 20% com habilidades com nmeros, ou seja, devemos espe-
rar que os dois grupos sejam semelhantes entre si (e com o conjunto total de
indivduos).
Note que essa semelhana deve se dar tanto nas caractersticas observadas
(sexo e cor do cabelo) quanto nas no observadas (habilidade com nmeros,
no nosso exemplo). Isso importante, pois a aleatorizao que garante que,
em mdia, os dois grupos sejam similares em todas as dimenses. Na realidade,

essa equivalncia entre os grupos que permite utilizar o grupo de controle
como contrafatual para o grupo de tratamento. Esse o principal motivo que
faz com que o mtodo de aleatorizao seja considerado o padro-ouro de es-
tudos de efeitos causais. Em muitas reas, inclusive, a validade interna de uma
avaliao de impacto s aceita se esta for baseada na aleatorizao dos que
vo ou no receber o tratamento que se quer estudar. Por exemplo, na rea de
farmacutica, os medicamentos s so autorizados para uso geral se os labora-
trios conduzirem com sucesso um experimento em que o grupo que recebe
a medicao e o que no recebe (ou recebe um placebo) so selecionados de
forma aleatria.
3.1.2 Validade Externa

Sem a validade interna de uma avaliao, pouca utilidade ela ter para revelar
o verdadeiro efeito da interveno. No entanto, mesmo quando a validade in-
terna est assegurada, pode ocorrer de a avaliao ter sido realizada para um
grupo de pessoas que no representativo da populao-alvo do programa.
Por exemplo, se a avaliao de um programa nacional foi feita somente para
uma localidade (bairro, cidade ou estado), no possvel generalizar os resul-
tados da avaliao para o pas como um todo. Em casos como esses, no se
pode garantir a validade externa da avaliao, ou seja, os resultados no so
extensveis a outros grupos ou contextos.
A validade externa assegurada quando a amostra de indivduos que utili-

zada na avaliao representativa da populao de elegveis a receber o pro-
grama. Por exemplo, a avaliao de impacto de um programa de qualificao
profissional para jovens de ambos os sexos ter validade externa se a avaliao
for baseada numa amostra representativa desses grupos demogrficos. Natu-
ralmente, se a amostra contiver indivduos adultos ou for formada somente por
homens, as concluses da avaliao no podem ser generalizadas para a toda
a populao-alvo do programa. No entanto, no basta que a amostra s conte-
nha indivduos da populao-alvo; necessrio tambm que os indivduos da
amostra representem acuradamente essa populao.
Na prtica, a forma mais utilizada para garantir a representatividade de uma

amostra que ela seja uma amostra aleatria da populao que ela preten-
de representar.104 As mais importantes pesquisas socioeconmicas conduzidas
pelo IBGE e outros institutos oficiais de estatstica do mundo so baseadas em
10
Para tanto, ela dever ter sido escolhida com base em algum mtodo de amostragem. H
uma diversidade de mtodos para selecionar uma amostra aleatria de uma populao. En-
tre os mais empregados esto as amostragens simples e estratificada. Foge do escopo deste
livro um tratamento mais amplo dos mtodos de amostragem. Uma apresentao desses
mtodos pode ser encontrada no livro clssico de Cochran (1977).

amostras aleatrias retiradas da populao dos pases. No caso de uma amos-
tra para fins de avaliao de impacto de um programa, a representatividade
da populao de elegveis est assegurada se a amostra a ser empregada na
avaliao for escolhida de forma aleatria a partir dessa populao.
Note que a aleatorizao que garante a validade externa de uma avaliao no

assegura a validade interna dessa avaliao, e vice-versa. Se a avaliao utiliza
uma amostra aleatria da populao-alvo do programa, mas a participao no
tratamento no realizada atravs de aleatorizao, ento a amostra deve ser
representativa da populao de elegveis, porm os resultados da avaliao
podem no ter validade interna. Distintamente, caso a amostra no seja aleat-
ria da populao-alvo, mas a participao no programa seja aleatorizada entre
os grupos de tratamento e controle, os impactos computados pela avaliao
sero internamente vlidos, porm no tero validade externa.
3.2 Custos da Aleatorizao

Durante as ltimas dcadas, o mtodo experimental vem sendo cada vez mais
utilizado em avaliaes de impacto de programas sociais. Esse crescimento
tem sido observado tanto em pases ricos quanto pobres, e tem coberto in-
tervenes nas reas de educao, sade, treinamento profissional, pobreza,
entre outras.
Contudo, apesar desse crescimento, o mtodo de aleatorizao (ainda) est

longe de ser o predominantemente utilizado em avaliaes de impacto de pro-
gramas sociais. Mas por que ele no o mais utilizado, visto que o nico que
garante com poucas hipteses a validade interna das avaliaes de impacto? A
resposta a essa pergunta reside em trs conjuntos de fatores: ticos, financei-
ros e tcnicos.
Muitos argumentam que no tico negar a participao em certo progra-

ma social com base num mecanismo de aleatorizao. Afinal, dizem os que se
opem ao mtodo, quando se trata de um programa social no eticamente
correto deixar pessoas fora do programa com base num simples lanamento
de moeda. Sem dvida, no se cogita utilizar aleatorizao para casos de in-
tervenes de ampla escala (por exemplo, programas de vacinao), ou para
pblicos-alvo muito especficos (por exemplo, pessoas com algum tipo de de-
ficincia). No entanto, h pelo menos duas situaes importantes em que esse
problema tico no se coloca.
A primeira, mais comum, ocorre quando existe escassez de vagas para atender
toda a demanda ou pblico-alvo do programa. Nessa situao, pode-se inclu-
sive justificar o uso da aleatorizao como o critrio mais justo de alocao

das vagas existentes entre os candidatos ao programa. De fato, se pensarmos
bem, ao invs de utilizar o tradicional critrio de atendimento por ordem de
chegada, em muitas situaes pode ser mais correto oferecer as vagas dispo-
nveis garantindo a todos os elegveis a mesma probabilidade de acesso a elas.
Se, por exemplo, h escassez relativa de vagas e no se conhece bem onde os
elegveis moram, parece mais justo receber todas as inscries e selecionar os
participantes via um processo de aleatorizao por exemplo, retirando alea-
toriamente os nomes de uma urna na presena dos inscritos do que oferecer
as vagas disponveis para os primeiros que chegarem ao local de inscrio. A
aleatorizao das vagas, nesse sentido, no recomendada para assegurar so-
mente a validade interna da avaliao, mas tambm para garantir a igualdade
de oportunidade de acesso aos servios do programa.
A segunda situao na qual mais fcil eticamente utilizar o mtodo de alea-

torizao ocorre quando os recursos do programa (financeiros, de pessoal ou
operacionais) so limitados e, apesar de se planejar atender toda a populao
-alvo ao final da implementao, s possvel incluir os elegveis ao longo do
tempo. Em casos como esse, ningum ser privado de participar do programa;
o que se aleatoriza somente a ordem com que os elegveis entram no pro-
grama. Ao longo do processo gradual de entrada no programa, os que ainda
no tiverem participado servem como grupo de controle para os que j foram
selecionados. Muitas vezes, essa aleatorizao gradual no realizada no nvel
indivduo ou famlia e sim em um nvel mais agregado como bairros, comuni-
dades ou municpios. Um exemplo bastante conhecido de aleatorizao gra-
dual foi o programa mexicano de transferncia condicional de renda, Progresa
(hoje em dia chamado Oportunidades), que teve a primeira parcela dos muni-
cpios considerados elegveis selecionados de forma aleatria pelos gestores
do programa.
Mas no s por razes ticas que os experimentos sociais no so realizados

com mais frequncia. Outro motivo importante que eles podem ser dispen-
diosos em relao ao oramento global do programa. Tipicamente, a avaliao
aleatorizada de um programa social requer a mobilizao de vrios recursos,
tais como o tempo dos gestores do programa, a contratao de pessoal tcni-
co e a realizao de pesquisas de campo com as unidades tratadas e de con-
trole. Este ltimo componente requer o uso de questionrios especialmente
desenhados para a avaliao do programa em questo, que so geralmente
aplicados em dois momentos do tempo: o primeiro tipicamente no momento
da inscrio no programa e o segundo alguns meses aps o final da interven-
o. Normalmente, este componente que requer o maior volume de recursos
financeiros e, portanto, o que merece mais ateno no planejamento da ava-
liao. Assim, apesar de todas as vantagens do mtodo experimental, impor-
tante contrapor os benefcios e custos de sua aplicao vis--vis a de outros
mtodos.

H tambm razes de natureza tcnica que dificultam o uso de experimentos
aleatrios. Entre as mais importantes esto: o no comparecimento ao progra-
ma de uma parcela dos indivduos do grupo de tratamento; a possibilidade de
que pelo menos parte do grupo de controle acabe encontrando uma maneira
de entrar no programa ou substitu-lo por um semelhante; e a perda de ob-
servaes por atrito amostral, isto , a perda das informaes sobre unidades
tratadas e de controle ao longo do tempo. Essas e outras dificuldades tcnicas
sero discutidas com mais detalhes na seo 3.4.
3.3 Como a Aleatorizao Resolve o

Problema de Autosseleo
Tipicamente, estamos interessados em estimar o efeito mdio do programa so-
bre os tratados (EMPT). Como vimos no captulo 2 (seo 2.3), esse parmetro,
que denotamos por D, expresso por:
(1)
ou seja, um parmetro que mede a mdia da varivel de resultado para a popu-

lao de tratados quando ela tratada subtrada da mdia da mesma varivel
para a mesma populao, porm na situao contrafatual de no tratamento.
Olhando para essa expresso, possvel perceber que a primeira mdia pode
ser calculada diretamente a partir de informaes para a populao de trata-
dos. No caso de um experimento social, essa mdia fornecida pelos dados
coletados para o grupo de tratamento, o qual foi aleatoriamente selecionado
para participar do programa.
O grande problema como obter a segunda mdia da expresso (1), ou seja,

como encontrar a verdadeira mdia da varivel de interesse caso os tratados
no tivessem sido tratados. aqui que o mtodo de aleatorizao d a sua
maior contribuio, pois o grupo que foi aleatorizado para fora do programa
capaz de prover essa mdia. Especificamente, ao construir os grupos de trata-
mento e controle com base num mecanismo de aleatorizao, o experimento
social torna a varivel que indica tratamento, T, independente dos resultados
potenciais. Essa independncia se d por fora do prprio processo de aleatori-
zao. Assim, enquanto um grupo qualquer de indivduos no tratados fornece
um grupo de controle escolhido de forma aleatria assegura
que Note que, ao garantir a validade desta
ltima igualdade, o experimento aleatrio consegue resolver o vis de autos-
seleo.

Podemos tambm utilizar equaes lineares tpicas dos modelos estimados
por Mnimos Quadrados Ordinrios (MQO) para entender como a aleatorizao
resolve o problema do vis de autosseleo. Considere a equao:
onde o termo aqui capta tanto as variveis observadas quanto as no ob-

servadas do indivduo i. Nessa equao, o parmetro deve captar o efeito do
programa e o vis de autosseleo aparece pela potencial correlao entre T
e . Essa correlao pode se dar porque a participao no programa correla-
cionada tanto com algumas caractersticas observadas quanto no observadas
das pessoas. Por exemplo, possvel que, quanto maior a motivao dos indi-
vduos, maior a chance de participao num programa de treinamento de mo
de obra.
A expresso para a mdia condicional da equao (2) dada por:
O que a aleatorizao garante que a participao no programa independen-

te das caractersticas observadas e no observadas dos indivduos, exatamente
como no exemplo da seo 2.1.1, em que os grupos de tratamento e controle
tm todos os atributos semelhantes. a gerao dessa independncia entre T
e que faz o mtodo de aleatorizao ser capaz de anular o vis de autossele-
o. Em termos da equao (3), isso significa que a aleatorizao faz com que:
ou seja, garante o atendimento de uma das hipteses fundamentais (mdia

condicional zero do erro) para que o modelo de MQO gere um estimador no
-enviesado dos parmetros da regresso. Devido ao resultado da expresso (4),
podemos escrever que:
o que comprova que o mtodo isola corretamente o efeito de interesse. Note

que a estimao do efeito pode ser feita com base numa simples regresso de
MQO ou, como mostra a expresso (5), atravs do simples cmputo da diferen-
a de duas mdias amostrais: onde e repre-
sentam a varivel de resultado respectivamente para os indivduos tratados
e indivduos no tratados. Essa simplicidade de clculo uma das grandes
vantagens do mtodo de aleatorizao.11 5
11
Em termos de inferncia, o teste de se o parmetro diferente de zero (o conhecido
teste-t) equivalente ao teste de diferenas de mdias. Este ltimo baseado na estatsti-

Embora tenhamos incorporado as caractersticas observadas dos indivduos ao
termo na equao (2), possvel explicit-las no modelo sem produzir gran-
des alteraes nos resultados obtidos at agora. Considere ento a equao (2)
modificada pela introduo do vetor de caractersticas observadas X:
onde o primeiro elemento de X igual a um e um vetor de parmetros con-

forme a X. Se bem realizado, o experimento aleatrio assegura que:
oqueimplicaqueadiferena:
isola o parmetro de interesse.126
Um ponto adicional que, em princpio, a aleatorizao garante que tanto

as caractersticas observadas como as no observadas so balanceadas entre
os grupos de tratamento e controle. Ou seja, se os dados contm K diferen-
tes caractersticas dos indivduos (sexo, idade, escolaridade, renda familiar,
entre outras), devemos esperar que a mdia de cada caracterstica conti-
da em para o grupo de tratamento seja igual mdia da
mesma varivel para o grupo de controle. Formalmente, isso significa que
um resultado que pode ser tes-
tado com base nos dados coletados para os dois grupos experimentais.13 7
Na
realidade, sempre recomendvel testar o balanceamento das caractersticas
observadas entre os grupos, pois caso ocorra rejeio da hiptese de balancea-
mento para muitas variveis em X, h indicao de que o protocolo de aleato-
rizao no foi bem realizado, o que pode comprometer a acurcia com que os
efeitos do programa so estimados.
ca onde representa o desvio-padro da diferena de mdias. Como as

amostras dos grupos de tratamento e controle so independentes, em
que e denotam o nmero de observaes das amostras dos dois grupos, respecti-
vamente.
12
Embora a prova da afirmao a seguir esteja fora do escopo deste livro, vale assinalar que
o modelo expresso por (2) e (3) pelo menos to eficiente quanto o expresso por (2) e (3).
Em outras palavras, o parmetro pode ser estimado de forma mais precisa com a incluso
das caractersticas em no modelo (desde que os coeficientes em sejam diferentes de zero).
13
H vrias formas de se testar este resultado. Um das mais empregadas o teste para dif-
erenas de mdias de amostras independentes. Esse teste bastante confivel quando a
aleatorizao dos grupos de tratamento e controle feita com base no mtodo de amostr-
agem aleatria simples. Todavia, caso a aleatorizao dos grupos seja realizada de forma
estratificada exemplos tpicos de estratos so: escola, turma, clnica, bairro, etc. , no nec-
essariamente esse o teste mais recomendado. Para maiores detalhes, ver Firpo et al. (2011).

comum que os programas sociais gerem efeitos distintos para diferentes gru-
pos da populao. Por exemplo, programas de treinamento de mo de obra
tendem a mostrar impactos diferenciados entre mulheres e homens e entre
jovens e adultos. Tipicamente, a incorporao desse tipo de heterogeneidade
ao modelo importante, j que revela aos gestores para que grupos socioeco-
nmicos o programa pode ser aperfeioado.
Caso o tamanho da amostra de indivduos nos grupos de tratamento e con-

trole seja suficientemente grande, possvel estimar o impacto do programa
particionando a amostra entre os estratos para os quais se quer conhecer o
efeito. Por exemplo, se se quer conhecer o efeito de um programa de creche
gratuita para diferentes reas de um municpio, pode-se calcular a diferenas
de mdias da varivel de interesse (e.g., participao no mercado de trabalho
das mulheres) entre o grupo de tratamento e controle separadamente para
cada rea da cidade. Naturalmente, importante que a amostra para cada rea
da cidade seja relativamente grande, caso contrrio o impacto no ser preci-
samente medido.
Podemos tambm utilizar uma variante da equao (2) para computar impac-
tos heterogneos de um programa para grupos formados pelas caractersticas
que aparecem no vetor X. Para operacionalizar essa estratgia, basta interagir
as variveis em X, para as quais temos interesse em medir separadamente o im-
pacto do programa, com o indicador de tratamento T. Para verificar isso, supo-
nha que queiramos medir o efeito mdio de uma interveno separadamente
para homens e mulheres, os quais so identificados na base de dados pela va-
rivel binria com 1 para mulheres e 0 para homens. Denotemos
por X* todas as variveis presentes em X que no Se escrevermos:
o efeito do programa para as mulheres pode ser obtido por meio de:
e para os homens via:
Comparando as duas ltimas expresses, v-se que a potencial heterogeneida-

de de impacto entre os grupos de gnero dada pelo parmetro . A realizao
de um simples teste t para permite inferir se ele nulo ou no. Da mesma
forma que para , outras variveis presentes em X poderiam ser interagidas
com T para obtermos o impacto diferenciado do programa segundo essas ca-
ractersticas.

3.4 Dificuldades Tcnicas da Aleatorizao
Apesar de os experimentos sociais apresentarem importantes vantagens sobre
outros mtodos de avaliao de impacto, eles no esto livres de problemas.
Na seo 3.2, abordamos os problemas de natureza tica e financeira que po-
dem surgir para se implementar um experimento social. Nesta seo, discutire-
mos algumas dificuldades de natureza mais tcnica que, caso no sejam ade-
quadamente tratadas, podem comprometer bastante a acurcia os resultados
obtidos.
Quatro so as principais dificuldades tcnicas que aparecem na realizao dos

experimentos aleatorizados. A primeira o no comparecimento de uma par-
cela dos indivduos selecionados para o grupo de tratamento para realizar o
programa. A segunda, muito frequente, a substituio do programa em ava-
liao por outros semelhantes por parte dos indivduos do grupo de controle.
A terceira dificuldade, chamada atrito amostral, tipicamente aparece quando
h coleta de dados em mais de um ponto do tempo e ocorre perda de ob-
servaes de um conjunto de indivduos da amostra entre perodos. A quarta
dificuldade surge quando o prprio programa gera externalidades para os no
tratados incluindo os membros do grupo de controle , o que pode distorcer
os efeitos computados.
No Comparecimento
Um dos problemas mais comuns de um experimento social aleatrio ocorre
quando, aps terem sido selecionados para participar do programa, alguns
indivduos do grupo de tratamento no aparecem de fato para realizar as
atividades previstas na interveno. O no comparecimento desse subgrupo
altera o grupo de tratamento, o que pode comprometer a identificao dos
impactos do programa, especialmente se a desistncia estiver associada com
caractersticas no observadas dos desistentes. Por exemplo, se os menos mo-
tivados entre os selecionados para o programa so os que no comparecem, a
composio do grupo de tratamento deixa de ser parecida com a do grupo de
controle nessa caracterstica. Assim, se motivao for um determinante impor-
tante da varivel de resultado (por exemplo, busca por emprego), a diferena
de composio que aparece a posteriori entre os dois grupos ir comprometer
o isolamento do que efetivamente o impacto do programa.
Uma forma de olhar para esse problema que ocorre uma distino entre a
oferta e a participao propriamente dita no programa. Essa distino, que
ocorre com vrios programas sociais e no somente com experimentos alea-
torizados, pode criar uma diferena entre o impacto que os gestores intencio-
navam que o programa tivesse para o pblico elegvel em geral e o impacto

que de fato ocorreu para o pblico efetivamente tratado. Na realidade, essa
diferena de impactos tem sido amplamente discutida na literatura de avalia-
o de impacto e pode ser entendida dentro do arcabouo dos experimentos
aleatrios.
Suponhamos que os gestores de um programa de treinamento tenham aleato-

rizado a oferta de vagas entre os indivduos de uma comunidade. Seja Z uma
varivel binria que assume valor unitrio quando um indivduo aleatorizado
para o grupo de tratamento e valor zero quando a aleatorizao para o grupo
de controle. Caso uma frao dos que foram alocados para o grupo de trata-
mento no aparecerem para participar do curso, haver uma distino entre a
varivel Z e a varivel que identifica quem efetivamente compareceu, T. Assim,
se a estimao for realizada com base na diferena
no estaremos identificando o EMPT, mas sim outro parmetro, que recebe o
nome de efeito da inteno de tratar (EIT).143
Dada a frequncia com que o problema de desistncia ocorre, a estimao do

EIT pode ser to relevante quanto a do EMPT. De fato, enquanto o EMPT forne-
ce o impacto somente para os tratados, o EIT informa os gestores sobre como
a disponibilidade do programa afeta em mdia a populao de elegveis. Isso
importante, j que, na prtica, o mximo que os gestores normalmente conse-
guem fazer oferecer o programa populao-alvo, no tendo como obrig-la
a frequent-lo.
Mas o no recebimento dos servios do programa por parte de uma parcela do

grupo de tratamento no impede que o mtodo de aleatorizao seja capaz de
identificar o efeito do programa. Se olharmos com cuidado a situao, poss-
vel perceber que a varivel Z deve ser correlacionada com a varivel T, porm
no associada com qualquer determinante (observado ou no) da varivel de
resultado, Y. Isso permite utiliz-la como um instrumento no mtodo de va-
riveis instrumentais, um tema que ser tratado com detalhes no captulo 6.
Substituio
O problema inverso tambm costuma ocorrer com os indivduos que compem
o grupo de controle. Idealmente, num experimento social, nenhum membro
desse grupo deveria receber os servios do programa ou de um substituto
prximo dele. Contudo, na prtica, no incomum que uma parcela do gru-
po acabe entrando no programa em avaliao ou em algum programa similar.
Quanto mais substituvel a interveno sendo avaliada, maior a possibilidade
de que os controles busquem um tratamento parecido em algum outro lugar.
Implicitamente, estamos assumindo que o efeito da interveno heterogneo entre as
14
pessoas. Naturalmente, na hiptese de que o efeito igual para todos, no haveria diferena
entre o EIT e o EMPT.

A principal consequncia dessa substituio do programa que o grupo de
controle experimental deixa de corresponder ao contrafatual do estado no
tratamento. Como decorrncia, a mdia da varivel de resultado para o grupo
de controle, deixa de fornecer a mdia que se buscava com o ex-
perimento aleatrio, Com isso, a simples diferena das mdias
calculadas para os grupos de tratamento e controle experimentais no isola
mais o impacto do programa.154
Naturalmente, para se estimar o efeito causal da interveno nessa situao

de substituio do programa h que se recorrer a estratgias de identificao
alternativas. Como no caso do no comparecimento s atividades do progra-
ma por parte do grupo de tratamento, uma estratgia fazer uso da varivel Z
como instrumento quando h substituio do programa por parte dos contro-
les. Essa estratgia de identificao ser discutida no captulo 6.
Outra possibilidade assumir que o efeito do programa substituto para os con-

troles que dele participam igual ao efeito do programa em avaliao para os
efetivamente tratados (Heckman et al., 1999). Se representa respec-
tivamente as situaes em que um indivduo do grupo de controle recebe um
tratamento alternativo e no recebe tratamento nenhum, essa hiptese pode
ser expressa por:
onde representaria a varivel de resultado no caso do recebimento do

tratamento alternativo ao em avaliao. Trata-se claramente de uma hipte-
se forte, cuja invocao requereria uma anlise cuidadosa dos contedos das
duas intervenes em questo.
Atrito
Em quase todas as pesquisas que coletam dados de campo em mais de um
momento do tempo h perda de informaes sobre alguns indivduos que no
so encontrados nos perodos subsequentes ao primeiro. H diversos motivos
que levam ao aparecimento desse atrito amostral, mas muitos deles so no
-aleatrios, ou seja, podem estar relacionados s caractersticas (no observa-
das) dos indivduos ou ao impacto de interesse. Normalmente, quando o atrito
no aleatrio, a estimao do efeito causal do programa por meio da compa-
rao entre tratados e controles torna-se potencialmente enviesada.
A apario desse tipo de vis mais provvel quando a taxa de atrito difere
entre o grupo de tratamento e o grupo de controle. Na prtica, essa a situao
15
Novamente, sob a hiptese de que o efeito do programa homogneo para todos, essa
diferena identificar o impacto do programa.

mais comum, com a taxa do grupo de controle sendo tipicamente mais eleva-
da que a do grupo de tratamento. Muitas vezes, a negao do programa aos
controles gera uma reao de recusa por parte deles em fornecer informaes
aos entrevistadores do programa. Em alguns casos, os controles, quando se
veem na situao de no encontrar um programa alternativo perto de onde
moram, se mudam para outras localidades, tornando mais difcil a coleta sub-
sequente de informaes.
Como j mencionado, sempre boa prtica comparar as caractersticas obser-

vadas dos grupos de tratamento e controle, antes e aps o tratamento. Essa
comparao pode ser particularmente informativa quando a taxa de atrito
substancial, pois, se aparecerem diferenas marcantes entre os dois grupos nas
caractersticas observadas, provvel que o atrito tenha alterado tambm a
composio dos atributos no observados entre os grupos. Tipicamente, a re-
soluo do problema do vis de atrito amostral requer o uso complementar de
hipteses comuns aos mtodos no experimentais.165
Externalidades
Alm das limitaes acima apontadas, os experimentos aleatrios tambm po-
dem estar associados a dois outros tipos de problemas. O primeiro um efeito
de transbordamento do programa sobre o grupo de controle, ou seja, uma ex-
ternalidade (positiva ou negativa) que gerada pelo prprio tratamento so-
bre a varivel de resultado do grupo de controle. Por exemplo, se os grupos
de tratamento e controle de um programa de combate obesidade infantil
so escolhidos aleatoriamente dentro das escolas, provvel que o tratamento
acabe afetando indiretamente o grupo de controle, j que as crianas trata-
das podem influenciar o comportamento alimentar das crianas do grupo de
controle (dentro ou fora da escola). Em casos como esse, mais recomendado
realizar a aleatorizao dos grupos experimentais entre escolas, preferencial-
mente guardando certa distncia entre as selecionadas para cada grupo. Esse
tipo de cuidado deve ser sempre tomado com intervenes de sade, educa-
cionais, alimentares, entre outras, em que podem ocorrer externalidades de-
vido ao contato fsico ou de comunicao dos indivduos tratados com os no
tratados. 176
16
Uma forma comumente utilizada especificar uma equao dos determinantes do atrito
amostral e estim-la conjuntamente com a equao da varivel de resultado. Geralmente,
esse procedimento realizado utilizando-se variveis instrumentais, um mtodo que ser
apresentado no captulo 6. O leitor mais interessado encontrar em Grasdal (2001) uma dis-
cusso sobre esse procedimento no contexto de avaliao de impacto. Duflo et al. (2008)
prov uma apresentao do problema de atrito amostral no contexto de experimentos ale-
atrios.
17
H algumas tcnicas para averiguar a existncia de efeitos de transbordamento para fora
do grupo de tratados. Uma delas, utilizada num estudo sobre os efeitos de um programa de

Finalmente, o ltimo problema que precisa ser levado em considerao a
ocorrncia de efeitos de equilbrio geral, isto , efeitos que o programa pode
ter sobre o funcionamento da economia do local onde ele ocorre. Esses efei-
tos so mais comuns quando a escala do programa grande relativamente
ao tamanho da economia. Por exemplo, o programa Bolsa-Famlia atende uma
proporo que pode chegar a quase 90% da populao de vrios municpios
pequenos no Brasil. Em municipalidades como essas, as transferncias de ren-
da s famlias beneficiadas pelo programa pode gerar um impacto significativo
sobre a demanda por diversos bens e servios dessas localidades, resultando
em mudanas de preos e salrios. Esse tipo de efeito agregado da interveno
tende a alterar o prprio estado do contrafatual de no tratamento, tipicamen-
te concebido para uma situao na qual no h mudanas na economia de-
correntes do prprio programa. Os efeitos de equilbrio geral podem provocar
uma reao dos agentes sobre suas decises futuras em relao varivel de
interesse, pelo menos no longo prazo. Por exemplo, um amplo programa de
concesso de bolsas de estudos universitrias pode ter efeito positivo sobre a
entrada dos beneficirios na universidade. No entanto, devido a sua escala, o
programa tambm tende a alterar o retorno educao superior, o que pode
afetar as decises das pessoas de fazer curso superior no futuro.
A maior parte das avaliaes de impacto no leva em conta esse tipo de efeitos
indiretos do programa na economia e nas decises dos agentes. Essa prtica
no recomendada, especialmente nos casos de intervenes de larga escala.
A forma tpica de resolver esse problema lanar mo de um modelo estrutu-
ral geral que incorpore de forma explcita o comportamento dos agentes. Aps
a estimao dos parmetros do modelo inclusive o referente ao impacto do
programa , possvel simul-lo para conhecer os efeitos diretos e indiretos da
interveno.
aplicao de drogas de combate a vermes em escolas do Qunia (Miguel e Kremer, 2004),

faz uso de diferentes nveis de exposio ao tratamento para analisar as externalidades (pos-
itivas) do programa nas localidades prximas s escolas. Ver Duflo et al. (2008) para uma
apresentao de outras tcnicas para estudar a presena de externalidades de intervenes
avaliadas pelo mtodo de aleatorizao.

Box 1: Avaliao Experimental do Planfor
Lanado em 1995 pelo governo federal, o a situao de trabalho foram levantadas no
Plano Nacional de Formao Profissional segundo questionrio. Apesar da ocorrncia
(Planfor) foi um programa de qualificao de atrito (isto , perda de observaes entre
que ofereceu cursos de treinamento pro- a linha de base e o follow-up), as amostras
fissional para uma variedade de ocupaes finais permaneceram grandes, com a do Rio
tais como garom, cabeleireiro, vendedor, de Janeiro contendo 2256 indivduos (1201
eletricista, costureiro etc. Os principais ob- tratados) e a de Fortaleza, 2517 (1210 trata-
jetivos do programa eram aumentar a em- dos).
pregabilidade e a capacidade de gerao
de renda dos trabalhadores da sua popula- A Tabela B.1 contm as estimativas do im-
o-alvo, que era prioritariamente formada pacto do Planfor separadamente para cada
de desempregados e pessoas em situao regio metropolitana (Ipea e Cedeplar,
de desvantagem social. A inscrio no pro- 2000). As variveis de resultado so a pro-
grama era voluntria e os cursos costuma- poro de ocupados e a taxa de desempre-
vam durar entre 30 e 60 dias, em geral com go. As estimativas para cada grupo experi-
uma carga horria de 60 horas por ms. Os mental esto apresentadas em termos das
servios de treinamento eram basicamente diferenas nessas variveis entre os pero-
providos por escolas especializadas, univer- dos anterior e posterior aos cursos. O impac-
sidades, sindicatos e organizaes no go- to calculado simplesmente pela subtrao
vernamentais. dessas diferenas entre os dois grupos, ou
seja, pelo procedimento conhecido por di-
Em 1998, o Planfor passou por uma avalia- ferenas em diferenas, a ser tratado em de-
o de impacto realizada com base no m- talhes no captulo 4.
todo de aleatorizao. Especificamente, fo-
ram avaliados os cursos oferecidos no ms Os resultados mostram que o programa pa-
de setembro de 1998 nas regies metropo- rece ter tido um impacto positivo em ter-
litanas do Rio de Janeiro e de Fortaleza. Na mos de ocupao em ambas as regies. Es-
inscrio para os cursos, os indivduos res- pecificamente, vemos que a proporo de
ponderam um questionrio normalmen- ocupados aumentou mais entre os trata-
te chamado de linha de base com uma dos do que entre os controles tanto no Rio
srie de perguntas sobre suas condies so- de Janeiro quanto em Fortaleza, gerando
cioeconmicas e de trabalho. Como houve um impacto positivo de cerca de 2 pontos
excesso de demanda, os grupos de trata- de percentagem (pp) na primeira regio e
mento e controle foram formados pela ale- de aproximadamente 3 pp na segunda. No
atorizao dos inscritos nos diversos cursos caso da taxa de desemprego, as estimativas
oferecidos em cada regio. Em novembro indicam que o programa s foi capaz de re-
de 1999, um segundo questionrio foi apli- duzir essa taxa no Rio de Janeiro. De fato, em
cado aos indivduos de ambos os grupos Fortaleza, embora a estimativa pontual do
normalmente chamado de acompanha- impacto seja na direo de aumento da taxa
mento (ou follow-up) que puderam ser de desemprego, do ponto de vista estatsti-
encontrados cerca de um ano depois do in- co o efeito pode ser considerado nulo, pelo
cio dos cursos. Novamente, perguntas sobre menos ao nvel de significncia de 10%.
Tabela B.1: Estimativas do Impacto do Planfor para Rio de Janeiro e Fortaleza

Rio de Janeiro Fortaleza
Fonte: Ipea e Cedeplar (2000).

Nota: Os nmeros entre parnteses correspondem aos erros-padro calculados para as amostras de cada
grupo experimental e regio metropolitana. Os nmero entre colchetes referem-se aos p-valores reportados
para as estimativas do impacto do programa.

Box 2: Impacto das Creches Pblicas no Rio de Janeiro sobre
a Participao das Mulheres no Mercado de Trabalho
Na cidade do Rio de Janeiro, existe um de aleatorizao. Em Barros et al. (2011),

conjunto amplo de creches que recebem empregou-se o procedimento de variveis
algum financiamento do governo para fun- instrumentais a ser discutido no captulo
cionar. Espera-se que as creches tenham 6 para se estimar um parmetro conheci-
efeitos positivos tanto no desenvolvimen- do como efeito mdio local do tratamento
to das crianas quanto na insero das suas (EMLT). Sendo Y a varivel de resultado,
mes no mercado de trabalho. As evidn- T uma varivel binria que indica se uma
cias mostram que um desenvolvimento mulher pertence ao grupo de tratamento
adequado na primeira infncia tem efeitos ou controle ( T = 1 ou 0, respectivamente)
cognitivos e no-cognitivos positivos, com e Z uma varivel tambm binria que mar-
repercusses de longo prazo para as pes- ca quais mulheres efetivamente tiveram ou
soas na fase juvenil e adulta. A liberao de no seus filhos matriculados nas creches (Z
tempo que as creches propiciam para um = 1 ou 0, respectivamente), o estudo citado
maior engajamento das mes com o mer- estimou o seguinte parmetro:
cado de trabalho tambm considerada
importante, especialmente para as famlias
E[Y|T=1]_ E[Y|T=0]
de baixa renda. EMLT=
P[Z=1|T=1]_ P[Z=1|T=0]
Em 2007, utilizou-se um mecanismo de
loteria na cidade do Rio de Janeiro para
selecionar entre as 25 mil famlias candi- Em linhas gerais, esse parmetro pode ser
datas s 10 mil vagas a serem oferecidas interpretado como efeito do programa que
nas creches municipais com financiamento seria estimado pelo mtodo de aleatori-
pblico no ano de 2008. Explorando essa zao (o numerador) corrigido para o fato
aleatorizao, uma pesquisa foi realizada de que nem todos os tratados e controles
com cerca de 3800 famlias entre junho e cumpriram o que a seleo aleatria de-
outubro de 2008 para levantar uma srie terminou (o denominador). Note que essa
de informaes sobre a situao de traba- correo dada pela diferena entre os 94%
lho das mulheres. Metade dessas famlias das mulheres do grupo de tratamento que
tinha sido selecionada aleatoriamente tiveram seus filhos efetivamente tratados (o
para fazer parte do grupo de tratamento e P[Z = 1|T = 1] do denominador) e os 51%
a outra metade para o grupo de controle. das mulheres do grupo de controle que
Na prtica, no entanto, ocorreram os pro- descumpriram o determinado pela loteria e
blemas de no comparecimento por parte conseguiram colocar seus filhos nas creches
das famlias do grupo de tratamento e de do programa (o P[Z = 1|T = 0] do denomi-
substituio do programa pelas famlias do nador).
grupo de controle. Especificamente, 94%
das crianas do grupo de tratamento entra-
ram de fato nas creches cobertas pelo pro- As estimativas do impacto do programa
grama, ao passo que 51% das crianas do indicam aumentos relativos de 8% na taxa
grupo de controle acabaram conseguindo de participao das mulheres no mercado
vagas nesse mesmo conjunto de creches. de trabalho (de 74% para 79%) e de 27% na
proporo de ocupadas (de 36% para 46%).
Como mencionado no texto, a existncia A interveno parece tambm ter reduzido
desses problemas requer o uso de mtodos a taxa de desemprego das mulheres em
complementares ao proposto pelo mtodo 16% (de 50% para 42%).

Exerccios
1) Um governo estadual est atualmente planejando realizar programa de re-
duo do analfabetismo e quer que uma avaliao seja realizada para medir
os impactos do programa. Assinale se as assertivas abaixo so verdadeiras ou
falsas e explique sua resposta.
a) Se esse governo utilizar apenas os dados da Pesquisa Nacional por

Amostra de Domiclios (PNAD) que uma pesquisa com uma amostra aleat-
ria realizada pelo IBGE em todo o territrio nacional para avaliar o programa,
os resultados asseguraro a validade interna do estudo.
b) A validade externa da avaliao estar garantida se houver a aleato-

rizao dos servios do programa (por exemplo, entre os municpios do esta-
do).
c) Qual o principal tipo de problema que pode surgir se compararmos

diretamente os rendimentos do trabalho dos estudantes formados em diferen-
tes cursos?
2) Uma entidade que recebe verba pblica presta servios de treinamento de

mo de obra para trabalhadores de baixa renda num certo municpio. Para se-
lecionar os beneficiados pelo programa, a entidade utiliza o critrio do primei-
ro a chegar ao local da inscrio. Um dia, um gestor decidiu tabular as informa-
es das fichas de inscrio para o programa nessa entidade e descobriu que
cerca de 80% dos beneficiados morava no mesmo bairro do local da inscrio.
O gestor tambm observou que as caractersticas socioeconmicas dos ins-
critos no diferiam muito entre si. Baseado apenas na ideia de igualdade de
oportunidade para participar do programa, voc proporia alguma mudana de
critrio de seleo dos beneficiados? Pensando agora somente em termos de
avaliao de impacto do programa, voc proporia utilizar um critrio baseado
na seleo aleatria dos inscritos? Desenvolva suas respostas.
3) Em laboratrios de fsica, biologia e reas cientficas afins, muito comum

a realizao de experimentos controlados, ou seja, experimentos nos quais
o pesquisador tem ampla capacidade de controlar as variveis que afetam o
objeto de estudo. Nas cincias sociais, entretanto, no to fcil realizar ex-
perimentos desse tipo. Discuta pelo menos duas razes (tcnicas ou no) que
dificultam a realizao de experimentos aleatrios na rea de avaliao de pro-
gramas sociais.
4) Em uma avaliao de impacto aleatorizada de um programa de reforo es-

colar, descobriu-se que 10% dos alunos do grupo de tratamento desistiram do
programa. Ao analisar as informaes disponveis, os avaliadores observaram

que esses alunos que no compareceram tinham histricos escolares piores
que os demais.
a) Voc trataria essa informao como uma evidncia de que h ca-

ractersticas no observadas dos alunos que influenciaram na desistncia do
programa?
b) A diferena entre o grupo que foi aleatorizado para participar e o

que efetivamente participou no impede o uso do experimento para estimar o
impacto do programa. Discuta o efeito causal que poderia ser estimado nessa
situao.
c) Distintamente, se a situao fosse que 10% dos indivduos do grupo

de controle substituram o programa por outros similares, o experimento alea-
trio estaria invalidado para se estimar o impacto do programa? Explique.

CAPTULO 4
Diferenas
em Diferenas
Como vimos nos captulos anteriores, os mtodos de avaliao de impacto so

geralmente divididos em dois grupos: experimental e no-experimental. O pri-
meiro, apresentado no captulo anterior, baseado na seleo aleatria dos
participantes e no participantes do programa e considerado o mtodo de
referncia na rea de avaliao. O segundo grupo composto por uma varie-
dade de mtodos distintos que, embora faam uso de hipteses especficas
para identificar o efeito causal do programa, procuram mimetizar o mtodo
experimental. Os prximos captulos sero dedicados aos principais mtodos
no-experimentais utilizados na rea de avaliao de impacto. Neste captulo,
discutiremos um dos mais empregados dentre eles, o chamado mtodo das
diferenas em diferenas (DD).
Como sugere o seu nome, o mtodo de DD baseado no clculo de uma dupla

subtrao: a primeira se refere diferena das mdias da varivel de resultado
entre os perodos anterior e posterior ao programa, para o grupo de tratamen-
to e para o de controle, e a segunda se refere diferena da primeira diferena
calculada entre esses dois grupos. Naturalmente, a operacionalizao do mto-
do requer a existncia de informaes para ambos os grupos para pelo menos
um perodo de tempo antes e um perodo depois do programa. Embora essa
demanda por dados torne a aplicao do procedimento mais custosa, o mto-
do possui uma srie de vantagens relativamente a outros mtodos no-expe-
rimentais. Em particular, como veremos, ele capaz de lidar com o vis de se-
leo associado a certo tipo de caractersticas no observveis dos indivduos,
especificamente quelas que so invariantes no tempo.
A aplicabilidade do procedimento de DD ampla e ele tem sido utilizado iso-

ladamente ou em combinao com outros mtodos em diversas situaes.183
Muitas vezes, ele empregado no contexto do que se chama experimento na-
tural (ou quase-experimento) uma situao na qual a ocorrncia de um evento
fortuito ou em larga medida imprevisto permite formar grupos de trata-
18
Por exemplo, no captulo 5, apresentaremos como o mtodo de pareamento combina-
do com o mtodo de DD.

mento e controle parecidos em diversos aspectos. Esses eventos podem ter
origem em mudanas que ocorrem na prpria natureza (por exemplo, terre-
motos e furaces), alteraes institucionais (modificaes inesperadas em leis
ou programas em algum municpio ou estado) ou at mesmo na seleo dos
participantes que ocorre devido a circunstncias que envolvem um alto grau
de aleatoriedade.194 Qualquer que seja o caso, a ideia que a fortuidade do
evento permita criar uma seleo dos indivduos ou unidades de observao
que comporo os grupos de tratamento e controle prxima daquela do m-
todo experimental.205 No entanto, mesmo que o evento gerador parea fortui-
to, no h garantias de que o grupo de controle seja uma boa representao
contrafatual do grupo tratado. O mtodo de DD procura resolver isso levando
em considerao as diferenas de caractersticas pr-existentes entre tratados
e controles. Essa caracterstica torna o mtodo de DD empregvel no s em
casos de experimentos naturais, mas em diversos outros contextos onde haja
disponibilidade de informaes pr e ps-programa para os dois grupos. Neste
captulo, a menos que explicitamente mencionado, no distinguiremos se o
procedimento de DD est sendo aplicado num contexto de experimento alea-
trio, natural ou outra situao em que as condies demandadas pelo mto-
do so atendidas.
A principal hiptese do mtodo de DD que a trajetria temporal da varivel

de resultado para o grupo de controle represente o que ocorreria com o gru-
po tratado caso no houvesse a interveno. Naturalmente, essa hiptese no
pode ser testada diretamente nos dados, mas uma indicao de sua validade
aparece quando as trajetrias dos dois grupos so parecidas pr-programa. A
ideia bsica que, se as trajetrias se assemelham durante o perodo antes do
programa, ento parece razovel supor que a evoluo do grupo de controle
aps o programa represente com fidedignidade o que ocorreria com o grupo
de tratados na situao de no tratamento. Assim, quando existem dados para
vrios perodos de tempo pr-programa, tipicamente testa-se se as sries da
varivel de resultado para os dois grupos possuem a mesma tendncia tempo-
ral. Embora este no seja um teste cabal da hiptese, ele bastante intuitivo e
pode ser realizado com facilidade.
19
Um exemplo interessante dessa ltima situao o estudo de Braido et al. (2012), que
avaliou os efeitos do programa brasileiro Bolsa-Alimentao sobre o padro de consumo
dos domiclios. Por conta de uma incompatibilidade temporria dos softwares utilizados
nos sistemas de recrutamento e seleo de beneficirios do programa, um conjunto de do-
miclios acabou no sendo selecionado devido presena de letras nos nomes de membros
dos domiclios que tivessem acentos, til ou cedilha. Dada a abrangncia com que essas letras
aparecem nos nomes das pessoas no Brasil, esse equvoco, que foi no intencional, constitui
um mecanismo fortuito de seleo ao programa. Esse experimento natural permitiu aos
autores construir grupos de tratamento e controle muito prximos aos de experimentos
aleatrios.
20
Vale observar que o mtodo de DD tambm utilizado com experimentos puramente
aleatrios, sempre que estes levantam informaes para os perodos pr e ps-interveno.

O procedimento de DD pode ser utilizado com dados de indivduos/famlias,
mas tambm com dados em nveis mais agregados, por exemplo, setores de
atividade, ocupaes, municpios ou estados. Por exemplo, se certa UF imple-
mentou um programa de educao ou sade num determinado ano, poss-
vel empregar o mtodo para avaliar o impacto desse programa comparando
os dados agregados (por exemplo, frequncia escolar ou incidncia de uma
doena) da UF tratada com os dados de um conjunto de UFs no tratadas. Sua
aplicabilidade com dados agregados uma importante vantagem do mtodo
de DD, pois permite que o impacto de uma srie de intervenes possam ser
avaliadas apenas com base em informaes rotineiramente coletadas por go-
vernos e institutos de pesquisa e estatstica.
Outra importante vantagem do mtodo de DD que ele permite controlar para

caractersticas no observveis dos indivduos que sejam invariantes no tempo
(por exemplo, habilidades inatas). Como vimos em captulos anteriores, os atri-
butos no observados dos indivduos so uma fonte potencial de gerao de vis
de autosseleo. Embora o mtodo de DD s consiga levar em conta esse tipo
de atributo que fixo no tempo, esse controle capaz de resolver o problema de
autosseleo para um conjunto amplo de aplicaes. Essa capacidade confere
ao DD uma vantagem relativa a outros mtodos no-experimentais, por exem-
plo, o mtodo do emparelhamento, que no consegue controlar para vieses de
autosseleo decorrentes de atributos no observveis, fixos ou no no tempo.
4.1 Comparando com os Mtodos

Ingnuos
Em uma avaliao de impacto sempre se busca encontrar o contrafatual para
o grupo tratado, ou seja, o que teria ocorrido a esse grupo na ausncia da in-
terveno. No captulo 2 (sees 2.1 e 2.2), vimos dois mtodos ingnuos de
identificar o impacto do programa, a saber: (i) quando apenas se compara o
grupo de tratados antes e depois da interveno e (ii) quando se compara o
grupo de tratados com um grupo qualquer de no tratados aps a interveno.
A primeira forma de identificao no possui um grupo de controle explcito e
s consegue isolar o impacto do programa sob a hiptese de que o nico fator
que afeta a varivel de resultado do grupo de tratados a prpria interveno.
Obviamente, trata-se de uma hiptese forte, j que sempre h um conjunto
de fatores que podem influenciar a trajetria dessa varivel alm da prpria
interveno. A segunda forma de identificao utiliza um grupo de controle
explicitamente, mas s consegue isolar o efeito do programa sob a hiptese
de que esse grupo representa corretamente o que teria ocorrido com o grupo
tratado na ausncia do programa. Novamente, trata-se de uma suposio forte,

uma vez que parte da diferena na varivel de resultado entre os dois grupos
pode se dever existncia de diferentes caractersticas entre os grupos. Esse
problema torna-se particularmente srio quando essas caractersticas no so
observadas (ou medidas) pelo avaliador.
O mtodo de diferenas em diferenas (DD) busca contornar os problemas des-

sas duas formas de identificar o impacto de um programa. Em relao primei-
ra, ao invs de simplesmente contrastar o grupo de tratamento com ele mesmo
antes e depois do programa, o mtodo de DD vai buscar um grupo de compa-
rao que se parea ao mximo com o grupo tratado. A ideia que esse grupo
esteja sujeito s mesmas influncias dos fatores que afetam a varivel de resul-
tado dos tratados, ou seja, que esse grupo funcione como um grupo de controle
semelhante ao que se constri a partir de experimentos aleatrios. Obviamen-
te, sem aleatorizao, no h garantias de que a nica diferena entre os gru-
pos a participao no programa, mas o mtodo de DD, assim como os demais
mtodos no-experimentais, busca mimetizar a situao de aleatorizao. Uma
caracterstica do mtodo de DD que ajuda nesse processo que ele capaz de
levar em conta uma das principais fontes de diferena entre tratados e contro-
les: as caractersticas no observveis dos indivduos que so invariantes no
tempo. Nesse sentido, ele um avano em relao ao mtodo que simplesmen-
te contrasta o grupo de tratamento com um grupo de indivduos no tratados.
4.2 Hipteses Bsicas

Para identificar o efeito causal de uma interveno, o mtodo de DD lana mo
de um conjunto de hipteses. Idealmente, o mtodo quer encontrar um grupo
de indivduos (ou unidades mais agregadas de observao, como municpios
ou estados) para os quais a evoluo da varivel de resultado corresponda
trajetria dessa varivel para o grupo tratado na ausncia do programa. Natu-
ralmente, essa uma condio no diretamente testvel pelos dados: a des-
peito da quantidade ou qualidade das informaes disponveis, no possvel
saber se a evoluo da varivel de resultados para o grupo de controle repre-
senta bem o contrafatual dessa varivel para o grupo tratado aps o programa.
Mas o fato de essa hiptese no ser diretamente passvel de confirmao em-

prica no significa que os dados no possam ser utilizados para revelar algo
sobre sua validade. De fato, sempre que possvel, a verificao da hiptese
feita de forma indireta atravs de um teste que requer que a tendncia tempo-
ral da varivel de resultado dos dois grupos seja a mesma antes do programa.
A ideia que uma trajetria temporal semelhante indica que ambos os grupos
vinham reagindo de forma similar a todo e qualquer fator que afeta a varivel
de resultado antes da interveno. Supe-se ento que, na ausncia da inter-

veno, essa trajetria continuaria ao longo do tempo para o grupo tratado
aps o programa tal como ela efetivamente segue para o grupo de controle.
Note que a condio que os grupos tenham a mesma tendncia temporal,
mas no necessrio que eles partam exatamente do mesmo ponto antes do
programa: o mtodo de DD capaz de lidar com diferenas existentes entre os
grupos pr-programa. Se a condio de mesma tendncia atendida, ento
desvios na trajetria da varivel de resultado entre os grupos aps o programa
so atribudos aos efeitos causais da interveno.
Caso haja disponibilidade de dados para vrios pontos no tempo antes da in-
terveno, o teste de mesma trajetria temporal para os dois grupos pode ser
facilmente realizado. Naturalmente, esse teste s pode ser feito com base nos
dados do perodo pr-programa, j que as trajetrias dos grupos podem dife-
rir por causa dos efeitos do programa logo aps o incio deste.21
6
Vale ressaltar
que, embora a existncia de uma mesma tendncia temporal pr-programa
no garanta que o grupo de controle um bom contrafatual para o grupo tra-
tado, recomendvel que o teste seja realizado sempre que possvel. De fato,
caso a hiptese de mesma tendncia no seja rejeitada, o teste confere maior
credibilidade ao grupo de controle como um contrafatual adequado para o
grupo tratado.
O mtodo de DD pode ser utilizado tanto com dados de painel quanto com
dados seccionais (cross-section) repetidos no tempo. Os primeiros tipicamente
referem-se a informaes de indivduos ou famlias que so seguidos ao longo
do tempo, enquanto os segundos so dados temporais calculados para unida-
des mais agregadas tais como escolas, hospitais, setores de atividade, bairros,
municpios ou estados. A agregao dos dados normalmente feita de termos
de propores ou mdias das variveis de interesse para a avaliao. J os mo-
mentos no tempo geralmente so meses ou anos.227
A despeito do tipo de dados, outra hiptese do mtodo de DD que a compo-

21
Em alguns casos, podem ocorrer efeitos antecipatrios do programa, isto , mudanas
no comportamento do grupo de tratamento ou controle antes mesmo do comeo da in-
terveno. Por exemplo, quando as notcias da introduo de uma poltica ou programa
vm a pblico com alguma antecedncia, certas decises dos indivduos tratados ou de
controle podem se alterar modificando as trajetrias da varivel de resultado pr-programa.
Em casos como esses, a verificao da existncia de tendncias semelhantes no perodo pr
-programa pode ser realizada retirando-se os dados mais prximos do incio da interveno.
22
Proposto por Abadie et al. (2010) para contextos em que a unidade de tratamento agre-
gada, h um mtodo recente que um pouco mais geral que o de DD. Nele, busca-se de
forma flexvel um conjunto de unidades agregadas no tratadas para o qual a trajetria da
mdia da varivel de resultado seja a mais prxima possvel (segundo certo critrio) da tra-
jetria da unidade tratada antes do programa. Em linhas gerais, o mtodo procura um vetor
de pesos para unidades no tratadas que as aproxime ao mximo do que ocorreu com a
unidade tratada pr-interveno.

sio dos grupos de tratamento ou controle no se altere de forma significativa
entre os perodos anterior e posterior interveno. Por exemplo, quando as
informaes so de painel, possvel que tenha ocorrido atrito amostral no
aleatrio com o grupo de tratamento ou controle (ou ambos). O impacto do
programa pode ser mal identificado pelo mtodo de DD nesse caso, j que as
diferenas na varivel de resultado entre perodos de tempo e entre grupos
podem refletir no apenas o efeito do tratamento, mas tambm mudanas nas
caractersticas no observadas dos indivduos. De forma semelhante, quando
os dados so de cross-sections repetidas, as unidades de observao deveriam
manter, pelo menos aproximadamente, a mesma composio de caractersti-
cas das subunidades (indivduos, firmas etc.) que as compem. Por exemplo,
quando se est comparando uma regio tratada (digamos, certas reas de uma
cidade) com regies no tratadas (outras reas da cidade), se estiver ocorrendo
um esvaziamento de pessoas de um dos dois tipos de reas, provvel que a
distribuio das caractersticas observveis e no observveis esteja mudando
em um ou ambos os tipos de rea. Parte ento do que o mtodo atribuir ao
efeito do tratamento na realidade pode se dever s mudanas de composio
dos grupos.
Outra condio requerida pelo mtodo de DD que os grupos de tratamento e

controle no sejam afetados de forma heterognea por mudanas de qualquer
natureza que ocorram aps o programa. Por exemplo, se houver uma mudan-
a idiossincrtica com o grupo de controle aps a interveno, a trajetria da
varivel de resultado desse grupo pode se alterar de forma a que ela deixe de
representar adequadamente o contrafatual do grupo tratado. Uma mudana
idiossincrtica (independente do programa) tambm pode ocorrer com o gru-
po de tratados.238 Em ambos os casos, o mtodo de DD captar os efeitos dessas
mudanas, os quais sero erroneamente atribudos aos efeitos do programa.
4.3 O Modelo de Diferenas em Diferenas

A forma mais simples de expressar o estimador do mtodo de DD calculando
uma dupla diferena de mdias da varivel de resultado. Se denotarmos por T
= {1,0} a participao ou no no programa e por t = {1,0} os perodos posterior
e anterior interveno, respectivamente, o estimador de DD ser dado por:
23
possvel tambm que choques macroeconmicos tenham efeitos diferenciados sobre os
grupos de tratamento e controle, ou seja, no se pode garantir nem mesmo que choques
agregados sejam homogneos sobre os grupos.

ou seja, pela diferena temporal do que ocorreu com o grupo tratamento sub-
trada da mesma diferena calculada para o grupo de controle. Embutida nesse
estimador est a hiptese de que a variao temporal na varivel de resultado
para o grupo de controle representa a variao contrafatual do grupo tratado,
isto , a variao que seria experimentada pelo grupo de tratamento na ausn-
cia do programa.249 Em decorrncia dessa hiptese, a diferena entre a variao
efetivamente observada para o grupo de tratamento e a variao contrafatual
fornecida pelo grupo de controle vai capturar o efeito causal da interveno.
Como mencionado anteriormente, a mdia da varivel de resultado para o gru-

po de controle no perodo anterior ao programa no precisa coincidir com a
mdia correspondente para o grupo de tratamento, ou seja, os grupos podem
ou no partir de um mesmo ponto. Na realidade, na maior parte das aplicaes
do procedimento de DD, os dois grupos tm essas mdias distintas, um fato
que tipicamente reflete as diferentes influncias dos atributos observveis e
no observveis dos indivduos sobre a varivel de resultado. O que o mtodo
de fato requer que a variao temporal do que ocorre com o grupo de con-
trole antes e depois do programa reflita corretamente a variao temporal do
grupo de tratados na situao contrafatual de no tratamento.
Uma forma equivalente de expressar o estimador de DD pela dupla diferena:
que apenas um rearranjo da expresso (1). A expresso (2) mostra que o es-
timador de DD tambm pode ser visto como o contraste das diferenas de
mdias existentes entre os dois grupos no perodo anterior e posterior ao pro-
grama. Aqui, torna-se ainda mais claro que o mtodo permite a existncia de
diferenas de mdias entre os dois grupos no perodo pr-programa, ou seja,
o mtodo no requer que o segundo termo entre chaves na expresso (2) seja
igual a zero.
Para ilustrar como o mtodo funciona, retornaremos ao exemplo hipottico

que utilizamos no captulo 2, no qual imaginamos um curso de treinamento
profissional oferecido a trabalhadores de baixa escolaridade em certo munic-
pio. O interesse recaa sobre o impacto do programa sobre o salrio mdio dos
tratados, que era de R$ 1000 um pouco antes do incio do curso e de R$ 1100
alguns meses aps o programa. Argumentamos naquele captulo que nem a
comparao do grupo tratado antes e depois da interveno e nem a compa-
24
Se utilizarmos o arcabouo de resultados potenciais apresentado no captulo 2, a hiptese
requerida pelo mtodo de DD : E[Y(0)|T = 1, t =1] E[Y(0)|T = 1, t = 0] = E[Y(0)|T = 0,t = 1]
E[Y(0)|T = 0, t = 0],, ou seja, que a variao temporal na mdia do contrafatual do grupo
tratado seja igual variao observada na mdia do grupo de controle.

rao dos tratados com um grupo de no tratados somente aps a interveno
isolam corretamente o impacto do programa. Suponha agora que fomos capa-
zes de levantar informaes sobre o grupo de no tratados no perodo anterior
ao programa. A Tabela 4.1 contm os valores dos salrios mdios dos grupos de
tratamento e controle respectivamente, para os perodos anterior
e posterior ao programa respectivamente. A notao representa a
mdia amostral do salrio e significa o operador de diferena.
Distintamente dos outros dois mtodos, o procedimento de DD compu-

ta uma dupla diferena de mdias. Acompanhando as expresses (1) e (2),
h duas maneiras de se calcular essa dupla diferena. Seguindo a expres-
so (1), a primeira obtida fazendo-se inicialmente a diferena das m-
dias entre os perodos antes e depois do programa para cada grupo isto ,
e, posteriormente, calculando-se a segun-
da diferena entre os grupos: A segun-
da maneira corresponde ao anlogo amostral da expresso (2), sendo obtida
pela subtrao das mdias salariais entre os grupos de tratamento e controle
para cada perodo de tempo isto , e,
a seguir, pela diferena dessa primeira subtrao entre os perodos anterior e
posterior ao programa: O mtodo
de DD mostra ento que o impacto do curso foi de R$ 50, o que representa um
aumento salarial de 5% em mdia para os tratados relativamente situao
deles antes do incio do programa.
Tabela 4.1: Mdia salarial por grupo e perodo de tempo R$

Tratados Controle Diferena
Antes
Depois
Diferena
O funcionamento do mtodo de DD tambm pode ser visualizado pela Figura

4.1. Nela, as mdias salariais observadas dos grupos de tratamento e controle
esto representadas pelos quadrados e tringulos preenchidos, respectiva-
mente. O principal aspecto a se destacar nessa Figura o quadrado listrado,
que representa o contrafatual do grupo de tratamento aps o programa. Note

que a posio dele obtida atravs de uma projeo da mdia salarial dos tra-
tados que paralela que ocorreu com o grupo de controle depois do progra-
ma. Essa projeo, que est ilustrada pela linha pontilhada que se liga ao ponto
E na Figura 4.1, baseada na hiptese de que a trajetria do salrio mdio do
grupo de tratamento na ausncia do programa igual trajetria dessa vari-
vel para o grupo de controle aps a interveno. Essa a principal hiptese do
mtodo de DD.
A magnitude do impacto do programa pode ser obtida na Figura 4.1 a partir da

diferena de pontos: (B A) (D C) = (1100 1000) (900 850) = 50, ou
seja, pela primeira forma de dupla diferena descrita anteriormente. Note que
o impacto no calculado pela simples variao salarial antes e depois do pro-
grama para o grupo tratado (i.e., B A), mas sim pelo contraste dessa variao
com a experimentada pelo grupo de controle no mesmo intervalo (i.e., D
C). Utilizando a segunda forma de dupla diferena apresentada anteriormente,
obtemos (B D) (A C) = (1100 900) (1000 850) = 50, um resultado
que mostra que o impacto no dado apenas pela diferena entre tratados e
controles ps-tratamento (i.e., B D), mas sim pela comparao dessa dife-
rena com a sua correspondente antes do programa (i.e., A C).
Figura 4.1: Rendimento mdio dos tratados e no tratados, antes e

depois do programa
B
1100
A
1000
D
900

Podemos tambm apresentar o modelo de DD por meio de regresses lineares.
Suponhamos inicialmente que s possumos observaes para dois perodos de
tempo, um anterior e o outro posterior ao programa. A equao bsica do mo-
delo pode ser especificada como:
onde o subscrito t foi acrescentado notao dos captulos anteriores para de-
notar o perodo de tempo no qual o indivduo (ou unidade de observao) i
se encontra. Como antes, o vetor X representa as caractersticas observadas do
indivduo e T uma varivel binria que assume valor unitrio, se o indivduo
tratado, e valor nulo, caso contrrio. A varivel t tambm binria, assumindo va-
lor um no perodo ps-programa e valor zero, caso contrrio. O termo de erro
dado por . Sob a hiptese de que o efeito causal do programa
(condicional a X) medido pelo parmetro .325
Note que, na equao (3), as variveis T e t aparecem tanto isoladamente quanto

interagidas. Caso no houvesse o termo de interao entre as variveis, suas pre-
senas isoladas captariam respectivamente as diferenas da mdia de Y entre o
grupo de tratamento e controle e entre o perodo anterior e posterior ao progra-
ma (condicional a X). A introduo do termo de interao na equao procura
captar o que ocorreu especificamente com o grupo de tratamento no perodo
ps-programa, ou seja, se a mdia da varivel de resultado para esse grupo em
particular tornou-se diferente aps a interveno. fcil ver ento que o papel
do termo de interao entre as variveis T e t medir o impacto do programa. A
magnitude desse impacto , portanto, capturada pelo parmetro . Uma forma
de verificar isso escrevendo a mdia (condicional a X) da varivel de resultado
para os seguintes casos (retirando os subscritos para facilitar a leitura):
Tratados, pr-programa:
Tratados, ps-programa:
Controles, pr-programa:
Controles, ps-programa:
Sem a presena do vetor de caractersticas X, o parmetro equivale dupla diferena de

25
mdias do mtodo de DD discutida anteriormente.

onde as ltimas igualdades so obtidas sob a hiptese de mdia condicional
nula: Assim, calculando a dupla diferena:
4
26
A equao (3) pode ser expandida para o caso em que h disponibilidade de

informaes para vrios perodos de tempo (por exemplo, meses ou anos). Seja
ento t = 1,2,,, onde representa o nmero mximo de perodos para o qual
temos informaes sobre os dois grupos. Digamos que a interveno ocorre em
certo ms (ou ano) k ao longo do perodo de observao isto , 1< k < . Consi-
dere a equao a seguir, que uma modificao da equao (3):
onde uma varivel binria que assume valor um se o indivduo i

tratado, tambm binria mas s assume valor unitrio se o indiv-
duo i tratado e o perodo t se refere a qualquer ms aps o incio da interven-
o (isto , ). Qualquer varivel do conjunto assume valor
unitrio ou zero dependendo de se o ms da observao corresponde ao ms t
ou no, respectivamente (por exemplo, ser igual a um se o ms for o segun-
do e zero, caso contrrio).275 A funo de cada varivel desse conjunto controlar
para efeitos agregados de tempo que possam afetar a varivel de resultado de
todos os indivduos do grupo de tratamento e controle (por exemplo, inflao).
Analogamente equao (3), o efeito causal do programa tambm ser dado
pelo parmetro na equao (4).
Uma das principais vantagens do mtodo de DD que ele capaz de controlar

para as influncias sobre a varivel de resultado das caractersticas no obser-
vveis dos indivduos que sejam fixas no tempo. Essa uma vantagem impor-
tante do mtodo, pois, muitas vezes, essas caractersticas fixas no observveis
influenciam tambm a participao no programa. Por exemplo, as habilidades
inatas tendem a influenciar no somente os salrios, mas tambm a deciso das
pessoas de participar em cursos de treinamento. A motivao ou certos traos
de comportamento (inibio, autoestima, entre outros) tambm seriam outros
exemplos de caractersticas no observveis que podem afetar tanto salrios
quanto a deciso de participar no programa. Qualquer que seja o caso, o im-
portante que o mtodo de DD capaz de levar em conta a associao entre a
varivel de resultado, a participao no programa e as caractersticas no obser-
26
Note que o primeiro mtodo ingnuo da diferena de mdias antes e depois do progra-
ma para o grupo de tratamento fornece: {(B) (A)} = + , o que revela um vis igual a .
J o segundo mtodo ingnuo compara dos tratados com os controles no perodo aps o
programa. Por este mtodo, o impacto seria: {(B) (D)} = + , o que corresponde a um
vis de magnitude .
27
Note-se que exclumos da equao a varivel binria dti1 para evitar o problema de mul-
ticolinearidade perfeita com a (implcita) presena do intercepto no vetor de parmetros .

vveis dos indivduos que sejam invariantes no tempo (pelo menos durante o
perodo de observao). Assim, como o problema do vis de autosseleo pode
surgir da associao entre essas dimenses, o mtodo de DD oferece uma ferra-
menta poderosa para contornar esse problema.
Para verificar como o mtodo de DD controla para a influncia das caractersticas

no observveis que no se alteram no tempo, podemos utilizar uma especifica-
o da regresso linear tipicamente empregada em modelos de dados de painel.
Nesse tipo de modelo, a expresso para a varivel de resultado passa a poder
incluir os chamados efeitos fixos individuais, os quais entram na equao como
um conjunto de variveis binrias que tm valor unitrio ou nulo dependendo
de com qual indivduo elas esto associadas. Assumindo a existncia de mlti-
plos perodos de tempo t = 1,2,, e uma amostra com i = 1,2,, N indivduos,
a equao pode ser escrita como:
onde igual a um para o indivduo i e zero para todos os demais indivduos

da amostra (exemplo: recebe valor um para o indivduo i = 2 e zero para o
resto dos indivduos).286 A incluso desses efeitos fixos especficos de cada indi-
vduo permite controlar para heterogeneidades existentes entre as pessoas em
caractersticas que sejam fixas no tempo.297 Uma propriedade dos efeitos fixos
que eles podem ser correlacionados com qualquer caracterstica observada
dos indivduos, incluindo a que determina a participao no programa,
ao permitir esse tipo de correlao que o mtodo de DD controla para o vis de
autosseleo.
Uma forma de estimar a equao (5) aplicar o mtodo do MQO primeira dife-
rena dessa equao:830
Note que os efeitos fixos individuais so eliminados na equao (6) e isso s

ocorre porque eles so invariantes no tempo. Note tambm que essa equao
28
Novamente, exclumos a varivel I1 para evitar o problema de multicolinearidade perfeita
com o intercepto em X.
29
Estrito senso, a presena do efeito fixo individual na equao capta a influncia sobre Y
de qualquer caracterstica, observvel ou no, do indivduo que no varie com o tempo. Isso
implica que os efeitos de variveis fixas no tempo no so identificados conjuntamente com
o efeito fixo individual. Por essa razo, o termo T1 no aparece na equao (6). De forma
semelhante, eventuais variveis tempo-invariantes contidas no vetor X (por exemplo, sexo e
cor) tambm no poderiam aparecer na equao.
30
Outra forma de estimao comumente utilizada com dados de painel a que se chama de
intragrupos. Neste caso, cada varivel subtrada do valor de sua mdia temporal para cada
indivduo, por exemplo, subtrai-se

est em linha com a aplicao do mtodo de DD, pois corresponde ao clculo de
sua primeira diferena. A hiptese bsica que permite estimar o impacto do pro-
grama pela equao (6) o qual dado pelo parmetro que o termo
no seja correlacionado com as variveis do modelo, em particular com 9
31
Embora estejamos nos referindo a indivduos ao apresentar as equaes acima,

mutatis mutandis, elas tambm podem ser utilizadas para o caso em que as uni-
dades de observao esto num nvel mais agregado, como escolas, setores de
atividade, municpios ou estados. Uma das principais vantagens de usar dados
agregados (e.g., mdias, propores) que eles tendem a atenuar problemas
de erros de medidas que tipicamente aparecem em informaes coletadas no
nvel do indivduo ou famlia. Por outro lado, para que o mtodo de DD identi-
fique corretamente o efeito causal de uma interveno importante que tanto
o grupo de tratamento quanto o de controle permaneam similares nas suas
caractersticas ao longo do tempo. Em particular, importante que no ocorram
mudanas expressivas na composio dos grupos no que tange aos efeitos fixos
dos indivduos que compem os agregados de cada grupo. Esse tipo de mu-
danas, ao tornar os grupos distintos entre perodos de tempo, enfraquece (ou
impede) a comparabilidade temporal dos grupos. Por exemplo, a migrao de
pessoas entre municpios ou estados pode tornar os grupos muito diferentes an-
tes e depois de uma interveno. Ou a dinmica prpria do sistema educacional
pode fazer com que a composio dos alunos das escolas se altere de ano para
ano. A perda de comparabilidade dos grupos ao longo do tempo compromete
a acurcia do mtodo de DD, j que o impacto estimado pode estar misturado
com efeitos das mudanas de caractersticas no medidas dos grupos. Uma boa
prtica em avaliaes que utilizam dados de cross-section repetidos verificar se
as caractersticas observveis de cada grupo permanecem relativamente est-
veis no tempo. Esse tipo de problema tambm pode ocorrer com dados longitu-
dinais de indivduos quando ocorre atrito amostral.
4.4 Desvantagens
Embora possua uma srie de vantagens, o mtodo de DD no consegue lidar
com casos em que alguma mudana temporria num fator no observvel dos
indivduos afeta a deciso de participao no programa. Por exemplo, j se de-
tectou que muitos trabalhadores que fazem cursos de treinamento experimen-
taram choques negativos e temporrios de renda um pouco antes do comeo
do programa (Ashenfelter, 1978, e Heckman e Smith, 1999). Alm de poder ter
influenciado os indivduos a fazerem o curso, essa queda temporria nos ren-
dimentos poder fazer com que o grupo tratado experimente um crescimento
maior nos seus rendimentos mesmo se ele no tivesse participado do programa.
Se essa mudana temporria no ocorrer com o grupo de controle, o procedi-
31
Embora fora do escopo do livro, vale observar que, se o termo apre-
sentar correlao serial isto , a correlao entre e ser diferente de zero , h
que se fazer alguma correo para os erros-padro a serem estimados pelo procedimento
de DD. Mais detalhes podem ser encontrados em Bertrand et al. (2004).

mento de DD tender a sobre-estimar o verdadeiro impacto do programa. De
forma mais geral, vieses aparecero no estimador de DD sempre que houver al-
gum tipo de caracterstica no observvel que varie no tempo e afete simultane-
amente a varivel de resultado e a participao no programa.
Box 1: O Impacto do Programa Sade da Famlia
O Programa de Sade da Famlia (PSF) gressivamente ao longo dos anos e em

procura prover ateno bsica de sade meados da dcada de 2000 j atendia a
s famlias de comunidades carentes no quase totalidade dos municpios do pas.
Brasil. O funcionamento do programa
baseia-se no uso de equipes de profis- Utilizando informaes no nvel munici-
sionais de sade (mdicos, enfermeiras, pal, Rocha e Soares (2010) avaliam o im-
auxiliares de enfermagem e agentes pacto do PSF comparando os municpios
comunitrios) cujos principais objetivos tratados e no tratados pelo programa
so a proviso de prticas bsicas de ao longo do tempo. Os autores utilizam
sade (e.g., estratgias para lidar com o mtodo das diferenas em diferenas
problemas simples de sade) s famlias, explorando as diferentes datas de entra-
o encaminhamento das pessoas para da dos municpios no programa. Os re-
clnicas e hospitais em casos especficos sultados mostram que o PSF foi capaz de
e o acompanhamento da situao de reduzir a taxa de mortalidade das pesso-
sade das famlias beneficiadas ao longo as de vrias faixas etrias, notadamente
do tempo. Idealmente implementado do grupo de crianas. Outros efeitos po-
com a participao das trs esferas de sitivos foram estimados sobre a oferta
governo (federal, estadual e municipal), de trabalho dos adultos e a frequncia
o PSF iniciou-se na metade dos anos escola das crianas das famlias das regi-
90. O programa foi se expandindo pro- es NO e NE.
Exerccios
1) Foi noticiado em dois jornais locais que a poltica atual de reduo da crimina-
lidade de seu estado era eficaz. Em um dos jornais, a comprovao dessa eficcia
foi associada informao de que a taxa de roubos de veculos havia cado 10%
nos ltimos dois anos. J no outro jornal, a efetividade da poltica foi consubstan-
ciada por meio da comparao da taxa de roubo de veculos no ltimo ano do seu
estado com a mdia da mesma taxa para os demais estados do pas. Como um co-
nhecedor da rea de avaliao de impacto, ao ler os jornais, voc considera ambas
as matrias ingnuas e decide tentar estimar o verdadeiro impacto do programa
(talvez porque voc ou algum prximo teve seu carro roubado recentemente!).
Responda os itens a seguir.
a) Por que voc acha a matria do primeiro jornal ingnua? E a segunda?
b) Voc decide estimar o efeito da poltica usando o mtodo das diferen-

as em diferenas. Quais os dados que voc deve buscar?
c) O que voc deveria testar com dados anteriores ao incio da poltica

para averiguar se o grupo de controle parece adequado aos seus propsitos?

2) Um grupo de bilogos utilizou a erupo de um vulco que ocorreu numa ilha
para estudar o efeito de erupes vulcnicas sobre a flora e a fauna daquela regio.
Para tanto, eles compararam os dados da ilha que sofreu a erupo com os dados
de outras ilhas antes e depois da erupo. Nem sempre na rea de avaliao de
polticas ou programas sociais tem-se a certeza de que a interveno ocorreu de
forma totalmente exgena como no caso da erupo do vulco. Crie ou busque
exemplos de programas sociais que se aproximem da situao de experimento na-
tural.
3) Uma das grandes vantagens do mtodo de diferenas em diferenas que ele

capaz de lidar com a autosseleo decorrente de certo tipo de caractersticas no
observadas dos indivduos. Que tipo de caractersticas esse e como o mtodo as
incorpora no modelo?
4) Certo municpio comeou a realizar um programa habitacional que comeou a

atrair um conjunto significativo de moradores de outros municpios para residirem
l. Suponha que um analista contratado para avaliar o impacto do programa e
decide utilizar o mtodo de diferenas em diferenas com informaes no nvel
de municpio. Discuta os problemas que o avaliador precisa levar em considerao
com os dados aps o programa para aplicar corretamente o mtodo.
5) O grfico 4.2 abaixo mostra as trajetrias do salrio mdio dos grupos de tra-
tamento e controle de uma avaliao de impacto para um curso de treinamento
hipottico que ocorreu no momento zero no grfico. possvel que o mtodo das
diferenas em diferenas estime de forma enviesada o impacto do programa? Por
qu?
Grfico 4.2: Trajetria do Salrio Mdio por Grupo
15
14
R$ 100
13
12
11
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
meses
Controle Tratamento

CAPTULO 5
Pareamento
Cristine Campos Xavier Pinto
O mtodo do pareamento busca construir um grupo de controle semelhante

ao grupo de tratamento em termos de determinadas caractersticas observ-
veis.32
3
De acordo com as hipteses deste mtodo, cada membro do grupo de
tratamento teria um par no grupo de controle que representa o resultado que
ele teria obtido caso no fosse tratado. De outra forma, as hipteses do parea-
mento postulam que, ao comparar dois indivduos, um no grupo de controle
e outro no grupo de tratamento, com as mesmas caractersticas observveis, o
nico fator que diferencia os resultados destes indivduos a participao ou
no no programa.
A hiptese principal deste mtodo, que tem como objetivo estimar o efeito
mdio do tratamento sobre os tratados (EMPT), que o vetor de variveis ob-
servveis X contm todas as informaes sobre o resultado potencial na au-
sncia do tratamento (Y(0)) que o indivduo possui ao tomar a deciso de par-
ticipar ou no do tratamento. Ao levar em considerao estas caractersticas
observveis, o avaliador controla por todas as variveis que esto relaciona-
das ao resultado potencial na ausncia de tratamento e que tambm afetam
a deciso do indivduo em participar ou no. Assim, ao controlar pelo vetor X,
a varivel Y(0) torna-se independente de T. Esta hiptese conhecida como
seleo nos observveis, ou ignorabilidade, ou ainda no-confundimento, e
pode ser formalizada como:334
A implicao desta hiptese que o resultado de um indivduo no grupo de

controle um bom previsor do resultado potencial na ausncia de tratamento
de um indivduo no grupo de tratamento que possui o mesmo vetor de vari-
veis observveis (X).345 Desta forma, para estimar o EMPT via pareamento, pre-
32
Existe uma extensa literatura emprica e terica sobre o mtodo de pareamento. Ver Ro-
senbaum (1995, 2002), Rubin (1973, 1979), Heckman, Ichimura e Todd (1998), Abadie e Im-
bens (2002), Lalonde (1986) e Deheija e Wahba (1999).
33
Para estudar o efeito mdio do tratamento, precisamos da hiptese de independncia nos
dois resultados potenciais,
34
Esta hiptese de independncia mais forte do que a hiptese mnima necessria para
identificar o efeito mdio do tratamento sobre os tratados. A hiptese necessria seria a

cisamos que cada indivduo no grupo de tratamento tenha um par no grupo
de controle, cujo resultado reproduz o que seria o resultado deste indivduo
na ausncia de tratamento. Desta forma, precisamos que a regio do vetor X
que engloba as caractersticas dos indivduos tratados tambm represente as
caractersticas dos indivduos que esto no grupo de no-tratados. Assim, a
segunda hiptese do mtodo do pareamento a hiptese de sobreposio, e
pode ser formalizada como:356
(H2)
Uma das crticas aos mtodos baseados nas duas hipteses acima que, ao
tomar a deciso de participar ou no, os indivduos olham no s para um ve-
tor de caractersticas observveis, mas tambm para caractersticas que no
so observadas pelo avaliador. Se estas caractersticas no-observveis forem
correlacionadas tanto com a deciso de participar do programa como com o
resultado potencial deste indivduo, o mtodo do pareamento no conseguir
eliminar o vis de seleo, e a estimao do EMPT estar sujeita a um vis.
Sob as hipteses H1 e H2, obtemos o efeito mdio de tratamento sobre os tra-

tados. O efeito mdio do tratamento sobre os tratados para a subpopulao
com caractersticas observveis X=x pode ser escrito como:
(5.1)
em que a mdia populacional de Y para os tratados com

uma determinada combinao de caractersticas X e
a mdia de Y que os tratados com essas caractersticas teriam caso no tives-
sem recebido o tratamento.
De outra forma, o efeito mdio do tratamento sobre os tratados para os indi-

vduos com certa combinao de caractersticas de X seria a diferena entre
a mdia populacional do resultado para os indivduos tratados e a mdia po-
pulacional do resultado de interesse para estes indivduos tratados caso eles
no recebessem o tratamento. Na prtica, podemos estimar a primeira mdia
condicional em 5.1 usando a mdia amostral dos resultados obtidos pelos in-
divduos tratados. No entanto, no conseguimos observar os resultados destes
independncia na mdia, isto , .
35
Como no caso do EMP, precisamos que para cada indivduo no grupo de tratamento te-
nhamos um par no grupo de controle cujo resultado potencial seja um bom previsor do
resultado deste indivduo na ausncia do tratamento. Tambm precisamos que para cada
indivduo no grupo de controle tenhamos um par no grupo de tratamento cujo resultado
potencial seja um bom previsor do resultado deste indivduo caso ele fosse tratado. Nesse
caso, a hiptese de sobreposio deve ser expandida para: Esta
hiptese garante que as caractersticas dos tratados sejam representadas no grupo de con-
trole, e vice-versa.

indivduos tratados caso eles no tivessem recebido tratamento, e no pode-
mos simplesmente estimar a segunda mdia condicional usando uma mdia
amostral. No entanto, a hiptese H1 nos permite escrever o segundo termo da
equao 5.1 em funo das variveis que observamos.
Sob a hiptese H1,
Ou seja, em mdia, os resultados sem tratamento dos tratados que apresentem

uma determinada combinao de caractersticas presentes em X so iguais
aos resultados sem tratamento dos no tratados (grupo de controle) com essas
mesmas caractersticas, que so observveis para o avaliador.
Este resultado juntamente com a hiptese H2 indicam que podemos estimar

o segundo termo da equao 5.1 usando a mdia dos resultados de interesse
para os indivduos no grupo de controle que possuem a mesma combinao
de caractersticas X que os indivduos no grupo de tratamento.
E, portanto, podemos escrever:
(5.2)
Assim, podemos calcular o efeito do tratamento para os indivduos com uma

determinada combinao de caractersticas X comparando a mdia observa-
da de Y para os tratados com essas caractersticas com a mdia observada de
Y para os indivduos do grupo de controle com essas mesmas caractersticas.
Para obter o efeito mdio do tratamento sobre os tratados, precisamos calcular

o valor esperado (expectativa) dessa diferena de mdias na distribuio de X,
condicional a T=1:736
Por exemplo, no caso em que inclui apenas uma varivel explicativa discreta,
Neste caso, D uma mdia ponderada dos efeitos mdios para os indivduos
com determinada combinao de caractersticas X (D(x)), na qual os pesos so
36
Note que para obter o efeito mdio do tratamento, precisamos calcular a expectativa de
D(x) sobre a distribuio de X. No caso em que Xi inclui apenas uma varivel explicativa
discreta,

dados pela porcentagem de indivduos tratados que possuem esta combina-
o de caractersticas X.
Para estimar o EMPT, precisamos estimar e

Se a hiptese H2 for violada, no ser possvel estimar ambas as
mdias, pois os valores de x sero vlidos para o grupo de tratamento, mas no
para o grupo de no-tratados.
5.1 Pareamento Simples

Para cada indivduo no grupo de tratamento, o estimador de pareamento bus-
ca os indivduos no grupo de controle mais prximos (em termos do seu vetor
de variveis observveis) e usa os resultados destes indivduos para obter o
que seria o resultado do indivduo no grupo de tratamento caso ele no fos-
se tratado (contrafatual). As principais diferenas entre os vrios estimadores
de pareamento dizem respeito mtrica usada para definir os indivduos mais
prximos dos tratados em termos do vetor de variveis X. Alm disso, os m-
todos tambm diferem em relao a quantos indivduos do grupo de no-tra-
tados sero relacionados a cada indivduo no grupo de tratamento para obter
o seu contrafatual.
Suponha um pareamento em que mais de um indivduo no grupo de controle

possa ser relacionado com o indivduo no grupo de tratados, e que o mesmo
indivduo no grupo de controle possa ser relacionado a vrios indivduos no
grupo de tratados. Usando uma medida de distncia37 8
, que nos diz quais so os
indivduos no grupo de controle que possuem um nmero de caractersticas
observveis mais prximas do indivduo i, identificamos os M pares mais prxi-
mos deste indivduo. De modo mais formal, definimos como o conjunto de
ndices com M pares mais prximos do indivduo i: eo
anlogo amostral dos resultados potenciais como:
(5.1.1)
Um exemplo de medida de distncia a mtrica definida em Imbens e Wooldridge (2007)

37
para determinar quo diferentes os indivduos so em relao ao vetor X,
na qual 1 uma funo indicadora que igual a 1 se a expresso entre chaves verdadeira,
e 0 caso contrrio. Nesta mtrica, l lm (i) o ndice do indivduo no grupo de no-tratados
com a distncia M mais prxima do indivduo i no grupo de tratados em termos a mtrica
||. ||. Por exemplo, l1 (i) representa o par a distncia 1 do indivduo 1, isto , o indivduo mais
prximo do indivduo i.

Usando este estimador do contrafatual do indivduo i, o estimador simples de
pareamento :
(5.1.2)
no qual o nmero de indivduos no grupo de tratamento.
O estimador de pareamento muito sensvel escolha de variveis presentes

em X. Se o vetor X incluir um nmero grande de variveis explicativas, a hip-
tese de sobreposio (H2) pode no ser verdadeira, pois a regio de X no qual
precisamos de sobreposio das caractersticas entre o grupo de controle e de
tratamento muito grande. Se incluirmos um nmero limitado de variveis no
vetor X, a hiptese de seleo nos observveis (H1) pode ser violada. O vetor X
deve incluir as variveis observveis que influenciaram o indivduo no momen-
to da deciso de participar, e que so simultaneamente correlacionadas com
os resultados potenciais dos indivduos. Este conjunto de variveis garante
que a hiptese de seleo nos observveis se verifica, mas no necessariamen-
te que teremos sobreposio. A sobreposio pode ocorrer somente em um
pedao da regio de X. Neste caso, o pareamento estar olhando para outro
parmetro, que seria o efeito mdio do tratamento sobre os tratados naquela
regio de suporte comum38 9
.
Como vimos no captulo 3, se os indivduos fossem alocados de forma aleatria

entre os grupos de tratamento e de controle como no experimento natural, na
mdia eles deveriam ter caractersticas bem parecidas. O mtodo do parea-
mento assume que ao controlar por todas as caractersticas que afetam simul-
taneamente a deciso de participar no programa e os resultados potenciais,
comparamos indivduos semelhantes, exceto pelo fato de que um recebeu o
tratamento, enquanto o outro no sofreu influncia do programa. Para verificar
se atravs do pareamento estamos de fato comparando indivduos que pos-
suem um vetor X de caractersticas semelhantes, podemos realizar um teste
de comparao de mdias. Se fizermos um teste de comparao de mdias
das variveis observveis entre os grupos de controle e de tratamento antes do
pareamento, devemos notar que na mdia eles so diferentes em algumas ca-
ractersticas, pois eles no foram selecionados de forma aleatria entre os dois
grupos. No entanto, aps o pareamento, se fizermos o mesmo teste de compa-
rao de mdias, o grupo de controle e o grupo de tratamento usados para es-
timar o efeito mdio do tratamento devem ser semelhantes nas caractersticas
observveis, pois escolhemos para cada indivduo no grupo de tratamento os
seus pares com caractersticas bastante parecidas.
38
Ver Crump, Hotz, Imbens e Mitnik (2009, 2008).

5.2 Pareamento com Escore de Propenso
A implementao do estimador de pareamento torna-se cada vez mais difcil
quanto maior for a dimenso do vetor X. Quando acrescentamos variveis ao
vetor X, a dimenso da regio de X cresce exponencialmente, e fica cada vez
mais difcil encontrar para cada indivduo no grupo de tratamento sua con-
traparte no grupo de controle com todas as caractersticas observveis seme-
lhantes. Rosenbaum and Rubin (1983) sugeriram que ao invs de parearmos os
indivduos com base em todo o vetor X, podemos parear os indivduos usando
uma funo de X que resume toda a informao contida neste vetor. Esta fun-
o a probabilidade de receber o tratamento dado o conjunto de caratersti-
cas X, e denominada de escore de propenso. De forma formal, o escore de
propenso definido como:
Como o escore de propenso contm a mesma informao contida no vetor

de caractersticas observveis X, se a hiptese de seleo nos observveis for
vlida, tambm ser vlida a independncia entre o resultado potencial na au-
sncia de tratamento e a deciso de participar ou no, quando condicionarmos
no escore de propenso1039
. De modo mais formal,
Este resultado nos diz que, se as hipteses H1 e H2 se verificarem e se o escore

de propenso for conhecido, poderemos estimar o efeito mdio do tratamento
sobre os tratados fazendo o pareamento entre indivduos tratados e indivdu-
os no tratados com base somente no escore de propenso. Na prtica, no
conhecemos o escore de propenso e precisaremos estim-lo. A forma mais
comumente usada para estimar o escore de propenso usar os procedimen-
tos paramtricos para estimao de probabilidade, por exemplo, os modelos
probit ou logit. No caso do modelo logit, assumimos que a probabilidade de
participar ou no segue o seguinte modelo:
Em que vetor de parmetros que ser estimado num primeiro estgio. Seja
o estimador do parmetro . Neste caso, o escore de propenso estimado
como:
39
Para uma prova formal deste resultado, ver Rosenbaum e Rubin (1983).

Como no caso do pareamento baseado no X, o pareamento baseado no esco-
re de propenso tambm ir depender de uma mtrica pr-determinada, que
definir a proximidade do escore de propenso dos indivduos tratados em re-
lao ao escore de propenso dos indivduos no-tratados. Um dos estimado-
res mais usados o estimador de pareamento do vizinho mais prximo (The
Nearest Neighbor Matching) que usa os resultados dos M indivduos no grupo
de no-tratados que possuem escores de propenso mais prximos ao escore
de propenso do indivduo i para estimar qual seria o resultado do indivduo i
caso ele no recebesse tratamento11
40 41
12
.
Formalmente, sendo o conjunto das M observaes com o menor valor

de podemos construir o anlogo amostral para o resultado
potencial do indivduo caso ele no fosse tratado, como:
(5.2.1)
e o efeito mdio do tratamento sobre os tratados estimado como na equao

(5.1.2), usando essa definio para Para implementar esse estimador na
prtica, primeiro usamos a mdia de Y dos M indivduos mais prximos de
cada participante do tratamento (em termos do escore de propenso) para
calcular o contrafatual de cada indivduo tratado (Yi(0)) e depois calculamos
a diferena de mdias entre os tratados e seus contrafatuais, como em (5.2.1).
importante ressaltar que as propriedades do estimador de pareamento base-

ado no escore de propenso tambm dependem da escolha do vetor X. ne-
cessrio escolher o vetor X que afete simultaneamente a deciso de participar
ou no do tratamento e os resultados potenciais. Alm disso, o estimador de
pareamento baseado no escore de propenso tambm sensvel especifica-
o do escore de propenso, isto , forma funcional que vai ser escolhida na
40
Outros estimadores de pareamento baseado no escore de propenso so o pareamento
baseado em Kernel e o pareamento baseado em polinmio local. Neste caso, para construir
o contrafatual para o indivduo no grupo de tratamento usam-se os indivduos no grupo de
no-tratados que esto em uma vizinhana em torno do escore de propenso do indivduo
i. Alm disso, cada indivduo no-tratado pode receber um peso diferente ao calcular o con-
trafatual do indivduo i.
41
Um exemplo usar a mesma medida de distncia que usamos no caso do pareamento
baseado no vetor X,
Neste caso, o ndice do indivduo no grupo de no-tratados cujo escore de pro-

penso est a distncia m do escore de propenso do indivduo tratado i.

estimao do escore de propenso. necessrio que esta forma funcional seja
flexvel o suficiente para que a hiptese de sobreposio (H2) se verifique. Ro-
senbaum e Rubin (1983) propuseram uma forma simples de buscar evidncia
se estamos violando a hiptese de sobreposio. Eles sugeriram uma compa-
rao simples das mdias de cada uma das variveis observveis no grupo de
tratamento e no grupo de seus pares. Se a diferena destas mdias for muito
grande, o teste de diferena de mdias ir rejeitar a hiptese de que os grupos
de tratamento e o grupo de pares so balanceados em relao a estas variveis
observveis. Nesse caso, provavelmente o escore de propenso no est sendo
flexvel o suficiente para garantir que a distribuio dos observveis a mesma
no grupo de tratamento e no grupo de pares.
Existem diversos mtodos que usam o escore de propenso para ajustar as di-
ferenas entre os indivduos nos grupos de controle e de tratamento, sempre
com base nas hipteses de seleo nos observveis e de sobreposio. Na pr-
xima seo, iremos apresentar dois mtodos bastante usados: o mtodo de
imputao baseado em uma regresso linear e o mtodo de reponderao.
5.3 Regresso Linear

O modelo de regresso linear tambm pode ser visto como um estimador de
pareamento13 42
. Usando as definies do captulo 2 para o caso em que conside-
ramos que o programa tem o mesmo efeito em todos os indivduos, podemos
escrever os resultados potenciais como:
Para estimarmos o efeito mdio do tratamento sobre os tratados, precisamos

conhecer o modelo do resultado potencial para Sob as hipteses de se-
leo nos observveis e exogeneidade de podemos esti-
mar o efeito mdio do tratamento sobre os tratados usando o estimador de
mnimos quadrados ordinrios da regresso de Y em X.
Neste caso, iremos estimar uma regresso linear de Y em X para a amostra de

indivduos que no foram tratados. Os coeficientes estimados nesta regresso
simples para a subamostra do grupo de controle so ento usados para prever
qual teria sido o resultado de cada indivduo do grupo de tratamento caso ele
no tivesse recebido o tratamento. Neste caso, o estimador do efeito mdio do
tratamento sobre os tratados seria:
42
Rubin (1977) usa o mtodo de regresso linear para estimar o efeito mdio do tratamento.

(5.3.3)
em que o valor previsto para o grupo de indivduos no grupo de tra-

tamento usando os coeficientes estimador pela regresso linear simples no
grupo de controle 14
43
.
Os estimadores baseados em regresso dependem fortemente da extrapola-

o dos valores para valores fora do intervalo dos usados na regresso.
Os coeficientes estimados nesta regresso so usados para encontrar os valo-
res preditos do resultado para os indivduos tratados caso eles no recebessem
tratamento. Para esta extrapolao, necessitamos de sobreposio na regio
de X do grupo de controle e no grupo de tratamento, isto , precisamos da
nossa hiptese H2. Por exemplo, se estimssemos uma regresso linear sim-
ples com intercepto, o valor mdio previsto para os indivduos no grupo trata-
mento seria:
em que o intercepto da regresso usando somente os indivduos do gru-

po de controle, e o coeficiente relacionado a X estimado na mesma re-
gresso. Usando a frmula do estimador do intercepto da regresso,
em que o valor mdio do resultado para o grupo de controle, o valor

mdio das variveis explicativas no grupo de tratamento e o valor mdio
das variveis explicativas no grupo de controle. Se muito diferente de
os valores previstos usando a regresso linear sero muito sensveis especifi-
cao desta regresso. Podemos usar sempre uma forma funcional flexvel para
a regresso, mas no teremos garantias de que este modelo funciona bem nas
regies onde no h sobreposio da regio de X no grupo de controle e no
grupo de tratamento.
Um mtodo alternativo para obter o efeito mdio do tratamento sobre os tra-

tados atravs de uma regresso linear usar o escore de propenso como uma
varivel explicativa15
44
. Neste caso, iremos estimar uma regresso linear simples
de Y em P(X) para a sub-amostra de indivduos no-tratados, e usar os valores
43
Para estimar o efeito mdio do tratamento, precisamos tambm estimar a regres-
so linear simples para os indivduos tratados, e usar os resultados desta regresso para
prever qual seria o resultado para os indivduos no grupo de controle caso eles rece-
bessem o tratamento. Neste caso, o estimador do efeito mdio do tratamento seria:
no qual o valor previsto
para os indivduos no grupo de no-tratados usando os resultados da regresso estimada
para os indivduos que receberam o tratamento.
44
Este mtodo foi sugerido por Rosenbaum e Rubin (1983).

estimados nesta regresso para prever os valores dos resultados dos indivdu-
os tratados caso eles no recebessem tratamento.
5.4 Reponderao
O escore de propenso tambm pode ser usado como um peso 16 45
que, ao ba-
lancear os indivduos no grupo de controle, torna este grupo semelhante na
mdia ao grupo de indivduos tratados. Neste caso, ponderamos cada unidade
no grupo de controle pela probabilidade de no receber tratamento. Quando
maior for a probabilidade do indivduo no grupo de controle de no receber
o tratamento, menor ser o seu peso ao balancearmos o grupo de controle.
Usando a Lei de Bayes, podemos definir uma relao entre a distribuio de X
na populao de tratados e a distribuio de X na populao de no-tratados.
Pela Lei de Bayes, a distribuio de X condicional a D=1 pode ser escrita como
E, de forma anloga, podemos escrever a distribuio condicional de X em

D=0 como,
e dividindo as duas distribuies condicionais, temos
Usando a definio do escore de propenso e definindo que

podemos reescrever a relao entre as distribuies condicionais de X,
(5.4.1)
Usando esta relao e a hiptese de seleo nos observveis, podemos escre-

ver o parmetro de interesse (EMPT) usando o escore de propenso como peso,
Como no caso do estimador de pareamento, estimamos o escore de propen-

45
Para uma reviso do mtodo de reponderao, ver Imbens (2004) e Imbens e Wooldridge
(2009).

so usando o modelo paramtrico, como o logit. Dado que T uma varivel
binria, o estimador de ser simplesmente a proporo de tratados, isto
, Usando o anlogo amostral para a equao acima, o estimador de
reponderao de D
(5.4.2)
Este estimador se baseia somente na estimao do escore de propenso, e

uma das limitaes deste estimador ser bastante sensvel especificao do
escore de propenso. Quando o valor do escore de propenso for prximo de
um, este estimador pode assumir valores muito altos.
5.5 Combinao de Mtodos

Alguns estimadores surgiram da combinao de dois mtodos descritos nas
sees anteriores. Estes mtodos so bastante atrativos na prtica, por terem
comportamentos menos sensveis a certas hipteses, como a especificao
correta do modelo do escore de propenso ou a especificao correta da fun-
o de regresso que relaciona Y(0) com X. Nesta seo, descrevemos trs
combinaes: regresso e pareamento, pareamento e diferenas em diferen-
as, e regresso e reponderao.
5.5.1 Pareamento e Regresso Linear

Abadie e Imbens (2002) mostram que, medida que aumentamos a dimenso
do vetor X, podemos estar diminuindo a varincia do estimador de pareamen-
to baseado em X, mas aumentamos o vis. Para cada indivduo no grupo de
tratamento, podemos definir um resduo que seria a diferena entre o efeito
de tratamento para aquele indivduo, e o efeito mdio do
tratamento A varincia do estimador de pareamento uma funo da
soma do quadrado dos resduos. Ao aumentarmos o nmero de variveis in-
cludas em X, diminumos este resduo e consequentemente a varincia do es-
timador. O vis surge porque o vetor de variveis explicativas para o indivduo i
prximo do vetor de variveis explicativas dos seus M vizinhos mais prximos
usados no pareamento, mas no exatamente igual. No caso do pareamento
com base em poucas variveis discretas em que fosse possvel parear os in-
divduos no grupo de tratamento com indivduos no grupo de controle com
valores exatamente iguais para o vetor X, o vis desapareceria. Uma das ma-
neiras de corrigir o vis do estimador de pareamento ajustar pela diferena

nos valores das variveis explicativas X, usando o modelo de regresso linear.
Neste caso, usamos o mesmo conjunto que engloba os M indivduos no
grupo de controle cujos vetores X esto mais prximos do vetor X do indi-
vduo i, como na seo 5.1 acima. Alm disso, estimamos a regresso linear
que relaciona o resultado Y com X somente para a subamostra de indivduos
que no receberam tratamento, como na seo 5.2 acima. Com os coeficientes
estimados na regresso, calculamos o valor previsto de Y para os indivduos
no grupo de controle e tambm para os indivduos no grupo de tratamento, e
usamos estes valores preditos para ajustar o estimador de pareamento. Neste
caso, os valores do resultado para os indivduos tratados caso eles no rece-
bem tratamento so:
(5.5.1.1)
e o estimador do efeito mdio do tratamento sobre os tratados que combina

pareamento e regresso :
(5.5.1.2)
5.5.2 Pareamento e o Mtodo de Diferenas

em Diferenas
No caso de dados em painel, o mtodo do pareamento pode ser combinado
com o mtodo de diferenas em diferenas17 46
. Esta combinao de mtodos faz
com que algumas das hipteses usadas em cada um dos mtodos possam ser
substitudas por hipteses mais fracas. Por exemplo, a hiptese de seleo nos
observveis estabelece que, condicional ao vetor de variveis observveis X,
no pode existir nenhum fator no-observvel que influencie simultaneamen-
te a deciso de participar ou no no tratamento e os resultados potenciais. Ao
combinar o pareamento com o mtodo de diferenas em diferenas, podemos
permitir que fatores no-observveis que sejam constantes ao longo do tempo
influenciem simultaneamente a deciso de participar e os resultados poten-
ciais, mesmo controlando pelo vetor de variveis observveis X, como vimos
no captulo 4.
Para aplicar esta combinao de mtodos, precisamos observar os indivduos

no grupo de controle e no grupo de tratamento em pelo menos dois perodos
no tempo, um anterior ao recebimento do tratamento e um perodo aps o
tratamento. Para simplificar, vamos considerar apenas dois perodos: , antes
do tratamento, e , aps o tratamento. Este mtodo usa basicamente a ideia
do mtodo de diferenas em diferenas, isto , ele compara a diferena do re-
46
Este mtodo foi proposto por Heckman, Ichimura e Todd (1997,1998).

sultado do grupo de tratamento entre os perodos e com a diferena de
resultados do grupo de controle no mesmo perodo e atribui esta diferena da
diferena ao efeito do tratamento. Formalmente, o mtodo que combina pare-
amento e o mtodo de diferenas em diferenas estima o seguinte parmetro
populacional,
em que representa o resultado no tempo t para o individuo i quando o seu

status de tratamento d. Para que este parmetro corresponda ao efeito m-
dio do tratamento sobre os tratados, precisamos da seguinte hiptese:
(H3)
Esta hiptese mais fraca do que a hiptese de seleo nos observveis, pois
ela continua vlida mesmo que existam fatores no-observveis comuns aos
dois perodos que afetem simultaneamente a deciso de participar e os resul-
tados potenciais. No entanto, esta hiptese exige informao em pelo menos
um perodo anterior interveno. Se a evoluo dos resultados entre os pe-
rodos pr e ps-programa a mesma no grupo de controle e no grupo de
tratamento, esta hiptese vlida. O vetor X tem que incluir toda a informao
disponvel para o indivduo quando ele decidiu participar ou no no programa,
isto , so caractersticas observveis em perodos anteriores ao programa e
que esto relacionadas deciso de participao.
A hiptese H3 no suficiente para identificarmos o efeito mdio do tratamen-

to sobre os tratados. Como no estimador de pareamento, precisamos tambm
da hiptese de sobreposio da regio de X para o grupo de controle e o gru-
po de tratamento. No caso de dados longitudinais, precisamos da hiptese H2.
Se tivermos suporte comum, podemos estimar o efeito mdio do tratamento
sobre os tratados fazendo um pareamento baseado no escore de propenso47 18
e calculando a diferena das diferenas. Usando o estimador de pareamento

baseado no vizinho mais prximo, definimos o conjunto como o conjun-
to das M observaes que possuem o escore de propenso mais prximo do
indivduo i, isto , os M indivduos tais que
Usando o pareamento, construmos o anlogo amostral
para a diferena do resultado potencial do indivduo entre os perodos e
caso ele no fosse tratado:
(5.5.2.1)
e o estimador de pareamento no escore de propenso para dados longitudi-

nais :,
47
Podemos tambm fazer o pareamento baseado no vetor X.

(5.5.2.2)
Para implementar esse estimador na prtica, primeiro calculamos para cada

indivduo no grupo de tratamento qual seria a diferena de resultados entre
os perodos e caso ele no fosse tratado. Para isso, estimamos o escore de
propenso para todos os indivduos, e selecionamos os M indivduos no-tra-
tados mais prximos de cada indivduo tratado em relao ao escore de pro-
penso e calculamos a mdia da diferena de resultados entre os dois perodos
para os M indivduos. Em um segundo passo, para cada indivduo no grupo
de tratamento, calculamos a diferena entre a sua diferena de resultado en-
tre os perodos e e a mdia dos M indivduos no grupo de controle mais
prximos a ele. O estimador do efeito mdio do tratamento sobre os tratados
a mdia destas diferenas das diferenas calculadas para os indivduos trata-
dos. Para estimar o escore de propenso usando dados em painel, precisamos
usar a amostra de controles e tratamentos. A varivel dependente T igual a
1 se o indivduo recebeu o tratamento, e 0 caso contrrio, e o vetor X engloba
as informaes que os indivduos tinham ao decidir participar ou no no pro-
grama, isto , caractersticas nos perodos anteriores ao programa. Neste vetor
X, podemos incluir variveis que influenciaram a deciso do indivduo entre
participar ou no do programa, e no devemos incluir variveis que possam
ser resultado do programa.
5.5.3 Regresso Linear e Reponderao

Como vimos acima, alm do pareamento, podemos usar regresso linear ou
reponderao para estimar o efeito mdio do tratamento. No primeiro mto-
do, estimamos uma regresso linear para o grupo de controle e para o grupo
de tratamento usando o vetor X como variveis explicativas. Nesta primeira
abordagem, no precisamos estimar o escore de propenso. J o mtodo de
reponderao se baseia somente na estimao do escore de propenso. Neste
segundo mtodo, no precisamos estimar a funo de regresso que relaciona
os resultados potenciais com X. Sob algumas hipteses, ambos os mtodos
resultam em estimadores consistentes e eficientes para o efeito mdio do tra-
tamento. No entanto, enquanto o comportamento do estimador de regresso
sensvel especificao usada para o modelo que relaciona os resultados po-
tenciais com X, o estimador de reponderao sensvel ao modelo usado para
o escore de propenso. Robins e Ritov (1997) propuseram um estimador que
combina o mtodo de regresso com o mtodo de reponderao. A motivao
para combinar mtodos que o estimador se torna menos sensvel a apenas
uma das hipteses. Este estimador para o efeito mdio do tratamento tem a
propriedade de ser duplamente robusto, isto , se o modelo paramtrico para
o escore de propenso for corretamente especificado ou se o modelo param-

trico para a regresso linear for corretamente especificado, o estimador con-
sistente para o efeito mdio do tratamento sobre os tratados.
Esta combinao de mtodos tambm pode ser usada para estimar o efei-
to mdio do tratamento sobre os tratados. Uma maneira de estimar o efeito
mdio do tratamento sobre os tratados proposta por Hirano e Imbens (2001)
usando uma regresso linear estimar o seguinte modelo linear:
(5.5.3.1)
no qual a mdia amostral de X na subamostra de indivduos tratados. Nes-

te caso, representa o efeito mdio do tratamento sobre os tratados.
Mas, essa regresso linear pode ser combinada com o mtodo de reponde-
rao, no qual ponderamos as unidades no grupo de controle por Ao
final, estimamos uma regresso ponderada com o peso igual a 1 para um in-
divduo no grupo de tratamento e igual a para uma unidade no grupo
de controle. De modo mais formal, estimamos o modelo linear acima com a
seguinte funo peso:
(5.5.3.2)
no qual representa o estimador paramtrico do escore de propenso,

obtido por uma regresso logit ou probit 48
19
.
Para obter o efeito mdio do tratamento usamos tambm uma regresso pon-
derada com duas modificaes em relao ao modelo anterior. Primeiro, a re-
gresso estimada excluindo a mdia para toda a amostra:
em que a mdia amostral de X na amostra total, incluindo os indivduos

no grupo de tratamento. Segundo, temos que no s reponderar os indivdu-
os no grupo de controle para melhor representar os indivduos tratados, mas
tambm os indivduos no grupo de tratamento para melhor representar os in-
divduos no-tratados. Neste caso, o peso para os indivduos tratados ser o
inverso da probabilidade de receber tratamento e para os indivduos no-tra-
tados ser o inverso da probabilidade de no receber tratamento. Neste caso,
usamos a seguinte funo peso:
48
Este mtodo mais geral, permitindo que a regresso linear inclua apenas um subvetor de
variveis explicativas, bem como o modelo para o escore de propenso. De outra maneira,
o vetor de variveis observveis que determinam a participao no tratamento pode ser
diferente do vetor de variveis explicativas que determinam os resultados.

5.6 Exemplos
Mattos, Maia e Marques (2010) usam o pareamento baseado no escore de pro-
penso para estimar o efeito de programas redistributivos incondicionais no
nmero de horas trabalhadas de homens e mulheres. O programa Bolsa-Fam-
lia engloba polticas de transferncias condicionais e incondicionais de renda.
Este programa abrange a populao em extrema pobreza e so elegveis as
famlias com renda per capita inferior a R$ 50. Estas famlias podem receber a
transferncia sem nenhuma contrapartida. Alm disso, existe um valor adicio-
nal para cada criana da famlia que for para a escola. Este programa difere do
antigo Bolsa Escola, no qual as transferncias ocorriam somente se os filhos
frequentassem a escola. O objetivo do artigo comparar a oferta de trabalho
dos beneficirios de programas incondicionais como o Renda Mnima em rela-
o a programas condicionais como o Bolsa Escola. A ideia seria que os bene-
ficirios dos programas de transferncia incondicionais no teriam incentivos
para mudar suas horas de trabalho, pois eles teriam um aumento de renda sem
nenhuma contrapartida. J nos programas condicionais como o Bolsa Escola,
as crianas precisam ficar na escola, o que poderia reduzir as horas trabalhadas
pelas crianas, o que, por sua vez, pode afetar a oferta de trabalho dos adultos.
Alm disso, ao trabalhar mais horas, os adultos poderiam perder o direito ao
benefcio. Os autores usam o mtodo do pareamento um a um baseado no
escore de propenso isto , cada indivduo no grupo de tratado pareado com
apenas um indivduo no grupo de controle para estimar o efeito mdio dos
programas de transferncias de renda nas horas trabalhadas dos beneficirios.
Neste exerccio, usamos dados semelhantes aos usados em Mattos, Maia e Mar-
ques (2010) para estimar o efeito do programa de Renda Mnima e do progra-
ma Bolsa Escola sobre o nmero de horas remuneradas de homens e mulheres
beneficirios do programa com idade entre 12 e 65 anos 49 20
.
A tabela 5.3.1 apresenta os resultados da estimao deste efeito usando alguns

dos mtodos descritos nesta seo. A parte superior da tabela apresenta os
resultados para os homens, enquanto a parte inferior apresenta os resultados
para as mulheres. Para os homens, o efeito do programa Bolsa Escola sobre o
nmero de horas trabalhadas remuneradas ao ano negativo e estatisticamen-
te significativo em todos os mtodos, exceto no mtodo que usa o pareamento
com o mtodo do vizinho mais prximo (coluna 2). interessante notar que os
resultados estimados pelo pareamento com mtodo do vizinho mais prximo,
pela regresso e pela regresso com reponderao so bem semelhantes. No
entanto, no caso do Programa de Renda Mnima, o efeito do programa sobre
o nmero de horas remuneradas no estatisticamente significativo, exceto
para o caso em que combinamos o mtodo da regresso com o mtodo da
49
No artigo em questo, os autores usam como varivel dependente o nmero de horas
trabalhadas ao ano. Neste exemplo, usamos como varivel dependente o nmero de horas
de trabalho remuneradas ao ano.

reponderao (coluna 4). Neste ltimo caso, encontramos um efeito positivo
sobre o nmero de horas trabalhadas remuneradas. Este resultado contradiz
a teoria de que programas de transferncias incondicionais no levariam os
indivduos a trabalharem mais, pois eles teriam um aumento da renda sem
contrapartida. No caso das mulheres, quando usamos o mtodo do pareamen-
to, encontramos que os efeitos de ambos os programas so no significativos.
Quando usamos o mtodo da regresso, encontramos que o efeito do progra-
ma de Renda Mnima negativo e significativo a 5%, enquanto o efeito do
programa Bolsa Escola no significativo. Os resultados encontrados com o
mtodo que combina regresso com ponderao indicam que ambos os pro-
gramas tm um efeito negativo e significativo no nmero de horas remunera-
das das mulheres beneficirias, sendo este efeito maior em valor absoluto para
no caso do programa de Renda Mnima. Este resultado indica que, no caso das
mulheres, o programa leva a uma diminuio da oferta de trabalho.
Uma das hipteses usadas por todos os mtodos baseados no escore de pro-
penso a de que existe sobreposio da distribuio do escore de propenso
para tratados e da distribuio do escore de propenso para os controles na
regio de X. O grfico 5.6.2 mostra a sobreposio do escore de propenso
para homens e mulheres beneficirios e no-beneficirios para cada um dos
programas. As barras azuis mostram o histograma para os indivduos que no
receberam tratamento, enquanto as barras vermelhas mostram o histograma
para os indivduos no grupo de tratamento. Logo, podemos verificar qual a
porcentagem de indivduos no grupo de controle e no grupo de tratamento
para cada intervalo do escore de propenso. Se h sobreposio, em cada in-
tervalo que tiver indivduo tratado, temos que ter tambm indivduos no-tra-
tados. Os grficos indicam que h sobreposio das distribuies do escore de
propenso tanto para os homens quanto para as mulheres.
Tabela 5.3.1: Mtodos usando o Escore de Propenso
Fonte: Elaborao prpria dos dados da POF 2002-2003.

O vetor de varivel X inclui escolaridade, participao no mercado de trabalho, ciclo de vida, composio
familiar, raa, sade, qualidade de moradia, controles estaduais.
O modelo o mesmo usado em Mattos, Maia e Marques (2010)

Grfico 5.3.2: Distribuio do Escore de Propenso para Tratados e para
No-Tratados
Exerccios
1) Estamos interessados em estimar o efeito mdio do tratamento,
Usamos a seguinte hiptese de seleo nos observveis
e a seguinte hiptese de sobreposio,

a) Mostre que se simplesmente tirarmos a diferena entre a expecta-
tiva dos resultados potenciais para os tratados e a expectativa dos resultados
potenciais para o controle no necessariamente conseguimos o efeito mdio
do tratamento.
c) Mostre que podemos usar o mtodo da reponderao para obter o

efeito mdio do tratamento. Ou seja, mostre a seguinte igualdade:
d) Proponha um estimador para o efeito mdio do tratamento basea-

do no resultado obtido na letra (b).
2) No exemplo deste captulo, Mattos, Maia e Marques (2010) usam o mtodo

do pareamento para estimar o efeito mdio do tratamento de programas de
transferncias de renda sobre o nmero de horas remuneradas dos benefici-
rios do programa.
a) Quais hipteses devem ser vlidas para que o estimador de parea-

mento seja consistente para o efeito mdio do tratamento sobre os tratados?
b) Interprete estas hipteses no contexto do exemplo, e discuta a vali-

dade destas hipteses.
d) Suponha que voc obtenha uma base de dados que contm as

caractersticas (X) dos beneficirios e no-beneficirios do programa antes e
depois da implementao. Alm disso, voc tambm observa o resultado de
interesse nos perodos pr e ps-programa. Como voc modificaria a anlise
realizada por Mattos, Maia e Marques (2010)? Discuta a validade das hipteses
deste novo mtodo.
3) Para estimar o efeito de um programa de treinamento no mercado de tra-

balho sobre salrio, voc obtm uma base de dados que tem o salrio dos
indivduos tratados e no-tratados e um vetor com vrias caractersticas do
background socioeconmico dos indivduos e tambm da sua atividade no
mercado de trabalho. Em um primeiro momento, voc decide usar estas infor-
maes para estimar o efeito mdio do tratamento sobre os beneficirios usan-
do um pareamento simples baseado no vetor de caractersticas dos indivduos.
Ao tentar o pareamento baseado nas caractersticas individuais e nas caracte-
rsticas dos postos de trabalho, o vetor X tem uma dimensionalidade muito
grande e voc decide fazer o pareamento baseado no escore de propenso.

a) Quais hipteses precisam ser satisfeitas para que este estimador ba-
seado no escore de propenso represente o efeito mdio do tratamento sobre
os beneficirios do programa?
b) Voc poderia obter este efeito mdio do tratamento sobre os trata-

dos usando uma regresso linear? Se sim, explique como. Se no, justifique a
sua resposta.
c) Um pesquisador l o seu trabalho e argumenta que o seu resultado

muito sensvel especificao do escore de propenso. Ele acredita que a
sua especificao do escore de propenso no flexvel o suficiente para que
as hipteses especificadas em (a) sejam satisfeitas. Como voc responderia a
esta crtica? Proponha um mtodo que seja menos sensvel a especificao do
escore de propenso e interprete as suas hipteses.
4) Hirano e Imbens (2001) usam os mtodos baseados no escore de propen-

so para estimar o efeito mdio de um procedimento cardaco, o cateterismo,
sobre a probabilidade de sobrevivncia dos indivduos. Eles usam observaes
para 5.735 indivduos, sendo 2.184 tratados e 3.551 no-tratados. Para cada
indivduo, eles observam se um procedimento de cateterismo foi aplicado no
perodo de 24 horas aps a entrada no hospital com problemas cardacos. Os
indivduos no grupo de tratamento so aqueles que sofreram a interveno de
um cateterismo, enquanto os indivduos no grupo de controle so aqueles que
no sofreram a interveno. Alm disso, eles observam um vetor com 72 carac-
tersticas para cada um dos indivduos, como por exemplo, sexo, raa, educa-
o, renda, se possui plano de sade, tipo de doena que possui, peso, etc. Eles
estimam o escore de propenso baseado em um modelo logstico.
a) Antes de estimar o efeito mdio do tratamento sobre os tratados,

eles apresentam uma tabela que contm um teste de diferena de mdias para
as caractersticas observveis. Eles obtm resultados para este teste antes e de-
pois da ponderao pelo escore de propenso. Esta tabela encontra-se abaixo.
Interprete estes resultados.
Nesta tabela, renda 1, renda 2 e renda 3 representam 3 baixas de renda faixa,

mdia e alta, respectivamente.

b) Antes de estimar os efeitos, eles tambm mostram os histogramas
do escore de propenso para o grupo de tratados e para o grupo de no-trata-
dos. Interprete estes grficos.
c) Eles usam diferentes mtodos para estimar o efeito mdio do tra-

tamento sobre a taxa de sobrevivncia. Usando um estimador de pareamen-
to simples baseado nos vizinhos mais prximos, eles encontram um efeito de
-0,081 (erro-padro de 0,017). Ao combinar o mtodo de pareamento com re-
gresso simples, o efeito de -0,063 (erro-padro de 0,016). Estimando o efeito
mdio do tratamento por regresso linear, eles encontram um efeito mdio de
-0,065 (erro-padro de 0,014), enquanto usando o mtodo de reponderao,
eles encontram um efeito mdio de -0,060 (erro-padro de 0,018). Combinan-
do os mtodos de regresso e reponderao, eles encontram um efeito mdio
de -0,062 (erro-padro de 0,015). Interprete estas evidncias, dando nfase s
hipteses em que se baseia cada estimador. Qual seria a concluso sobre o
efeito deste procedimento na taxa de sobrevivncia?

PARTE 2
Mtodos Avanados de
Avaliao de Impacto
CAPTULO 6
Variveis Instrumentais
Ao contrrio dos mtodos apresentados no captulo 5, o mtodo de varivel

instrumental baseia-se no caso de seleo em variveis no observveis. Neste
captulo, consideraremos o arcabouo de resultados potenciais apresentado
no captulo 2, mas lidaremos com a estimao do efeito mdio do tratamento
sob a hiptese de seleo em caractersticas no observveis. O nosso proble-
ma consiste em estimar o efeito mdio do tratamento quando existem outros
fatores, alm das caractersticas observveis presentes no vetor X, que afetam
simultaneamente a deciso de participar no programa e os resultados poten-
ciais, isto , quando:
Neste caso, precisamos de uma varivel exgena Z que afeta a deciso de participa-
o e que no est correlacionada com nenhum fator no observvel relacionado
ao resultado potencial. No caso clssico de varivel instrumental com efeitos ho-
mogneos do tratamento, estamos pensando no seguinte sistema de equaes:

no qual igual a 1 se o indivduo recebeu tratamento, e 0 se o indivduo
no-tratado. Alm disso, assumimos que ,
ou seja, que no h relao linear entre o instrumento e o termo aleatrio da
equao principal, mas os termos aleatrios no observveis das duas equa-
es so correlacionados. Neste sistema, os fatores no observveis que afe-
tam a deciso de participar no programa esto correlacionados com os fatores
no observveis que afetam o resultado de interesse, e precisamos de um ins-
trumento Z que permita captar uma variao exgena na deciso de participar
do programa, e que ao mesmo tempo no est relacionado de forma direta
com o resultado potencial.
Este modelo pode ser estimado por mnimos quadrados em dois estgios. Nes-
te caso, em um primeiro estgio, estimamos um modelo de probabilidade line-
ar que relaciona com e obtemos o valor predito:
Este valor predito representa uma variao exgena na deciso de participar

ou no do programa, que no est relacionada a nenhum outro fator que possa
influenciar o resultado de interesse.
Em um segundo estgio, estimamos uma regresso linear que relaciona o re-

sultado de interesse (Y) com este valor predito,
No sistema de equao acima, a varivel Z no afeta diretamente Y. Ela s afeta

o resultado de interesse atravs da sua relao com a participao ou no no
tratamento. Alm disso, assumimos que o efeito de tratamento homogneo,
isto , para todo indivduo i. No caso de tratamento homogneo, o re-
sultado do indivduo depende apenas da sua participao ou no no programa
e no est relacionado a como a participao no programa afetada pelo ins-
trumento Z. No caso de tratamento homogneo, o efeito mdio do tratamento
(EMP) igual ao efeito mdio do tratamento sobre os tratados (EMPT), EMP
=EMPT= .
Se os indivduos souberem que os ganhos de participao podem diferir para

certos grupos, eles iro levar em considerao esta informao na hora de deci-
dir se participam ou no do programa. Neste caso, tanto seus ganhos individu-
ais como iro afetar a deciso de participar do indivduo i, e variaes em
iro afetar a deciso de participar de forma diferente para cada indivduo,
dependendo do seu ganho com o tratamento, . Neste caso, a hiptese de
homogeneidade do tratamento violada, e o estimador de varivel instrumen-
tal no identifica o efeito mdio do tratamento ou o efeito mdio do tratamen-

to sobre os tratados.
Imbens e Angrist (1994) mostraram que quando os efeitos do tratamento so

heterogneos, o arcabouo de varivel instrumental permite identificar um
efeito mdio de tratamento local, isto , um efeito mdio do tratamento para
uma subpopulao especfica. Neste caso, ser o efeito mdio do tratamento
para aqueles indivduos cuja variao em Z provoca uma variao no status de
participao sem afetar os resultados potenciais. Para estes indivduos, a dife-
rena na mdia dos resultados potenciais do grupo de tratados e do grupo de
no-tratados ocasionada por uma variao em Z se d exclusivamente atravs
do efeito de Z na taxa de participao do programa.
Este efeito mdio do tratamento para a subpopulao de indivduos induzidos

ao tratamento por variaes no instrumento chamado de efeito mdio local
do tratamento (LATE)350. Iremos entender este efeito dentro do arcabouo de
resultados potenciais. Neste arcabouo, definimos como compliers os indiv-
duos que so induzidos pelo instrumento a terem uma mudana de compor-
tamento na varivel endgena, no caso em questo, na participao ou no no
programa. O LATE seria o efeito mdio do tratamento para esta populao de
compliers. Como no captulo 2, definimos (0) como o resultado potencial
do indivduo i caso ele no tivesse participado no programa e (1) como o
resultado potencial do indivduo i caso ele tivesse participado. Podemos definir
o resultado observado como:
(6.1)
Suponha que, alm de observarmos ( , ) para cada indivduo, observamos

tambm uma varivel instrumental binria . Neste caso, (0) seria o valor
potencial da varivel endgena (participao no tratamento) se a pessoa ti-
vesse um valor de que a induzisse a no participar e (1) seria o valor po-
tencial da varivel endgena (participao no tratamento) se a pessoa tivesse
um valor de que a induzisse a participar 514. O valor realizado para pode ser
definido como uma funo do instrumento:
(6.2)
Neste arcabouo de resultados e tratamentos potenciais, podemos pensar no

resultado potencial como uma funo de Z e T, (Z,T) que seria o resultado
50
Esta sigla LATE vem do nome em ingls, Local Average Treatment Effect.
51
Ti(0) e Ti(1) so os valores potenciais para a participao no tratamento, e seriam respec-
tivamente os valores de T que eles teriam se no tivessem sido tratados ou tivessem sido
tratados, independendo se eles de fato receberam tratamento ou no.

potencial que seria observado se o instrumento assumisse valor z e o tratamen-
to, valor t. Com um instrumento binrio, temos quatro resultados potenciais,
(0,0), (0,1), (1,0), (1,1). Por exemplo, Y(0,0) seria o resultado potencial
do indivduo que obteve um valor de Z igual a 0 e decidiu no participar do
programa.
Como no caso clssico de varivel instrumental, precisamos que o instrumen-

to Z s afete o resultado de interesse atravs do seu efeito na taxa de parti-
cipao. Para garantir que isso acontea em um arcabouo com efeitos he-
tergenos, precisamos que Z seja independente no apenas dos resultados
potenciais, mas tambm dos tratamentos potenciais. Precisamos que a varivel
instrumental seja to boa como se ela fosse alocada de forma aleatria entre os
indivduos, isto , precisamos que o instrumento seja independente dos quatro
resultados potenciais e dos tratamentos potenciais.
Alocao Aleatria: independente de ( (0,0), (0,1), (1,0), (1,1),

(1), (0)) (H1)
Alm de ser alocado de forma aleatria, precisamos que ele s afete o resul-
tado de interesse atravs da variao que provoca na taxa de participao, ou
seja, precisamos de uma hiptese conhecida como restrio de excluso. Esta
hiptese garante que o instrumento s afete Y atravs de um canal conhecido.
De um modo mais formal, esta hiptese garante que, ao controlarmos por t,
(z,t) no uma funo de z, mas somente de t:
Restrio de Excluso: (z,t) = (z*,t) para todo t, z, z* (H2)
A restrio de excluso permite que os resultados potenciais sejam definidos

somente com base no status do tratamento:
e o resultado observado pode ser escrito como:
(6.5)
No caso de tratamentos heterogneos, cada indivduo responde a diferentes

valores do instrumento dependo do resultado recebido pelo tratamento. Pode-
mos pensar em quatro tipos de comportamento induzidos pelo instrumento.
Suponha que os indivduos que recebem valores de Z igual a 1 so convidados
a participar do programa, enquanto os indivduos com valores de Z igual a 0
no so convidados a participar. Podemos pensar, por exemplo, em um progra-

ma em que o aluno pode se matricular em um curso tcnico dependendo de
sua nota em um teste de proficincia e o seu histrico escolar. Se a nota do alu-
no no teste for superior a um valor determinado c, ele convidado a se matri-
cular no curso. Caso ele receba uma nota inferior a c, ele no recebe o convite.
Neste caso, o instrumento seria uma varivel binria que igual a 1 se o aluno
tirou uma nota no teste de proficincia acima de c, e 0, caso contrrio. Podemos
pensar em um primeiro grupo de alunos que gostariam de se matricular no
programa independente da sua nota no teste de proficincia, isto , indepen-
dente do valor do instrumento. Estes alunos so chamados de always-takers,
pois eles sempre aceitariam participar do programa independentemente do
valor do instrumento. Existe outro grupo de indivduos que no gostaria de
se matricular no curso tcnico, independentemente do valor do instrumento.
Este grupo de indivduos conhecido como never-takers e so aqueles que
nunca aceitariam participar, independentemente da sua nota no teste de pro-
ficincia. Alm disso, existem indivduos que iro mudar o seu comportamen-
to de acordo com o valor do instrumento. O terceiro grupo composto pelos
indivduos que, se tiverem uma nota acima de c no teste de proficincia, iro
realizar o curso tcnico, mas se receberem uma nota abaixo de c no teste, no
iro se matricular. Estes indivduos so chamados de compliers. Finalmente,
teremos os indivduos que tero comportamento oposto quele induzido pelo
instrumento. Neste grupo, se os indivduos recebessem notas abaixo de c, eles
gostariam de se matricular no curso; mas se eles recebessem notas acima de
c, eles no se matriculariam no curso. Este ltimo grupo conhecido como
defiers. Podemos representar estes quatro grupos em uma tabela52 5
de acordo
com o comportamento de cada um a variaes do instrumento,
Por exemplo, a primeira clula desta tabela representa os indivduos cujo tra-
tamento potencial, independentemente da realizao do instrumento (0 ou 1),
sempre igual a 0, ou seja, eles nunca participam. Estes so os never-takers.
Baseados nas variveis que observamos para cada indivduo ( , , ), no
podemos classificar estes indivduos em cada um dos grupos acima. Para isso,
precisaramos saber como eles iriam reagir caso eles recebessem outra realiza-
o para a varivel instrumental. Com as informaes que observamos pode-
mos montar a seguinte tabela:
52
Estas tabelas foram retiradas de Imbens e Wooldridge (2009)

Esta tabela indica que, ao observamos para o indivduo i o par (Z,T) = (0,1), s
sabemos que este indivduo no participaria do curso tcnico se a sua nota for
abaixo do ponto de corte c. Este indivduo pode estar no grupo de compliers
ou de never-takers. Para saber de fato a qual grupo o indivduo realmente
pertence, precisaramos saber qual seria o seu comportamento caso ele tiras-
se uma nota superior a c no teste de proficincia. Para que o LATE identifique
o efeito mdio para alguma subpopulao, precisamos identificar o compor-
tamento de cada um dos grupos e para isso assumimos que existem poucos
indivduos que faro o oposto do que foi sugerido pelo instrumento, isto ,
assumimos monotonicidade dos tratamentos potenciais:
Monotonicidade: para todo i (H3)
Esta hiptese de monotonicidade garante que todas as pessoas so afetadas

na mesma direo pelo instrumento, isto , no podem existir os indivduos
que, se recebessem uma nota no teste de proficincia acima de c, no iriam se
matricular no curso, e se recebessem uma nota no teste acima de c iriam se ma-
tricular no curso. Com a hiptese de monotonicidade, a informao que temos
nos dados observveis aumenta e pode ser representada pela tabela abaixo:
Como pode ser visto pela tabela, a hiptese de monotonicidade elimina a exis-
tncia dos defiers. Usando a informao da tabela acima, podemos identificar
o efeito mdio do tratamento sobre a populao de compliers. Podemos de-
compor a expectativa condicional de Y em Z no comportamento de cada um
dos grupos,

Sob a hiptese de monotonicidade, representa a proporo
de always-takers, representa a proporo de never-takers e
representa a proporo de compliers. Podemos decompor a diferena dos re-

sultados potenciais em quatro grupos:
Note que as duas primeiras linhas representam o grupo de compliers, a tercei-

ra linha se refere o grupo de always-takers e a ltima linha representa o grupo
de never-takers. Sob a hiptese de restrio de excluso,
e podemos reescrever a expresso acima como:
O efeito mdio do tratamento para o grupo de compliers simplesmente a

seguinte razo:
Esta razo o parmetro estimado pelo mtodo de varivel instrumental quan-

do o instrumento uma varivel binria e os efeitos so heterogneos. Os da-
dos observveis s nos do informao sobre o efeito mdio do tratamento
para a subpopulao de indivduos que tiveram o comportamento induzido
pelo instrumento, isto , para o grupo de compliers.

Suponha que observamos um vetor de caractersticas adicionais dos indivdu-
os (X) que podem ser usados nos modelos para o resultado de interesse e para
a participao no tratamento. Neste caso, este vetor seria includo nos dois mo-
delos que iremos estimar por mnimos quadrados em dois estgios:
Consideramos que so variveis exgenas que tm um efeito direto no re-

sultado de interesse. Se a varivel instrumental for de fato alocada de for-
ma aleatria entre os indivduos, ele seria independente das demais variveis
explicativas do modelo e a incluso do vetor X no modelo s levaria ao
aumento da preciso das estimativas. No entanto, como no caso tradicional de
variveis instrumentais, a razo principal de se incluir outras variveis explica-
tivas no modelo que a hiptese de alocao aleatria de e a restrio de
excluso so vlidas somente se condicionarmos em , isto , se comparar-
mos indivduos com as mesmas caractersticas observveis. De maneira mais
formal, neste caso, as hipteses de alocao aleatria e a restrio de excluso
seriam:
Alocao Aleatria*: Z independente de (Y (0,0), Y (0,1), Y (1,0), Y (1,1),

T (1), T (0)), condicional em X (H1*)
Esta hiptese nos diz que entre indivduos com o mesmo vetor de caractersti-
cas X , o instrumento Z foi alocado de forma aleatria.
Restrio de Excluso*: Y (z,t,x) = Y (z*,t,x) para todo t, x, z, z* (H2)
Neste caso, somente para indivduos com o mesmo vetor de variveis explicati-
vas, os resultados potenciais no iro depender da realizao de Z.
No caso em que inclumos um vetor adicional de variveis explicativas no mo-

delo, a estimao tambm pode ser realizada por mnimos quadrados em dois
estgios. Em um primeiro momento estimamos o modelo linear que relaciona
a participao com todas as variveis exgenas e calculamos o valor predito,
e em um segundo estgio, usamos este valor predito como varivel explicativa

no modelo linear para Y,

6.1 Interpretao do parmetro LATE e a
sua relao com os outros mtodos
Como j foi dito, apesar de muito semelhante ao estimador clssico de vari-
vel instrumental (se eliminarmos a hiptese de efeitos heterogneos), o LATE
no representa o efeito mdio do tratamento ou o efeito mdio do tratamen-
to sobre os tratados. O LATE representa apenas o efeito mdio do tratamento
para uma subpopulao bem especfica, a populao de indivduos que tem
seu comportamento alterado em funo de uma variao no instrumento. Em
geral, este grupo de indivduos no representativo da populao como um
tudo. Dada esta limitao, podemos perguntar se este efeito local identificado
pelo LATE interessante para uma anlise de poltica. A resposta a esta per-
gunta ir depender do instrumento que ser usado na anlise. Por exemplo,
se a varivel instrumental for alguma mudana de poltica que afeta a taxa de
participao, o LATE representa um parmetro de interesse para esta poltica,
pois representa o efeito mdio do tratamento para a subpopulao que teve o
seu comportamento alterado por tal poltica. Se, por outro lado, usarmos uma
varivel contnua que simplesmente afeta a taxa de participao e no tem
efeito direto no resultado, LATE pode ser um parmetro menos informativo.
importante pensar tambm na relao entre o arcabouo do LATE e os de-

mais mtodos apresentados neste livro. Como j foi dito, diferentemente dos
mtodos de pareamento, o mtodo de varivel instrumental usado quando a
hiptese de seleo em caractersticas observveis violada, ou seja, o proces-
so de seleo para o tratamento baseado em caractersticas no-observveis.
Alm disso, podemos fazer uma analogia entre o LATE e um experimento ale-
atrio. Suponha que o instrumento seja uma oferta de tratamento que foi alo-
cado de forma aleatria entre os indivduos. Por exemplo, suponha que quere-
mos testar o efeito de um exame novo que foi criado para detectar cncer de
mama, e para isso convidamos uma amostra aleatria de mulheres de 35 a 50
anos para realizar o exame. As mulheres que recebem a carta convite podem
se dirigir clnica e fazer o exame, ou podem no aceitar o convite e no fazer
o exame. Como so as mulheres que escolhem se iro fazer ou no o exame,
as mulheres que decidem fazer o exame podem ser na mdia diferentes das
mulheres que se recusaram a faz-lo. Por exemplo, as mulheres que aceitaram
os convites so geralmente mais bem instrudas, se preocupam mais em rea-
lizar os seus exames peridicos para deteco de doenas e tm hbitos mais
saudveis, tendo na mdia uma sade melhor que as mulheres que rejeitaram
o convite. Logo, para encontrar o efeito mdio do tratamento sobre a proba-
bilidade de detectar cncer de mama, no podemos comparar a proporo de
mulheres que fizeram o exame e foram diagnosticadas com cncer de mama

com a proporo de mulheres que no fizeram o exame e receberam o diag-
nstico da doena, pois neste caso estaramos misturando o efeito do progra-
ma com o efeito de uma vida mais saudvel. Neste caso, estamos no arcabouo
em que o instrumento vem de um experimento real e foi alocado de forma ale-
atria entre as mulheres. O instrumento seria uma varivel binria que assume
valor igual a 1 se a mulher foi convidada a fazer o exame, e 0, caso contrrio.
Neste caso, LATE o efeito mdio sobre as mulheres que de fato receberam o
tratamento, isto , o efeito mdio do tratamento sobre os tratados.
6.2 O Caso de Mltiplos Instrumentos

Imbens e Angrist (1994) e Angrist e Imbens (1995) mostram que o estimador
que usa mltiplos instrumentos uma mdia ponderada de cada um dos LA-
TEs obtidos com cada instrumento especfico. Nesta seo, iremos entender
este resultado dentro de um instrumental simples no qual consideremos um
par de instrumentos binrios e , que so mutuamente exclusivos. Su-
ponha que a hiptese de monotonicidade satisfeita para cada uma destas
variveis binrias. Para estimar o efeito mdio do tratamento para a populao
de compliers, usamos o estimador de MQO em dois estgios. Em um primeiro
estgio, estimamos o modelo linear que relaciona o tratamento com as duas
variveis instrumentais:
(6.2.1)
Em um segundo estgio, usamos este valor predito como a varivel explicativa no

modelo linear para o resultado Y e estimamos o seguinte modelo linear simples:
(6.2.2)
O estimador de mnimos quadrados em dois estgios para este caso :
(6.2.3)
Substituindo a equao do primeiro estgio para :
(6.2.4)
Multiplicando e dividindo o primeiro termo por Cov , o segundo termo

por Cov , temos que:

Note que seria o LATE usando apenas o instrumento , e
seria o LATE usando apenas o instrumento . Logo, podemos escrever o es-
timado de MQO como uma mdia ponderada dos estimadores usando cada
uma das variveis instrumentais,
(6.2.5)
Os pesos de cada um dos LATES depende de quo forte a relao de cada

instrumento com a participao no tratamento, isto , ser dado maior peso
ao instrumento que apresenta uma relao mais forte com a participao no
tratamento. Podemos mostrar que este resultado se estende para o caso de
mltiplos instrumentos discretos.
6.3 O Caso de Instrumentos Contnuos

Nesta seo, consideremos a estimao do impacto do tratamento sobre toda
a distribuio de um instrumento contnuo. Neste caso, o instrumento cont-
nuo e a probabilidade de participao condicional a Z tambm uma funo
contnua, isto , uma funo contnua em z. Neste caso,
usamos mudanas infinitesimais na taxa de participao para medir o efeito
mdio local do tratamento (LATE). Heckman (1990), Vytlacil (2002), Heckman
e Vytlacil (2001), Carneiro, Heckman e Vytlacil (2005) usam um modelo de se-
leo para interpretar este efeito marginal. A seleo feita atravs de uma
funo de z e de um componente no-observvel, :
(6.3.1)
Sob a hiptese de alocao aleatria de Z , e se a restrio de excluso e a hip-

tese de monotonicidade so satisfeitas para todos os pares de z e z*, o modelo
latente implica que podemos ordenar os indivduos de acordo com os seus
componentes no-observveis . Se o fator no-observvel do indivduo i
menor que o do indivduo , ento para todo z. Dado este
ordenamento baseado no no-observvel, podemos definir o efeito marginal
do tratamento condicional em :
(6.3.2)

Este efeito se relaciona diretamente com o limite do efeito mdio local do tra-
tamento definido para os valores de tal que existe um valor z que satisfaz
,
para (6.3.3)
Para entender este parmetro como o limite do LATE, voltamos ao caso mais
simples em que uma funo linear em z . Neste caso, o estimador do
LATE para dois pontos na distribuio de z,
(6.3.4)
E podemos pensar no efeito marginal do tratamento (EMT) como o estimador

de LATE quando z fica arbitrariamente prximo de z*,
(6.3.5)
Este parmetro EMT usa um instrumento contnuo na tentativa de reconstruir

a distribuio das probabilidades de participao, e usar esta distribuio para
estimar o efeito na variao marginal de z.
6.4 Exemplo
Ponczek e Souza (2011) usam o arcabouo de varivel instrumental para estimar o
efeito do tamanho da famlia em alguns resultados das crianas. Em uma amostra
de famlias cuja mulher teve duas ou mais gestaes, eles usam como instrumen-
to uma varivel binria que indica se na segunda gestao ocorreu o nascimento
de gmeos. Segundo os autores, este acontecimento de gmeos claramente
relacionado com o tamanho de famlia, e condicional ao vetor de caractersticas
da famlia, ele s afeta os resultados de interesse atravs do efeito no tamanho
da famlia. Neste caso, a subpopulao de compliers composta pelas famlias
com pelo menos um filho nascido da primeira gestao que tiveram o tamanho
da famlia aumentado em um nmero inesperado devido ao nascimento de g-
meos. Os resultados de interesse neste artigo que sero apresentados aqui so: se
a criana participa da fora de trabalho, se a criana vai escola e se a criana no
repetiu a srie. As tabelas 6.4.1 e 6.4.2 apresentam os resultados para as crianas
com idade entre 10 e 15 anos que moram com a me e o marido da me. Os efeitos
mdios locais foram estimados por mnimos quadrados em dois estgios. A tabela
6.4.1 apresenta os resultados do primeiro estgio, enquanto a tabela 6.4.2 contm
os resultados do segundo estgio. As variveis explicativas usadas como controle
em ambos os modelos so: variveis binrias para anos e estados brasileiros, edu-
cao do chefe da famlia, gnero e sexo do chefe de famlia e educao e idade
da me. Usando os dados do Censo Brasileiro de 1991, os autores encontram que

o tamanho da famlia apresenta um efeito significativo na progresso escolar das
meninas, sendo este efeito negativo. Os autores apresentam evidncias de que,
quanto maior o tamanho da famlia, menor ser a probabilidade de a criana pro-
gredir na escola, mantendo todas as demais caractersticas da famlia constantes.
Como salientado pelos autores, este resultado importante para pensarmos nas
polticas pblicas de transferncia de renda que condicionam o montante recebi-
do pelas famlias somente na sua renda e no nmero de filhos que elas possuem.
Nestas polticas o efeito benefcio da renda pode ser cancelado pelos efeitos nega-
tivos do incentivo ao aumento do tamanho da famlia.
Tabela 6.4.1: Resultados do Primeiro Estgio
Fonte: Ponczek e Souza (2011)
Tabela 6.4.2: Resultados do Segundo Estgio
Fonte: Ponczek e Souza (2011)

Exerccios
1) Duflo (2001) estima o efeito da construo de escolas na Indonsia no salrio
dos indivduos. Neste artigo, a autora usa um modelo linear para o salrio (w)
do indivduo i nascido na regio j e na coorte k, que pode ser simplificado pela
equao:
em que uma varivel binria que indica se na regio j o programa foi muito
intenso. Esta varivel igual a 1 se na regio j duas ou mais escolas foram cons-
trudas, e igual a 0, caso contrrio. Alm disso, igual a 1 se o indivduo
estudou em uma escola que foi construda pelo programa, e 0, caso contrrio,
e representa os fatores no observveis. Este modelo assume que o efeito
mdio do tratamento varia com a intensidade do programa.
a) Calcule .
Qual seria o efeito mdio do programa para os indivduos que moravam em
regies nas quais o programa teve grande intensidade? Qual o efeito mdio do
programa para os indivduos em regies com baixa intensidade do programa?
b) Na tentativa de capturar efeitos heterogneos, os autores propem

o modelo composto pelo seguinte sistema de equaes:
em que .
O que o parmetro representa? Quem seriam os compliers neste modelo?
c) Como podemos estimar o efeito mdio do tratamento para a subpo-

pulao de compliers usando o sistema acima?
2) Usamos o seguinte sistema de equaes para estimar o retorno da educao

sobre o salrio,
Em que S representa o nmero de anos de estudo do indivduo i, Z uma

varivel binria que igual a 1 se o indivduo i nasceu no primeiro trimes-
tre do ano, e 0 se o indivduo nasceu no quarto trimestre. Assumimos que
e . Suponha que .
a) Interprete as duas hipteses e no

contexto deste exerccio.
b) Mostre que
c) Mostre que
d) Usando os resultados das letras (a) e (b), mostre que
e) Baseado nos estimadores acima, proponha um estimador para .
f) Angrist e Imbens (1995) usam uma base de dados para os Estados

Unidos para estimar o efeito dos anos de escolaridade sobre salrio, usando o
trimestre de nascimento como instrumento para anos de estudo. A ideia que
as pessoas s podem entrar no ensino bsico com 6 anos de idade. Nos Esta-
dos Unidos, o ano letivo comea em agosto. Assim, as crianas que nascem no
quarto trimestre do ano tm que esperar um ano a mais para entrar na escola
que as crianas que nascem no primeiro trimestre de nascimento. Esta variao
levaria um grupo a permanecer mais tempo na escola do que o outro. Os auto-
res separam os indivduos em dois grupos. O primeiro grupo, composto pelos
indivduos nascidos no primeiro trimestre, e o segundo, por aqueles nascidos
no quarto trimestre. Para cada grupo, eles obtm as seguintes mdias para os
alunos de estudo e logaritmo do salrio,
Usando os resultados da tabela acima e o estimador proposto em (e), calcule a

estimativa para o efeito mdio de anos de estudo no logaritmo do salrio. In-
terprete este coeficiente como o efeito mdio de um tratamento para a subpo-
pulao de compliers. Quem so os compliers neste caso?
3) Considere o seguinte modelo com efeitos heterogneos, no qual T uma

varivel binria que igual a 1 se o indivduo recebeu o tratamento, e
uma varivel instrumental binria. O efeito do tratamento sobre o resultado de

interesse representado por
ou de outra forma, podemos escrever este modelo usando o resultado obser-

vado para cada indivduo,
e tambm assumimos um modelo para o efeito do instrumento sobre o trata-

mento,
a) Mostre que, se temos efeitos heterogneos do instrumento sobre o

tratamento, mas temos um efeito homogneo do tratamento , o estimador
do LATE igual a mesmo que a hiptese de monotonicidade seja violada.
b) Considere o caso heterogneo, derive o vis do estimador do LATE

caso a hiptese de monotonicidade seja violada. Sob quais circunstncias, vio-
laes da hiptese de monotonicidade no invalidam a anlise de um efeito
mdio local do tratamento?
c) Suponha que as hipteses do LATE sejam verdadeiras, mas
mostre que
Qual o significado desta hiptese adicional? Interprete este resultado e discuta

como voc iria estimar o efeito mdio local do tratamento neste contexto.
4) Um programa criado pelo governo para promover o consumo de frutas e

vegetais entre os alunos na 5 srie do ensino fundamental. Nas escolas que
receberam o programa, os alunos foram convidados a participar de aulas que
explicavam cada tipo de alimento e nas quais eles podiam experimentar as
frutas e vegetais. Alm disso, estes alunos tambm faziam excurses para mer-
cados e feiras na tentativa de conhecer e experimentar um nmero grande de
frutas e verduras. As aulas e as excurses eram atividades extracurriculares, e os
pais tinham que autorizar os alunos a participar das mesmas. Dentro do estado,

metade das escolas foi selecionada para o grupo de controle, enquanto a outra
metade foi selecionada para o grupo de tratamento. Esta seleo foi realizada
de forma aleatria. O governo gostaria de avaliar o efeito do programa sobre a
sade das crianas. Para isso, ele possui uma base de dados que contm algu-
mas caractersticas socioeconmicas dos alunos, se eles estavam em uma es-
cola tratada e se participaram do programa. Alm disso, ele possui informaes
sobre a sade do aluno, como o nmero de vezes que o aluno ficou gripada
nos ltimos 12 meses.
a) Proponha um mtodo para estimar o efeito do programa sobre a

sade dos alunos.
b) Discuta as hipteses necessrias para que o mtodo proposto em

(a) seja vlido.
c) Quais seriam os resultados esperados desta avaliao? Voc acha

que os resultados obtidos para este estado se manteriam se esta poltica fosse
implementada em outros estados?

CAPTULO 7
Regresso Descontnua
O mtodo de regresso descontnua pode ser usado quando a probabilidade

de receber tratamento muda de forma descontnua com uma varivel, que va-
mos chamar de Z. Um dos primeiros trabalhos que usaram regresso descont-
nua foi Thristhlewaite e Cook (1960), que estimou o impacto de um prmio por
mrito no desempenho acadmico dos alunos. Neste estudo, o prmio por m-
rito era dado de acordo com as notas dos alunos. Os alunos que tinham notas
acima de um certo valor recebiam o prmio, enquantos os alunos que tinham
notas abaixo deste ponto de corte no podiam receber o prmio. Os autores
argumentam que os indviduos que esto logo abaixo do ponto de corte so
muito semelhantes aos indivduos logo acima do ponto de corte, exceto pelo
fato de que no receberam o prmio, e seriam um bom grupo de controle.
Neste estudo, a varivel Z, cujo valor determina o recebimento do tratamento,
a nota do aluno.
Uma das vantagens do mtodo de regresso descontnua que ele requer

hipteses mais fracas do que as hipteses usadas pelos mtodos no-expe-
rimentais apresentados at aqui. Ao invs de assumirmos uma hiptese de
independncia, como no captulo 5, iremos assumir que existe uma relao
contnua entre os determinantes do resultado de interesse e a varivel Z, e uma
relao descontnua entre a participao no tratamento e Z. Com esta hipte-
se, qualquer descontinuidade que ocorra na funo que relaciona Y a Z pode
ser atribuda ao salto que ocorre na participao do tratamento em determina-
do valor de Z, e o tamanho deste salto pode ser interpretado como um efeito
mdio local do tratamento. A desvantagem do mtodo de regresso descon-
tnua que ele estima um efeito mdio do tratamento comparando apenas
os indivduos em torno deste ponto de corte. Se estes indivduos forem muito
diferentes do restante dos indivduos na populao de interesse, no podemos
afirmar que este seria o efeito mdio do tratamento para a populao de inte-
resse. Assim, devemos ter cuidado ao tentar extrapolar o efeito mdio local en-
contrado pelo mtodo de regresso descontnua para o restante da populao.
No instrumental de regresso descontnua, o recebimento do tratamento, de-

nominado pela varivel binria T, uma funo de Z. A descontinuidade pode
ser fuzzy ou sharp. No caso sharp, a participao uma funo determinstica
de Z, isto , T = 1 se X c, e T=0 se X < c. No caso fuzzy, ocorre um salto na

probabilidade de participao no ponto em que Z igual a c, mas no neces-
sariamente de 0 para 1, como no caso sharp. Em ambos os casos, ter a descon-
tinuidade na probabilidade de participao em Z igual a c no suficiente para
identificarmos o efeito mdio local do tratamento.
Se os indivduos tem controle sobre a varivel Z e eles sabem os benefcios

do tratamento, os indivduos abaixo da descontinuidade podem ser sistema-
ticamente diferentes dos indivduos acima da descontinuidade. Por exemplo,
no estudo de Thristhlewaite e Cook (1960), se os estudantes puderem detemi-
nar a sua nota no teste de proficincia de forma perfeita atravs do esforo, os
alunos mais esforados e determinados iro escolher notas acima de c e iro
ganhar o prmio, e estes alunos podem ser sistematicamente diferentes dos
demais pelo menos no que se refere ao esforo. Neste caso, os indviduos no
so comparavis em torno do ponto de corte, e no podemos usar os indivdu-
os abaixo de c como um grupo de controle para os indivduos logo acima de c
que receberam o tratamento. No entanto, suponha um outro cenrio no qual
os alunos, mesmos se esforando mais, no tm garantia de que sua nota ser
maior que c. Neste novo cenrio, parece mais razovel pensar que os alunos
que ficaram logo abaixo do ponto de corte so semelhantes aos que ficaram
acima, exceto que os primeiros tiveram sorte e acertaram uma questo a mais
na prova do que os outros. Mesmo sabendo dos benefcios do tratamento, os
alunos no so capazes de manipular de forma perfeita a sua nota de modo
que ela fique acima de c. Neste caso, temos uma variao exgena no trata-
mento em torno da descontinuidade, e usamos esta variao para estimar o
efeito mdio do tratamento.
Se a variao no status do tratamento em torno do ponto de corte aleatria,

como descrito no caso acima, as caractersticas determinadas antes da realiza-
o de Z devem ter a mesma distribuio no grupo de indivduos com valores
Z acima do ponto de corte e no grupo de indivduos com valores abaixo do
ponto de corte. Como no caso dos mtodos de pareamento, podemos verificar
se os indivduos em torno do ponto de corte so semelhantes em suas caracte-
rsticas observveis atravs de um teste de comparao de mdias. Se tivermos
evidncias de que na mdia os indivduos situados em torno do ponto de corte
so diferentes, devemos desconfiar da validade da estrutura da regresso des-
contnua. Alm disso, podemos representar a estrutura de uma regresso des-
contnua atravs de uma anlise grfica. Por exemplo, uma representao gr-
fica da relao de Y e Z pode ser usada para nos dar uma ideia do tamanho da
descontinuidade, da forma funcional adequada para modelar esta relao, etc.
Voltaremos anlise grfica de uma regresso descontnua ao final do captulo.
Antes de descrevermos os casos fuzzy e sharp, iremos definir o efeito mdio

local do tratamento que identificado dentro da estrutura de uma regresso
descontnua, usando o arcabouo de resultados potenciais. O efeito mdio lo-

cal no ponto de descontinuidade c pode ser definido como:
Mas no observamos os resultados potenciais Y (1) e Y (0) para o mesmo

indivduo. Para cada indivduo i, observamos:
Para os indivduos com valores de Z logo acima do ponto de corte:
e de forma anloga para os indivduos logo abaixo do ponto de corte:
Definimos como o valor que Y aproxima quando Z chega prximo de c

para os indivduos acima do ponto de corte, e como o valor que Y apro-
xima quando Z chega prximo de c para os indivduos abaixo do ponto de
corte. De modo formal, temos
Sob a hiptese de que o resultado de interesse (Y) uma funo contnua de

Z,
A hiptese de continuidade exige que as funes de regresses condicionais

dos resultados do tratamento e do controle em Z sejam contnuas. De maneira
mais formal,
so funes contnuas em z53

3
Se em torno do ponto Z=c, o status do tratamento foi determinado de forma

aleatria, temos ignorabilidade local (H2), ou seja:
53
Uma hiptese mais forte que teria como consequncia a continuidade das funes de
regresso seria assumirmos que as funes de distribuies condicionais so contnuas, isto
, FY(0)|Z (y|z) e FY(1)|Z (y|z) e em z para todo y.

Sob esta hiptese de ignorabilidade54
4
,
Sob as hipteses de ignorabilidade local e continuidade,
E podemos escrever o efeito mdio local de tratamento como
no qual
A hiptese bsica para a identificao do efeito mdio local do tratamento

que a probabilidade de participao no tratamento uma funo de Z, e no
ponto c esta probabilidade sofre um salto. Esta variao no status de participa-
o em torno de c pode ser interpretada como uma variao aleatria. Alm
disso, o resultado uma funo contnua de Z, de modo que qualquer des-
continuidade em Y em torno de c pode ser atribuda somente ao tratamento.
7.1 Caso Sharp

Neste caso, T uma funo determinstica de Z. Todos os indivduos com um
valor de Z acima de c recebem o tratamento, e todos os indivduos com valo-
res abaixo deste valor no recebem. A probabilidade de receber o tratamento
muda de 0 para 1 ao passar o ponto de corte. Neste caso, sob as hipteses de
continuidade e ignorabilidade local, no existem outros fatores que expliquem
a descontinuidade de Y em c a no ser o recebimento do tratamento, e inter-
pretamos o salto de T no ponto c como o efeito causal do tratamento. Neste
caso, e o efeito mdio local do tratamento :
Neste caso, a hiptese de ignorabilidade naturalmente satisfeita, pois para

54
Note que, como no caso dos mtodos de pareamento, a hiptese de ignorabilidade mais
forte do que a hiptese mnima necessria para identificar o efeito mdio local do tratamen-
to. As hipteses mais fracas necessrias para identificao seriam as equaes (6.2) e (6.3).

os indivduos com o mesmo valor de Z no existe variao no tratamento. Os
indivduos com valores Z iguais ou acima de c tero T=1; e os indivduos com
valores abaixo de c sempre tero T=0.
O grfico 7.1.1 ilustra a estrutura da regresso descontnua no caso sharp. A

figura 1 representa a probabilidade de receber tratamento, ilustrando que esta
probabilidade muda de 0 para 1 quando Z igual ao valor do ponto de corte. A
figura 2 representa as curvas dos resultados potenciais caso o indivduo receba
tratamento (Y(1)) e os resultados potenciais caso o indivduo no receba tra-
tamento (Y(0)). S observamos os pontos da funo de Y(0) para indivduos
com valores de Z abaixo de c, e os pontos da funo de Y(1) para os indivduos
com valores de Z acima de c. Se estas funes so contnuas em Z, podemos
atribuir o salto que acontece no ponto c como o efeito mdio do tratamento
em torno desta descontinuidade.
Grfico 7.1.1: Regresso Descontnua Sharp
Figura 1: Probabilidade Condicional de Receber Tratamento

Figura 2: Expectatica Condicional dos Resultados
Suponha o caso simples em que a relao entre Y e Z uma funo linear,

e queremos identificar o efeito mdio do tratamento. Podemos representar o
caso sharp de regresso descontnua atravs do sistema de equaes:
no qual 1 uma funo indicadora que assume valor 1, caso o indivduo tenha
o valor de Z acima de c; e 0, caso contrrio. O grfico 7.1.2 ilustra este problema.
O salto na varivel Y no ponto c pode ser interpretado como o efeito causal do
tratamento se todos os outros fatores que afetam Y esto evoluindo de forma
suave em torno de c. De maneira formal, este salto ir representar se
Esta hiptese pode ser entendida como a hiptese de exogeneidade que usa-
mos em uma regresso linear tradicional, sendo vlida somente em torno do
ponto de corte.

Grfico 7.1.2: O Caso Linear
7.2 Caso Fuzzy

Este o caso mais comum nas aplicaes em economia. Neste caso, o trata-
mento determinado parcialmente pela descontinuidade em Z. A probabili-
dade de receber tratamento no muda de 0 para 1 no ponto de corte (c), mas
acontece apenas um salto na probabilidade de receber tratamento no ponto
em que Z=c, ou seja:
Como a probabilidade de receber tratamento tem um salto menor que um, o

salto da expectativa condicional de Y em Z, que acontece no ponto em que Z
igual a c, no pode ser interpretado como efeito mdio do tratamento. Neste
caso, voltamos equao (7.4) e identificamos o efeito mdio do tratamento
como a razo entre o salto que ocorre em Y e o salto que ocorre em Z no ponto
de corte,
Um exemplo deste caso seria a situao em que o recebimento do prmio de

mrito no depende somente das notas dos alunos no exame de proficincia,
mas tambm de uma entrevista com uma banca examinadora. Neste caso, uma

nota acima de c aumenta a probabilidade de receber o prmio de mrito, mas
alunos que tiraram uma nota abaixo de c podem receber o prmio deste que
faam uma boa entrevista.
Para a identificao da razo das descontinuidades como um efeito mdio lo-

cal do tratamento, precisamos das hipteses H1 e H2, estabelecidas no incio
deste captulo. O estimador da regresso descontnua no caso Fuzzy pode ser
relacionado com o estimador de varivel instrumental conhecido como LATE,
que foi apresentado no captulo 6555
. Como sabemos, o LATE identifica a efeito
mdio do tratamento para os indivduos que mudaram o seu status de partici-
pao quando o valor do instrumento passa do ponto c. Para isso, ele precisa
de uma hiptese de monotonicidade, alm da hiptese de independncia.566
Defina T (z) como o status potencial de tratamento no ponto em que Z=z, para
z em uma pequena vizinhana de c. T (z) igual a 1 se o indivduo i recebe o
tratamento no ponto em que Z=z. A hiptese de monotonicidade pode ser
expressa usando este tratamento potencial:
H3: T (z) uma funo no-decrescente em z.
Dentro do instrumental do LATE, definimos como compliers os indivduos que

so de fato afetados pelo tratamento, isto , um indivduo i denominado de
complier se:
Os compliers so definidos como os indivduos que recebem o tratamento se

o valor de Z igual ou acima de c, mas no recebem o tratamento se o valor
de Z est abaixo de c. Considere o exemplo em que os indivduos que recebem
uma nota no teste de proficincia abaixo c so encorajados a fazer aulas de re-
foro escolar no contra-turno. O complier o indivduo que ir participar das
aulas de reforo se a sua nota ficar abaixo de c, e no ir participar se a nota for
igual ou maior que c. A hiptese de monotonicidade elimina o grupo de indiv-
duos que receberia o tratamento se o valor de Z fosse abaixo do ponto de corte
e no receberia caso o valor de Z fosse acima do ponto de corte. Como fizemos
no captulo anterior, usando a hiptese de monotonicidade, podemos decom-
por o efeito mdio do tratamento em torno da descontinuidade no efeito para
os compliers, no efeito para os indivduos que sempre aceitam o tratamento
independente do valor de Z e no efeito para os indivduos que sempre recu-
sam o tratamento independente do valor de Z.
55
Para maiores detalhes sobre o LATE, ver Imbens e Angrist (1994) e Angrist, Imbens e Rubin
(1996).
56
Ver Imbens e Angrist (1994).

As duas primeiras equaes representam o efeito mdio local do tratamento para
os compliers, a equao (7.2.2c) representa o efeito do tratamento para os indi-
vduos que sempre recebem o tratamento independente do valor de Z e a ltima
equao representa o efeito mdio do tratamento para as pessoas que sempre re-
cusam o tratamento independente do valor de Z. Pela hiptese de continuidade,
e temos que:
O estimador de regresso descontnua para o caso fuzzy identifica o efeito mdio

local do tratamento para os compliers. Da mesma maneira que no caso clssi-
co de varivel instrumental, apresentado no captulo anterior, temos que verificar
se existe uma relao forte entre o instrumento e a varivel endgena, no caso
da regresso descontnua temos que verificar se existe uma descontinuidade na
probabilidade de T condicional a Z. O grfico 7.2.1 ilustra o instrumental de uma
regresso descontnua fuzzy. Na primeira figura temos o salto que acontece na pro-
babilidade de receber tratamento. Notamos que esta probabilidade no salta de 0
para 1 como acontecia no caso sharp. A segunda figura mostra o salto que aconte-
ce no resultado potencial, e semelhante ao grfico para o caso sharp. A diferena

que no podemos dizer que o tamanho deste salto o efeito causal do tratamen-
to. Neste caso, o efeito mdio local do tratamento dado pela razo entre os saltos
da figura 1 e da figura 2.
Grfico7.2.1: Regresso Descontnua Fuzzy
Figura 1: Probabilidade Condicional de Receber Tratamento
Figura 2: Expectativa Condicional dos Resultados

7.3 Estimao
Um maneira simples de implementar o mtodo de regresso descontnua
usar regresses lineares locais separadas para estimar as relaes de um lado
e de outro do ponto de corte 577. No caso sharp, precisamos estimar apenas a
relao de Y com Z dos dois lados em torno do ponto de corte c. A modelo de
regresso do lado esquerdo do ponto de corte :
e o modelo de regresso do lado direito :
Como as variveis explicativas esto subtradas do valor no ponto de corte, o

valor esperado de cada regresso no ponto de corte dado por O
efeito mdio local do tratamento ser a diferena entre o intercepto das duas
regresses, Uma forma mais direta de estimar o efeito mdio do
tratamento seria usar um modelo de regresso que combina os modelos em
ambos os lados do ponto de corte:
no qual
A vantagem deste modelo que combina os efeitos direita e esquerda do

ponto de corte que o efeito mdio do tratamento e o seu erro padro so
estimados de forma direta em uma nica regresso.
Dado uma vizinhana h, fcil estimar o modelo de regresso representado

pela equao (7.3.3). Mas para estimar esta regresso, precisamos escolher o h.
Se escolhermos um h muito grande, iremos usar um nmero maior de obser-
vaes na estimao, o que aumenta a preciso das estimativas. No entanto,
quando maior o h , maior a chance da especificao linear no ser a correta
para estimar a relao entre Y e Z e podemos aumentar o vis do efeito mdio
do tratamento. Se a expectativa condicional de Y no uma funo linear em
Z, o modelo linear pode ser uma boa aproximao em uma regio limitada de
Z, mas medida que aumentarmos a regio de valores de Z, o modelo linear
pode se tornar uma aproximao muito ruim. Da mesma forma, quanto menor
o h, maior a chance de a especificao linear ser uma aproximao adequada
para estimar a relao entre Y e Z naquela vizinhana, mas menor a preciso
57
Nesta seo, apresentamos o mesmo, mais comumente usado para estimar regresso
descontnua. Existem outros mtodos no-paramtricos que podem ser usados, como uma
regresso por Kernel. Para uma reviso de alguns mtodos que podem ser implementados,
ver Imbens e Lemieux (2008) e Lee e Lemieux (2009).

das estimativas. O h ideal aquele que balanceia de forma tima este trade off
entre vis e preciso. Existem vrias regras usadas para escolher esta janela, h.
Se o nmero de observaes aumentar, podemos diminuir h, pois teremos um
maior nmero de observaes por intervalo.
Existem dois procedimentos mais comumente usados para escolher esta jane-
la tima 588. O primeiro seria usar uma janela que leva em considerao alguns
componentes da distribuio conjunta de (Y,Z), como por exemplo, a curvatu-
ra do modelo de regresso. A regra de bolso usada para a escolha de h :
em que o erro padro estimado da regresso, a derivada segunda

do modelo de regresso estimado para captar a relao em Y e Z, e R repre-
senta o intervalo da varivel Z usada para estimar a regresso. Para usar esta
regra de bolso, primeiramente precisamos estimar um modelo de regresso ar-
bitrrio em uma vizinhana em torno do ponto de corte. Por exemplo, suponha
que nesta primeira etapa, estimamos uma regresso quadrtica para estimar
a relao entre Y e X, Neste caso, aps
a estimao da regresso, precisamos calcular (z ) ,
e estimar usando a soma do quadrado dos resduos dividido pelo nmero
de observaes, menos os graus de liberdade. Se usarmos as observaes na
vizinhana, R ser igual a 10.
O segundo procedimento conhecido como validao cruzada (Cross-Vali-

dation)599
. Para cada observao i, estimamos uma regresso no qual a obser-
vao i deixada de fora e usamos os valores estimamos nesta regresso para
obter o valor predito de Y quando Z igual a z . Como estamos dentro do
instrumental de regresso descontnua, na estimao da regresso considera-
mos somente as observaes em uma vizinhana h de z , isto , z -h Z < z
+h. . Fazemos este exerccio para cada observao, e obtemos um conjunto
de valores preditos para Y. A janela tima ser aquela que minimiza a mdia
dos quadrados das diferenas em cada Y predito e o Y observado. De maneira
formal, para determinado valor de h, calculamos o valor de predito para
, e calculamos o erro quadrtico mdio:
58
Em todos os procedimentos descritos nesta seo, estamos escolhendo uma janela nica
para ambos os lados do ponto de corte. A funo de densidade de Z provavelmente similar
em ambos os lados do ponto de corte, e com uma amostra grande a janela tima para o lado
direito do ponto de corte ser igual janela do lado esquerdo do ponto de corte. No entan-
to, podemos aplicar os procedimentos descritos para as observaes somente direita de
c e para as observaes somente esquerda de c, obtendo janelas timas diferentes para o
lado esquerdo e para o lado direito.
59
Neste captulo, iremos descrever o procedimento proposto por Imbens e Lemieux (2008).

e o h timo ser aquele que minimiza este critrio da validao cruzada:
Na prtica, calculamos o erro quadrtico mdio do critrio de validao cruza-

da para uma srie de valores fixos de h, e escolhemos o valor de h relacionado
ao menor erro quadrtico mdio.
No caso da regresso descontnua fuzzy, temos que estimar tambm como a

probabilidade de receber tratamento est relacionada com Z. Neste caso, po-
demos usar um modelo de regresso linear que relaciona a varivel T ao vetor
Z. Da mesma maneira que fizemos anteriormente, podemos usar um modelo
para as observaes que esto direita do ponto de corte e um modelo para
as observaes esquerda do ponto de corte:
E neste caso, o efeito mdio do tratamento ser dado pela razo entre a dife-
rena dos interceptos: Podemos usar o mesmo critrio de validao
cruzada para estimar a janela tima no caso em que a varivel dependente T.
Neste caso, usaremos duas janelas diferentes na estimao do efeito mdio de
tratamento na regresso descontnua fuzzy. A primeira janela seria aquela que
minimiza , e a segunda seria aquela que minimiza . Imbens e Le-
mieux (2008) argumentam que na prtica podemos usar a mesma janela para o
numerador e para o denominador. Para minimizar o vis assinttico, podemos
usar a menor janela escolhida por validao cruzada:
Em alguns casos, pode existir um vetor de outras variveis explicativas alm

de Z que esto correlacionadas com a varivel de interesse. A incluso destas
outras variveis no modelo no pode afetar a estimao da descontinuidade,
se todas as hipteses da estrutura de uma regresso descontnua so vlidas.
Se os valores estimados mudarem com a incluso destas variveis adicionais,
podemos desconfiar que outros fatores tambm saltam em torno do ponto
de corte e que o salto que ocorre em Y em torno de c no pode ser atribudo
somente ao efeito do tratamento. Se estas demais variveis explicativas forem
correlacionadas com Z, elas podem aumentar a preciso das estimativas ao
diminuir o resduo da regresso.

Alm da estimao, necessrio fazermos testes de hipteses para verificar se
o efeito mdio do tratamento estaticamente significativo. No caso de uma
regresso descontnua sharp, podemos estimar a equao (7.3.3) por mnimos
quadrados ordinrios e usar o erro padro estimado nesta regresso. No caso
de uma regresso descontnua fuzzy, podemos estimar o erro padro de forma
fcil se entendermos este modelo como um caso particular do estimador de
mnimos quadrados ordinrios em dois estgios. Usando a mesma janela para
o modelo que relaciona Y com Z e para o modelo que relaciona T com Z, o
sistema de equao que contm as duas equaes que combinam os modelos
para as observaes direita e esquerda do ponto de corte dado por:
no qual D indica se Z excedeu o valor c, isto , D uma varivel binria igual a

1 se Z maior que c e 0, caso contrrio.
O estimador de MQO em dois estgios para o sistema acima, usando D como

instrumento para T numericamente igual razo que representa o efeito m-
dio do tratamento para o caso fuzzy se usarmos a mesma janela para as duas
equaes do modelo. Neste caso, para fazermos inferncia podemos usar os er-
ros padres estimados pelo mtodo de mnimos quadrados em dois estgios10 60
.
7.4 Anlise Grfica

O mtodo de regresso descontnua requer uma anlise grfica. Podemos veri-
ficar vrias hipteses de uma estrutura de regresso descontnua atravs desse
tipo de anlise. Em uma regresso descontnua, o efeito mdio do tratamento
est relacionado ao valor da descontinuidade no valor esperado de Y em certo
ponto. O primeiro grfico a ser feito um histograma que relaciona o valor mdio
de Y com Z. Neste grfico, temos que observar se em torno do ponto de c h evi-
dncia de uma descontinuidade na mdia condicional de Y. Alm disso, devemos
verificar se no existem outros saltos na expectativa condicional de Y em relao
a Z. Se estes outros saltos existirem e forem grandes quando comparados ao salto
que ocorre em torno do ponto de corte c, podemos desconfiar que outros fatores
alm da participao no tratamento esto influenciando a relao entre Y e Z.
O segundo grfico seria um histograma que relaciona o valor de outras variveis

explicativas X que poderiam estar explicando a relao entre Y e Z. A ideia que
se a descontinuidade de Y em torno do ponto de corte se deve somente ao tra-
tamento, estas demais variveis X devem ter uma relao suave com Z, no apre-
Imbens e Lemieux (2008) computam as varincias assintticas para os estimadores e pro-
60
pem um mtodo para estim-las de forma consistente.

sentando saltos em torno deste ponto de corte c.
No caso da regresso descontnua fuzzy, necessrio tambm fazer um grfico

dos valores mdios de T em relao a Z para mostrar que de fato existe um salto
na probabilidade de receber tratamento em torno do ponto de corte, c.
Uma ltima anlise grfica sugerida por McCrary (2008) seria investigar se houve
seleo dos indivduos em torno do ponto de corte olhando para o nmero de
indivduos abaixo e acima deste ponto. Com este propsito, usamos um grfi-
co em que dividimos o suporte de Z em intervalos e estimamos o nmero de
observaes em cada intervalo. Com este grfico, podemos avaliar se o nmero
de indivduos muda de forma descontinuidade em torno do ponto de corte. Se
houver uma mudana descontnua do nmero de indivduos em torno do ponto
de corte, podemos desconfiar que os indivduos manipularam o valor de Z, o que
invalidaria a regresso descontnua. Por exemplo, no caso em que o prmio de
mrito determinado pela nota em um teste de proficincia, se os indivduos
conseguissem escolher a sua nota no teste, iramos observar um nmero maior
de indivduos acima do ponto de corte do que abaixo do mesmo.
7.5 Comparao da RD com os outros mtodos

Podemos entender a regresso descontnua no caso sharp como uma aplica-
o muito particular da hiptese de seleo nos observveis (H1), usada pelos
mtodos apresentados no captulo 5. No caso da regresso descontnua sharp,
a hiptese de seleo nos observveis trivialmente satisfeita, pois condicional
em Z, o tratamento completamente determinstico. Neste caso, para todos os
indivduos com o valor de Z abaixo de c, T sempre igual a 0, e para os indivduos
com valores de Z acima de c, T sempre igual a 1. Ou seja, condicional em Z, no
h variao no tratamento e a seleo nos observveis sempre satisfeita. No en-
tanto, a segunda hiptese usada pelos mtodos baseados em seleo nos obser-
vveis a de sobreposio da regio de valores de Z tanto no grupo de tratados
como no grupo de controles, Esta hiptese violada no
mtodo de regresso descontnua, pois os indivduos tratados tero valores de Z
acima de c enquanto os indivduos no-tratados tero valor de Z abaixo de c. Para
todos os valores de z, a sempre um ou zero, e nunca est entre 0
e 1. Ao invs de assumirmos a hiptese de sobreposio, impomos continuidade
das funes de expectativa condicional de Y em Z para o grupo de controle e
tratamento. Esta hiptese de continuidade garante que podemos comparar estas
duas funes ao longo de todos os valores de Z. A ideia da regresso descontnua
no caso sharp que os indivduos que possuem valores de Z em torno do ponto
de corte c so semelhantes na mdia, exceto que, por sorte, um indivduo teve
um valor Z acima de c e o outro teve um valor de Z abaixo de c. Logo, podemos
pensar a regresso descontnua como uma forma limite de pareamento, aquele
que acontece em torno de um nico ponto.

Outra forma de interpretar a regresso descontnua sharp como um experi-
mento aleatrio local. A ideia da regresso descontnua que, em torno do pon-
to de corte, o status do tratamento selecionado de forma aleatria. Desta ma-
neira, os indivduos em torno do ponto de corte so semelhantes na mdia em
todas as suas caractersticas, exceto que por sorte um grupo obteve um valor
de Z um pouco maior que c, e o outro grupo um valor um pouco menor. Neste
sentido, dentre todos os mtodos apresentados neste livro, o mtodo de regres-
so descontnua o que mais se aproxima de um experimento real (aleatrio).
Na seo 7.3, mostramos que podemos entender a regresso descontnua fuzzy

dentro do instrumental de varivel instrumental. Neste caso, a probabilidade de
receber tratamento salta no ponto de corte, mas no de 0 para 1 como no caso
sharp. No caso fuzzy, usamos a varivel binria que indica se Z maior que o pon-
to de corte como instrumento para o tratamento, dado que estamos assumindo
que a probabilidade muda em torno de c somente devido ao tratamento, e no
aos demais fatores que podem estar afetando o resultado. Na regresso descon-
tnua fuzzy, a variao na taxa de participao em torno do ponto de corte usa-
da para estimar o efeito mdio do tratamento. Neste caso, a variao do resulta-
do potencial em torno do ponto de corte ocasionada somente pela variao
da taxa de participao induzida por Z quando este passa de valores abaixo de c
para valores logo acima de c e no est relacionada com a variao de nenhum
outro fator observvel ou no observvel.
7.6 Exemplo
Ferraz e Finan (2011) usam o mtodo de regresso descontnua para estimar o
efeito de uma possvel reeleio em corrupo. De acordo com os autores, os
prefeitos que tm incentivo a se reelegerem so, em mdia, menos corruptos
que os prefeitos que no tm a possibilidade de reeleio. Para estimar este efei-
to, eles comparam municpios nos quais o prefeito incumbente ganhou as elei-
es de 2000 com uma margem muito pequena de votos com municpios nos
quais o prefeito incumbente perdeu as eleies por uma quantidade pequena
de votos. Ou seja, eles comparam prefeitos que tentaram a reeleio e tiveram
a votao em torno de 50%. No entanto, um deles ficou com um percentual de
votos um pouco abaixo de 50 e perdeu a eleio; enquanto o outro ficou com um
percentual um pouco acima de 50 e venceu a eleies. A ideia que estes pre-
feitos so na mdia muito parecidos em caractersticas que afetariam corrupo
e a capacidade de reeleio (como preferncias ideolgicas). A nica diferena
que por sorte um obteve um votao um pouco maior que o ponto de corte,
enquanto o outro obteve uma votao um pouco menor. Para estimar o efeito da
reeleio para estes municpios que tiveram prefeitos com percentual de votos
muito prximo a 50%, os autores estimam o seguinte modelo:

em que R mede o nvel de corrupo no municpio i, Z representa a diferena
entre o percentual de votos do prefeito incumbente e o segundo colocado, I
uma varivel binria que igual a 1 se Z 0, e 0, caso contrrio, f(Z ) represen-
ta uma funo contnua e suave da margem de votos, como por exemplo, um
polinmio. Alm disso, X o vetor que contm as caractersticas do municpio,
como por exemplo, coeficiente de Gini, populao, etc.; e o vetor W inclui ca-
ractersticas do municpio que afetam o nvel de corrupo, como por exemplo,
nmero de partidos polticos no legislativo, quantidade de recursos repassada
ao municpio, etc.
Usando os dados de auditorias realizadas pelo Tribunal de Contas da Unio (TCU)

em 496 municpios brasileiros, os autores constroem uma medida de corrupo
atravs da classificao das irregularidades descritas nestes relatrios em trs
categorias: (i) fraudes na contratao ou compra de bens e servios; (ii) super-
faturamento de bens e servios; (iii) desvios de fundos pblicos para pessoas
ou firmas privadas. Baseados nestas irregularidades classificadas, eles constroem
uma medida de corrupo que seria o total de recursos relativo a essas ativida-
des irregulares expresso como frao do total de recursos auditados. Para obter
as caractersticas dos municpios, os autores usaram os dados fornecidos pelo
Instituto Brasileiro de Geografia e Estatstica (IBGE), Tribunal Superior Eleitoral
(TSE) e Tesouro Nacional.
A tabela 7.6.1 apresenta o principal resultado da regresso descontnua sharp

estimada pelos autores. A coluna (1) desta tabela apresenta o caso para a es-
pecificao linear, isto, As colunas (2) e (3) usam um polinmio
quadrtico em Z e outro cbico. Os resultados indicam que a reeleio tem um
efeito negativo na corrupo.
Tabela 7.6.1: O Efeito da Reeleio na Corrupo
Varivel Dependente: % de recursos auditados envolvendo corrupo
Fonte: Ferraz e Finan (2011)

Para verificar se de fato existe uma descontinuidade na medida de corrupo
em torno do ponto de corte da margem de votos, os autores fazem o grfico
da funo da expectativa condicional de R em Z. O grfico 7.6.2 apresenta tal
relao, e comprova a descontinuidade da medida da corrupo em torno do
ponto de corte. Usando o instrumental de regresso descontnua, os autores
atribuem esta descontinuidade ao efeito da reeleio.
Grfico 7.6.2: O Efeito da Reeleio na Corrupo
Fonte: Ferraz e Finan (2011)
Exerccios
1) Suponha que os estados brasileiros mudem a sua poltica educacional e os
alunos para progredirem do ensino fundamental para o ensino mdio so obri-
gados a fazer uma prova estadual de matemtica e portugus. Esta prova a
aplicada a todos os alunos em todas as escolas pblicas estaduais no ltimo
ano do ensino fundamental e para progredir eles devem acertar no mnimo
50% das questes em cada uma das provas. Se o aluno no passar em um dos
exames ou em ambos, ele deve cursar aulas de recuperao no perodo de f-
rias e tentar o exame novamente aps o perodo de recuperao. O objetivo
avaliar se o curso de recuperao est tendo um impacto no desempenho dos

alunos. Para isso, observamos uma base de dados que contm as informaes
de todos os alunos no ltimo ano do ensino fundamental em 2004 e as notas
que eles obtiveram em cada um dos testes. Alm disso, observamos o desem-
penho de todos os alunos em um teste padronizado no ltimo ano do ensino
mdio.
Para avaliar o programa de recuperao, propomos o seguinte modelo:
em que Y representa o desempenho do aluno no teste padronizado ao final

do ensino mdio, T uma varivel binria que igual a 1 se o aluno participou
do curso de recuperao, X um vetor de caractersticas socioeconmicas do
indivduo i e o fator no observvel do modelo.
a) Discuta o vis do estimador de mnimos quadrados ordinrio no

modelo acima.
b) Como voc usaria o desenho do programa para estimar o efeito

mdio da poltica de recuperao por uma regresso descontnua. Seria uma
regresso descontnua fuzzy ou sharp?
c) Discuta dentro do contexto da poltica em questo, as hipteses ne-

cessrias para a validade do mtodo de regresso descontnua proposto em
(b).
2) O governo gostaria de saber se uma poltica que expandisse o acesso a pla-

nos de sade teria um efeito positivo na sade dos indivduos, pois os levaria
a irem um maior nmero de vezes ao mdico. Para responder tal pergunta,
usamos como medida de acesso ao servio de sade o nmero de vezes que
o indivduo i foi ao mdico nos ltimos 12 meses. O modelo que gostaramos
de estimar :
em que Y o nmero de vezes que o indivduo i foi ao mdico, C uma

varivel binria que igual a 1 se o indivduo i possui plano de sade, X
um vetor de caractersticas socioeconmicas do indivduo i e o termo no
observvel da equao.
Nos Estados Unidos, ao completar 65 anos, todos os indivduos tm acesso a

um plano de sade completo que pago pelo governo. Card, Dobkin e Maes-
ta (2008) usam a descontinuidade quando o indivduo completa 65 anos para
estimar o efeito do plano de sade no nmero de consultas mdicas. A ideia
que os indivduos com 64 anos so semelhantes aos indivduos com 65 anos,

exceto que o segundo grupo tem plano de sade completo provido pelo go-
verno.
a) Alguns indivduos se aposentam aos 65 anos, e tm uma queda da

renda anual. Como isso poderia causar um vis no estimador de regresso des-
contnua?
Considere o seguinte modelo que relaciona idade com acesso a plano de sa-
de,
em que mi uma varivel binria que assume valor igual a 1 se o indivduo tem
65 anos ou mais, e 0 caso contrrio.
b) Qual a interpretao de ?
c) Suponha que , faa um diagrama que ilustre a rela-

o entre o resultado de interesse (Y ) e idade.
d) Suponha que , faa um diagrama que ilustre a rela-

o entre o resultado de interesse (C ) e idade.
e) As hipteses do arcabouo de regresso descontnua so vlidas

neste exemplo? Discuta cada uma delas.
3) Considere o seguinte modelo
em que Y o resultado de interesse, T uma varivel indicadora de tratamen-

to, Z seria um instrumento que influencia a participao ou no no programa e
D uma varivel binria igual a 1 se Z maior que c e 0, caso contrrio. Supo-
mos que todas as hipteses no mtodo de regresso descontnua so vlidas.
a) Qual seria o parmetro que captaria o efeito mdio local do trata-

mento dentro do arcabouo de regresso descontnua?
b) Suponha que ao analisar os dados, verificamos que o salto na pro-

babilidade de receber tratamento em torno de Z igual a c muito pequeno,
sendo prximo de zero. De outra maneira, suponha que prximo de zero.
O que aconteceria com o estimador do efeito mdio local proposto na letra (a)?
c) Voc resolve analisar melhor os dados e percebe que existem in-

meras descontinuidades no grfico que relaciona a probabilidade de receber
tratamento com o instrumento Z. Como voc interpreta esta evidncia? Esta
evidncia invalida o uso de regresso descontnua?
Suponha que, ao analisar os dados, voc percebe que existem inme-

ros saltos no grfico que relaciona o resultado de interesse Y a Z. Como voc
interpreta esta evidncia? Esta evidncia invalida o uso do mtodo de regres-
so descontnua?
4) Devido a um aumento inesperado nos preos dos aluguis, o governo cede

presso popular e resolve criar uma poltica que facilite o acesso casa pr-
pria ao trabalhadores brasileiros. Para isso, o governo estabelece redues nos
juros do crdito para casa prpria. Estas redues nos juros variam com a renda
mensal do trabalho. Nos primeiros anos da poltica, os trabalhadores com ren-
da at R$ 700,00 tm reduo de 2% ao ano, os com renda entre R$ 701,00 e R$
1.500,00 tm reduo de 1% e os com salrio entre R$ 1.501,00 e R$ 3.000,00
tm reduo de 0,5% ao ano. Os demais trabalhadores no tm reduo na
taxa de juros do crdito para compra de imveis.
Suponha que o governo tem uma base de dados com informaes dos traba-
lhadores em anos que antecederam a poltica e depois de sua implementao.
Nesta base de dados, temos informao sobre as caractersticas do trabalhador
como idade, sexo, renda mensal do trabalho, regio de domiclio e se o domi-
clio prprio ou no. Com estes dados, vamos estimar o efeito dessa poltica
de crdito sobre a probabilidade de adquirir um novo domiclio. Com esta base
de dados, trs pesquisadores propem metodologias diferentes para estimar
o efeito de tal poltica. O primeiro pesquisador prope o mtodo de diferenas
em diferenas, o segundo usa o mtodo de variveis instrumentais e o ltimo
se baseia no mtodo de regresso descontnua. Para cada um dos mtodos,
(i) Descreva qual o parmetro de interesse.
(ii) Discuta as hipteses necessrias para identificar estes parmetros

e interprete estas hipteses no contexto deste exemplo.
(iii) Descreva o processo de estimao de cada um dos mtodos.
(iv) Compare os resultados que seriam obtidos com cada mtodo.

PARTE 3
Anlise de Retorno
Econmico
A parte III desse livro apresenta a anlise do retorno econmico de projetos so-
ciais e polticas pblicas. A avaliao econmica de um projeto composta de
duas etapas, a avaliao de impacto e a avaliao do retorno econmico. Estas
duas etapas so complementares, sendo que a avaliao de retorno econmi-
co realizada a partir dos resultados obtidos na avaliao de impacto.
A avaliao de retorno econmico visa mensurao da viabilidade econ-

mica de um projeto. Em outras palavras, o retorno econmico de um inves-
timento compara o seu custo com o benefcio financeiro gerado, de forma a
determinar se o investimento economicamente vivel. Assim, a avaliao de
retorno econmico procura responder, principalmente, as seguintes questes:
se o benefcio gerado pelo projeto maior do que seu custo; se o projeto vi-
vel economicamente; e se existe algum projeto alternativo mais vivel.
Calcular o retorno econmico importante porque, mesmo que um projeto

tenha impacto positivo (estimado por meio da avaliao de impacto), pode
acontecer uma situao em que seu custo seja to alto que inviabilize a repli-
cao. Concluiramos, nesse caso, que o projeto funciona, mas no compensa.
Muitas vezes, existem projetos que exibem um impacto de grande magnitude,
mas quando comparados com seu custo, apresentam-se pouco viveis, ou seja,
tm custo muito alto em relao aos benefcios que geram.
Por analogia, imagine a deciso de comprar um carro. Se olharmos apenas o

lado das benesses do carro como a potncia e o conforto , poderamos, por
exemplo, escolher uma Ferrari. Entretanto, essa escolha no considera um ele-
mento importante da anlise que o custo. Como vivemos em um mundo com
recursos escassos, esse elemento fundamental nas tomadas de decises. E

um dos principais motivos de Ferrari no ser consumida por todos o custo. O
mesmo deveria acontecer com o investimento nos programas sociais. Se anali-
sarmos somente o impacto do programa que equivale s benesses da Ferrari,
muitas vezes estaremos investindo em programas com alto impacto, mas que
apresentam custo to elevado que no seriam viveis economicamente.
A aplicao do conceito de viabilidade econmica em projetos sociais exige

uma viso mais ampla do seu significado, pois no trivial pensar o projeto
social da mesma forma que se pensa um investimento econmico. Isso porque
o benefcio advindo do projeto social no auferido somente pelo financia-
dor (a partir deste ponto, referido como investidor social). Grande parte dos
benefcios auferida pelas pessoas que foram impactadas pelo projeto. Nesse
sentido, um benefcio privado. Parte dos benefcios recebida ainda por pes-
soas que no participaram do projeto, caracterizando-se como um benefcio
pblico. O benefcio pblico ocorre uma vez que o projeto, ao atingir seus ob-
jetivos e gerar benefcios para os participantes, tambm beneficia uma parte
da sociedade, que ganha (indiretamente) com essas melhorias. Esse fenmeno,
em que o projeto atinge indiretamente tambm os que no participam, de-
nominado de externalidade.
Vamos entender a aplicao dos conceitos mencionados anteriormente, no

caso de avaliao de projetos sociais, por meio de um exemplo: o projeto
Olimpada Brasileira de Matemtica das Escolas Pblicas - OBMEP, avaliado
por BIONDI et al. (2012). A OBMEP tem como um dos principais objetivos me-
lhorar a qualidade da educao pblica, especialmente no ensino de matem-
tica. Para atingir esse fim, desempenha vrias aes, ou seja, incorre em custos.
Apesar dos custos, esse projeto no um investimento financeiro no sentido
clssico. O projeto no visa lucros para os financiadores, mas se ocorrer aumen-
to da qualidade da educao, o ganho para o indivduo e para a sociedade des-
se aumento pode ser interpretado como retorno social do projeto. O ganho
para o participante (a criana) ser uma melhor formao e mais escolaridade,
que ela levar por toda a vida benefcio privado. As externalidades (benef-
cios pblicos), advindas da maior escolarizao dos participantes, podem ser
vrias, como aumento da produtividade do trabalho, melhora na qualidade
dos servios pblicos, diminuio da subnutrio infantil na gerao dos filhos
desses tratados, entre outros.
Se os custos do projeto social so considerados como investimento, e os seus

benefcios, como receita proveniente desse investimento, para calcularmos o
retorno econmico necessrio dimensionarmos o valor monetrio destes
dois elementos.

CAPTULO 8
O Clculo do Retorno
Econmico
Betnia Peixoto
8.1 Benefcios do Projeto Social em Valores

Monetrios
O benefcio do projeto social ou poltica pblica o valor monetrio do seu im-
pacto. Portanto, necessariamente, a avaliao de impacto antecede a avaliao
de retorno econmico e somente se realiza quando a avaliao de impacto evi-
dencia que o projeto gerou resultados. O que fazemos transformar o impacto
em valor monetrio, de forma a obter o benefcio.
A transformao do impacto estimado em benefcio uma das maiores dificul-

dades da avaliao de retorno econmico. Ela exige a associao de um valor
monetrio a um impacto, muitas vezes, no monetrio. A nica exceo so os
projetos para gerao de renda, em que o indicador de impacto a renda, ou
seja, j estimado em valor monetrio, no exigindo nenhuma transformao.
Para os demais projetos sociais, que no tenham como indicador de impacto a
renda dos participantes, a transformao do impacto em benefcio precisa ser
realizada.
A pergunta que se faz como efetuar essa transformao em projetos sociais

com objetivos to diversos, como, por exemplo, a melhora na qualidade da
educao, na sade, a reduo da criminalidade, entre outros. A resposta no
simples. Para efetuarmos essas transformaes, temos que fazer hipteses que
permitam atribuir um valor monetrio ao impacto. Essas hipteses variam de
projeto para projeto e exigem um profundo conhecimento sobre a temtica
qual se aplica. O avaliador precisa conhecer a literatura a respeito do indicador
de impacto. Ele precisa saber quanto a mudana causada no indicador, pelo pro-
grama, economiza para a sociedade e quanto aumenta o bem-estar, devido
contribuio advinda das mudanas geradas nos beneficirios e nas circunstn-
cias que os envolvem.
Analisemos, por exemplo, um programa para o aumento da escolaridade, no

qual o indicador de impacto a taxa de jovens com ensino superior completo.
A literatura mostra que escolaridade mais alta propicia salrios maiores, menor

probabilidade de acessar programas sociais, menor probabilidade de encarcera-
mento, entre outros efeitos. Na transformao do impacto estimado em benef-
cio (valor monetrio do aumento da taxa de jovens com ensino superior comple-
to), o avaliador tem que considerar: os ganhos salariais devido ao aumento dos
salrios; a probabilidade daqueles jovens tratados acessarem programas sociais
e a mdia dos custos em prover esses programas que seriam acessados caso o
jovem no tivesse aumentado sua escolaridade isso equivale a uma economia
para a sociedade; a probabilidade de os jovens tratados serem presos e o custo
dessas prises que teriam acontecido se a escolaridade no tivesse sido aumen-
tada o valor que a sociedade deixou de gastar, tambm uma economia. No
seria possvel estimar todas essas probabilidades e ganhos se no conhecermos
bastante a literatura para podermos fazer hipteses plausveis sobre todos os
parmetros que sero empregados nessas estimaes.
No caso de projetos na rea de sade, por exemplo, para prevenir a incidncia de

diabetes, a transformao do impacto em benefcio tambm baseada em uma
srie de hipteses. Digamos que o impacto do projeto seja mensurado em ter-
mos da diminuio da taxa de incidncia de diabetes na populao. Uma menor
taxa de incidncia de diabetes leva a: uma diminuio dos gastos com o sistema
de sade para tratamento das doenas derivadas dessa; uma melhora na vida
das pessoas que adquiriram hbitos saudveis por causa do projeto e que fica-
riam doentes caso ele no existisse; economia para a sociedade com os dias de
trabalho que seriam perdidos se as pessoas ficassem doentes; diminuio dos
gastos com previdncia social que teria que ser paga aos doentes e invlidos.
Se o projeto para melhorar a empregabilidade dos jovens, por exemplo, o ava-

liador deve conhecer muito sobre o mercado de trabalho. Ele precisar determi-
nar qual o valor para a sociedade do aumento do nmero de jovens emprega-
dos. O fato de mais jovens entrarem no mercado de trabalho gera ganhos para
os prprios indivduos (em termos de salrio) e para toda a sociedade como: au-
mento da produo porque agora h mais pessoas contribuindo para o produ-
to; diminuio da probabilidade de o jovem que arrumou emprego se envolver
com lcool, drogas e crime, o que, por sua vez, leva a menores gastos com trata-
mentos de toxicmanos e prises; melhora na qualidade do aprendizado dos fi-
lhos daqueles que foram empregados, pois tero uma melhor estrutura familiar;
aumento do nvel de atividade econmica medida que boa parte dos salrios
gasta no comrcio, entre outros efeitos.
Dos exemplos apresentados, pode-se concluir que para determinar o valor ga-
nho ou economizado pela sociedade devido ao projeto o avaliador ter que co-
nhecer, profundamente, a literatura sobre o tema. S assim ser capaz de estimar
as vrias facetas afetadas pelo projeto e adotar boas hipteses para a transforma-
o. Ao final desse captulo, apresentamos trs exemplos de avaliaes de proje-
tos no Brasil, nas reas de educao, criminalidade e sade.
Outra questo que o avaliador ter que considerar na estimativa do benefcio do

projeto que o impacto, em geral, perdura mais do que um perodo de tempo.

Algumas vezes o benefcio perdura por toda a vida produtiva do indivduo, como
no caso dos projetos de qualificao profissional; ou por sculos, como o caso de
projetos de reflorestamento. Outras vezes, os benefcios so grandes logo aps a
implementao e reduzem-se ao longo do tempo, por exemplo, campanhas de
preveno a doenas epidemiolgicas como a dengue. Existem tambm proje-
tos que s geram efeitos muitos anos aps sua implementao, como aqueles
para o aumento da escolaridade. O que todos esses casos tm em comum que
os benefcios ocorrem em momentos distintos no tempo.
Se os benefcios so recebidos em momentos diferentes, preciso considerar o

tempo no clculo do benefcio total. No se pode, simplesmente, somar os bene-
fcios em cada momento para obter o benefcio total. Isto acontece porque, em
geral, as pessoas atribuem mais valor ao dinheiro no presente do que no futuro.
Afinal, o que voc prefere: ganhar 500 reais hoje ou somente no ano que vem? A
maioria das pessoas prefere hoje. Isso se chama preferncia intertemporal.
Para calcularmos o benefcio monetrio total do projeto, precisamos considerar

o efeito do tempo no seu recebimento. Para isso, montamos o fluxo de caixa do
benefcio e utilizamos a taxa de desconto intertemporal para deduzir do mon-
tante o fato de que o valor s ser recebido no futuro. A taxa de desconto inter-
temporal indica quanto o indivduo valoriza o consumo presente em relao ao
futuro, ou seja, o percentual pelo qual ele est disposto a abrir mo do consu-
mo no presente para s faz-lo no futuro. Para efetuar o desconto intertemporal
aplicamos, ento, os conceitos de valor presente e valor futuro oriundos da
matemtica financeira. Esses conceitos so bastante intuitivos:
i. Valor presente (VP) quanto determinado montante de dinheiro a ser

recebido no futuro vale no tempo inicial do investimento;
ii. Valor futuro (VF) quanto determinando montante de dinheiro rece-

bido no tempo inicial valer em momentos posteriores.
A frmula que relaciona estes dois conceitos :
(1)
Onde: n o nmero do perodo
i a taxa de desconto intertemporal
Para obter o benefcio total do projeto, aplicamos diretamente essa frmula, de

forma a considerar o desconto intertemporal na soma dos benefcios ao longo
do tempo.
(2)

Onde o VPTB o valor presente do benefcio total; VB o valor do benefcio
no tempo inicial, se ocorrer de o benefcio ser imediato implementao; e
VFB o valor do benefcio recebido nos n perodos t.
A taxa de desconto intertemporal adequada uma deciso discricionria. Em

geral, os economistas consideram a taxa de desconto intertemporal com sen-
do igual taxa de juros. A intuio para isso que a taxa de juros seria a recom-
pensa financeira por deixar de consumir hoje, para consumir amanh. Ela pode
ser interpretada como a taxa sobre quanto os indivduos valorizam o presente
em relao ao futuro. Quanto mais elevada a taxa de desconto intertemporal,
mais as pessoas valorizam o consumo presente. Por outro lado, quanto menor
essa taxa, menos as pessoas valorizam o consumo presente em relao ao fu-
turo.
A taxa de juros considerada como representativa da taxa de desconto intertem-

poral a taxa de juros real. A taxa de juros real igual taxa de juros nominal
menos a inflao / deflao. A taxa de juros nominal a de face, ou seja, aquela
que paga quando fazemos um investimento. Por exemplo, se em determina-
do ano uma aplicao na poupana rendeu 7,5% (taxa de juros nominal) e a
inflao acumulada foi de 6,5%, ento a taxa de juros real foi de 1%. Utilizamos
a taxa de juros real porque o cmputo do montante do benefcio j est isento
da inflao / deflao, pois quando o calculamos usamos as estimativas com
os valores monetrios referentes ao ano-base (via de regra, em t ). Portanto,
se usssemos a taxa de juros nominal, estaramos descontando a variao do
valor da moeda duas vezes.
No necessariamente precisamos igualar a taxa de desconto intertemporal

taxa de juros. Muitas vezes, os avaliadores adotam taxas de desconto inter-
temporal menores que a taxa de juros corrente. Isso acontece, porque, como
a maioria dos projetos tem impactos de longo prazo, os avaliadores utilizam
uma taxa de juros de longo prazo. A taxa de juros de longo prazo, em geral,
menor que a taxa de juros corrente. Alternativamente, muitos estudos utilizam
a taxa de juros dos Estados Unidos, por se tratar de uma economia mais estvel
que a brasileira. Como a economia brasileira passou nas ltimas dcadas por
profundas mudanas, a sua taxa de juros de longo prazo muito voltil e pode
no ser uma boa estimativa para o futuro.
Para entender melhor os conceitos trabalhados, est disponvel como ltimo

tpico do captulo um exemplo fictcio de avaliao de retorno econmico de
um projeto para qualificao profissional de jovens.

8.2. Custo do Projeto
Uma vez calculado o benefcio total, a outra dimenso necessria para a ava-
liao de retorno econmico o custo do projeto. O custo considerado nesse
tipo de anlise denominado custo econmico e transcende o custo contbil
por considerar o custo de oportunidade do projeto. Vamos entender cada um
desses conceitos:
Custo econmico = custo contbil + custo de oportunidade
O custo contbil todo dispndio que, via de regra, aparece nos demonstrati-
vos contbeis. todo desembolso monetrio necessrio para o funcionamento
do projeto, por exemplo, pagamento de conta de luz, de pessoal, aquisio
de material, etc. O custo de oportunidade difere do custo contbil por ser um
custo implcito, ou seja, em geral no aparece nos demonstrativos contbeis.
O conceito do custo de oportunidade foi cunhado pela economia para desig-

nar o rendimento que se deixa de obter ao realizar determinada escolha. Em
outras palavras, o ganho que poderia advir da aplicao alternativa de um
determinado recurso. Muitos projetos funcionam com um exguo oramento
prprio, mas utilizam muitos recursos extras da sociedade. Por exemplo, um
programa de fornecimento de sopa para pessoas carentes que utiliza mo de
obra voluntria, que recebe os alimentos de um doador, que utiliza a cozinha
cedida de uma instituio beneficente, entre outros recursos. O custo contbil
provavelmente ser muito baixo e se somente ele fosse computado no clculo
do retorno, esse estaria distorcido. O custo de oportunidade resolve o proble-
ma da distoro do retorno, uma vez que computa quanto valeria: a aplicao
da mo de obra em outra atividade produtiva; os alimentos doados se fossem
aplicados de outra maneira, por exemplo, vendidos; o aluguel da cozinha para
um restaurante. Nesse caso especfico, o custo econmico do projeto tem
como maior parcela o custo de oportunidade. Ao utiliz-lo para o clculo do
retorno econmico, esse no mais estaria distorcido.
Um exemplo clssico de custo de oportunidade no terceiro setor o aluguel

no pago. Muitos projetos sociais funcionam em imveis cedidos por parcei-
ros, pelos quais o aluguel no pago. Como no pagam pelo recurso usado (o
imvel), esse no consta no custo contbil. Porm, para o projeto funcionar ele
ocupa aquele imvel. Nesse sentido, o projeto usa o recurso (o imvel), mesmo
no pagando por ele e, portanto, esse custo precisa ser computado no clculo
do retorno. O custo de oportunidade faz esse cmputo. Se o imvel fosse usa-
do para outro fim, por exemplo, aluguel para ponto comercial, estaria gerando
renda e remunerando o capital investido na sua aquisio. Portanto, o custo
de oportunidade do uso do imvel pelo projeto o aluguel que ele deixou de
render.

Para melhor compreenso, vejamos outro exemplo. Considere o projeto de
curso profissionalizante ministrado no contraturno escolar. O jovem que es-
colheu participar do curso deixou de fazer um estgio pelo qual receberia um
salrio. Mesmo que seja desejado pelos gestores do projeto, o fato de o jovem
assistir as aulas em vez de ir para o estgio remunerado um custo de opor-
tunidade de participao no projeto e precisa ser computado na avaliao de
retorno econmico. Ainda que esse jovem no fizesse o estgio, o tempo que
ele permanece no curso poderia ser usado de forma alternativa para ajudar os
pais nos afazeres domsticos, ou para cuidar dos irmos mais novos. Portanto,
o custo dos afazeres domsticos e do cuidado com os irmos o custo de opor-
tunidade de participar do projeto e precisa ser valorado.
Outro custo de oportunidade, muito comum em projetos sociais, o dispn-

dio de horas de trabalho dos voluntrios. Quando o projeto social funciona
com a colaborao de voluntrios, o custo das horas trabalhadas por eles no
aparece no custo contbil, simplesmente porque no foram pagas. Entretanto,
para o seu funcionamento esse recurso (as horas de trabalho dos voluntrios)
foi utilizado e o cmputo do seu custo deve consider-lo. O uso alternativo
desse recurso seria despender as horas em servio remunerado. Assim, o custo
de oportunidade do trabalho voluntrio quanto esses profissionais estariam
recebendo caso fossem remunerados.
Existem muitos outros exemplos de custo de oportunidade, especficos para

cada projeto social ou poltica pblica e para descobri-los basta aplicar o con-
ceito na anlise de cada caso. Ao final do captulo, apresentamos trs exemplos
de custos econmicos considerados em avaliaes no Brasil.
Calculado o custo de oportunidade e o custo contbil, a soma de ambos resulta

no custo econmico. Assim como acontece com o benefcio, o custo econmi-
co pode ocorrer em diferentes momentos no tempo. Novamente, vale relem-
brar que no podemos somar o valor gasto em cada momento para obtermos
o custo total sem considerar a taxa de desconto intertemporal. Para isso, apli-
camos os conceitos de valor presente e valor futuro da matemtica financeira
e obtemos a seguinte relao:
(3)
Onde o VPTC o valor presente do custo total; VC o valor do custo no tem-

po inicial; e VFC o valor do custo incorrido nos n perodos t.
Essa frmula anloga quela aplicada ao clculo do benefcio total do pro-

grama. Assim, toda a discusso em relao taxa de desconto intertemporal
realizada na seo 8.1 continua vlida. Alm disso, no podemos esquecer que

a taxa de desconto intertemporal tem que ser a mesma considerada no clcu-
lo de Valor Presente do Benefcio Total, ou seja, ao escolhermos uma taxa de
desconto intertemporal, essa ser a mesma para todos os clculos do retorno
econmico.
8.3. Medidas do Retorno Econmico

Aps a estimao do custo e do benefcio de um projeto social ou poltica p-
blica, estamos aptos a calcular o seu retorno econmico. O retorno econmico
visa a identificao da viabilidade econmica do projeto, por meio da compa-
rao do seu custo com o seu benefcio. A viabilidade econmica se refere ao
fato de o projeto gerar um lucro social, ou seja, seu benefcio ser maior que
seu custo para a sociedade.
O clculo do retorno permite descobrir a viabilidade econmica de um projeto

social ou poltica pblica e tambm comparar alternativas de investimentos
em projetos diferentes. A comparao de dois projetos indica que aquele com
maior retorno o mais atrativo como investimento. Entretanto, preciso ter
cuidado com essa comparao.
A comparao de projetos s deve ser realizada se eles forem semelhantes em

seus objetivos e pblico-alvo. Cada rea de investimento social apresenta re-
tornos diferenciados para a sociedade, mas todas precisam de investimento.
A deciso de investimento no passa somente pelo retorno de cada rea, mas
tambm pela vocao de cada instituio financiadora. Por exemplo, projetos
de educao bsica costumam gerar retornos elevados para a sociedade pelas
caractersticas inerentes ao seu pblico-alvo o impacto perdura por toda a
vida do participante. Projetos para idosos, em geral, apresentam retornos mais
baixos, tambm por caractersticas inerentes ao pblico-alvo o impacto per-
dura poucos anos. No seria correto usar a comparao do retorno econmi-
co de ambos para decidir em qual investir, pois essas duas reas sociais tm
caractersticas muito diferentes. O ideal seria comparar somente o retorno de
projetos de educao bsica com objetivos semelhantes e comparar somente
o retorno de projetos para idosos e, dentre cada grupo, decidir em qual investir.
Alm disso, o nmero de atendidos e a capacidade de expanso do projeto
tambm devem ser levados em considerao.
Existem vrias formas de calcularmos o retorno e cada uma delas constitui

uma estatstica de retorno econmico. A diferena entre as estatsticas ape-
nas a tica da sua construo, pois todas medem a relao entre o custo e o
benefcio do projeto. Neste livro, apresentamos quatro estatsticas de retorno
econmico: Valor Presente Lquido (VPL), Taxa Interna de Retorno (TIR), Razo
Custo-Benefcio e Razo Custo-Efetividade.

O VPL e a TIR decorrem da aplicao direta de conceitos da matemtica finan-
ceira. A Razo Custo-Benefcio um conceito aplicado em diversas reas da
economia. Essas estatsticas so muito comuns na anlise de viabilidade eco-
nmica de investimentos do setor privado. Por fim, a Razo Custo-Efetividade
calculada quando no for possvel transformar o impacto encontrado em be-
nefcio, ou seja, quando no for possvel atribuir valor monetrio ao impacto.
Veremos detalhadamente cada uma dessas estatsticas.
8.3.1 Valor Presente Lquido VPL

O valor presente lquido estima o retorno por meio da subtrao do valor pre-
sente do custo total pelo valor presente do benefcio total. A intuio que se
os benefcios so maiores que os custos, ento o projeto vivel economica-
mente. Ou seja, o projeto gera para a sociedade mais valor do que retira dela
em termos do investimento necessrio para sua execuo. Assim, temos:
VPL= Benefcio Custo (4)
Considerando que os benefcios e os custos acontecem em momentos diferen-

tes no tempo, para realizarmos essa subtrao, precisamos que ambos estejam
a valor presente de um mesmo perodo. Considerando o primeiro ano do
investimento, trazemos os valores do benefcio e do custo de cada ano a valor
presente desse perodo, por meio da frmula:
(5)
A anlise do resultado :
Se VPL > 0 retorno positivo, o projeto vivel economicamente, pois seu

benefcio supera o custo.
Se VPL < 0 retorno negativo, o projeto no vivel economicamente, pois

seu custo supera o benefcio gerado.
Se VPL = 0 retorno neutro, valor do benefcio gerado igual ao custo incor-

rido.
8.3.2 Taxa Interna de Retorno - TIR

A taxa interna de retorno a taxa de oportunidade de investir o recurso no

projeto. Ela representa o retorno implcito do investimento. Matematicamente,
a TIR a taxa de desconto intertemporal implcita que iguala o benefcio do
projeto ao seu custo, de forma que o valor presente lquido seja zero. Assim:
(6)
Ou, reagrupando os termos de (6), temos:
Calculadoras financeiras ou softwares fazem essa estimao.
A TIR uma taxa anual, ou na unidade de tempo utilizada para construir o flu-
xo de caixa. Para interpretarmos o resultado da TIR, necessria a comparao
com a TIR de outro projeto ou com uma taxa mnima de atratividade - TMA. A
taxa mnima de atratividade a taxa de juros mnima que um investidor pre-
tende obter com o seu investimento. Assim a TMA pode ser a taxa de juros
bsica do mercado, a taxa de remunerao da poupana ou outra taxa que
se considerar a mnima para remunerar um investimento. Assim, so trs os
resultados possveis:
Se a TIR > TMA, o projeto vivel economicamente, pois o retorno gerado

maior que a taxa mnima de atratividade. Ou seja, o projeto tem um retorno
implcito maior do que o mnimo considerado pela sociedade como razovel.
Se a TIR < TMA, o projeto no vivel economicamente, porque seu retorno

menor que a mnima de atratividade. Ou seja, o projeto tem um retorno im-
plcito menor do que o mnimo desejado.
Se a TIR = TMA, o projeto est em uma zona de indiferena de retorno, mas

economicamente vivel. Ou seja, o projeto gera o mnimo desejado pela so-
ciedade.
8.3.3 Razo Custo-Benefcio

A Razo Custo-Benefcio uma das estatsticas de retorno econmico mais uti-
lizadas, devido sua fcil compreenso. No dia a dia, costumamos fazer anli-
ses de custo-benefcio em todas as nossas decises tomadas. Em geral, quando
estamos diante de uma escolha, pensamos nos prs e nos contras que podem
advir da deciso, para somente depois balizarmos nossas aes. Por exemplo,

com relao compra de um automvel: primeiramente analisamos a potn-
cia, o custo de manuteno, o conforto, o design e vrios outros aspectos. De-
pois, verificamos o custo do automvel. Por fim, relacionamos os benefcios de
cada modelo e comparamos com o custo. Somente depois de todo esse pro-
cesso que decidimos pela compra. Quando se realizam essas comparaes, o
que estamos fazendo de forma intuitiva uma anlise custo-benefcio.
No caso de projetos privados e sociais a anlise no pode ser intuitiva. O que se

faz relacionar o custo e o benefcio do projeto por meio da Razo Custo-Bene-
fcio. Essa razo fornece uma estatstica de quanto o retorno para a sociedade
de cada real investido no projeto. Para o seu clculo basta dividir o benefcio
total pelo custo econmico total361. Tanto o benefcio quanto o custo tm que
estar a valor presente de um mesmo perodo de tempo.
Razo Custo-Benefcio = VPTB / VPTC (7)
Onde t indica o tempo n, no qual o benefcio e o custo foram calculados. A in-

terpretao do resultado nos fornece o montante de benefcio que ser gerado
por cada real investido. Por exemplo, se a Razo Custo-Benefcio foi de 1,5, sig-
nifica que a cada real investido o benefcio gerado ser de um real e cinquenta
centavos. Portanto, o projeto vivel economicamente. Por outro lado, se a
Razo Custo-Benefcio for de 0,60, significa que cada real investido no projeto
valer no futuro apenas sessenta centavos. Ou seja, o dinheiro investido per-
deu valor com o projeto, pois esse no foi capaz de gerar benefcios suficientes
para compensar os custos.
Se quisermos saber o retorno para a sociedade em termos percentuais, aplica-

mos a seguinte frmula:
Retorno % = (Razo Custo-Benefcio - 1)*100 (8)
Esse resultado nos fornece quanto o investimento no projeto gera no futuro

em termos percentuais. Se a Razo Custo-Benefcio de 1,5, ento o retorno
ser de 50%. Portanto, o projeto apresenta retorno positivo para a sociedade,
sendo vivel economicamente. Com a Razo Custo-Benefcio de 0,6, o retorno
ser de -40%, ou seja, retorno negativo, indicando que o programa no vi-
vel economicamente. O retorno percentual , somente, uma outra maneira de
apresentar o mesmo resultado da razo benefcio-custo. A deciso de como
apresentar os resultados escolha discricionria do avaliador e depender do
seu conhecimento prvio do pblico para o qual se dirige, de modo a determi-
nar qual a forma de mais fcil compreenso.
61
Apesar de a razo ser a diviso do benefcio pelo custo razo benefcio-custo, adotamos
a nomenclatura razo custo-benefcio por ser a denominao difundida nacionalmente. Em
ingls o termo benefit-cost ratio.

8.3.4 Razo Custo-Efetividade
A Razo Custo-Efetividade uma alternativa para a comparao dos custos
com os benefcios dos projetos, quando no se deseja, ou quando no pos-
svel, valorar monetariamente o impacto. Essa estatstica dimensiona o impac-
to em relao aos custos, sem a transformao daquele em benefcio. Assim,
utilizamos a Razo Custo-Efetividade quando no possvel encontrar boas
hipteses para transformar o impacto estimado em valor monetrio ou caso
no seja interessante essa transformao.
Alguns projetos tm indicadores de impacto de difcil valorao. Por exemplo,

projetos para a preservao das baleias. O impacto ser medido em termos de
nmero de baleias salvas. Para transformar o impacto em benefcio teramos
que saber quanto vale para a sociedade cada baleia salva. Isso exigiria hip-
teses nada triviais. Outras vezes, por questes ideolgicas, os avaliadores no
querem atribuir valor a alguns indicadores de impacto. No caso de projetos
para preveno de doenas, em que o impacto o nmero de vidas salvas. Para
transformar esse impacto em benefcio preciso valorar a vida. Muitos autores
consideram que o valor da vida quanto a pessoa vai produzir no mercado
de trabalho, ou seja, quanto de salrio receber ao longo da sua vida laboral.
Isso pode parecer lgico para alguns. Entretanto, para outros, pode parecer um
absurdo, pois o valor da vida transcende o seu sentido econmico. Nos dois
exemplos, o avaliador poderia optar por apresentar a Razo Custo-Efetividade.
A Razo Custo-Efetividade calculada pela diviso do impacto estimado (na

avaliao de impacto) pelo custo econmico total:
Razo Custo-Efetividade= impacto estimado / VPTC (9)
Esta estatstica fornece quanta unidade de impacto se obtm por real gasto.
Por exemplo, no caso do projeto para preservao das baleias, a Razo Cus-
to-Efetividade fornece quantas baleias foram salvas para cada real gasto. Se a
Razo Custo-Efetividade de 0,000003, significa que a cada real investido salva
0,000003 baleias. A fim de tornar o resultado mais intuitivo, podemos multi-
plicar o resultado por 1.000.000. Assim, teramos que, para cada 1.000.000 de
reais investidos no programa, trs baleias so salvas. No exemplo do projeto de
preveno s doenas, a Razo Custo-Efetividade indica quantas vidas foram
salvas para cada real despendido com o programa. Se a Razo Custo-Efetivida-
de de 0,00045 e multiplicarmos esse resultado por 100.000, teremos que cada
cem mil reais investidos no projeto salvam 45 vidas.
Aps calcular a Razo Custo-Efetividade, a pergunta se o valor encontrado

seria alto ou baixo. A resposta s poder ser fornecida pelas outras estatsticas
de retorno econmico. Isso indica que essa estatstica, apesar de considerada

uma estatstica de mensurao de retorno econmico, no permite que seja
avaliada a viabilidade econmica do projeto. Por esse motivo, deve sempre
que possvel ser substituda pelas outras estatsticas apresentadas nesse ca-
ptulo. Mesmo com essa limitao, a estatstica de custo-efetividade muito
usada para comparar projetos. Lembre-se que a comparao deve se restringir
a projetos com o mesmo indicador de impacto, o mesmo pblico-alvo e a mes-
ma finalidade. Se o gestor tem que decidir entre dois projetos, ele escolher
o que tem maior custo-efetividade, pois com o mesmo custo mais impacto
atingido. No exemplo da baleia, se uma outra metodologia de preservao das
baleias fosse aplicada com Razo Custo-Efetividade de 0,000001, esta no seria
prefervel quela em que a Razo Custo-Efetividade de 0,000003, pois com o
mesmo montante menos baleias so preservadas.
Algum poderia argumentar que para comparar dois projetos poderamos

analisar somente o impacto estimado. Entretanto, a comparao do impacto
estimado poderia levar a concluses errneas, pois pode ocorrer a situao em
que um projeto tenha impacto maior do que o outro, mas por seu custo ser
muito mais elevado, tenha menor Razo Custo-Efetividade.
8.4 Anlise de Sensibilidade

A anlise de sensibilidade a ltima etapa da avaliao econmica. Seu obje-
tivo testar a sensibilidade (variao) dos resultados da avaliao em relao
aos parmetros utilizados. Como a avaliao econmica baseada em mto-
dos estatsticos, que esto sujeitos a erros, e em parmetros escolhidos s ve-
zes de forma discricionria, faz-se necessrio testar se os resultados encontra-
dos sofreriam alterao caso a amostra e os parmetros da avaliao fossem
diferentes. Assim, a anlise de sensibilidade uma tcnica de verificao de
robustez dos resultados da avaliao. O termo robustez em avaliao empre-
gado no sentido figurado de fora da avaliao, ou seja, sua confiabilidade.
Toda avaliao econmica envolve um conjunto de informaes incertas. A

incerteza se deve s variaes da amostra e ao espectro de plausveis valores
para os parmetros. Por exemplo, podemos calcular o retorno econmico con-
siderando uma taxa de desconto intertemporal de 5%. Entretanto, seria plau-
svel utilizar uma taxa de desconto de 6% ou 4%, entre outros valores. Nesse
caso, na anlise de sensibilidade, refazemos a avaliao de retorno econmico
com essas possveis variaes da taxa de desconto intertemporal, para verificar
se os resultados no sofrem alterao.
Ento, na prtica, a anlise de sensibilidade implica em refazer a avaliao

econmica alterando os parmetros utilizados e verificar se as estatsticas de
retorno econmico continuam com o mesmo resultado. Se o resultado man-

tido, dizemos que ele robusto. Isso significa que, mesmo que nossa estimao
apresentasse um erro, o valor real fosse diferente do estimado, o resultado no
se alteraria.
Existem vrias tcnicas para se realizar a anlise de sensibilidade. Nesse captu-

lo abordaremos uma delas, conhecida como anlise de sensibilidade univaria-
da (univariate sensitivity approach). A anlise fcil de ser realizada e permite
considerar os dois tipos de incertezas da avaliao econmica a causada pe-
las variaes da amostra e pelo espectro de plausveis valores dos parmetros.
Como vimos ao longo desse livro, a avaliao econmica de um projeto social

envolve a estimao de vrios parmetros para os quais utilizamos amostras e
tcnicas estatsticas. Isso acontece, por exemplo, na mensurao do impacto
do projeto, quando os mtodos de regresso so empregados. Ao utilizarmos
amostra para estimar determinado parmetro na populao, incorremos em
erros de estimao devido a caractersticas da amostra analisada. Provavelmen-
te, a seleo de uma amostra diferente levaria a valor diverso do parmetro. A
construo do intervalo de confiana procura captar os possveis valores que o
parmetro poderia assumir se amostras diferentes fossem utilizadas, com uma
probabilidade de certeza.
Para considerar a incerteza proveniente de variaes na amostra, em geral, se

considera o menor e o maior valor possvel do parmetro, ou seja, os valores do
limite inferior e superior do intervalo de confiana a 95% ou 90% de confiana.
Para cada um desses valores, recalculamos as estatsticas de retorno econ-
mico e verificamos a manuteno dos resultados. Se os resultados tiverem se
mantido, ento dizemos que o retorno robusto. Esse procedimento repeti-
do para cada um dos parmetros estimados com base em amostras.
O procedimento para o teste de sensibilidade em relao s incertezas pro-

veniente dos valores dos parmetros similar ao proveniente da variao na
amostra. A diferena que, nesse caso, no temos os valores dos limites supe-
riores e inferiores com uma probabilidade de certeza, porque os parmetros
foram escolhidos discricionariamente, com base em conhecimento prvio do
avaliador. Assim, a determinao de quais valores esse parmetro poderia as-
sumir tambm ser escolha discricionria e difcil. Uma forma muito utilizada
pelos avaliadores para determinar os menores e maiores valores a anlise dos
valores passados do parmetro.
A taxa de desconto intertemporal um exemplo de parmetro escolhido dis-

cricionariamente pelo avaliador. Como vimos, alguns economistas consideram
essa taxa igual taxa de juros real da economia. Entretanto, existem vrias ta-
xas de juros, por exemplo, a taxa bsica chamada de SELIC, a taxa preferencial
de juros, a taxa de remunerao da poupana, etc. Alm disso, tambm exis-
tem vrios ndices de inflao e deflao, como ndice de Preos ao Consumi-

dor Amplo (IPCA) e o ndice Geral de Preos (IGP). Assim, surge uma incerteza
quanto preciso do retorno econmico calculado, devido discricionarieda-
de da escolha desse parmetro. Para fazer a anlise de sensibilidade escolhe-
mos o menor e o maior valor da taxa de juros real da economia, de acordo com
a srie histrica das vrias taxas existentes.
O raciocnio anterior, para a taxa de desconto intertemporal, se aplica a qual-

quer outro parmetro considerado na avaliao econmica. Pode-se, por
exemplo, utilizar parmetros (incertos) para a estimao dos custos de opor-
tunidade ou at mesmo dos custos contbeis. Desse modo, faz-se a anlise
de sensibilidade para cada um dos parmetros discricionariamente adotados.
Portanto, existem vrios parmetros que utilizamos na avaliao econmica
que podem e devem ser testados na anlise de sensibilidade a fim de que pos-
samos confirmar a robustez do retorno.
Alm de testar o efeito no retorno econmico de mudanas em cada parme-

tro, mantendo os demais constantes, os avaliadores tambm testam a varia-
o conjunta de dois ou mais parmetros a fim de obterem um espectro ainda
maior de testes e verificar, de forma mais precisa, a robustez dos resultados.
Cada novo clculo do retorno, supondo valores diferentes dos parmetros,
chamado comumente de cenrios.
Considere x o nmero de parmetros a serem analisados. Cada parmetro ter

o seu limite inferior e limite superior e seu valor original. Assim, temos x vezes 3
elementos a serem combinados menos a combinao original da avaliao. O
total de cenrios dado por:
Total de cenrios = -1 (10)
Aps montarmos todos os cenrios, calculamos a proporo daqueles que

tiveram resultados opostos ao da avaliao, em que o valor presente lquido
encontrado foi negativo ao invs de positivo, por exemplo. Quanto menor o
percentual de cenrios com resultados contrrios ao da avaliao, mais robusto
o seu resultado ser. Quanto maior o percentual de cenrios com resultados
contrrios ao da avaliao, mais frgeis os resultados estimados.
A fim de evitar que o relatrio da avaliao fique enfadonho, os avaliadores

no costumam reportar o resultado de cada cenrio. Eles apenas descrevem os
parmetros testados, o nmero total de cenrios e o percentual de estimativas
contrrio ao da avaliao.
8.5 Exemplo Fictcio

Neste ponto, finalizamos a teoria relativa avaliao econmica de projetos

sociais, e em especial, a avaliao de retorno econmico, tema especfico deste
captulo. Para fixar melhor o contedo e servir de roteiro para futuras avalia-
es de retorno econmico, apresentamos a seguir a avaliao econmica de
um projeto fictcio, realando todas as etapas e clculos necessrios estima-
o do retorno do projeto.
Nome do projeto: Trabalha Brasil
Objetivo: inserir jovens no mercado de trabalho.
Pblico alvo: jovens nos dois ltimos anos do ensino mdio.
Aes: curso profissionalizante com durao de dois anos, oferecido no con-

traturno escolar.
Nmero de beneficirios: 150 indivduos.
Indicador de impacto: empregabilidade dos jovens.
Resultado da estimao de impacto um ano aps o fim do projeto: em m-

dia, 10% dos tratados conseguiram emprego por causa do projeto.
8.5.1 Clculo do Benefcio

Transformao do impacto em benefcio:
Dos 150 participantes 10% conseguiram emprego por causa do projeto. Ento,
o projeto conseguiu inserir 15 jovens no mercado de trabalho, que no o aces-
sariam se no tivessem participado do curso profissionalizante.
Para transformar o impacto em benefcio considere as seguintes hipteses:
i. O benefcio de colocar o jovem no mercado de trabalho o salrio que

ele recebe. Esse equivale ao que ele produz para a sociedade;
ii. Na mdia os beneficirios empregados recebem R$ 1.000,00. Esse va-

lor foi calculado com base nas informaes de salrio informadas pelos jovens.
Para calcular o benfico do projeto por um ano multiplicamos o nmero de

jovens que esto empregados por causa do projeto (15) pelo salrio mdio
que recebem por ms (R$ 1.000,00) por 12 meses perfazendo um total de R$
180.000,00 por ano.

Fluxo de caixa e clculo do benefcio total:
Para elaborar o fluxo de caixa considere que:
iii. Se no fosse o projeto, os jovens beneficirios entrariam no mercado

de trabalho, de qualquer forma, cinco anos aps o fim do projeto. Ento, o be-
nefcio perdura durante cinco anos.
iv. A taxa de desconto intertemporal de 5%.
A figura a seguir ilustra o fluxo de caixa.
Para somar os valores em momentos diferentes no tempo, aplicamos a taxa de

desconto intertemporal e calculamos o Valor Presente Total do Benefcio em :
Portanto, o benefcio total do projeto a Valor Presente em de 742.196 reais.

O clculo do impacto, consequentemente, do benefcio s considerou o be-
nefcio individual. As externalidades advindas do salrio dos jovens inseridos
no mercado de trabalho por causa do projeto no foram computadas. Dessa
forma, sabemos de antemo que esse benefcio est subestimado. O benefcio
real deve ser maior do que o estimado pela avaliao, fazendo com que o seu
retorno tambm seja maior.
8.5.2 Clculo do Custo Econmico:

Para o funcionamento dos cursos, a gesto do projeto despende recursos com
salrio dos professores, material de laboratrio, apostilas e lanches fornecidos

para os alunos tabela 1. Alm dos valores efetivamente pagos, o projeto uti-
liza o laboratrio fornecido por uma empresa parceira que no cobra aluguel,
luz ou gua. Esse valor computado no custo de oportunidade. Tambm os
alunos, ao decidirem alocar seu tempo nas aulas em vez de investi-lo em outras
atividades, incorrem no custo de oportunidade tabela 2. Os valores das tabe-
las se referem aos custos de um ano de funcionamento.
Custo econmico = custo contbil + custo de oportunidade
Custo econmico = 137.000,00 + 220.450,00 = 357.450,00
Assim, o custo do projeto de 357.450,00 reais por ano. Os jovens permane-

cem no projeto por dois anos.
Fluxo de caixa e clculo do custo econmico total:
A figura a seguir ilustra o fluxo de caixa dos custos do projeto:
Para somar o custo do projeto nos diferentes momentos do tempo, aplicamos

a taxa de desconto intertemporal de 5%, exatamente igual ao clculo do bene-
fcio total. Note que estamos trazendo o custo do projeto a valor presente em

. Portanto, o custo desse perodo j est em valor presente.
Assim, o custo econmico total do projeto em de 697.878,57.
8.5.3 Retorno econmico

Clculo do Valor Presente Lquido
O fluxo de caixa completo do projeto :
Considere a taxa de desconto intertemporal de 5%. O Valor Presente Lquido :
Como j conhecamos o valor presente do benefcio e do custo, o VPL poderia ser

calculado de forma alternativa:
VPTB : 742.196,00
VPTC : 697.878,57
VPL = VPTB VPTC
VPL = 742.196,00 - 697.878,57 = 44.317,43

O resultado significa que os benefcios do projeto excedem os custos em 44.317,43
reais. Ento, podemos concluir que o projeto apresenta um retorno econmico po-
sitivo para a sociedade, sendo vivel economicamente.
Clculo da Taxa Interna de Retorno
No exemplo do projeto Trabalha Brasil a TIR de 7%. A frmula para seu cl-
culo :
Para obtermos a TIR utilizamos o software Excel62

4
, no qual inserimos o fluxo de
caixa, selecionamos as clulas e inserimos a funo TIR, como apresentado na
figura a seguir:
A interpretao da TIR depende da taxa mnima de atratividade que considerar-

mos. Suponha que a taxa mnima de atratividade seja de 5%. Ento, a TIR de 7% in-
dica que o projeto vivel economicamente, pois tem um retorno implcito maior
do que o mnimo desejado pelo investidor.
Clculo da Razo Custo-Benefcio
Dos clculos anteriores temos que:
VPTB : 742.196,00
VPTC : 697.878,57
Razo Custo - Benefcio =
Razo Custo - Benefcio =
62
possvel obter a TIR com calculadora financeira e outros pacotes computacionais. Op-
tamos por apresentar o exemplo utilizando o Excel, por ser um software muito difundido.

O resultado indica que para cada real gasto no projeto, o retorno para a socie-
dade ser de 1,06 reais. Lembre-se que esse valor foi calculado considerando
uma taxa de desconto intertemporal de 5%.
No exemplo:
Retorno = (1,06 - 1)*100 = 6,0%
Ou seja, sob uma taxa de desconto intertemporal de 5%, o retorno do projeto

de 6%.
Exemplo 1: Projeto para melhora na qualidade da educao

(BIONDI et al. 2012):
O projeto Olimpada Brasileira de Ma- anos de idade e oito anos de estudo. Para
temtica das Escolas Pblicas - OBMEP obter o benefcio do projeto multiplica-
tem como objetivo a melhora da qualida- ram o impacto na nota em relao aos sa-
de da educao em matemtica nas es- lrios futuros, considerando a elasticida-
colas pblicas brasileiras. A unidade trade pressuposta. Depois, multiplicaram o
tada so as escolas pblicas e o indicador impacto do projeto no aluno mdio pelo
de impacto a nota mdia da escola na nmero de alunos beneficiados, assim
Prova Brasil dos alunos do 9 ano (antiga obtiveram o benefcio do projeto.
8 srie). A avaliao de impacto utilizou
metodologia de diferenas em diferen- No clculo do custo, o trabalho conside-
as com dados da Prova Brasil de 2005 e ra dois cenrios: apenas com o custo con-
2007. Os resultados mostram que o proje- tbil por aluno, que de R$ 2,00; e com
to melhora a nota mdia das escolas par- o custo econmico (contbil + oportuni-
ticipantes (foram utilizados vrios mto- dade) calculado com base no custo eco-
dos no clculo do impacto). nmico de outro projeto similar, a Olim-
pada de Lngua Portuguesa Escrevendo
Para transformar o impacto em benefcio, o Futuro, concurso semelhante OB-
os autores consideraram as seguintes hi- MEP realizado pela Fundao Ita Social
pteses: e Cenpec. Para os dois cenrios a taxa de
i. O impacto positivo estimado na desconto intertemporal considerada de
nota mdia dos alunos da 8 srie 5%.
vale em valores absolutos para todos
os alunos matriculados nas escolas Os autores calculam o VPL total do pro-
participantes do projeto. jeto, o VPL por aluno e a TIR, diferencian-
ii. A melhora no desempenho dos jo- do as estatsticas de retorno para escolas
vens na 8 srie afetar os salrios fu- e alunos que s participaram uma vez da
turos dos jovens no mercado de tra- OBEMP, que participaram duas e trs ve-
balho - com elasticidade estimada de zes. Alm disso, repetem os clculos con-
0,3, segundo estudo de Curi e Mene- siderando os dois cenrios de custo. Em
zes-Filho (2007, apud BIONDI et al., seguida, calculam a mdia de cada esta-
2012) tstica estimada. Os resultados apontam
iii. Os retornos da educao no sal- para um VPL total mdio de 901 milhes,
rio so constantes no tempo. um VPL por aluno mdio de 181,70 reais
e uma TIR mdia de 45% ao ano. Assim,
Com base nos dados da Pnad 2007, os au- concluem que a OBMEP apresenta uma
tores projetaram qual seria o salrio anu- taxa de retorno elevada e gera benefcios
al correspondente de um jovem com 18 salariais futuros aos jovens participantes.

Exemplo 2: Projeto para preveno da violncia
(PEIXOTO, 2010).
O projeto Fica Vivo foi implementado tora aplicou regra de trs considerando
de forma piloto em uma das favelas mais o valor dos anos de produo perdidos
violentas de Belo Horizonte, Minas Gerais, pela proporo que esse fator represen-
no ano de 2002. O objetivo do projeto ta na perda total gerada pelo homicdio
a reduo dos nmeros de homicdios, no Reino Unido. Assim, calcularam que
por meio de aes que combinam poli- a perda total gerada pelo homicdio no
ciamento ostensivo com aes sociais. Brasil de 490 mil reais.
A unidade tratada a favela e o indica-
dor de impacto a taxa de homicdios A autora considera o custo econmico do
por cem mil habitantes. A avaliao de projeto, mas no o subdividiu em custo
impacto utilizou a combinao da me- contbil e custo de oportunidade e sim
todologia de pareamento por escore de por uma tipologia de custo prpria. Alm
propenso com a de diferenas em di- disso, estima o custo do projeto por trs
ferenas e os dados foram provenientes formas diferentes. Os valores de custo
do Banco de Dados Georeferenciados da anuais mdios por beneficirio variam
Polcia de Minas Gerais 2000 a 2006 e de 43,17 a 52,43 reais e os custos totais
o Censo Demogrfico do IBGE 2000. Os anuais mdios variam de 1,019 a 1,238
resultados mostram o impacto do projeto milhes de reais, de acordo com o mto-
entre 2002 e 2006, que foi de reduo de do de estimao. Para realizar o fluxo de
15 homicdios. caixa do projeto considera a taxa de des-
conto intertemporal igual ao ndice de in-
flao IPCA-IBGE varivel mensalmente.
Para transformar o impacto em benefcio,
a autora considerou as seguintes hipte- A razo custo-efetividade de um homi-
ses: cdio evitado pelo projeto e tambm a
razo custo-benefcio calculada para as
i. O benefcio de um homicdio evita- trs formas de estimao do custo. A ra-
do igual perda social do homic- zo custo-efetividade encontrada varia,
dio. Assim, o benefcio do homicdio de acordo com o mtodo de clculo do
evitado a perda que a sociedade custo, de 201 a 244 mil reais e a razo cus-
deixou de sofrer porque o homicdio to-benefcio varia de 1,99 a 2,42. Os resul-
foi evitado. Essa perda tem vrios fa- tados indicam que o projeto gera retorno
tores, como anos de produo per- para a sociedade.
didos, custos judiciais, psicolgicos,
entre outros. Como foram utilizados vrios parmetros
ii. No caso do Brasil, Carvalho et al. para a estimao dos resultados, a autora
(2007, apud PEIXOTO, 2010) calculam realiza a anlise de sensibilidade varian-
o valor dos anos de produo perdi- do os diferentes valores dos anos de pro-
dos devido ao homicdio. A autora duo perdidos, do percentual que este
supe que a proporo dos anos de componente representa na perda total
produo perdidos devido ao homi- que o homicdio acarreta para a socieda-
cdio em relao perda total gerada de e do mtodo de rateio. A anlise de
para a sociedade igual do Reino sensibilidade mostra que apenas dois ca-
Unido, onde o custo da perda gerada sos, das 62 combinaes de parmetros
pelo homicdio foi calculado consi- utilizadas, no se mostraram economica-
derando vrios fatores (DUBOURG E mente viveis. Para as demais combina-
HAMED, 2005, apud PEIXOTO, 2010). es de parmetros o projeto apresenta
retorno para a sociedade. Essa anlise in-
Para obter o benefcio do projeto, a au- dica robustez dos resultados estimados.

Exemplo 3: Projeto de preveno em Sade
(CAMELO JUNIOR et. al., 2011)
Avaliao econmica da triagem neo- pela doena;
natal da galactosemia, no Estado de So iii. Mesmo com o diagnstico preco-
Paulo. A galactosemia uma da doena ce a doena gera perda de: despesa
metablica hereditria, que pode ter seus com seguimento ambulatorial a lon-
malefcios prevenidos caso seja detecta- go prazo, sem complicaes e com o
da precocemente. Se o diagnstico for tratamento diettico.
tardio, a criana que apresenta a doena iv. O valor da perda de produtivida-
pode precisar de tratamento de urgncia de foi considerado como a perda de
e intensivo, para infeces generaliza- meio dia de trabalho (R$ 21,65), com
das e insuficincia heptica. Alm de a base no rendimento mdio mensal
doena poder evoluir para cirrose, insu- real das pessoas ocupadas no Brasil,
ficincia heptica, cataratas, hipertenso em maro, de 2011
intracraniana, edema cerebral, letargia, v. R$ 1.298,70.
hipotonia, retardo mental e morte. Com vi. o paciente trabalharia entre 20 e
o diagnstico precoce, a criana necessi- 65 cinco anos de idade.
ta apenas de acompanhamento mdico
ambulatorial e, se a evoluo do quadro Para obter o benefcio do projeto, os
clnico for favorvel, adquire qualidade autores subtraram a perda gerada pelo
de vida e possibilidade real de produtivi- diagnstico tardio da gerada pelo diag-
dade social futura. Os autores verificaram nstico precoce, calculando assim o be-
o impacto da incluso do diagnstico nefcio individual. Em seguida, multipli-
dessa doena no conhecido teste do pe- caram o benefcio pelo total de nascidos
zinho, por meio de um estudo piloto no vivos com a doena (incidncia da doen-
ano de 2006, em So Paulo. a multiplicada pelo nmero de nascidos
vivos em So Paulo no ano de 2009).
Os autores consideram como indicador
de impacto a incidncia da doena em Os autores consideraram o custo econ-
crianas. A base de dados proveniente mico do projeto, mas no o subdividiram
do teste realizado em 59.953 recm-nas- em custo contbil e custo de oportuni-
cidos escolhidos aleatoriamente. dade. So computados os custo do pro-
jeto com os kits de deteco da doena,
Os resultados indicaram que 1:19.984 o retorno das crianas detectadas para
nascidos vivos teriam o diagnstico pre- confirmao, bem como o custo do con-
coce caso o teste para galactosemia fos- tato para que esse retorno acontea, e a
se includo no exame do pezinho. Para perda de produtividade do trabalho do
transformar o impacto em benefcio, os acompanhante. Para realizar o fluxo de
autores assumiram as seguintes hipte- caixa do projeto consideraram a taxa de
ses: desconto intertemporal igual SELIC de
junho de 2009 de 9,25%.
i. O benefcio de um diagnstico pre-
coce igual diferena entre a perda O retorno econmico foi mensurado com
social com diagnstico tardio e a per- base na razo custo-benefcio da triagem
da social causada pela doena quan- neonatal da galactosemia, considerando
do o diagnstico precoce. ainda mais dois nveis de incidncia da
ii. O diagnstico tardio gera perda doena dados pelos limites do intervalo
para a sociedade de: despesa com de confiana a 95%. A razo custo-bene-
terapia intensiva e enfermarias; pro- fcio estimada foi de 1,33 e para os inter-
cedimentos cirrgicos; tratamento valos de confiana foi de 0,44 e 3,54. As-
diettico; seguimento ambulatorial sim, os resultados mostram que o projeto
a longo prazo; e perda de produo gera retorno para a sociedade.
por causa das complicaes geradas

Exerccios
1) A avaliao econmica composta de duas etapas. Cite quais so essas eta-
pas e os seus principais objetivos.
2) Por que no podemos comparar dois programas apenas usando os resulta-

dos da avaliao de impacto?
3) O que o benefcio do projeto e por que devemos transformar o impacto

em benefcio?
4) O que a taxa de desconto intertemporal? E quando ela utilizada na ava-

liao econmica?
5) Quais so os componentes do custo econmico?
6) Se o custo de oportunidade implcito, como possvel calcul-lo? D

exemplos.
7) O que o avaliador pretende captar ao calcular o retorno econmico do pro-

jeto?
8) Cite as estatsticas de retorno econmico vistas nesse captulo.
9) Qual a diferena entre as estatsticas de retorno econmico?
10) O que anlise de sensibilidade e qual a sua finalidade?

Exerccios Prticos
1) O programa Mulher do Futuro fictcio objetiva aumentar a renda de fa-
mlias chefiadas por mulheres. Para isso, oferece cursos profissionalizantes em
diversas reas e ajuda na insero das participantes no mercado de trabalho,
por meio de convnios com empresas. Os cursos duram em mdia seis meses.
A avaliao de impacto do programa foi pensada desde sua concepo. Assim,
realizou-se uma pesquisa com as participantes e no participantes antes da
implementao. Dois anos aps o incio do programa, o grupo de avaliao
voltou a campo e novamente coletou informaes sobre as mulheres. O banco
de dados DDM contm as informaes em dois momentos no tempo esco-
laridade, idade, se o domiclio possui luz eltrica, se a mulher vive com cnjuge
e a renda familiar per capita.
a) Suponha que o experimento foi aleatrio e que possumos dados

do programa em um momento do tempo - aps o programa. Calcule o impacto
na renda per capita.
b) Faa o teste de diferena de mdias entre tratado e controle para as

variveis: escolaridade, idade, luz, cnjuge, no perodo aps o programa.
c) Como o teste de diferena de mdias mostrou que os grupos tra-

tado e de controle no so estatisticamente iguais em todas as caractersticas
observadas, calcule o impacto do programa controlando para as variveis ob-
servveis, ainda supondo os dados em um momento do tempo - aps o pro-
grama. Esse resultado mostrou alguma diferena para o obtido na letra b? Se
sim, explique.
d) Ainda considerando os dados em apenas um momento do tempo,

estime o impacto do programa pelo mtodo pareamento por escore de pro-
penso um para um, vizinho mais prximo, raio e Kernel.
e) Calcule o impacto do programa pelo mtodo de diferenas em dife-

renas. Analise os resultados.
f) Faa uma anlise descritiva e o teste de diferena de mdias das ca-

ractersticas dos participantes e no participantes antes do incio do programa.
O que podemos concluir dos resultados do teste?
g) Calcule o impacto do programa combinando o mtodo de parea-

mento com o de diferenas em diferenas.
Suponha que o resultado da avaliao de impacto mostrou que o programa

aumenta em 277,12 reais, por ms, a renda das participantes.

O custo do projeto expresso como segue:
h) Por que no precisamos transformar o impacto em benefcio? Cal-

cule o benefcio anual do projeto
i) Monte o fluxo de caixa do projeto supondo que a renda a mais ge-

rada pelo programa perdurar durante toda a vida produtiva da mulher e que
as mulheres entram no mercado de trabalho com 20 anos e trabalham por 35
anos.
j) Em , calcule o benefcio total, custo total, VPL, a TIR, a Razo Custo

-Benefcio e a Razo Custo-Efetividade. Suponha uma taxa de desconto inter-
temporal de 5%.
k) Faa uma anlise de sensibilidade considerando:
i. O impacto, que apresenta o intervalo de confiana a 95%, variando

de 248,45 a 305,79.
ii. O retorno do projeto recebido por apenas 5 anos.
2) O programa Brasil Melhor fictcio visa melhorar o desempenho escolar

dos alunos do ensino fundamental. Esse programa foi desenvolvido com 245
alunos da Escola Estadual Joo dos Santos. A escola possui ao todo 745 alunos.
O desenho do programa no abrangia a sua avaliao de impacto que foi im-
plementada aps um ano de seu funcionamento. Dessa forma, s foi possvel
obter informaes em um momento no tempo depois do programa imple-
mentado. O banco de dados PSM1 apresenta informaes sobre a nota no

exame de proficincia realizado em toda a escola fundamental, a participao
no programa, o sexo, a cor e os anos de estudos da me do aluno.
a) Calcule o impacto do programa supondo que o experimento foi ale-

atrio. Analise os resultados.
b) Faa o teste de diferena de mdias para as variveis: sexo; cor; anos

de estudos da me. O grupo tratado e controle apresentam diferenas estatis-
ticamente significativas nas caractersticas mdias? O que podemos concluir
com este teste?
c) Calcule o impacto do programa supondo que o experimento foi no

aleatrio pelo mtodo de regresso MQO, usando todos os no tratados como
controle. Analise os resultados.
d) Calcule o impacto do programa supondo que o experimento foi no

aleatrio pelo mtodo de pareamento por escore de propenso mtodo um
para um.
e) Faa o teste de diferena de mdias para as variveis: sexo; cor; anos

de estudos da me. Utilize apenas o grupo de controle selecionado pelo parea-
mento. Compare o resultado deste teste de mdias com o realizado na letra b.
O que podemos concluir com esta comparao?
f) Faa o grfico do escore de propenso para os tratados e controles

selecionados pelo mtodo de pareamento. O que podemos concluir com este
grfico?
g) Repita os procedimentos de e a g utilizando as metodologias de

pareamento por escore de propenso mtodo vizinho mais prximo, raio e
mtodo de Kernel.

BIBLIOGRAFIA
ABADIE, A.; DIAMOND, A.; HAINMUELLER, J. Synthetic control methods for com-
parative case studies: estimating the effect of Californias tobacco control pro-
gram. Journal of the American Statistical Association. v. 105, p. 493-505, 2010.
ABADIE, A.; IMBENS, G. Simple and Bias-Corrected Matching Estimator for Ave-
rage Treatment Effect. NBER Working Paper. n. 283, 2002.
ANGRIST, J. Lifetime earnings and the Vietnam era sraft lottery: evidence from
social security administrative records. American Economic Review. v. 80, p. 313-
335, 1990.
ANGRIST, J.; KRUEGER, A. The effect of age at school entry on educational at-
tainment: an application of instrumental variables with moments from two
samples. Journal of the American Statistical Association. v. 418, p. 328-336,
1992.
ANGRIST, J.; PISCHKE J. Mostly harmless econometrics: an empiricists compa-

nion. Nova Jersey: Princeton University Press, 2008. 392 p.
ANGRIST, J. D.; IMBENS G. W. Two-stage least squares estimation of average cau-

sal effects using instrumental variables. Journal of American Statistical Associa-
tion. v. 90, p. 430-442, 1995.
ANGRIST, J. D.; IMBENS, G. W.; RUBIN, D. B. Identification of causal effects using

instrumental variables. Journal of the American Statistical Association. v. 91, p.
444-472, 1996.
ANGRIST, J. D.; LAVY, V. Using Maimonides rule to estimate the effect of class
size on scholastic achievement. Quarterly Journal of Economics. v. 114, p. 533-
575, 1999.
ASHENFELTER, O. Estimating the effect of training programs on earnings. Re-

view of Economics and Statistics. v. 60, p. 47-57, 1978.
ASSAF NETO, A. Matemtica Financeira e suas Aplicaes. 11 edio. So Pau-

lo: Atlas, 2009. 296 p.
BANEREE, A.; DUFLO, E. Poor Economics: A Radical Rethinking of the Way to

Fight Global Poverty. Nova York : Public Affairs, 2011. 320 p.
BARROS, R.P.; OLINTO, P.; LUNDE, T.; CARVALHO, M. The impact of access to free

childcare on womens labor market outcomes: evidence from a randomized
trial in low-income neighborhoods of Rio de Janeiro. 2011. No Publicado.
BERTRAND, M.; DUFLO, E.; MULLAINATHAN, S. How should we trust difference

-in-differences estimates?. Quarterly Journal of Economics. v. 119, p. 249-275,
2004.
BIONDI, R. L.; VASCONCELLOS, L.; MENEZES FILHO, N. Evaluating the impact of

the brazilian public school math olympics on the quality of education. Econo-
mia. Spring, v. 2, n. 2, p. 143-170, 2012.
BLOOM, H. Accounting for no-shows in experimental evaluation designs.

Evaluation Review. v. 8, p. 225-246, 1984.
BLUNDELL, R.; DIAS, M. C. Alternative approaches to evaluation in empirical mi-

croeconomics. Journal of Human Resources. v. 44, p. 565-640, 2009.
BLUNDELL, R.; DIAS, M. C. Evaluation methods for non-experimental data. Fiscal

Studies, v. 21, p. 427-468, 2008.
BOARDMAN, A. E.; GREENBERG, D. H.; VINING, A. R.; WEIMER, D. L. Cost benefit

analysis: concepts and practice. Nova Jersey: Prentice Hall, 2005. 560 p.
BOURGUIGNON, F.; FERREIRA, F. Ex-Ante evaluation of policy reforms using

behavioral models. In: BOURGUIGNON, F.; SILVA, L. P. The Impact of Economic
Policies on Poverty and Income Distribution: Evaluation Techniques and Tools.
Washington: World Bank Publications, 2003. p. 123-141.
BRAIDO, L.; OLINTO, P.; PERRONE, H. Gender bias in intrahousehold allocation:

evidence from an unintentional experiment. Review of Economics and Statisti-
cs. v. 94, p. 552-565, 2012.
BURTLESS, G. The case for randomized field trials in economic and policy rese-
arch. Journal of Economic Perspectives. v. 9, p. 63-84, 1995.
CAMELO JUNIOR, J. S.; FERNANDES, M. I. M.; JORGE, S. M.; MACIEL, L. M. Z.; SAN-
TOS. J. L. F.; CAMARGO JR, A. S.; PASSADOR, C. S.; CAMELO, S. H. H. Avaliao
econmica em sade: triagem neonatal da galactosemia. Cadernos de Sade
Pblica. v. 27, n. 4, p. 666-676, 2011.
CAMPBELL, H. F.; BROWN, R. P. C. Benefit-cost analysis: financial and economic

appraisal using spreadsheets. Cambridge: Cambridge University Press, 2003.
360 p.
CARD, D.; DOBKIN, C.; MAESTAS, N. The impact of nearly universal insurance

coverage on health care utilization and health: evidence from medicare. Ame-
rican Economic Review. v. 98, n. 5, p. 2242-2258, 2008.
CARNEIRO, P.; HECKMAN, J.; VYTLACIL, E. Understanding what instrumental

variables estimate: estimating the average and marginal return to schooling.
2005. No Publicado.
CHAY, K.; GREENSTONE, M. Does air quality matter; evidence from the housing
market. Journal of Political Economy. v. 113, p. 376-424, 2005.
COCHRAN, W. Sampling Techniques. New York: John Wiley& Sons, 1977. 428 p.
COHEN, E.; FRANCO, R. Avaliao de projetos sociais. 9 edio. Petrpolis: Vo-

zes, 2011. 312 p.
CRESPO, A. A. Matemtica Financeira Fcil. 14 edio. So Paulo: Saraiva, 2009.

255 p.
CRUMP, R.; HOTZ, V. J.; IMBENS, G.; MITINIK, O. Dealing with limited overlap in
estimation of average treatment effects. Biometrika. v. 96, n. 3, p. 187-199, 2009.
CRUMP, R.; HOTZ, V. J.; IMBENS, G.; MITINIK, O. Nonparametric tests for treatment
effect heterogeneity. Review of Economics and Statistics. v. 90, n. 3, p.389-405,
2008.
DEHEIJA, R.; WAHBA, S. Propensity score-matching methods for nonexperi-

mental causal studies. Review of Economics and Statistics. v. 84, n. 1, p. 151-
161, 2002.
DEHEJIA, R. Program evaluation as a decision problem. Journal of Econometri-

cs. v. 125, p. 141-173, 2005.
DEHEJIA, R.; WAHBA, S. Casual effects of nonexperimental studies: reevaluating

the evaluation of training programs. Journal of American Statistical Associa-
tion. v.94, p.1053-1062, 1999.
DRUMMOND, M. F.; SCULPHER, M. J.; TORRANCE, G. W.; OBRIEN, B. J.; STOD-

DART, G. L. Methods for the economic evaluation of health care programmes.
Nova York: Oxford University Press, 2005. 379 p.
DUFLO, E. Schooling and labor market consequences of school construction in

Indonesia: evidence from an unusual policy experiment. American Economic
Review. v. 91, n. 4, p. 795-813, 2001.
DUFLO, E.; GLENNERSTER, R.; KREMER, M. Using randomization in development

economics research: A Toolkit. In: T. SCHULTZ; J. STRAUSS. Handbook of Develo-
pment Economics. Oxford: North Holland, 2008. v. 4, p. 3895-3962.
EUROPEAN COMISSION. Guide to cost-benefit analysis of investment projects:

structural funds, cohesion fund and instrument for pre-accession, 2008. Dis-
ponvel em: <http://ec.europa.eu/regional_policy/sources/docgener/guides/
cost/guide2008_en.pdf>. Acesso em: 7 maio 2012.
FERMAN, B.; ASSUNO, J. Does affirmative action enhance or undercut invest-

ment incentives?: evidence from quotas in brazilian universities. 2009. No Pu-
blicado.
FERRAZ, C.; FINAN, F. Electoral accountability and corruption: evidence from

the audit reports of local governments. American Economic Review. v.101, p.
1274-1311, 2011.
FIRPO, S.; FOGUEL, M.; JALES, H. Evaluating the impact of stratified randomized
experiments with an application to a Brazilian public training program. 2011.
No Publicado.
GRASDAL, A. The performance of sample selection estimators to control for at-

trition bias. Health Economics. v. 10, p. 385-398, 2001.
GUJARATI, D. N. Econometria Bsica. 3 edio. So Paulo: Makron Books, 2000.

860 p.
HAHN, J. On the role of the propensity score in efficient semiparametric esti-

mation of average treatment effects. Econometrica. v. 66, n. 2, p. 315-331, 1998.
HAHN, J.; TODD, P.; VAN DER KLAAUW W. Identification and estimation of tre-
atment effects with a regression discontinuity design. Econometrica. v. 69, p.
201-209, 2001.
HECKMAN, J.; LOCHNER, L. e TABER, C. Explaining raising wage inequality: ex-

plorations with a dynamic general equilibrium model of labor earnings with
heterogeneous agents. NBER Working Paper. v. 1, n. 6384, p. 1-58, 1998.
HECKMAN, J. Varieties of selection bias. American Economic Review. v. 80,

p.313-318, 1990.
HECKMAN, J.; LALONDE, R.; SMITH, J. The economics and econometrics of acti-
ve labor market programs. In: ASHENFELTER, O.; CARD, D. Handbook of Labor
Economics. Oxford: North Holland, 1999. v. 3, p.1865-2097.
HECKMAN, J.; HOTZ, J. Alternative methods for evaluating the impact of trai-

ning programs. Journal of the American Statistical Association. v. 84, n. 804, p.
862-874, 1989.
HECKMAN, J.; ROBB, R. Alternative methods for evaluating the impact of in-
terventions. In: HECKMAN, J.; SINGER, B. Longitudinal analysis of labor market
data. Nova York: Cambridge University Press, 1985.
HECKMAN, J.; SMITH, J. Assessing the case for social experiments. Journal of
Economic Perspectives. v. 9, p. 85-110, 1995.
HECKMAN, J.; VYTLACIL, E. Local Instrumental Variables. In: HSIAO, C; MORIMU-

NE, K; POWELL, J. Nonlinear Statistical Modeling: Essays in Honor of Takeshi
Amemiya. Nova York: Cambridge University Press, 2001.
HECKMAN, J.; VYTLACIL, E. Structural equations, treatment effects, and econo-

metric policy evaluation. Econometrica. v. 73, n. 3, p. 669-738, 2006.
HECKMAN, J; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation

estimator: evidence from a job training program. Review of Economic Studies.
v. 64, n 4, p. 605-54, 1997.
HECKMAN, J.; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation

estimator. Review of Economic Studies. v. 65, p. 261-294, 1998.
HECKMAN, J.; SMITH, J. The pre-program earnings dip and the determinants of
participation in a social program: implications for simple program evaluation
strategies. Economic Journal. v. 109, p. 313-348, 1999.
HIRANO, K.; IMBENS, G. Estimation of causal effects using propensity score wei-
ghting: an application to data on right heart catheterization. Health Services &
Outcomes Research Methodology. v. 2, p. 259-278, 2001.
HIRANO, K.; IMBENS, G.; RIDDER, G. Efficient estimation of average treatment

effects using the estimated propensity score. Econometrica. v. 71, n. 4, p. 1161-
1189, 2003.
HIRANO, K.; IMBENS, G.; RUBIN, D.; Zhou, X. Identification and estimation of lo-
cal average treatment effects. Biostatistics. v. 1, n. 1, p. 69-88, 2000.
HOFFMANN, R. Estatstica para Economistas. 4 edio. So Paulo: Cengage Le-

arning, 2006. 446 p.
IMBENS, G. Nonparametric estimation of everage treatment effects under exo-

geneity: A review. Review of Economics and Statistics. v. 86, n. 1, p. 1-29, 2004.

IMBENS, G. The role of the propensity score in estimating dose-response func-
tions. Biometrika. v. 87, n 3, p. 706-710, 2000.
IMBENS, G.; ANGRIST, J. Identification and estimation of local average treat-

ment effects. Econometrica. v. 61, n. 2, p. 467-476, 1994.
IMBENS, G.; LEMIEUX, T. Regression discontinuity designs: a guide to practice.

Journal of Econometrics. v. 142, n. 2, p. 615-635, 2008.
IMBENS, G.; RUBIN, D. Rubin causal model. In: DURLAUF, S.; BLUME, L. The New
Palgrave Dictionary of Economics. Hampshire: Palgrave Macmillan, 2008, 2
edio. 7344 p.
IMBENS, G.; WOOLDRIDGE, J. Recent developments in the econometrics of pro-

gram evaluation. Journal of Economic Literature. v. 47, n 1, p. 5-86, 2009.
IMBENS, G. Nonparametric estimation of average treatment effects under exo-

geneity: A review. Review of Economics and Statistics. v. 86, n. 1, p. 1-29, 2004.
IPEA e CEDEPLAR. Uma proposta de avaliao do plano nacional de formao

profissional (planfor). 2000. Relatrio Parcial. No Publicado.
LALONDE, R. J. Evaluating the econometric evaluations of training programs

with experimental data. American Economic Review. v. 76, p. 604-620, 1986.
LEE, D. S.; CARD, D. Regression discontinuity inference with specification error.

Journal of Econometrics. v. 142, n. 2, p. 655-674, 2008.
LEE, D. S.; MORETTI, E.; BUTLER, M. Do voters affect or elect policies? Evidence
from the U.S. house. Quarterly Journal of Economic. v. 119, p. 807-859, 2004.
LEE, D. S.; LEMIEUX, T. Regression Discontinuity Designs in Economics. NBER

Working Paper. v. 48, n. 14723, p. 281-355, 2009.
MATTOS, E.; MAIA, S.; MARQUES F. Evidncias da relao entre oferta de traba-
lho e programas de transferncia de renda no Brasil: bolsa escola versus bolsa
famlia. Pesquisa e Planejamento Econmico v. 40, p. 1-44, 2010.
MCEWAN, H. M.; LEVIN, P. J. Cost-effectiveness analysis: methods and applica-

tions. Califrnia: Sage Publications, 2001. 308 p.
MCRARY, J. Testing for manipulation of the running variable in the regression

discontinuity design. Journal of Econometrics. v. 142, n. 2, p. 698-714, 2008.
MEYER, B. Natural and quasi-experiments in economics. Journal of Business &

Economic Statistics. v. 13, p. 151-161, 1995.
MIGUEL, E.; KREMER, M. Worms: identifying the impacts on education and he-
alth in the presence of treatment externalities. Econometrica. v. 72, p.159-217,
2004.
PEIXOTO, B. Avaliao econmica do projeto fica Vivo: o caso piloto. In: Minis-
trio do Planejamento, Oramento e Gesto, Secretaria de Oramento Federal.
(Org.). Oramento Pblico: II Prmio SOF de Monografias - Coletnea. Braslia,
2010.
PONCZEK, V.; SOUZA, A. New evidence of the causal effect of family size on
child quality in a developing country. Journal of Human Resources. v. 47, p.
64-106, 2011.
PORTER, J. Estimation in the regression discontinuity model. Department of

Economics. 2003. No Publicado.
ROBINS, J. M.; RITOV, Y. A curse of dimensionality appropriate (coda) asympto-

tic theory for semiparametric models. Statistics in Medicine. v. 16, p.285-319,
1997.
ROCHA, R.; SOARES, R. Evaluating the impact of community-based health in-

terventions: evidence from brazils family health program. Health Economics.
v. 19, p. 126-158, 2010.
ROSENBAUM, P. Observational studies. Nova York: Springer Verlag, 2002. 375p.
ROSENBAUM, P. The role of a second control group in an observational study.

Statistical science. v. 2, n. 3, p. 292316, 1987.
ROSENBAUM, P.; RUBIN, D. The central role of the propensity score in observa-
tional studies for causal effects. Biometrika, v. 70, p. 41-55, 1983.
RUBIN, D. Estimating causal effects to treatments in randomized and nonran-

domised studies. Journal of Educational Psychology. v. 66, p. 688-701, 1974.
RUBIN, D. Assignment to treatment group on the basis of a covariate. Journal of

Educational Statistics. v. 2, n. 1, p. 1-26, 1977.
RUBIN, D. Matching to remove bias in observational studies. Biometrics. v. 29,

p. 159-183, 1973.
RUBIN, D. The use of matched sampling and regression adjustments to remove

bias in observational studies. Biometrics. v. 29, p. 185-203, 1973.

RUBIN, D. Using multivariate matched sampling and regression adjustment to
control bias in observational studies. Journal of American Statistical Associa-
tion. v. 74, p. 318-328, 1979.
THISTLEWAITE, D.; CAMPBELL, D. Regression-discontinuity analysis: an alterna-

tive to the ex-post facto experiment. Journal of Educational Psychology. v. 51,
p.309-317, 1960.
TODD, P.; WOLPIN, K. Ex-Ante Evaluation of Social Programs. PIER Working Pa-
per Penn Institute for Economic Research. n. 06-122, 2006.
TRIOLA, M. F. Introduo Estatstica. 10 edio. Rio de Janeiro: LTC, 2008. 686

p.
VAN DER KLAAUW, W. Estimating the effect of financial aid offers on college en-
rollment: a regressiondiscontinuity approach. International Economic Review.
v. 43, p. 1249-1287, 2002.
VYTLACIL, E. Independence, monotonicity, and latent index models: An equiva-

lence result. Econometrica. v. 70, n. 1, p. 331-341, 2002.
WOOLDRIDGE, J. M. Introduo Econometria: Uma Abordagem Moderna. So

Paulo: Thomson, 2006. 725 p.

BIBLIOGRAFIA COMPLEMENTAR
I. Estatstica
TRIOLA, Mario F. Introduo Estatstica. 10 ed. Rio de Janeiro: LTC, 2008.
Esse manual bastante adotado em cursos de graduao nas cincias hu-

manas. Apresenta uma linguagem fcil, compreensvel para alunos com um
conhecimento menos profundo de lgebra. Alm disso, apresenta sees es-
peciais com profissionais de vrios campos que utilizam a estatstica como fer-
ramenta de trabalho, o que torna a leitura fluida e atraente. Um diferencial a
quantidade de exerccios (mais de 1.500) em varias reas das cincias huma-
nas e seu foco mais centrado na interpretao do que nos clculos. Muitos dos
exerccios usam dados reais, o que os torna mais interessantes para os leitores.
O livro aborda temas mais avanados como correlao, regresso e estatstica
no paramtrica.
HOFFMANN, Rodolfo. Estatstica para Economistas. 4 ed. So Paulo: Thomp-

son, 2006.
Esse livro ensina estatstica bsica para iniciantes. Apesar de o ttulo direcion
-lo para economistas, atende qualquer aluno das cincias humanas interessa-
do em aplicar a estatstica no seu campo de trabalho. Com uma linguagem sim-
ples e objetiva, sem perder o rigor formal, apresenta os aspectos conceituais e
metodolgicos da estatstica. Mais ainda, o livro adentra o tpico de regresso
linear, o que permite ao leitor ter uma introduo ao tema.
II. Econometria
WOOLDRIDGE, Jeffrey. M. Introduo Econometria: Uma Abordagem Mo-
derna. So Paulo: Thomson, 2006.
Esse manual de introduo econometria alia a matemtica existente nesse

mtodo de pesquisa emprica econmica com uma ampla interpretao pr-
tica de problemas estudados em vrios campos das cincias humanas. Assim,
mostra que esse instrumental analtico, antes restrito problemtica econmi-
ca, pode ser aplicado em outras cincias para anlise de questes empricas.
Com esse enfoque, o livro combina questes mais tcnicas da econometria

com suas aplicaes prticas, facilitando seu entendimento. A estrutura dos
tpicos apresentados diferente da tradicional, e segue a diviso por tipos de
dados. Essa abordagem moderna muito intuitiva e torna o contedo mais
acessvel ao estudante.
GUJARATI, Damodar N. Econometria Bsica. 3 Ed., Makron Books, 2000.
O manual de econometria bsica adota uma abordagem tradicional do tema.

Primeiramente apresentado o modelo de regresso linear, em seguida so
listadas as hipteses necessrias e os problemas decorrentes da sua no obser-
vao. Por fim, tpicos especiais so discutidos detalhadamente, como regres-
so sobre varivel binria, equaes simultneas e modelo de sries temporais.
Para compreenso do contedo requerido nvel bsico de clculo, lgebra e
estatstica.
III. Matemtica Financeira

CRESPO, Antnio A. Matemtica Financeira Fcil. 14 ed. So Paulo: Saraiva,
2009.
Esse livro uma obra bsica de matemtica financeira. Escrito para quem nun-
ca estudou o tema, traz os tpicos iniciais como juros simples e compostos,
descontos, sries de pagamentos e amortizaes. Com muitos exemplos resol-
vidos e exerccios prticos, excelente para um primeiro contato com a mat-
ria, principalmente para aqueles que no so familiarizados com a matemtica.
Entretanto, para quem deseja se aprofundar uma complementao com ou-
tros livros necessria.
ASSAF NETO, Alexandre. Matemtica Financeira e suas Aplicaes. 11 ed.

So Paulo: Atlas, 2009.
Esse manual de matemtica financeira utilizado em cursos de graduao e

ps-graduao. Tem uma abordagem ampla do tema, incluindo desde os prin-
cpios bsicos da matemtica financeira, como juros simples e compostos, at
tpicos mais avanados, como anlise de ativos financeiros. A sequncia dos
contedos intuitiva e inclui os principais produtos financeiros existentes no
Brasil. Dessa forma, o leitor aprende os fundamentos tericos da matemtica
financeira e suas aplicaes prticas com ativos financeiros no pas.

AUTORES
Betnia Peixoto
Graduada em Cincias Econmicas pela FACE/UFMG (2000), mestre em Eco-
nomia pelo CEDEPLAR/UFMG (2003) e doutora em Economia pelo CEDEPLAR/
UFMG (2008). Tem experincia na rea de Economia, com nfase em Economi-
ca dos Programas de Bem-Estar Social e Econometria aplicada, atuando prin-
cipalmente nos seguintes temas: Avaliao Econmica de Polticas Pblicas e
Programas Sociais, Anlise Economtrica Aplicada e Criminalidade.

Possui Ph. D. em Economia pela University of California, Berkeley. Atualmente
professora assistente da Escola de Economia de So Paulo, FGV. Suas reas de
pesquisa so: Econometria, Economia da Educao e Economia do Trabalho.
Lycia Lima
Graduou-se em Economia pela UFMG em 2003. Concluiu o mestrado em De-
velopment Economics pela School of Oriental and African Studies da Univer-
sidade de Londres em 2007. Desde ento, trabalhou como pesquisadora na
rea de monitoramento e avaliao de polticas pblicas no Banco Mundial em
Washington, na Fundao Joo Pinheiro do governo do Estado de Minas Gerais
e na Secretaria de Assuntos Estratgicos da Presidncia da Repblica do Brasil,
tendo conduzido principalmente estudos de avaliao de impacto nas reas
de sade, educao, governana, pobreza rural e primeira infncia.

pesquisador do IPEA desde 1998 e professor auxiliar da PUC/RJ desde 2009.
Tem mestrado pela PUC/RJ e doutorado pela UFF. J publicou diversos estu-
dos e artigos em livros e revistas cientficas nas reas de avaliao de polticas
sociais, economia do trabalho, desigualdade de renda e pobreza. Recebeu o
Prmio Mario Henrique Simonsen, concedido pela Revista Brasileira de Econo-
mia, em 2000. coordenador da rede internacional de pesquisa Network on
Inequality and Poverty (NIP) no Brasil desde 2009.

Naercio Menezes Filho professor titular (Ctedra IFB) e coordenador do Cen-
tro de Polticas Pblicas do Insper Instituto de Ensino e Pesquisa. Professor as-
sociado da FEA-USP, colunista do Valor Econmico e consultor da Fundao
Ita Social, Naercio PhD em Economia pela University College London.

Graduou-se em Engenharia Eletrnica no Instituto Tecnolgico da Aeronutica
ITA em 1977. Concluiu mestrado em Estatstica pelo Instituto de Matemti-
ca Pura e Aplicada IMPA em 1982 e doutorado em Economia pela Univer-
sidade de Chicago em 1987. Possui ps-doutorado pelo Centro de Pesquisa
em Economia, Universidade de Chicago (1988), e pelo Centro de Crescimento
Econmico, Universidade de Yale (1989). Desde 1979, tem trabalhado como
pesquisador do Instituto de Pesquisa Econmica Aplicada (IPEA), conduzindo
pesquisas nos campos de desigualdade social, educao, pobreza e mercado
de trabalho no Brasil e na Amrica Latina. Atualmente subsecretrio da Secre-
taria de Assuntos Estratgicos da Presidncia da Repblica SAE/PR.

Livro Av Econ Ajuste PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Livro Av Econ Ajuste PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Ficha Tcnica ISBN 978-85-98149-04-2

Iniciativa Crditos da Publicao

Parte I - Mtodos Bsicos de Avaliao de Impacto 31

Parte III - Anlise de Retorno Econmico 147

Antonio Jacinto Matias

Srgio Ribeiro da Costa Werlang

A preocupao com avaliao tem ganhado fora na medida em que a socie-

Mas, o que significa avaliar economicamente os projetos sociais? Como os au-

Avaliao Econmica de Projetos Socias l 9

Os autores desse livro esto entre os maiores especialistas em avaliao do

Aps a introduo, a primeira parte do livro trata dos mtodos bsicos de

A segunda parte do livro apresenta mtodos mais sofisticados de avaliao de

10 l Fundao Ita Social

A terceira parte do livro lida com o clculo do retorno econmico de um proje-

O apndice do livro comenta uma bibliografia complementar nas reas de

Naercio Menezes Filho

Avaliao Econmica de Projetos Socias l 11

Por que, para que e quando fazer?

O principal propsito de uma avaliao de impacto verificar se, na realidade,

Avaliaes de impacto certamente consomem recursos que, alternativamente,

Avaliao Econmica de Projetos Socias l 13

Os resultados dessas avaliaes tm uma variedade de utilidades potenciais.

Este livro busca descrever a metodologia necessria para a realizao de ava-

2.1 No evidente que um programa

14 l Fundao Ita Social

Em sua maioria, os programas sociais se baseiam em teorias que preveem um

Assim, investigar a existncia de impacto de um programa cuidadosamente

Uma das motivaes de uma avaliao de impacto , precisamente, a validao

Avaliao Econmica de Projetos Socias l 15

Contudo, o que dizer do impacto de um servio oferecido gratuitamente aos

Em primeiro lugar, observadas as diferenas entre os pobres e os ricos, pode-

Em segundo lugar, mesmo quando no h dvidas sobre a existncia do im-

16 l Fundao Ita Social

Uma das utilidades da avaliao de impacto , precisamente, determinar em

2.4. Impacto potencial versus impacto

Em suma, o impacto de um programa depende no apenas do seu impacto

Avaliao Econmica de Projetos Socias l 17

Esse dilema inerente avaliao de impacto de polticas pblicas. Em vrias

2.5 Avaliao de impacto como forma de

Devido a cada um desses motivos, mesmo programas que tm impacto inicial

18 l Fundao Ita Social

Os argumentos apresentados sinalizam que o impacto de um programa tem

2.6 A questo da relao custo-efetividade

Assim, em um cenrio onde os recursos so escassos e diferentes programas

2.7 A questo da relao custo-benefcio

Avaliao Econmica de Projetos Socias l 19

Em princpio, possvel argumentar que todos os programas com relao cus-

No entanto, em geral, os benefcios e custos de programas alternativos depen-

2.8 Por que no investigar diretamente a

Nesse sentido, uma avaliao de impacto apresenta duas limitaes. Primei-

20 l Fundao Ita Social

Caso a mensurao da magnitude de cada impacto, seguida de sua valorao,

O valor total de um programa, benefcio ou servio para um beneficirio pode

Nos mtodos no comportamentais, pergunta-se diretamente ao beneficirio

Por outro lado, nos mtodos comportamentais, o valor do benefcio inferido

Em resumo, a vantagem metodolgica da utilizao da propenso a pagar

Avaliao Econmica de Projetos Socias l 21

Existem essencialmente trs justificativas que sustentam o uso da avaliao

Em segundo lugar, pode-se argumentar que a utilizao da propenso a pagar

Por fim, o uso da propenso a pagar tem a grande limitao de no permitir a

Existem duas razes que justificam a necessidade de identificar os impactos

22 l Fundao Ita Social

2.9 Heterogeneidade do programa e da