Livro Aval Econ PDF

Ficha Tcnica
Iniciativa
Fundao Ita Social
Vice Presidente
Antonio Jacinto Matias
Superintendente
Valria Veiga Riccomini
Gerente
Isabel Cristina Santana
Coordenador do Programa
Antonio Bara Bresolin
Coordenao Tcnica
Ita Unibanco
Gerncia de Avaliao de Projetos
Lgia Maria de Vasconcellos
Clarissa Gondim Teixeira
ISBN 978-85-98149-04-2
Crditos da Publicao
Organizador
Naercio Menezes Filho
Autores
Betnia Peixoto
Cristine Campos de Xavier Pinto
Lycia Lima
Miguel Nathan Foguel
Ricardo Paes de Barros
Projeto Grfico e Diagramao
Andr Godoi Comunicao Completa
Apoio
Carlos Eduardo Garrido
Evandro da Silva e Silva
Gabriela Gall Rosa
Luciana Rocha Vidal
Reviso de textos
Jos Paulo Ferrer
1 Edio - Brasil - 2012

Dinmica Grfica e Editora Ltda.
1 Edio - Brasil
2012
ORGANIZADOR
AUTORES
Betnia Peixoto
Lycia Lima
NDICE
Apresentao
Srgio Ribeiro da Costa Werlang
07
Prefcio
09
Introduo
Ricardo Paes de Barros - Lycia Lima

1. Avaliao de Impacto de Programas Sociais:

Por que, para que e quando fazer?
13
Parte I - Mtodos Bsicos de Avaliao de Impacto


2. Modelo de Resultados Potenciais

3. Mtodos de Aleatorizao

4. Diferenas em Diferenas
31

5. Pareamento

Parte II - Mtodos Avanados de Avaliao de Impacto

6. Variveis Instrumentais

7. Regresso Descontnua
35
49
69
85
107
107
125
Parte III - Anlise de Retorno Econmico

Betnia Peixoto

8. O Clculo do Retorno Econmico
147
Bibliografia
Bibliografia Complementar
Autores
175
183
185
149
APRESENTAO
O Ita Unibanco, comprometido com o crescimento social e econmico do
pas, busca a sustentabilidade nos negcios, apostando em relaes duradouras, fundamentadas nos seus valores de transparncia, tica, respeito ao
dilogo e capacidade de gesto de riscos. E, por entender que a educao o
principal caminho para o desenvolvimento sustentvel do Brasil, este o foco
do investimento social do banco.
A Fundao Ita Social, um dos braos do investimento social do Ita Unibanco, tem como atividades centrais a formulao, a implantao e a disseminao
de metodologias voltadas melhoria de polticas pblicas na rea educacional.
Sua atuao acontece em todo o territrio brasileiro, em parceria com governos, setor privado e organizaes da sociedade civil.
Os valores estruturantes da cultura do Ita Unibanco permeiam as aes da
Fundao, compartilhando competncias que garantem a execuo das melhores prticas de gesto, na busca de resultados, nos ganhos de escala, no
monitoramento e na avaliao das aes sociais apoiadas e desenvolvidas.
Neste contexto, a Fundao Ita Social e o banco lanaram, em 2004, o Programa Avaliao Econmica de Projetos Sociais, colocando conhecimentos muito
prprios da empresa a servio da causa social. Com a convico de que a avaliao uma importante ferramenta de gesto, diversas aes foram desenvolvidas desde ento, entre elas cursos e seminrios ofertados em todo o pas, com
o objetivo de disseminar a cultura da avaliao.
Este livro complementa as estratgias de disseminao dos conceitos da avaliao econmica de projetos sociais ao tornar metodologias de impacto, hoje
ainda ensinadas em poucos cursos de ps-graduao, acessveis a alunos de
graduao interessados no tema. Alm disso, traz exemplos de avaliaes de
projetos brasileiros, mostrando que nos ltimos anos a avaliao tem sido assumida, pouco a pouco, como um relevante instrumento de gesto e de prestao de contas sociedade.
Colocamos foco tambm na anlise de retorno econmico, pois, considerando-se que a escassez de recursos para investimentos voltados para o desenvolvimento social uma realidade constante, importantssimo garantir que tais
investimentos estejam alcanando seu melhor resultado.
Agradecemos ao coordenador e aos autores deste livro, em especial ao Ricardo
Paes de Barros, por sua dedicao e empenho para a realizao deste projeto,
convencidos, como ns, da importncia da disseminao deste conhecimento.
Esperamos, com mais este esforo de difundir a prtica da avaliao econmica
em projetos sociais, estar, de fato, contribuindo para a maior eficincia e alcance das aes sociais no nosso pas.
Vice-presidente da Fundao Ita Social
Srgio Ribeiro da Costa Werlang
Vice-presidente do Ita Unibanco
PREFCIO
H meros 10 anos, a avaliao econmica de projetos sociais, tema deste livro,
era uma rea praticamente inexplorada por economistas e cientistas sociais no
Brasil. Os primeiros estudos brasileiros nesse campo, avaliando o impacto de
programas de treinamento e emprego, foram realizados no incio deste sculo.
A atuao da Fundao Ita Social na rea de avaliao de impacto e retorno
econmico iniciou-se em 2004, quando o programa Razes e Asas foi avaliado
economicamente.
Desde ento, a Fundao Ita Social oferece cursos para gestores de organizaes no governamentais, do setor pblico e de fundaes empresariais, alm
de seminrios internacionais e regionais e cursos avanados para alunos de
ps-graduao de todo o pas. A partir do interesse pelos cursos, que quase
sempre geram lista de espera, surgiu a ideia de lanar uma publicao que tratasse do tema com amplitude e rigor, para atingir o pblico que tem interesse
pelo assunto, mas que no tem a possibilidade de presenciar os cursos e seminrios. Dessa ideia nasceu este livro.
A preocupao com avaliao tem ganhado fora na medida em que a sociedade brasileira sente a necessidade de usar seus recursos na rea social da melhor forma possvel. Afinal, vrios programas e polticas em diversas reas so
lanados todos os anos nos vrios nveis da administrao pblica e existe a
necessidade de sabermos o real efeito desses programas nas vidas das pessoas.
Da mesma forma, o trabalho desenvolvido no terceiro setor, principalmente
na rea social, precisa prestar contas sociedade e para os seus financiadores,
mostrando que os recursos esto sendo gastos da melhor forma possvel.
Mas, o que significa avaliar economicamente os projetos sociais? Como os autores mostram nos captulos que se seguem, a avaliao econmica composta de duas partes: avaliao de impacto e clculo do retorno econmico.
A avaliao de impacto usa ferramentas estatsticas para estimar o efeito de
um programa sobre os seus beneficirios, ou seja, se o programa atingiu ou
no seus objetivos iniciais e qual a magnitude desse efeito. Para que essa anlise seja feita de forma objetiva, a avaliao necessita ter indicadores objetivos
e mensurveis, que possam ser utilizados para aferir o sucesso do programa.
Alm disso, necessrio que haja um grupo de controle, ou seja, pessoas, escolas ou regies que no foram atendidas pelo programa e que so parecidas
com o grupo que sofreu a interveno, chamado, seguindo a tradio da literatura mdica, de grupo de tratamento.
Avaliao Econmica de Projetos Socias l 9
Mas, para que a avaliao seja completa necessrio tambm saber se os benefcios gerados a partir do impacto estimado superam os custos do programa,
ou seja, se o projeto vale a pena do ponto de vista econmico. Muitas das avaliaes quantitativas existentes no chegam a essa parte, concluindo a avaliao com a estimativa do impacto. Entretanto, o clculo do retorno econmico
essencial para verificar se os custos do programa so altos a ponto de inviabilizar a replicao do projeto. Alm disso, essa metodologia permite o clculo
da taxa interna de retorno de diferentes projetos, que podem assim ser comparados. Para esse fim, so utilizadas tcnicas simples de matemtica financeira,
que so muito usadas para calcular o retorno de outros tipos de investimentos.
Os autores desse livro esto entre os maiores especialistas em avaliao do
pas. No primeiro captulo, guisa de introduo, Ricardo Paes de Barros e Lycia
Lima discutem por que a avaliao de impacto to necessria. Afinal, por que
deveramos gastar recursos avaliando um programa que, se no apresentasse
resultados satisfatrios, no seria demandado por ningum? Os autores explicam que a avaliao conduzida de forma rigorosa pode mostrar se os resultados esperados foram efetivamente alcanados, dada a imperfeio com que
diversos programas so colocados em prtica. Alm disso, projetos que tiveram impacto comprovado para um grupo especfico ou regio podem ter um
resultado completamente diferente quando implementados em outra regio
ou grupo de pessoas ou at em outro perodo de tempo.
Aps a introduo, a primeira parte do livro trata dos mtodos bsicos de
avaliao de impacto. No segundo captulo, Miguel Nathan Foguel introduz o
modelo bsico que permeia todas as metodologias de avaliao de impacto,
chamado Modelo de Resultados Potenciais. Em seguida, no capitulo 3, Miguel
explica a teoria por detrs do procedimento que considerado o padro-ouro
nas avaliaes de impacto, no qual os grupos de tratamento e controle so escolhidos aleatoriamente, ou seja, atravs de um sorteio. Mas, como na grande
parte dos casos prticos a escolha dos tratados no se d de forma aleatria, a
maior parte do livro foca as metodologias no experimentais. Assim, no quarto
captulo, Miguel explica a metodologia de diferenas em diferenas, que deve
ser utilizada quando possumos informaes sobre a varivel de resultado antes e depois da realizao do programa. Por fim, no captulo 5, Cristine Campos
de Xavier Pinto explica o mtodo de pareamento, o mais utilizado na prtica
pelas avaliaes de projetos sociais, que procura comparar grupos de tratamento e controle que so parecidos em termos de suas caractersticas.
A segunda parte do livro apresenta mtodos mais sofisticados de avaliao de
impacto. No captulo 6, Cristine explica o mtodo de variveis instrumentais,
que lida com o fato de que a participao no programa pode ser explicada por
10
l Fundao Ita Social
fatores que no so observados pelo avaliador. Em seguida, a mesma autora

apresenta o mtodo de regresso descontnua, bastante utilizado atualmente
em artigos acadmicos, que apropriado para os casos em que a probabilidade de uma pessoa ou escola ser tratada muda drasticamente dependendo de
fatores especficos.
A terceira parte do livro lida com o clculo do retorno econmico de um projeto social. No captulo 8, Betnia Peixoto explica detalhadamente os conceitos
e o instrumental necessrios para o clculo desse retorno, incluindo aplicaes
prticas e um exemplo para que os conceitos sejam sedimentados. Conceitos
como valor presente lquido, taxa interna de retorno e custo-efetividade so
discutidos nesse captulo.
Este livro foi planejado tendo em vista um pblico formado por alunos de graduao de cursos na rea de cincias sociais, que tenham passado por um bom
curso de estatstica bsica e que tenham interesse por projetos sociais. Gestores de entidades do terceiro setor, fundaes empresariais e dos vrios nveis
do governo tambm acharo o contedo bastante estimulante. Alm disso, o
instrumental desenvolvido nos captulos avanados ideal para os interessados em se aprofundar na metodologia.
O apndice do livro comenta uma bibliografia complementar nas reas de
estatstica e matemtica financeira que pode ser utilizada como auxlio para
entendimento dos captulos do livro. Alm disso, cada captulo traz exerccios
especficos que servem para ajudar a fixao do contedo. Finalmente, a parte
final traz um exerccio prtico para ser resolvido pelos leitores. As bases de dados e as respostas dos exerccios esto disponveis na pgina da Fundao Ita
Social na internet.
Esse livro deve estimular ainda mais a realizao de avaliaes de impacto, para
que possamos conhecer e replicar os projetos sociais e polticas pblicas com
maior retorno econmico, de forma a gerar o mximo de valor para a sociedade brasileira.
CAPTULO 1
Avaliao de Impacto
de Programas Sociais
Por que, para que e quando fazer?

Lycia Lima
1
Introduo
A deciso dos formuladores de polticas pblicas de investir em um programa
social sempre parte do pressuposto de que aquela interveno ter um impacto positivo sobre um conjunto de resultados de interesse coletivo ou individual
que, em ltima instncia, deve trazer benefcios para ao menos uma parcela da
sociedade. Mas ser que, na prtica, as polticas pblicas e os projetos sociais
do terceiro setor atingem os objetivos para os quais foram desenhados?
O principal propsito de uma avaliao de impacto verificar se, na realidade,
um determinado programa est alcanando os objetivos, ou impactos, esperados. Entenderemos por impacto as diferenas entre a situao dos participantes do projeto aps terem participado e a situao em que estariam, caso
no tivessem tido acesso a ele. Dessa forma, o impacto do programa definido
como o contraste entre duas situaes: uma real (a situao dos participantes
aps a participao no projeto) e outra hipottica (a situao em que estariam
caso no tivessem tido a oportunidade de participar do programa). Esta definio de impacto, entretanto, apenas um ponto de partida. Os demais captulos deste livro se encarregaro de aprofundar essa discusso e apresentar os
diferentes mtodos existentes para a estimao do impacto.
Avaliaes de impacto certamente consomem recursos que, alternativamente,
poderiam ser investidos diretamente no prprio programa. A crescente expanAvaliao Econmica de Projetos Socias l 13
so de estudos dessa natureza sinaliza que a importncia de dedicar esforos e

recursos para este fim cada vez mais reconhecida. Mas por que avaliaes de
impacto so importantes?
Os resultados dessas avaliaes tm uma variedade de utilidades potenciais.
A mais bvia delas utilizar as informaes produzidas para a melhoria do desenho do prprio programa em questo. Alm disso, os resultados produzidos
podem ser usados para auxiliar no desenho de outros programas subsequentes na mesma comunidade ou at mesmo para informar formuladores de polticas que pretendam desenhar programas com objetivos similares em outras
comunidades.
Este livro busca descrever a metodologia necessria para a realizao de avaliaes de impacto. Entretanto, antes de iniciar a discusso metodolgica,
fundamental entender por que, para que e quando avaliar programas sociais.
2
Por que avaliar o impacto de
um programa social?
Nossa sociedade investe uma grande quantidade de recursos, tanto humanos
quanto financeiros, em programas sociais. Avaliaes de impacto nos permitem verificar se estes recursos esto de fato sendo aplicados da melhor maneira possvel. No entanto, avaliaes de impacto tambm consomem recursos.
Ser que a realizao da avaliao de impacto do programa sempre o melhor
uso daqueles recursos ou seria melhor revert-los em um maior investimento
no prprio programa? Afinal, os benefcios de uma avaliao de impacto superam seus custos?
2.1 No evidente que um programa

amplamente utilizado tem impacto?
A justificativa da importncia da aplicao de recursos para avaliar impacto
no to bvia. Uma contra-argumentao vlida poderia ser fundamentada
14
l Fundao Ita Social
na alegao de que pouco provvel que um programa com acesso voluntrio

no tenha impacto sobre aqueles que o procuram e dele se utilizam.
Por que algum dedicaria tempo e esforo a um programa que no lhe traz
benefcios e, portanto, no tem qualquer impacto? A ampla utilizao de um
programa por ao menos um segmento da sociedade no seria por si s indcio
de existncia de impacto? De fato, pouco provvel que a maioria dos programas existentes no traga benefcio algum a seus beneficirios. Afinal, em sua
maioria, os programas sociais so voluntariamente utilizados pelos seus beneficirios que, portanto, devem estar convencidos da sua utilidade.
Em sua maioria, os programas sociais se baseiam em teorias que preveem um
elo entre o acesso ao programa e impactos positivos sobre um conjunto prdeterminado de resultados. Portanto, os formuladores de polticas pblicas,
geralmente, contam com argumentos tericos e, frequentemente, com evidncia emprica, ambos sinalizando a eficcia do programa em questo.
Assim, investigar a existncia de impacto de um programa cuidadosamente
desenhado e voluntariamente utilizado pela sociedade no seria questionar a
racionalidade dos usurios e a validade dos argumentos tericos e empricos
adotados no desenho do programa? Existem duas possveis respostas a essa
pergunta.
Uma das motivaes de uma avaliao de impacto , precisamente, a validao
das teorias que serviram de base ao desenho do programa. Por este motivo,
to comum e importante a avaliao de impacto de programas em escala
piloto. A avaliao de um piloto busca verificar se a ligao entre o acesso ao
programa e os resultados esperados vlida, para que o programa possa ser
expandido com menos incerteza sobre o seu potencial de alcanar sucesso. Similarmente, uma avaliao de impacto tambm til para confirmar se as percepes dos usurios sobre a eficcia do programa coincidem com a realidade.
Por outro lado, podemos argumentar que o objetivo de uma avaliao de impacto vai muito alm de simplesmente determinar a existncia ou no do impacto. Mesmo que tenhamos convico da existncia de impacto de um dado
programa, ainda assim ser necessrio conduzir uma avaliao para que possamos entender o impacto. Tanto para o gestor do programa, quanto para os
usurios, to ou mais importante do que saber se h algum impacto conhecer a magnitude do impacto, assim como saber sobre quais dimenses o programa tem impacto e que canais permitem que este impacto se manifeste. Este
conhecimento indispensvel para o aperfeioamento do desenho do programa e para a melhoria na sua adequao s necessidades de seus usurios.
2.2 Demanda pelos mais ricos evidncia

de impacto?
Muitos dos programas sociais existentes so ofertados gratuitamente para a

parcela mais pobre da sociedade. Nesse caso, adeso voluntria ao programa
deve ser necessariamente interpretada como indcio do impacto do programa?
Pode-se argumentar que no. possvel que os pobres tenham conhecimento limitado sobre a eficcia daquele servio ou programa. Alm disso, como a
oferta gratuita, os beneficirios aderem porque no perdem nada participando.
Contudo, o que dizer do impacto de um servio oferecido gratuitamente aos
mais pobres, mas para o qual existe proviso privada para suprir a demanda
dos mais ricos, que pagam preos significativos pelo acesso? Assumindo que a
qualidade dos servios oferecidos gratuitamente aos pobres seja igual qualidade da oferta privada aos ricos, no seria a existncia de demanda pelos mais
ricos evidncia suficiente de que o servio teria impacto? Com base na teoria
econmica, podemos argumentar que a existncia de demanda por um servio com preo significativo sim um indcio de impacto. Por que ento a necessidade de realizar uma avaliao de impacto nesta situao?
Em primeiro lugar, observadas as diferenas entre os pobres e os ricos, podese argumentar que o fato de um servio ou programa ter impacto sobre um
grupo no implica necessariamente que ter o mesmo impacto sobre o outro
grupo. Dessa forma, havendo demanda dos mais ricos por um servio, ainda
assim ser necessrio avaliar a magnitude do impacto sobre os mais pobres.
Em segundo lugar, mesmo quando no h dvidas sobre a existncia do impacto do servio, pode ser importante avaliar a sua magnitude sobre os mais
pobres. Sabemos que, em geral, as prioridades dos indivduos (e, portanto, o
valor dos benefcios) variam com o nvel de renda. Benefcios que tm elevado valor para os mais ricos podem no ser classificados como prioritrios para
os mais pobres. Logo, a evidncia da eficcia do programa entre os mais ricos
pode no ser suficiente para justificar a implantao de um programa anlogo
para os mais pobres. Nesses casos, justifica-se, pois, a utilizao da avaliao
de impacto para produzir evidncia direta do impacto do programa e do valor
desses benefcios para o grupo dos mais pobres.
16
l Fundao Ita Social
2.3 A relao entre impacto, ambiente

socioeconmico e caractersticas da

populao beneficiada
Formuladores de polticas pblicas, geralmente, desenham um programa social visando a uma populao-alvo especfica sendo beneficiada em um ambiente pr-estabelecido. Assim, natural que existam poucas dvidas sobre o
impacto de um determinado programa quando este implementado no local
e momento corretos e beneficia a populao para a qual foi originalmente desenhado. Porm, este mesmo programa implementado em um ambiente completamente distinto do planejado provavelmente no ter o mesmo resultado.
de se esperar que a mesma ao dirigida a outra populao, outro local e outro momento do tempo no beneficie da mesma forma os que dela participam.
Uma das utilidades da avaliao de impacto , precisamente, determinar em
que medida a eficcia de um programa depende das caractersticas da populao beneficiada, do momento no tempo e da natureza do ambiente socioeconmico em que ocorre.
2.4. Impacto potencial versus impacto

efetivo
O impacto de um programa no depende apenas do seu desenho e da sua
adequao ao perfil dos beneficirios e ao ambiente socioeconmico em que
estes vivem. Igualmente determinante da magnitude do impacto a forma
como o programa implementado. Mesmo sendo poucas as dvidas sobre o
impacto potencial de um programa bem desenhado e focalizado, podem persistir grandes incertezas relativas ao efetivo impacto desse programa quando
implementado de maneira deficiente. Neste caso, o objetivo da avaliao de
impacto no investigar o impacto terico ou potencial do programa, mas sim
sobre o seu impacto efetivo, dada a maneira imperfeita como foi implementado.
Em suma, o impacto de um programa depende no apenas do seu impacto
potencial, mas est tambm intrinsecamente ligado s condies da sua implementao. Ainda que um programa tenha comprovadamente impacto potencial, fundamental avaliar o seu impacto real. Nesse caso, a avaliao de
impacto til para verificar qual parcela do impacto potencial foi desperdiada
devido a falhas no processo de implementao.

Esse dilema inerente avaliao de impacto de polticas pblicas. Em vrias
reas, existem estudos tericos que, consensualmente, apontam para a importncia de determinadas aes. Em contraste, muitas avaliaes de impacto
encontram impactos irrisrios dessas mesmas aes aps a implementao.
Assim, o frequente descompasso entre os resultados tericos e empricos refora ainda mais a necessidade de uma avaliao de impacto, essencial para
discernir entre o impacto do programa como originalmente desenhado (impacto potencial) e o impacto do programa como de fato implementado (impacto efetivo).
2.5 Avaliao de impacto como forma de

monitoramento
Os impactos de um determinado programa social dificilmente so invariveis
ao longo do tempo. Assim, nada garante que um programa avaliado hoje continue tendo o mesmo impacto no prximo ano ou no ano subsequente.
Podemos apontar pelo menos quatro razes para justificar essa potencial inconstncia temporal do impacto. Primeiramente, o impacto de um programa,
normalmente, est relacionado com o tempo de exposio do beneficirio, podendo tanto declinar rapidamente logo aps o trmino do programa como
persistir por um longo perodo de tempo. Em segundo lugar, ao longo do tempo podem ocorrer flutuaes na qualidade da gesto do programa e, consequentemente, na eficcia da implementao, gerando oscilaes na magnitude do impacto. Em terceiro lugar, o impacto pode variar ao longo do tempo se
for sensvel a mudanas no ambiente socioeconmico. Por fim, se o perfil da
populao beneficiada pelo programa se modifica ao longo do tempo, de se
esperar que a magnitude do impacto tambm se altere.
Devido a cada um desses motivos, mesmo programas que tm impacto inicial
de magnitude conhecida devem ser continuamente avaliados. Por um lado,
uma avaliao contnua a nica maneira de identificar os impactos de mdio e longo prazos do programa e, portanto, a nica forma de avaliar seu grau
de maturao e persistncia. Por outro lado, repetidas avaliaes do mesmo
programa podem revelar como o impacto do programa responde a mudanas
no ambiente socioeconmico e no perfil dos beneficirios. Por fim, mesmo no
caso em que o perfil da populao beneficiada e o ambiente socioeconmico
permanecem estveis, avaliaes de impacto peridicas podem ser de extre-
18
l Fundao Ita Social
ma utilidade como um instrumento de gesto. Neste caso, flutuaes na magnitude do impacto podem indicar uma melhoria ou deteriorao na forma de
funcionamento e, portanto, na gesto do programa.
Os argumentos apresentados sinalizam que o impacto de um programa tem
carter mutvel ao longo do tempo. Portanto, uma avaliao de impacto deve
ser considerada como uma ferramenta para a utilizao contnua, j que as
concluses auferidas a partir de sua utilizao pontual no so necessariamente vlidas intertemporalmente.
2.6 A questo da relao custo-efetividade

A existncia de impacto no suficiente para justificar a alocao de recursos
adicionais para um dado programa. Em uma sociedade, se existirem programas
alternativos que perseguem os mesmos objetivos, a opo por um determinado programa depender de este ser aquele que produz o maior impacto por
unidade de custo. Esse critrio comumente denominado custo-efetividade.
Assim, em um cenrio onde os recursos so escassos e diferentes programas
competem pelos mesmos recursos, a avaliao de impacto essencial para
mensurar a magnitude do impacto e calcular a relao custo-efetividade de
cada programa. Mesmo que o impacto de um dado programa seja inquestionvel, este programa pode no ser aquele com a melhor relao custo-efetividade e, portanto, pode no ser o melhor candidato a receber os recursos disponveis. Assim, para se avaliar a relao custo-efetividade de um programa,
necessrio no apenas reconhecer a existncia do impacto, mas tambm mensurar a sua magnitude.
2.7 A questo da relao custo-benefcio

Para que recursos sejam alocados a um programa, no basta que o programa
tenha impacto ou mesmo que seja aquele com a melhor relao custo-efetividade. necessrio tambm que o valor dos benefcios do programa supere
seus custos, isto , que o programa tenha uma relao custo-benefcio favorvel. No clculo desta relao, deve-se considerar todos os custos e benefcios sociais, tanto aqueles sobre os agentes diretamente envolvidos como as
externalidades sobre o restante da sociedade. Mesmo diante da evidncia de
que um programa tem impacto, essencial ainda assim estimar a magnitude
deste impacto para que se possa verificar se o valor dos benefcios produzidos
superam os custos demandados. Muitas vezes, diferentes aes com objetivos
anlogos no diferem substancialmente com relao ao seu custo. Nestes casos, so as diferenas na magnitude do impacto que iro determinar qual o
programa que tem a melhor relao custo-benefcio.
Em princpio, possvel argumentar que todos os programas com relao custo-benefcio favorvel deveriam ser implementados. Esta certamente a regra
quando no existe interdependncia entre os programas. De fato, se os benefcios e os custos de um programa no dependem da existncia ou operao
dos demais, ento no existe razo para que todos os programas com relao
custo-benefcio favorvel no sejam simultaneamente implementados.
No entanto, em geral, os benefcios e custos de programas alternativos dependem da existncia ou operao de seus concorrentes, e as relaes custo-benefcio so estimadas supondo que estes no foram nem sero implementados.
Neste caso, o procedimento decisrio deve ser necessariamente sequencial.
Primeiro decide-se sobre a implementao do programa com a melhor relao
custo-benefcio. Em seguida, novas relaes custo-benefcio so recalculadas
para os programas no implantados, levando em considerao que aquele de
melhor relao custo-benefcio foi efetivamente implantado. Aps esta reavaliao, caso ainda exista algum programa com relao custo-benefcio favorvel, o melhor deles deve ser implantado e o procedimento novamente conduzido. Note que esta anlise sequencial requer a estimao do impacto de cada
programa tanto na ausncia quanto na presena dos demais.
2.8 Por que no investigar diretamente a

propenso a pagar?
A seo anterior demonstrou que, em ltima instncia, o objetivo de uma avaliao de impacto deve ser investigar a relao custo-benefcio de um programa. Para tanto, realiza-se uma comparao entre os custos e o valor dos benefcios do programa, sendo o ltimo obtido a partir do produto entre a magnitude
do impacto e o valor atribudo a este pelo conjunto de beneficirios.
Nesse sentido, uma avaliao de impacto apresenta duas limitaes. Primeiramente, um programa tem geralmente uma variedade de impactos, alguns
intencionais e muitos outros colaterais. Neste caso, para obter a relao custo-benefcio, seria necessrio estimar a magnitude de todos esses impactos, o
que j seria um desafio, dado que muitos desses impactos so de difcil men-
20
l Fundao Ita Social
surao. Em segundo lugar, mesmo que fosse possvel estimar a magnitude de

todos os impactos, ainda seria preciso estimar o valor que cada beneficirio
atribui a cada um deles. De fato, a avaliao de impacto apenas um primeiro
passo para se estimar a relao custo-benefcio.
Caso a mensurao da magnitude de cada impacto, seguida de sua valorao,
fosse a nica alternativa para se obter o valor dos benefcios, sem dvida, a avaliao de impacto seria essencial para a estimao da relao custo-benefcio
de um programa. No entanto, existe uma alternativa para estimar o valor dos
benefcios: a propenso a pagar do beneficirio pelo servio.
O valor total de um programa, benefcio ou servio para um beneficirio pode
ser avaliado a partir da investigao do valor pelo qual ele estaria disposto a
trocar o acesso ao programa, medido em termos monetrios ou em termos do
acesso a outros bens e servios. As tcnicas utilizadas para a investigao da
propenso a pagar podem ser classificadas em dois grandes grupos: (i) comportamental e (ii) no comportamental.
Nos mtodos no comportamentais, pergunta-se diretamente ao beneficirio
quanto ele estaria disposto a pagar pelo acesso a um determinado programa,
benefcio ou servio. O desafio neste caso que frequentemente a resposta
pode no ser fidedigna. Como a pergunta se refere a uma situao hipottica,
as pessoas tendem a superestimar o valor que elas efetivamente estariam dispostas a pagar. Existem, entretanto, protocolos pr-estabelecidos que definem
como investigaes desta natureza podem ser conduzidas visando mitigar a
possibilidade de resultados pouco confiveis.
Por outro lado, nos mtodos comportamentais, o valor do benefcio inferido
a partir da observao direta do efetivo comportamento do beneficirio. No
caso dos servios para os quais existe um mercado, verificamos que o preo
de mercado o valor (ou a propenso a pagar) que o beneficirio marginal
atribui ao servio em questo. Quando no existe mercado, ainda assim o valor associado ao servio pode ser inferido com base na observao de outros
comportamentos. No caso de um posto de sade, por exemplo, o valor pode
ser avaliado a partir do raio de cobertura do servio. Quanto mais valorizado
o servio, maior a distncia que os beneficirios estaro dispostos a percorrer
para acess-lo.
Em resumo, a vantagem metodolgica da utilizao da propenso a pagar
que este mtodo estima diretamente o valor do benefcio, evitando problemas
potenciais causados pela necessidade de estimar mltiplos impactos e o valor
atribudo a cada um deles. Ao contrrio da avaliao de impacto, no necessrio primeiramente decompor o impacto nos seus diversos componentes e
posteriormente valorar cada um destes individualmente. Sendo assim, dado

que a avaliao de impacto se apresenta como um instrumento mais complexo
e que via de regra exige maior esforo, qual seria ento a justificativa para a sua
utilizao?
Existem essencialmente trs justificativas que sustentam o uso da avaliao
de impacto. Em primeiro lugar, quando o impacto de um programa ocorre via
poucas dimenses de fcil mensurao, a magnitude do impacto pode ser avaliada de forma relativamente incontestvel com base em mtodos experimentais. Alm disso, na ausncia de mercados para o servio ou benefcio em questo, a utilizao da propenso a pagar poderia levar a estimativas ainda menos
confiveis. No entanto, importante ressaltar que um aumento do nmero de
dimenses do impacto e o surgimento de mercado para o servio ou benefcio
em questo tornaria o uso da propenso a pagar mais fundamentada vis--vis
utilizao da avaliao de impacto.
Em segundo lugar, pode-se argumentar que a utilizao da propenso a pagar
tem sua confiabilidade reduzida quando existem externalidades e o programa
em questo tem impactos sobre no beneficirios. Neste caso, se o nmero de
dimenses do impacto limitado e o grupo de no beneficirios impactados
pelo programa est bem definido, uma avaliao de impacto experimental
provavelmente capaz de produzir estimativas mais confiveis.
Por fim, o uso da propenso a pagar tem a grande limitao de no permitir a
identificao dos motivos pelos quais os beneficirios valorizam aquele servio. Assim, sabe-se quanto o programa valorizado, mas nada se sabe sobre os
mecanismos pelos quais o programa influencia o bem-estar dos beneficirios.
Essa limitao especialmente problemtica no caso de programas multifacetados, na medida em que impossvel distinguir qual componente do programa est contribuindo mais ou menos para a satisfao do usurio.
Do ponto de vista dos beneficirios, possvel que seja suficiente saber o grau
de satisfao dos beneficirios com o programa de um modo geral. Porm,
para os gestores e aqueles que financiam o programa, essa informao pode
ser insuficiente.
Existem duas razes que justificam a necessidade de identificar os impactos
especficos de um programa. Por um lado, possvel que os responsveis pelo
financiamento valorizem os impactos especficos de maneira distinta dos beneficirios. Em outras palavras, aqueles que financiam o programa podem
querer se assegurar de que o programa est causando satisfao pela via pretendida e no por algum outro motivo qualquer. Por outro lado, identificar a
magnitude dos impactos especficos importante para avaliar a adequao
do programa no alcance dos seus objetivos especficos. Essa informao pode
22
l Fundao Ita Social
ser til tanto para o redesenho do prprio programa quanto para o desenho
de outros programas em contextos nos quais alguns impactos especficos so
particularmente valorizados.
2.9 Heterogeneidade do programa e da

populao-alvo
A grande maioria das intervenes heterognea e oferecida a uma clientela tambm heterognea. Na maioria dos casos, possvel ajustar os diversos
parmetros do programa, desde sua durao e intensidade at seu contedo
e qualidade. de se esperar, portanto, que a magnitude do impacto varie com
estes parmetros e, tambm, segundo as caractersticas do beneficirio e o
contexto socioeconmico em que o programa se insere. Assim, a realizao de
uma avaliao de impacto essencial para entender como a heterogeneidade
na interveno e no perfil dos usurios se reflete nos resultados alcanados.
Um mesmo programa pode ter muitos desenhos que variam em termos da sua
eficincia. Uma avaliao de impacto possibilita no apenas identificar o desenho mais eficiente, mas tambm identificar os segmentos da populao-alvo
para os quais os benefcios so maiores. A identificao destes grupos fundamental para o desenho do programa. No curto prazo, a atuao do programa deveria se concentrar nos segmentos da populao-alvo que tm a maior
probabilidade de se beneficiar destas aes. Por outro lado, a identificao dos
segmentos que pouco se beneficiam das aes igualmente importante na
medida em que revela a necessidade do investimento em aes alternativas
voltadas para estes grupos.
3. Para que avaliar o impacto de

um programa social?
Avaliaes de impacto tm, em geral, uma multiplicidade de usos que podem
ser categorizados em dois grandes grupos: (i) uso interno e (ii) uso externo. O
uso interno de uma avaliao diz respeito sua utilidade para a tomada de
decises sobre o prprio programa avaliado. O uso externo de uma avaliao
relativo utilizao dos resultados da avaliao como instrumento para o
desenho ou a melhoria do desenho de outros programas similares.
3.1

Sobre o uso interno:

o aperfeioamento do desenho,
funcionamento e gesto do
programa avaliado
Em seu uso interno, a avaliao de impacto serve como insumo para a tomada
de deciso sobre o prprio programa. Neste sentido, a mesma pode ser utilizada com vrios objetivos, dependendo do usurio a que se destina. Quando os usurios dos resultados so aqueles responsveis pela continuidade ou
descontinuidade do programa, a avaliao de impacto tipicamente utilizada
como veredicto. Enquanto resultados positivos justificam a permanncia ou
ampliao de um programa, a ausncia destes d suporte desativao progressiva ou imediata do programa. Em resumo, em primeiro lugar, uma avaliao de impacto serve para (i) justificar a existncia de um programa e (ii) decidir
sobre sua desativao, continuidade ou expanso.
Outra utilidade interna potencial de uma avaliao de impacto fornecer insumos para a promoo de melhorias no desenho do programa. Para tanto,
fundamental que a avaliao no apenas obtenha estimativas da magnitude
do impacto, mas tambm identifique os fatores determinantes do impacto.
Saber como a magnitude do impacto varia com os parmetros que definem a
interveno a nica maneira atravs da qual uma avaliao pode contribuir
para a reformulao dos princpios que embasam o programa, possibilitando
assim o aperfeioamento do seu desenho e a adequao do seu marco lgico.
O impacto de um programa, entretanto, no determinado apenas por seu desenho. A natureza dos beneficirios e a forma e o grau com que estes utilizam
as aes do programa tambm influenciam a magnitude do impacto. Assim, na
medida em que a avaliao revela como a magnitude do impacto do programa
varia com a forma e grau de utilizao dos servios e tipo de beneficirio, a
mesma se torna um instrumento de extrema utilidade ao gestor responsvel
pela operao do programa. A partir dessas informaes, o gestor capaz de
realizar ajustes finos no programa, podendo, potencialmente, readequar a natureza dos servios e bens oferecidos s necessidades dos beneficirios e assim
promover uma maior efetividade do programa em questo.
Por fim, deve-se ressaltar ainda que o impacto do programa tambm depende da
forma como a gesto e operao do programa conduzida. Assim, uma avaliao de
impacto que contempla informaes sobre a sensibilidade da magnitude do impacto s variveis relacionadas gesto e operao do programa fornece informaes
valiosas para o aperfeioamento ou reformulao do sistema de gesto e operao.
24
l Fundao Ita Social
3.2 Sobre o uso externo: para o desenho

e aperfeioamento de programas
similares
O uso externo de uma avaliao de impacto est relacionado com a sua utilidade para auxiliar no desenho, na implementao ou na gesto de outros
programas similares em contextos distintos. Neste sentido, avaliaes de impacto funcionam como bens pblicos, na medida em que beneficiam uma populao muito maior que aquela que originalmente participou do programa e
financiou a avaliao.
Dentre a grande variedade de usos externos de uma avaliao de impacto, talvez o de maior importncia seja a identificao de melhores prticas. Gestores em toda parte esto continuamente em busca dos melhores programas,
aes e prticas que permitam alcanar seus objetivos da forma mais eficaz
possvel. Em todo momento, dada a tecnologia social existente, h um conjunto de prticas que so aquelas com as melhores relaes custo-efetividade. A
identificao destas intervenes requer avaliaes de impacto de uma ampla
variedade de programas com objetivos similares. Assim, indiscutvel que a
identificao das melhores prticas e, portanto, avaliaes de impacto so fundamentais para o aprimoramento da eficcia dos programas sociais em vigor.
A avaliao dos impactos de um programa, quando associada avaliao de
seu custo, permite compar-lo com as alternativas disponveis em termos de
suas relaes custo-efetividade. A sua posio relativa queles programas
que representam as melhores prticas define o seu potencial de expanso e
difuso. Programas com as relaes custo-efetividade mais favorveis esto
em evidncia como candidatos tanto para a expanso nos locais onde atuam
quanto para a adoo em outras reas (desde que seu impacto seja robusto a
mudanas nos contextos socioeconmicos e culturais).
Assim, para que a utilizao externa das avaliaes de impacto seja a mais
ampla possvel, essencial que estas investiguem no apenas o tamanho do
impacto, mas tambm a interao deste com caractersticas do ambiente socioeconmico e cultural em que as avaliaes se inserem. Este o conceito de
validade externa que, em outras palavras, determina em que medida o impacto estimado de um programa pode ser extrapolado para diferentes contextos.
Trata-se, fundamentalmente, de uma avaliao da robustez ou da sensibilidade
do programa ao contexto.
Frequentemente, os programas avaliados se mostram sensveis ao contexto
em que se inserem. Esta sensibilidade, entretanto, no de forma alguma uma
indicao de que o programa no possa ser ajustado para outro contexto. A
constatao da sensibilidade do impacto do programa ao seu ambiente deve

ser utilizada apenas como um alerta para que a expanso do programa seja
feita de forma cuidadosa, adequando o mesmo s caractersticas especficas
do novo contexto. Nestes casos, importante que as avaliaes de impacto estabeleam no apenas o grau de sensibilidade do impacto do programa como
um todo ao contexto, mas fundamentalmente estabeleam quais aspectos do
programa determinam esta sensibilidade (ou, em outras palavras, como a magnitude do impacto depende do contexto).
Esse tipo de informao fundamental para sinalizar quais cuidados devem ser
adotados na difuso do programa, mas nada dizem sobre quais os ajustes necessrios no seu desenho para que o seu impacto seja invariante ao contexto.
Para que estes ajustes possam ser identificados, seria necessrio que as avaliaes tambm indicassem como os parmetros do programa devem ser ajustados em cada situao para que sua eficcia seja preservada nos mais distintos
ambientes. Este um dos grandes desafios de uma avaliao de impacto: avaliar a sensibilidade do impacto ao contexto e identificar as adequaes necessrias para que o programa seja apropriado s mais variveis circunstncias.
4. Quando avaliar o impacto de

um programa social? Avaliaes
ex-ante versus ex-post
Existem essencialmente trs momentos na execuo de um programa em que
avaliaes de impacto podem ocorrer: (i) antes do incio do programa (so as
ditas avaliaes ex-ante), (ii) durante o perodo de execuo do programa (so
as ditas avaliaes ex-post de percurso) e (iii) aps a concluso do programa
(so as ditas avaliaes ex-post de encerramento). Em cada caso, a avaliao
caracterizada por metodologias e objetivos distintos, condicionados disponibilidade de informaes relacionadas ao programa naquele momento do
tempo.
4.1 Sobre a necessidade de avaliaes

ex-ante e ex-post
A deciso pela implementao de um dado programa geralmente precedida
pela apresentao de argumentos que justificam a racionalidade da opo por
26
l Fundao Ita Social
aquela determinada interveno. Em geral, justificativas deste tipo se baseiam

em estimativas de custos e impactos esperados do programa em questo. Prever a magnitude dos impactos antes que a interveno seja implantada o
objetivo das avaliaes ex-ante de impacto. Embora o objetivo primordial de
uma avaliao ex-ante seja justificar a adoo de um dado programa, possvel
e recomendvel que avaliaes ex-ante sejam tambm utilizadas para decidir
sobre o melhor desenho da interveno.
Uma vez elaborados e implementados, programas sociais muitas vezes permitem ajustes ao seu desenho durante a fase de operao. Avaliaes de impacto
realizadas durante o perodo de operao do programa, denominadas avaliaes ex-post de percurso, so utilizadas para verificar a validade das previses
realizadas pelas avaliaes ex-ante. Desta forma, esse tipo de avaliao mostrase fundamental para traar recomendaes sobre o futuro do programa, seja
no sentido de interromper, continuar ou aperfeioar as aes da interveno
em curso. Este tipo de avaliao muito comum durante a fase piloto da implementao de um programa, embora seja importante que a sua aplicao no
se limite a esta fase.
O grande desafio para a realizao de uma boa avaliao ex-post de percurso
o tempo. Por um lado, importante que a avaliao seja realizada quanto
antes para que tenha sua influncia sobre o desenho, operao, continuidade e
expanso do programa maximizada. Por outro lado, dado que alguns impactos
podem levar tempo para se manifestar, quanto mais cedo realizada a avaliao
de impacto, maior a probabilidade de se subestimar ou at ignorar impactos
importantes que no se manifestaram no curto prazo. Esse problema particularmente grave j que, frequentemente, os impactos de maior importncia podem ser os de longo prazo. Assim, toda avaliao ex-post de percurso
precisa analisar cuidadosamente o trade-off entre fornecer respostas rpidas
para auxiliar no aperfeioamento e expanso do programa e aguardar o tempo
necessrio para que parte substancial dos impactos do programa se manifeste.
Portanto, avaliaes ex-post de percurso so mais comuns em programas de
longa durao ou mesmo de durao ilimitada, sendo difceis de serem realizadas em programas de curta durao.
A realizao de uma avaliao de impacto tambm justificada aps o encerramento de um programa social. Neste caso, dois objetivos merecem ateno.
Por um lado, a avaliao ex-post de encerramento til para determinar quo
adequada foi a deciso de alocao de recursos quele programa. Trata-se de
uma avaliao ex-post das decises realizadas no passado e da qualidade da
gesto do programa. No permite rever ou aprimorar aes, mas apenas verificar se os agentes envolvidos no processo decisrio tomaram ou no decises
adequadas e se os responsveis pelo programa fizeram uma boa gesto.
Por outro lado, uma utilidade extremamente importante das avaliaes ex-post
em geral est relacionada identificao de melhores prticas. Avaliaes ex

-post de programas com objetivos similares geralmente fornecem informaes
relevantes que podem auxiliar na tomada de deciso de gestores pblicos empenhados em desenhar novos programas ou aperfeioar os programas existentes na rea em questo.
Por fim, vale ressaltar que as avaliaes ex-post de encerramento tm a grande
vantagem de evitar o conflito entre o momento da avaliao e o prazo de maturao do impacto do programa. Neste caso, no h restrio de tempo para
a sua realizao, o que torna este tipo de avaliao ideal para garantir a captao dos impactos verdadeiramente de longo prazo de um programa social.
4.2 Diferenas informacionais e

metodolgicas
Em decorrncia do momento em que so realizadas, as avaliaes ex-ante e ex
-post se baseiam cada qual em um conjunto distinto de informaes, aquelas
disponveis naquele dado momento do tempo. Avaliaes ex-post podem contar com informaes sobre a situao de beneficirios e no beneficirios antes
e em vrios momentos aps o incio da interveno. Por outro lado, avaliaes
ex-ante so conduzidas s vezes sem informaes sobre quem sero os efetivos beneficirios do programa. Na medida em que informaes naturalmente
se acumulam ao longo do tempo, avaliaes ex-post tm grande vantagem
informacional sobre suas contrapartidas ex-ante.
Todo trabalho avaliativo sempre o resultado da combinao de teoria com
evidncia emprica. No entanto, no h uma recomendao pr-estabelecida
sobre os pesos que devem ser atribudos teoria ou evidncia emprica em
avaliaes de um modo geral. Em uma avaliao ex-post cuidadosa, na qual
uma grande quantidade de informaes pertinentes e fidedignas foi coletada,
o papel da teoria tender naturalmente a ser dominado pelo da evidncia emprica. J numa avaliao ex-ante, o papel da teoria passa a ser primordial, uma
vez que as estimativas de impacto so obtidas a partir de simulaes com dados na maioria das vezes secundrios sobre o comportamento hipottico dos
futuros beneficirios do programa a ser implantado. Neste caso, com base na
teoria sobre o comportamento destes beneficirios que so derivadas as hipteses a partir das quais estas simulaes de impacto so realizadas.
5. Consideraes finais
Na nossa sociedade, formuladores de polticas continuamente propem uma
grande variedade de solues visando atender s mais diversas necessidades
28
l Fundao Ita Social
da populao. Entretanto, dada a escassez dos recursos disponveis, nem todas

estas solues podem ser efetivamente implementadas. necessrio, portanto, escolher bem. Quais das propostas apresentadas abrangem a maior parte
das necessidades da populao ao menor custo? Em outras palavras, quais destas propostas representam o melhor uso do oramento disponvel?
Um dos instrumentos fundamentais para se obter a resposta a estas questes
a avaliao de impacto, que permite isolar a contribuio de uma ao especfica no alcance dos resultados de interesse. No entanto, isolar o impacto de
uma ao no tarefa fcil. Este livro trata das metodologias disponveis para
identificar e estimar o impacto de intervenes implementadas por agentes
governamentais ou no governamentais.
Neste captulo inicial, procuramos apresentar ao leitor por que, para que e
quando deve-se realizar uma avaliao de impacto. A nossa discusso sinaliza
que a avaliao de impacto uma ferramenta valiosa que serve a propsitos
mltiplos, sendo assim relevante no apenas para aqueles diretamente envolvidos no programa, mas potencialmente para vrios outros agentes da sociedade.
Exerccios
1) Quais so as possveis motivaes para uma avaliao de impacto?
2) O impacto de um programa no depende apenas do seu desenho e da sua
adequao ao perfil dos beneficirios e ao ambiente socioeconmico em que
estes vivem. Do que mais depende o impacto do programa?
3) Explique a importncia da avaliao de impacto em um cenrio onde os recursos so escassos e diferentes programas competem pelos mesmos recursos.
4) Existem essencialmente trs momentos na execuo de um programa em
que avaliaes de impacto podem ocorrer. Explique cada caso.
5) Explique os conceitos de uso interno e uso externo de uma avaliao.
30
l Fundao Ita Social
PARTE 1
Mtodos Bsicos de
Avaliao de Impacto
A parte I do livro dedicada a apresentar um conjunto de mtodos que
so amplamente empregados para isolar e medir o impacto de programas
sociais. Esses mtodos so comumente divididos em duas categorias: o
mtodo experimental e os mtodos no experimentais. O primeiro, a ser
apresentado no captulo 3, baseado na seleo aleatria dos indivduos
que faro parte do grupo que receber o programa (grupo de tratamento)
e do grupo que no o receber (grupo de controle). Como veremos, esse
mtodo faz com que a nica diferena entre os grupos seja a participao
no programa, uma vez que a aleatorizao garante que eles sejam muito
semelhantes tanto em termos das caractersticas observadas como das no
observadas pelo analista. Pelo fato de conseguir fazer com que a interveno seja a nica diferena entre os grupos de tratamento e controle, esse
mtodo tem a denominao de padro-ouro na rea de avaliao de impacto.
Os demais captulos apresentaro em detalhes os mtodos no experimentais. Como no so baseados na seleo aleatria dos grupos de tratamento
e controle, esses mtodos no asseguram que os dois grupos difiram entre
si apenas pela participao no programa. Na realidade, o que eles fazem
substituir a aleatorizao do mtodo experimental por certas condies e
hipteses que visam a tornar o grupo de controle parecido com o grupo de
tratamento. Como veremos, cada mtodo adota um conjunto especfico de
hipteses para identificar o efeito causal do programa. Essas hipteses no
so diretamente testveis, mas algumas podem ser confirmadas de modo
indireto.
A escolha do mtodo a ser empregado depende em larga medida do programa a ser avaliado, dos arranjos institucionais existentes, dos custos envolvidos na avaliao, alm da disponibilidade de dados. O aumento da
importncia da avaliao de impacto e da anlise de custo-benefcio entre
financiadores, gestores e fiscalizadores dos programas tem sido acompanhado pelo desenvolvimento e aperfeioamento de um conjunto de m-
todos que formam hoje uma ampla caixa de ferramentas utilizada na rea
de avaliao de impacto. Ao apresentar uma introduo a alguns dos principais mtodos disponveis nessa caixa de ferramentas, esta parte do livro
pretende auxiliar no somente no entendimento das metodologias, mas
tambm no processo de escolha da metodologia mais adequada a ser adotada no contexto especfico no qual se insere o programa. A esse propsito, vale assinalar que o foco do livro sobre as metodologias ex-post. Em
contraste com as avaliaes ex-ante, que so baseadas em modelos sobre
o comportamento dos agentes, as metodologias ex-post so baseadas em
dados especficos colhidos para a avaliao do programa (ver Box 1 e seo
4 do captulo 1).
Antes de entramos no detalhamento de cada mtodo de nossa caixa bsica de ferramentas, apresentaremos no captulo 2 um arcabouo conceitual
amplamente utilizado na rea de avaliao de impacto. Alm de estabelecer a notao que empregaremos em outros captulos desta parte do livro,
sua principal finalidade apresentar um dos principais problemas da rea
de avaliao de impacto, a saber, o vis de seleo.
32
l Fundao Ita Social
Box 1: Avaliaes Ex-ante e Ex-post

As avaliaes ex-ante so elaboradas
com base na construo de um modelo
sobre o comportamento dos agentes e
do ambiente econmico no qual eles e o
programa em avaliao esto inseridos.
Em alguns casos, o modelo proposto
estrutural, ou seja, baseado em hipteses acerca das formas funcionais que representam o comportamento econmico dos indivduos e do funcionamento
da economia ao longo do tempo (por
exemplo, Heckman et al., 1998). Em outros casos, o modelo proposto baseado em formas reduzidas, isto , em equaes que procuram refletir as relaes
diretas entre as decises dos agentes, os
indicadores de resultado e demais variveis consideradas relevantes na estimao do impacto do programa (ver, por
exemplo, Bourguignon e Ferreira, 2003).
Tipicamente, as avaliaes ex-ante utilizam dados de fontes secundrias ao
programa para estimar os parmetros
do modelo proposto, incluindo o prprio impacto do programa. Aps a estimao do modelo, possvel alterar os
valores de alguns dos seus parmetros
e, por meio de simulaes, avaliar como
as variveis de interesse mudam. Esse
tipo de exerccio bastante til para se
obter um balizamento de como os impactos do programa podem variar para
diferentes hipteses sobre o comportamento dos agentes e o funcionamento da economia. Por outro lado, o mtodo ex-ante tipicamente requer a adoo
de um conjunto de hipteses no testveis, tanto sobre o comportamento dos indivduos quanto sobre a identificao dos parmetros do modelo.
Distintamente, as avaliaes de impacto ex-post no so baseadas em mode-
los tericos, mas sim em mtodos empricos que procuram estimar diretamente
dos dados os impactos do programa. Em
contraste com o mtodo ex-ante, que
geralmente empregado antes da implementao da interveno, as avaliaes ex-post s podem ocorrer durante
ou aps a execuo do programa. Ademais, a maior parte das avaliaes ex
-post so model-free, isto , preferem
deixar os prprios dados falarem ao invs de proporem modelos tericos para
explicar os resultados encontrados. Embora extremamente teis para se conhecer a efetividade das intervenes, as
avaliaes ex-post normalmente s estimam os impactos especficos dos programas. Nesse sentido, elas no permitem construir diferentes cenrios para
o programa e, portanto, no oferecem
uma ideia das variaes no impacto para
diferentes desenhos do programa.
Mas as abordagens ex-ante e ex-post
no so mutuamente excludentes. Recentemente, Todd e Wolpin (2006) combinaram os dois tipos de mtodos para
estudar o impacto do programa mexicano de transferncia condicional de renda
Progresa (atualmente chamado de Oportunidades). Basicamente, o exerccio dos
autores consistiu em prever o impacto
do programa com base na abordagem
ex-ante e posteriormente compar-lo
com o impacto obtido pelo mtodo ex
-post de aleatorizao (ver captulo 3). A
varivel de resultado foi a frequncia
escola de crianas entre 12 e 15. Os impactos obtidos pelas duas abordagens
foram bastante semelhantes, o que permitiu a realizao de cenrios mais confiveis a partir de variaes nos parmetros do modelo de base.
CAPTULO 2
Modelo de resultados
potenciais
O problema central da rea de avaliao de programas construir o contrafatual do grupo tratado pelo programa. Na forma mais simples de apresentar esse problema, podemos pensar que qualquer indivduo est sempre
em uma de duas situaes distintas: ter sido ou no ter sido tratado pelo
programa. Idealmente, o melhor grupo de comparao para os indivduos
tratados seria formado pelos mesmos indivduos na situao em que eles
no fossem tratados. Contudo, essas situaes so mutuamente exclusivas:
claramente no possvel observar os mesmos indivduos na condio de
tratados e de no tratados ao mesmo tempo. O desafio do avaliador, portanto, encontrar um grupo de indivduos que represente adequadamente
a situao de no tratamento, ou seja, um grupo que funcione como um
bom contrafatual do grupo tratado.
Uma srie de pontos precisam ser levados em considerao para se encontrar um grupo de controle que possa replicar o grupo tratado caso ele
no tivesse passado pela interveno. Naturalmente, como no possvel
observar essa situao contrafatual, a escolha desse grupo de comparao
envolver o uso de procedimentos e hipteses cuja finalidade bsica minimizar o que se costuma denominar de vis de autosseleo. Para entender melhor o que est por trs desse vis, apresentaremos neste captulo
o arcabouo mais utilizado na rea de avaliao, a saber, o arcabouo de
resultados potenciais. Um elemento crucial para um bom entendimento
desse arcabouo e da rea de avaliao de impacto em geral ter sempre em mente a potencial existncia de uma situao contrafatual.
Antes de apresentarmos formalmente esse arcabouo, vale a pena analisar
dois mtodos ingnuos, porm amplamente utilizados por no especialistas para construir o grupo de controle. O primeiro baseado na comparao do que ocorre com o grupo de tratamento antes e depois da interveno. O segundo consiste em comparar o grupo que escolhe passar pelo
programa com um grupo que decide no participar da interveno. Como

veremos, esses mtodos dificilmente so capazes de fornecer o impacto do
programa.
2.1 Comparando os Tratados Antes e Depois

Considere uma situao em que um programa de treinamento profissional
foi oferecido para trabalhadores de baixa escolaridade numa certa localidade, por exemplo, um municpio ou uma rea de uma cidade. Esse programa
consistia de um curso ministrado por pessoal especializado e tinha como
objetivo aumentar o rendimento do trabalho dos participantes. Suponha
que o total de inscritos tenha sido igual ao nmero de vagas oferecidas e
que todos os inscritos tenham participado do programa.
Um pouco antes do comeo do programa (por exemplo, no dia da inscrio), todos os participantes responderam um questionrio que levantou
informaes sobre suas caractersticas socioeconmicas, incluindo a situao de emprego e rendimento laboral naquele momento. Suponha que
o rendimento mdio do trabalho para todos os indivduos que entraram
no programa de treinamento tenha sido de R$ 1000. Um ano depois, os
mesmos tipos de informaes foram novamente coletadas com todos os
participantes do programa. O rendimento mdio encontrado nesse segundo momento foi igual a R$ 1100.
A Figura 2.1 ilustra as informaes obtidas para o rendimento mdio para
os perodos anterior e posterior ao programa1. Os retngulos esto associados aos valores observados. Alguns diriam que o efeito do programa foi
de R$ 100 (R$ 1100 R$ 1000), o que equivale a um aumento de 10% no
rendimento mdio inicial. Mas ser que podemos afirmar que esse foi o
verdadeiro efeito do programa?3
A ocorrncia do programa foi simplificada para se dar no momento demarcado pela linha vertical tracejada.
36
l Fundao Ita Social
Figura 1: Rendimento mdio dos participantes antes e depois do

programa
Rendimento Mdio (R$)
Antes
Depois
1100
Impacto?
1000
t=0
Programa
t=1
Tempo
Para responder essa pergunta, temos que nos questionar se o grupo de tratamento antes do programa representa o contrafatual adequado para a situao
de no tratamento depois do programa. Ou seja, em termos da Figura 2.1, ser
que o losango representa o valor que seria recebido pelo grupo tratado depois do programa, caso ele no tivesse passado pela interveno? A resposta a
essa pergunta seria normalmente negativa, j que h uma srie de fatores que
podem ter afetado o rendimento mdio do grupo tratado alm do programa.
Por exemplo, possvel que a situao do mercado de trabalho da localidade
onde residem os participantes do programa tenha melhorado ao longo dos
doze meses entre as coletas das informaes. Para ilustrar essa possibilidade,
suponha que essa mudana nas condies do mercado de trabalho tenha sido
responsvel por levar o rendimento mdio para o ponto associado forma
circular na Figura 2.1. Nesse caso, a variao do rendimento mdio que pode
ser atribuda ao programa deixa de ser os R$ 100 estimados inicialmente. Esse

exemplo mostra que, a menos que possamos controlar a influncia do mercado de trabalho e de todos os outros fatores que afetam o rendimento mdio
do trabalho, a simples comparao entre o que ocorre com o grupo de tratados antes e depois do programa no identifica corretamente o efeito causal de
uma interveno. 23
2.2 Comparando os Tratados com os No

Tratados
Outra prtica ingnua comumente usada pelos no especialistas a que compara o grupo de tratados diretamente com um grupo de no tratados. Entretanto, apenas por no ter passado pela interveno no significa que o grupo
de no tratados representa bem o que ocorreria com o grupo de tratamento
caso este no tivesse sido tratado. Em outras palavras, a ausncia do tratamento para alguns no gera automaticamente o contrafatual de no tratamento
para outros.
As principais razes para isso esto relacionadas com as diferenas nas caractersticas observveis e no observveis (pelo avaliador) entre os dois grupos. Por
exemplo, possvel que, mesmo que os grupos sejam parecidos (em mdia)
em atributos observveis como gnero, idade, escolaridade, renda familiar etc.,
eles difiram em habilidades, motivao, esforo, e outras caractersticas que
tipicamente no esto disponveis nas bases de dados utilizadas nas avaliaes
de impacto. Na medida em que muitas dessas caractersticas podem afetar a
varivel de resultado sobre a qual se quer medir o impacto da interveno, o
uso da comparao direta entre os dois grupos no necessariamente mede o
efeito causal do programa. Afinal, as diferenas nas caractersticas no observveis entre os grupos poderiam estar misturadas ao efeito do programa.
Para ilustrar esse problema, continuaremos com a situao hipottica da subseo anterior. Assim, admita que o segundo questionrio usado com os participantes do programa de treinamento tenha sido aplicado a uma amostra de
pessoas da mesma localidade que no tenham participado do programa. Suponha que a mdia do rendimento do trabalho obtida com as informaes coletadas com esse grupo de no tratados aps o programa tenha sido de R$900.
Suponha que os dois grupos sejam idnticos, em mdia, nas caractersticas levantadas no questionrio, que no incluiu nenhuma tentativa de medir a moVale observar que um conjunto de variveis observadas nos dados referentes aos prprios indivduos podem ter mudado entre os dois perodos. Essas mudanas podem afetar a
diferena de rendimento mdio observada. Por exemplo, como a idade tende a influenciar
o rendimento mdio das pessoas, o fato de que se passou um ano entre os perodos de
comparao seria um fator adicional a explicar parte da diferena observada.
38
l Fundao Ita Social
tivao das pessoas. A Figura 2.2 contm as informaes para os dois grupos
para o perodo depois do programa, onde o tringulo representa o rendimento
mdio do grupo de no participantes.
Figura 1: Rendimento mdio dos tratados e no tratados

Antes
Depois
1100
Impacto?
1000
900
t=0
Programa
t=1
Tempo
Embora as pessoas dos dois grupos sejam parecidas em mdia em diversas

caractersticas, no podemos afirmar que os R$ 200 de diferena no rendimento mdio dos grupos (ou seja, a distncia entre o retngulo e o tringulo em
t=1) medem corretamente o impacto do programa de treinamento.3 Para isso,
basta admitirmos que a motivao (que no foi medida) seja uma caracterstica
que afeta o desempenho das pessoas no mercado de trabalho, incluindo o seu
salrio. Se os dois grupos diferem em termos de motivao diferena essa
3
Nesse exemplo, assumimos que no h informaes para o grupo de no tratados antes
da interveno. Essas informaes sero introduzidas no captulo 4 dentro do contexto do
mtodo de diferenas em diferenas.
que pode explicar porque o grupo tratado decidiu participar do programa e o

grupo no tratado preferiu no participar , ento provvel que parte dos R$
200 de diferena entre os grupos se deva ao fator motivao. Se isso ocorrer,
no podemos tratar essa quantia como o efeito causal do programa de treinamento.
Os prximos captulos desta parte do livro sero dedicados a apresentar um
conjunto amplo de metodologias que buscam isolar o efeito dos programas
dos efeitos causados por outros fatores que afetam a(s) varivel(eis) de resultado de interesse. O arcabouo conceitual que apresentaremos na prxima seo
tem a finalidade de facilitar o entendimento dessas metodologias.
2.3 O Arcabouo de Resultados Potenciais

Para apresentar o arcabouo de modo formal, utilizaremos o algarismo 1 para
denotar a situao em que o indivduo tratado e o algarismo 0 para a situao contrafatual na qual esse mesmo indivduo no tratado. Estamos interessados em avaliar o impacto de um programa (por exemplo, um programa de
qualificao de mo de obra) sobre uma varivel de resultado (por exemplo,
o rendimento do trabalho). Denotando por essa varivel, podemos pensar
que seu valor para indivduo ser
caso ele esteja na situao de tratado,
mas poderia assumir, pelo menos potencialmente, o valor
caso ele no
seja tratado. A vantagem de apresentar o problema dessa forma explicitar
que cada uma das situaes est associada a um resultado potencialmente distinto para um mesmo indivduo. Assim, se fosse possvel observar o indivduo
nas duas situaes, a diferena
forneceria o impacto do
programa para esse indivduo.
e caCada indivduo possui um par de resultados potenciais
ractersticas observveis pelo avaliador, que denotaremos por meio do vetor
. Exemplos tpicos de caractersticas observadas que so includas em avaliaes so o gnero, a idade e a escolaridade da pessoa. Uma maneira amplamente utilizada para especificar o modelo de gerao de valores dos resultados potenciais o par de equaes lineares:

onde o componente no observvel (pelo avaliador) que influencia os resultados potenciais do indivduo .
Seja
40
uma varivel discreta que assume valor igual a um se o indivduo par-
l Fundao Ita Social
ticipa do programa e valor zero caso ele no participe. Trata-se, portanto, do

que chamamos de uma varivel binria (ou dummy, em ingls), cujos valores
unitrio ou nulo podem depender da deciso do indivduo de participar ou
no da interveno, respectivamente. O fato de que o valor dessa varivel pode
depender da deciso do indivduo importante, pois, como veremos, essa deciso pode estar correlacionada com outros elementos que determinam ,
gerando o vis de autosseleo.
Dado o apresentado at aqui, podemos expressar a equao de resultados potenciais como:

Note que ela informa o resultado observado para qualquer indivduo , pois
quando ocorre a participao no programa
observamos a situao de
tratado,
, ao passo que quando no h participao
observamos a
situao de no tratado,
.
Aplicando agora as equaes (1) e (2) na equao (3), esta ltima se transforma
em:

que uma equao de regresso linear cuja nica diferena em relao quelas tipicamente encontradas em livros de estatstica e econometria bsica
que o parmetro que captaria o efeito do programa, , varia entre os indivduos. Em muitas avaliaes, faz-se a hiptese de que o impacto do programa
igual para todos os indivduos, ou seja,
para qualquer indivduo da
populao. Nesse caso, a equao (4) se especializa em4:

O maior problema para estimar corretamente o impacto do programa por
meio da equao (5) que a varivel potencialmente correlacionada com
o componente no observvel . Na realidade, bastante provvel que isso
ocorra, j que a participao no programa normalmente no se d de forma
aleatria. Ao contrrio, a participao geralmente decorre de uma deciso voluntria do indivduo (ou da famlia), a qual pode ter sido tomada com base em
informaes que no so observadas pelo avaliador e, portanto, esto embutidas no componente da equao (5). Um exemplo o que apresentamos na
seo 2.2, no qual os indivduos que participam de programas de treinamento
4
Tratar o impacto da interveno como homogneo na populao tende a ser uma hiptese
forte. De fato, parece mais razovel esperar que o efeito de grande parte dos programas seja
heterogneo entre as pessoas. Contudo, a hiptese de homogeneidade facilita a exposio
e, assim, a menos que explicitado no texto, estaremos supondo que ela se aplica.
so considerados mais motivados. Como motivao uma dimenso do comportamento das pessoas que pode afetar (por exemplo, o rendimento do
trabalho) e dificilmente medida nos dados (ou seja, passa a ser incorporada
em ), aparece um problema de correlao entre e que precisa ser resolvido
para que o parmetro de interesse, , seja corretamente estimado.
Esse problema de estimao incorreta de devido correlao entre a participao no programa ( ) e a parte no observvel ( ) geralmente recebe o nome
de problema de autosseleo. A magnitude dessa incorreo chamada de
vis de autosseleo. Sua denominao decorre do fato de que so os prprios
tratados que se selecionam para participar do programa. Se essa autosseleo
estiver associada com caractersticas no observveis dos indivduos, esse grupo se torna um grupo especial da populao (por exemplo, mais motivados),
o que pode afetar diversas variveis de resultado, tornando difcil o isolamento
do efeito causal do programa5.
Boa parte do esforo de pesquisa realizado at os dias de hoje na rea de avaliao tem sido dedicado a encontrar solues para contornar o problema da
autosseleo. A fim de apresent-lo de forma mais geral, considere as seguintes mdias populacionais da varivel de resultado para os grupos de tratados
e no tratados6:
Note que somente

e
so mdias que podem ser calculadas diretamente dos dados. J
e
representam mdias contrafatuais, a primeira
correspondendo mdia para os tratados caso eles no tivessem sido tratados
e a segunda a mdia para os no tratados caso eles tivessem sido tratados.
Muitas vezes, o governo ou entidade gestora do programa que escolhe o grupo de indivduos ou famlias que recebero as aes da interveno. Se essa escolha recair sobre
parcelas especiais da populao em caractersticas no observveis, surge tambm uma
correlao entre o termo e a varivel de participao da equao (5). Nesse caso, muitas
vezes diz-se que h um problema de vis de seleo, mas no de autosseleo, pois no
so os prprios indivduos que se selecionam para participar do tratamento. A anlise do
problema permanece essencialmente a mesma, apesar das distintas denominaes.
6
Todas as expresses a seguir poderiam estar condicionadas ao vetor de caractersticas ,
ou seja, cada expresso poderia ser computada para diferentes combinaes dos valores
assumidos pelas variveis contidas nesse vetor. Para no tornar a notao demasiadamente
carregada, optamos por no o incluir nas expresses.
5
42
l Fundao Ita Social
Em geral, na rea de avaliao, estamos interessados em computar o que se

costuma denominar de efeito mdio do programa sobre os tratados (EMPT):

ou seja, a diferena entre a mdia da varivel de resultado para os tratados na
situao de tratados e a mdia para esses mesmos indivduos na situao contrafatual de eles no terem passado pela interveno. O EMPT um parmetro
importante, uma vez que informa o impacto mdio do programa para aquela
parcela da populao que foi efetivamente tratada7.
Como mencionado anteriormente, o desafio encontrar um grupo que represente adequadamente o contrafatual do grupo tratado. comum o uso de um
grupo de indivduos no tratados como o grupo que representa o contrafatual
desejado por exemplo, o grupo de no participantes do nosso exemplo hipottico do programa de treinamento da seo 2.1. Quando isso ocorre, geralmente calcula-se a diferena:

que tomada como o impacto mdio do programa. No entanto, isso tende
a ser um procedimento incorreto, uma vez que o grupo de no tratados no
necessariamente funciona como um bom contrafatual. Para ver isso formalmente, adicionaremos e subtrairemos da equao (7) a mdia contrafatual
:

Como se pode ver, D no igual ao EMPT por conta da existncia do termo

, que corresponde ao que denominamos
vis de autosseleo. Note que ele corresponde diferena de mdias da varivel de resultado na situao de no tratamento (isto ,
), quando os indivduos participam
ou no
do programa.
7
Existem dois outros parmetros que tambm recebem bastante ateno na rea de avaliao. Um deles chamado de efeito mdio do programa sobre os no tratados (EMPNT): N =
E[Yi (1)|Ti = 0] E[Yi (0)|Ti = 0] = D01 D00, que mediria o impacto da interveno sobre
aquela parcela da populao que no foi tratada. O outro parmetro capta o impacto do
programa sobre um indivduo aleatrio da populao e recebe o nome de efeito mdio do
programa (EMP). Ele definido como: P = E[Yi (1)] E[Yi (0)], onde E[Yi (1)] e E[Yi (0)] so
respectivamente as mdias para tratados no caso de eles participarem ou no participarem
da interveno.
Como mencionado anteriormente, o termo autosseleo est associado deciso dos prprios indivduos de participar ou no da interveno.
Para que V seja igual a zero, a mdia observada para os no tratados, D00, deve
ser igual mdia do contrafatual que buscamos, D10. O problema que no
observamos D10 e, portanto, no temos como saber a magnitude do vis de
autosseleo embutido em D.
Nossa tarefa nos prximos captulos ser apresentar mtodos que buscam
solucionar o problema do vis de autosseleo. Cada mtodo lana mo de
certos procedimentos e hipteses para tentar resolver esse problema. Embora
cada metodologia v ser discutida em detalhes em cada captulo, faremos aqui
um sumrio das hipteses bsicas utilizadas.8
Considerado o padro-ouro da rea de avaliao, o primeiro mtodo baseia-se
na aleatorizao de indivduos, famlias ou at mesmo de comunidades inteiras para participar ou no do programa. Esse procedimento de aleatorizao
gera dois grupos experimentais, o de tratamento, formado pelos indivduos
que foram aleatorizados para participar do programa, e o grupo de controle,
composto pelos que foram aleatorizados para ficar de fora. O fato de que a participao ou no no tratamento ou seja, na notao introduzida neste captulo, o fato de a varivel T assumir valor um ou zero, respectivamente definida
pelo procedimento de aleatorizao garante que os grupos de tratamento e
controle sejam parecidos tanto nas caractersticas observveis quanto nas no
observveis. O vis de autosseleo fica assim contornado, permitindo que a
comparao entre os grupos identifique o efeito causal do programa.
Outro mtodo que discutiremos em detalhes chamado diferenas em diferenas (DID). Esse mtodo requer dados em painel das unidades tratadas e no
tratadas, com perodos de observao antes e depois da interveno. Ele recebe esse nome porque duas diferenas so calculadas: a diferena entre os
perodos de tempo para cada unidade observada e a diferena entre as unidades para cada perodo de tempo. Como os dados so em painel, o mtodo
comporta a presena de um termo invariante no tempo para cada unidade de
observao. Esse termo, que eliminado no cmputo da diferena temporal
para cada unidade, capta todas as caractersticas no observadas da unidade
que so constantes no tempo. A principal hiptese desse mtodo que a trajetria da varivel de resultado do grupo de controle reflita a do grupo de tratamento na ausncia da interveno. Embora essa hiptese no seja testvel,
uma indicao de sua validade ocorre quando os grupos possuam uma mes8
Assumindo a especificao linear da equao (5), se calcularmos
obteremos o impacto mdio do programa, , somado ao vis

de autosseleo, aqui representado por
.
44
l Fundao Ita Social
ma trajetria temporal da varivel de resultado antes da interveno. A ideia

que, se as trajetrias dos grupos so semelhantes no perodo pr-programa,
ento aumentam as chances de que a trajetria do grupo de controle aps o
programa represente bem a trajetria do grupo de tratamento na ausncia da
interveno. Neste caso, qualquer diferena entre os grupos que aparea aps
o programa pode ser interpretada como o impacto da interveno. Quando as
informaes disponveis cobrem um intervalo relativamente extenso antes do
programa, o teste de trajetrias iguais entre os grupos pr-programa passvel
de ser testada estatisticamente nos dados.
O mtodo denominado pareamento busca tornar o grupo tratado semelhante a
um grupo de no tratados, com base em um conjunto amplo de caractersticas
observadas dos indivduos. A hiptese que, ao levar em considerao essas
caractersticas, a varivel de resultado passa a independer da participao ou
no dos indivduos no programa ou seja, as variveis
e
tornam-se
independentes de T , fazendo com que o vis de autosseleo deixe de operar. Existem diversas maneiras de tornar os grupos de tratamento e controle
semelhantes em caractersticas observadas, sendo a mais utilizada conhecida
como mtodo do escore de propenso (MEP). Neste mtodo, assume-se que
a probabilidade de um indivduo participar do programa depende apenas de
um conjunto de caractersticas observadas, que esto disponveis nos dados
a serem utilizados pelo avaliador. Estimada essa probabilidade, o pareamento
dos grupos realizado em termos das semelhanas dessa probabilidade estimada. A ideia por trs do MPE que, quando a probabilidade de participao
similar entre os indivduos tratados e no tratados, os dois grupos tornam-se
comparveis, o que permite identificar o efeito causal da interveno. A hiptese de que apenas as caractersticas observveis so suficientes para contornar
o vis de autosseleo no passvel de ser testada diretamente nos dados.
Muitos programas e polticas definem sua populao-alvo com base em critrios que estabelecem valores de corte para quem pode ser ou no elegvel a
receber ou participar das aes da interveno. Por exemplo, o programa Bolsa-Famlia estabelece que somente a famlia cuja renda per capita est abaixo
de certa linha de corte pode receber a transferncia monetria prevista pelo
programa. Outro exemplo o programa de Jovens Aprendizes do governo federal, que fixa uma idade abaixo da qual um jovem estudante pode ser contratado com benefcio fiscal por uma empresa no Brasil. O mtodo denominado
regresso descontnua procura explorar a existncia desse tipo de descontinuidade nos critrios de elegibilidade dos programas para criar os grupos de
tratamento e controle. A ideia bsica que os indivduos no elegveis que
esto prximos linha de corte (por exemplo, acima dela) so comparveis
em caractersticas observveis e no observveis aos indivduos elegveis que
tambm esto prximos a essa linha (por exemplo, abaixo dela). Como a nica
diferena entre esses dois grupos de cada lado do valor de corte o fato de
um poder participar do programa e outro no, o problema de autosseleo

fica, pelo menos em princpio, resolvido. Assim, sob a hiptese de que no h
uma descontinuidade marcante na varivel de interesse em torno da linha de
corte para o grupo de no elegveis, a diferena nessa varivel entre os dois
grupos fornece o impacto do programa. Embora seja um mtodo que s pode
ser empregado para avaliar o impacto de intervenes que possuam linhas de
corte, ele considerado bastante consistente para estimar o efeito de programas nessa categoria, pelo menos para os indivduos que se situam em torno da
linha de corte estabelecida pelas regras dos programas.
O ltimo mtodo a ser apresentado nesta parte do livro o de variveis instrumentais. Trata-se de uma metodologia na qual se procura encontrar alguma
varivel (instrumento) que influencie a deciso de participar no programa e ao
mesmo tempo no seja correlacionada com as caractersticas no observadas
dos indivduos que afetam a varivel de resultado ou seja, uma varivel que
se correlacione com T, mas no com na equao (5). Como capaz de afetar
a participao no programa, mas no est correlacionada com as caractersticas no observadas, essa varivel corrige o problema de autosseleo, permitindo assim identificar o efeito causal de interesse. Naturalmente, a existncia
de uma varivel com essas caractersticas vai depender do contexto no qual o
programa est inserido e da disponibilidade dos dados. Ademais, tipicamente,
no possvel testar a validade da hiptese de que o instrumento no de fato
correlacionado com as caractersticas no observveis dos indivduos. De todo
modo, o mtodo de variveis instrumentais uma abordagem bastante geral
dentro da rea de econometria, sendo tambm bastante empregada na rea
de avaliao de impacto.
46
l Fundao Ita Social
Exerccios
1) Um jornal de grande circulao apresentou numa matria um grfico com a
srie histrica da incidncia de diarreia em crianas de certo municpio. O grfico mostrava que a incidncia de diarreia permanecia inalterada e a matria
dizia que o programa de saneamento do governo no teve nenhum impacto
sobre a doena. Essa afirmativa do jornal est correta? Por qu?
2) O prefeito de uma capital implantou um programa de alfabetizao de adultos no terceiro ano de seu mandato. No ano seguinte, em campanha eleitoral,
ele comparou a taxa de analfabetismo da sua cidade com a do interior do estado para mostrar que o programa era um sucesso. Seria o interior do estado
um bom grupo de controle para avaliar o programa implantado na capital?
Discuta.
3) Qual a mais importante funo do grupo de controle em uma avalio de
impacto?
4) Tipicamente, a escolha do curso universitrio uma deciso que envolve
uma anlise sobre as motivaes, interesses, aptides, os custos pessoais e financeiros de fazer o curso, alm de uma previso sobre a renda que a profisso
escolhida pode oferecer no futuro. Tomando o curso universitrio como um
programa (de treinamento), responda os seguintes itens:
a) Seria o rendimento do trabalho de pessoas com ensino superior
influenciado por caractersticas normalmente no observadas pelo avaliador?
Cite algumas dessas caractersticas.
b) A escolha por entrar em certo curso universitrio equivale deciso
de participar de certo programa. Seria essa deciso correlacionada com o rendimento futuro do trabalho dos formados?
c) Qual o principal tipo de problema que pode surgir se compararmos
diretamente os rendimentos do trabalho dos estudantes formados em diferentes cursos?
CAPTULO 3
Mtodo de
Aleatorizao
O principal problema da rea de avaliao encontrar um grupo de controle

que represente adequadamente o contrafatual do grupo tratado, ou seja, um
grupo de comparao que seja o mais prximo possvel do que teria ocorrido
com o grupo tratado caso este no tivesse recebido a interveno. Embora a
situao contrafatual no tenha como ser concretamente observada, ela pode
ser bastante bem aproximada pelo uso do mtodo de aleatorizao. Este mtodo, muitas vezes chamado de mtodo experimental, baseado na seleo
aleatria dos indivduos, famlias ou at mesmo comunidades inteiras que faro parte dos grupos de tratamento e controle.39 Quando bem implementado,
o mecanismo da aleatorizao fornece o balanceamento necessrio tanto das
caractersticas observadas quanto das no observadas das unidades que compem os dois grupos. Portanto, por construo, o mtodo permite criar uma
situao na qual no h correlao entre ser ou no tratado e os atributos das
unidades de observao. O problema do vis de autosseleo fica assim resolvido.
A avaliao aleatorizada utilizada em diversos campos, sendo considerado o
procedimento de referncia para se estabelecer causalidade e medir o impacto de vrios tipos de tratamento. Por exemplo, ele amplamente empregado
nas reas de medicina e farmacutica, em que medicaes e procedimentos
mdicos so avaliados com base na aleatorizao dos indivduos que recebero ou no o tratamento em avaliao. Na realidade, tamanha a importncia
do mtodo de aleatorizao que o seu uso obrigatrio para se comprovar a
efetividade (e a existncia de eventuais efeitos adversos) dos medicamentos
que os laboratrios farmacuticos pretendem disponibilizar para uso humano.
Alm de ser o padro-ouro para determinar a causalidade de um tratamento, o mtodo de aleatorizao tem outro apelo importante: sua simplicidade
O mtodo de aleatorizao recebe vrios nomes na literatura especializada, incluindo experimento social (controlado), experimento aleatrio, avaliao experimental, avaliao
aleatorizada ou mtodo experimental. Usaremos indistintamente essas denominaes ao
longo deste captulo e do livro.
de clculo. De fato, para obtermos o impacto da interveno com base nesse mtodo, basta subtrairmos a mdia da varivel de interesse do grupo de
tratamento da mdia correspondente calculada para o grupo de controle. Em
condies ideais, essa simples diferena de mdias fornece uma estimativa do
efeito causal do tratamento sobre os tratados. Esse atributo dos experimentos
sociais um atrativo importante, pois torna o mtodo mais transparente para
os gestores do programa e para o pblico em geral.
Contudo, apesar de suas diversas vantagens, o mtodo de aleatorizao no
est isento de problemas. Como veremos, a maior parte deles surge de situaes prticas que ocorrem aps a aleatorizao dos indivduos entre os grupos
experimentais. Os principais exemplos so o no comparecimento s atividades do programa por parte de uma parcela do grupo selecionado para o tratamento e a substituio da interveno por outros programas similares por
parte de uma frao do grupo de controle. Em ambos os casos, pode haver
uma mudana de composio das caractersticas entre grupos experimentais,
que foram selecionados a priori de forma aleatria, porm terminaram influenciados a posteriori por decises de participao ou no no programa em avaliao ou em similares. Problemas desse tipo podem causar vieses no negligenciveis na estimao do efeito que se pretendia isolar com o experimento
aleatrio.
Neste captulo, apresentaremos as principais propriedades do mtodo de aleatorizao, incluindo suas limitaes e possveis solues. Antes, porm, discutiremos um ponto importante existente na rea de avaliao de impacto, a
saber, a validade das concluses que podem ser inferidas a partir dos estudos
de avaliao.
3.1 Validade Interna e Validade Externa

A validade interna questiona se o desenho da avaliao identifica corretamente
o efeito causal de um programa. Quando um estudo possui validade interna,
seus resultados conseguem isolar o verdadeiro impacto do programa, isto ,
esto livres da influncia de outros fatores que no o prprio efeito da interveno. Quando bem realizadas, as avaliaes baseadas em experimentos
aleatrios criam um grupo de controle que estatisticamente equivalente ao
grupo de tratamento antes do incio do programa. Em situao ideal, qualquer
diferena observada entre os grupos aps a interveno atribuda ao efeito
causal do programa. Tem-se ento que a seleo aleatria dos grupos de tratamento e controle assegura a validade interna de uma avaliao. Ela garante
que os resultados da avaliao so vlidos dentro do contexto especfico daquela avaliao.
50
l Fundao Ita Social
J a validade externa a capacidade de estender os resultados para fora do contexto da avaliao. Em outras palavras, uma avaliao possui validade externa
se for possvel generalizar as estimativas do impacto do programa avaliado
para outras populaes e outros momentos no tempo. Uma forma de garantir
a validade externa dos resultados em certo ponto no tempo que a amostra
utilizada na avaliao seja representativa da populao-alvo do programa naquele momento. Normalmente, quando a amostra obtida por mtodos de
amostragem aleatria da populao-alvo, essa representatividade assegurada.
3.1.1 Validade Interna

A caracterstica bsica de um experimento aleatrio o uso de um mecanismo
que seleciona aleatoriamente os indivduos a participar ou no do programa.
Quando essa seleo aleatria feita de forma correta, cada indivduo pertencente ao conjunto de participantes potenciais tem a mesma probabilidade de
ser selecionado a participar da interveno, independentemente de suas caractersticas pessoais. Em outras palavras, quando o processo de aleatorizao
bem realizado, devemos esperar que os grupos de tratamento e controle sejam semelhantes tanto nas suas caractersticas observadas quanto nas no observadas. A nica diferena que se espera entre os dois grupos que o grupo
de tratamento participe do programa, ao passo que o de controle no passe
pela interveno.
A ideia de que deve haver um balanceamento de caractersticas entre os dois
grupos aleatorizados bastante natural. Para ver isso, considere uma situao
hipottica em que h 2000 indivduos elegveis para frequentar um programa
de treinamento bsico para o uso de planilhas eletrnicas em computadores.
Suponhamos que, nesse total de duas mil pessoas, 1200 (60%) sejam homens,
1000 (50%) tenham cabelo preto e 400 (20%) sejam hbeis com nmeros. Admita que esta ltima caracterstica seja difcil de medir e, nesse sentido, torna-se no observada para ns. O que deveramos esperar do balanceamento
dessas caractersticas, se os 2000 potenciais participantes fossem aleatorizados
em dois grupos com 1000 indivduos em cada? intuitivo esperar que cada
grupo fosse composto de aproximadamente 60% de homens, 50% de pessoas
de cabelo preto e 20% com habilidades com nmeros, ou seja, devemos esperar que os dois grupos sejam semelhantes entre si (e com o conjunto total de
indivduos).
Note que essa semelhana deve se dar tanto nas caractersticas observadas
(sexo e cor do cabelo) quanto nas no observadas (habilidade com nmeros,
no nosso exemplo). Isso importante, pois a aleatorizao que garante que,
em mdia, os dois grupos sejam similares em todas as dimenses. Na realidade,
essa equivalncia entre os grupos que permite utilizar o grupo de controle

como contrafatual para o grupo de tratamento. Esse o principal motivo que
faz com que o mtodo de aleatorizao seja considerado o padro-ouro de estudos de efeitos causais. Em muitas reas, inclusive, a validade interna de uma
avaliao de impacto s aceita se esta for baseada na aleatorizao dos que
vo ou no receber o tratamento que se quer estudar. Por exemplo, na rea de
farmacutica, os medicamentos s so autorizados para uso geral se os laboratrios conduzirem com sucesso um experimento em que o grupo que recebe
a medicao e o que no recebe (ou recebe um placebo) so selecionados de
forma aleatria.
3.1.2 Validade Externa

Sem a validade interna de uma avaliao, pouca utilidade ela ter para revelar
o verdadeiro efeito da interveno. No entanto, mesmo quando a validade interna est assegurada, pode ocorrer de a avaliao ter sido realizada para um
grupo de pessoas que no representativo da populao-alvo do programa.
Por exemplo, se a avaliao de um programa nacional foi feita somente para
uma localidade (bairro, cidade ou estado), no possvel generalizar os resultados da avaliao para o pas como um todo. Em casos como esses, no se
pode garantir a validade externa da avaliao, ou seja, os resultados no so
extensveis a outros grupos ou contextos.
A validade externa assegurada quando a amostra de indivduos que utilizada na avaliao representativa da populao de elegveis a receber o programa. Por exemplo, a avaliao de impacto de um programa de qualificao
profissional para jovens de ambos os sexos ter validade externa se a avaliao
for baseada numa amostra representativa desses grupos demogrficos. Naturalmente, se a amostra contiver indivduos adultos ou for formada somente por
homens, as concluses da avaliao no podem ser generalizadas para a toda
a populao-alvo do programa. No entanto, no basta que a amostra s contenha indivduos da populao-alvo; necessrio tambm que os indivduos da
amostra representem acuradamente essa populao.
Na prtica, a forma mais utilizada para garantir a representatividade de uma
amostra que ela seja uma amostra aleatria da populao que ela pretende representar.104 As mais importantes pesquisas socioeconmicas conduzidas
pelo IBGE e outros institutos oficiais de estatstica do mundo so baseadas em
Para tanto, ela dever ter sido escolhida com base em algum mtodo de amostragem. H
uma diversidade de mtodos para selecionar uma amostra aleatria de uma populao. Entre os mais empregados esto as amostragens simples e estratificada. Foge do escopo deste
livro um tratamento mais amplo dos mtodos de amostragem. Uma apresentao desses
mtodos pode ser encontrada no livro clssico de Cochran (1977).
10
52
l Fundao Ita Social
amostras aleatrias retiradas da populao dos pases. No caso de uma amostra para fins de avaliao de impacto de um programa, a representatividade
da populao de elegveis est assegurada se a amostra a ser empregada na
avaliao for escolhida de forma aleatria a partir dessa populao.
Note que a aleatorizao que garante a validade externa de uma avaliao no
assegura a validade interna dessa avaliao, e vice-versa. Se a avaliao utiliza
uma amostra aleatria da populao-alvo do programa, mas a participao no
tratamento no realizada atravs de aleatorizao, ento a amostra deve ser
representativa da populao de elegveis, porm os resultados da avaliao
podem no ter validade interna. Distintamente, caso a amostra no seja aleatria da populao-alvo, mas a participao no programa seja aleatorizada entre
os grupos de tratamento e controle, os impactos computados pela avaliao
sero internamente vlidos, porm no tero validade externa.
3.2 Custos da Aleatorizao

Durante as ltimas dcadas, o mtodo experimental vem sendo cada vez mais
utilizado em avaliaes de impacto de programas sociais. Esse crescimento
tem sido observado tanto em pases ricos quanto pobres, e tem coberto intervenes nas reas de educao, sade, treinamento profissional, pobreza,
entre outras.
Contudo, apesar desse crescimento, o mtodo de aleatorizao (ainda) est
longe de ser o predominantemente utilizado em avaliaes de impacto de programas sociais. Mas por que ele no o mais utilizado, visto que o nico que
garante com poucas hipteses a validade interna das avaliaes de impacto? A
resposta a essa pergunta reside em trs conjuntos de fatores: ticos, financeiros e tcnicos.
Muitos argumentam que no tico negar a participao em certo programa social com base num mecanismo de aleatorizao. Afinal, dizem os que se
opem ao mtodo, quando se trata de um programa social no eticamente
correto deixar pessoas fora do programa com base num simples lanamento
de moeda. Sem dvida, no se cogita utilizar aleatorizao para casos de intervenes de ampla escala (por exemplo, programas de vacinao), ou para
pblicos-alvo muito especficos (por exemplo, pessoas com algum tipo de deficincia). No entanto, h pelo menos duas situaes importantes em que esse
problema tico no se coloca.
A primeira, mais comum, ocorre quando existe escassez de vagas para atender
toda a demanda ou pblico-alvo do programa. Nessa situao, pode-se inclusive justificar o uso da aleatorizao como o critrio mais justo de alocao
das vagas existentes entre os candidatos ao programa. De fato, se pensarmos

bem, ao invs de utilizar o tradicional critrio de atendimento por ordem de
chegada, em muitas situaes pode ser mais correto oferecer as vagas disponveis garantindo a todos os elegveis a mesma probabilidade de acesso a elas.
Se, por exemplo, h escassez relativa de vagas e no se conhece bem onde os
elegveis moram, parece mais justo receber todas as inscries e selecionar os
participantes via um processo de aleatorizao por exemplo, retirando aleatoriamente os nomes de uma urna na presena dos inscritos do que oferecer
as vagas disponveis para os primeiros que chegarem ao local de inscrio. A
aleatorizao das vagas, nesse sentido, no recomendada para assegurar somente a validade interna da avaliao, mas tambm para garantir a igualdade
de oportunidade de acesso aos servios do programa.
A segunda situao na qual mais fcil eticamente utilizar o mtodo de aleatorizao ocorre quando os recursos do programa (financeiros, de pessoal ou
operacionais) so limitados e, apesar de se planejar atender toda a populao
-alvo ao final da implementao, s possvel incluir os elegveis ao longo do
tempo. Em casos como esse, ningum ser privado de participar do programa;
o que se aleatoriza somente a ordem com que os elegveis entram no programa. Ao longo do processo gradual de entrada no programa, os que ainda
no tiverem participado servem como grupo de controle para os que j foram
selecionados. Muitas vezes, essa aleatorizao gradual no realizada no nvel
indivduo ou famlia e sim em um nvel mais agregado como bairros, comunidades ou municpios. Um exemplo bastante conhecido de aleatorizao gradual foi o programa mexicano de transferncia condicional de renda, Progresa
(hoje em dia chamado Oportunidades), que teve a primeira parcela dos municpios considerados elegveis selecionados de forma aleatria pelos gestores
do programa.
Mas no s por razes ticas que os experimentos sociais no so realizados
com mais frequncia. Outro motivo importante que eles podem ser dispendiosos em relao ao oramento global do programa. Tipicamente, a avaliao
aleatorizada de um programa social requer a mobilizao de vrios recursos,
tais como o tempo dos gestores do programa, a contratao de pessoal tcnico e a realizao de pesquisas de campo com as unidades tratadas e de controle. Este ltimo componente requer o uso de questionrios especialmente
desenhados para a avaliao do programa em questo, que so geralmente
aplicados em dois momentos do tempo: o primeiro tipicamente no momento
da inscrio no programa e o segundo alguns meses aps o final da interveno. Normalmente, este componente que requer o maior volume de recursos
financeiros e, portanto, o que merece mais ateno no planejamento da avaliao. Assim, apesar de todas as vantagens do mtodo experimental, importante contrapor os benefcios e custos de sua aplicao vis--vis a de outros
mtodos.
54
l Fundao Ita Social
H tambm razes de natureza tcnica que dificultam o uso de experimentos

aleatrios. Entre as mais importantes esto: o no comparecimento ao programa de uma parcela dos indivduos do grupo de tratamento; a possibilidade de
que pelo menos parte do grupo de controle acabe encontrando uma maneira
de entrar no programa ou substitu-lo por um semelhante; e a perda de observaes por atrito amostral, isto , a perda das informaes sobre unidades
tratadas e de controle ao longo do tempo. Essas e outras dificuldades tcnicas
sero discutidas com mais detalhes na seo 3.4.
3.3 Como a Aleatorizao Resolve o

Problema de Autosseleo
Tipicamente, estamos interessados em estimar o efeito mdio do programa sobre os tratados (EMPT). Como vimos no captulo 2 (seo 2.3), esse parmetro,
que denotamos por D, expresso por:

(1)
ou seja, um parmetro que mede a mdia da varivel de resultado para a populao de tratados quando ela tratada subtrada da mdia da mesma varivel
para a mesma populao, porm na situao contrafatual de no tratamento.
Olhando para essa expresso, possvel perceber que a primeira mdia pode
ser calculada diretamente a partir de informaes para a populao de tratados. No caso de um experimento social, essa mdia fornecida pelos dados
coletados para o grupo de tratamento, o qual foi aleatoriamente selecionado
para participar do programa.
O grande problema como obter a segunda mdia da expresso (1), ou seja,
como encontrar a verdadeira mdia da varivel de interesse caso os tratados
no tivessem sido tratados. aqui que o mtodo de aleatorizao d a sua
maior contribuio, pois o grupo que foi aleatorizado para fora do programa
capaz de prover essa mdia. Especificamente, ao construir os grupos de tratamento e controle com base num mecanismo de aleatorizao, o experimento
social torna a varivel que indica tratamento, T, independente dos resultados
potenciais. Essa independncia se d por fora do prprio processo de aleatorizao. Assim, enquanto um grupo qualquer de indivduos no tratados fornece
um grupo de controle escolhido de forma aleatria assegura
que
Note que, ao garantir a validade desta
ltima igualdade, o experimento aleatrio consegue resolver o vis de autosseleo.
Podemos tambm utilizar equaes lineares tpicas dos modelos estimados

por Mnimos Quadrados Ordinrios (MQO) para entender como a aleatorizao
resolve o problema do vis de autosseleo. Considere a equao:

onde o termo aqui capta tanto as variveis observadas quanto as no observadas do indivduo i. Nessa equao, o parmetro deve captar o efeito do
programa e o vis de autosseleo aparece pela potencial correlao entre T
e . Essa correlao pode se dar porque a participao no programa correlacionada tanto com algumas caractersticas observadas quanto no observadas
das pessoas. Por exemplo, possvel que, quanto maior a motivao dos indivduos, maior a chance de participao num programa de treinamento de mo
de obra.
A expresso para a mdia condicional da equao (2) dada por:

O que a aleatorizao garante que a participao no programa independente das caractersticas observadas e no observadas dos indivduos, exatamente
como no exemplo da seo 2.1.1, em que os grupos de tratamento e controle
tm todos os atributos semelhantes. a gerao dessa independncia entre T
e que faz o mtodo de aleatorizao ser capaz de anular o vis de autosseleo. Em termos da equao (3), isso significa que a aleatorizao faz com que:

ou seja, garante o atendimento de uma das hipteses fundamentais (mdia
condicional zero do erro) para que o modelo de MQO gere um estimador no
-enviesado dos parmetros da regresso. Devido ao resultado da expresso (4),
podemos escrever que:

o que comprova que o mtodo isola corretamente o efeito de interesse. Note
que a estimao do efeito pode ser feita com base numa simples regresso de
MQO ou, como mostra a expresso (5), atravs do simples cmputo da diferena de duas mdias amostrais:
onde
repre-
sentam a varivel de resultado respectivamente para os indivduos tratados

e
indivduos no tratados. Essa simplicidade de clculo uma das grandes
5
vantagens do mtodo de aleatorizao.11
Em termos de inferncia, o teste de se o parmetro diferente de zero (o conhecido
teste-t) equivalente ao teste de diferenas de mdias. Este ltimo baseado na estatsti-
11
56
l Fundao Ita Social
Embora tenhamos incorporado as caractersticas observadas dos indivduos ao

termo na equao (2), possvel explicit-las no modelo sem produzir grandes alteraes nos resultados obtidos at agora. Considere ento a equao (2)
modificada pela introduo do vetor de caractersticas observadas X:
onde o primeiro elemento de X igual a um e um vetor de parmetros conforme a X. Se bem realizado, o experimento aleatrio assegura que:
oqueimplicaqueadiferena:
isola o parmetro de interesse.126
Um ponto adicional que, em princpio, a aleatorizao garante que tanto
as caractersticas observadas como as no observadas so balanceadas entre
os grupos de tratamento e controle. Ou seja, se os dados contm K diferentes caractersticas dos indivduos (sexo, idade, escolaridade, renda familiar,
entre outras), devemos esperar que a mdia de cada caracterstica
contida em
para o grupo de tratamento seja igual mdia da
mesma varivel para o grupo de controle. Formalmente, isso significa que
um resultado que pode ser tes7
tado com base nos dados coletados para os dois grupos experimentais.13
Na
realidade, sempre recomendvel testar o balanceamento das caractersticas
observadas entre os grupos, pois caso ocorra rejeio da hiptese de balanceamento para muitas variveis em X, h indicao de que o protocolo de aleatorizao no foi bem realizado, o que pode comprometer a acurcia com que os
efeitos do programa so estimados.
ca
onde
representa o desvio-padro da diferena de mdias. Como as
amostras dos grupos de tratamento e controle so independentes,
em
e
denotam o nmero de observaes das amostras dos dois grupos, respectique
vamente.
12
Embora a prova da afirmao a seguir esteja fora do escopo deste livro, vale assinalar que
o modelo expresso por (2) e (3) pelo menos to eficiente quanto o expresso por (2) e (3).
Em outras palavras, o parmetro pode ser estimado de forma mais precisa com a incluso
das caractersticas em no modelo (desde que os coeficientes em sejam diferentes de zero).
13
H vrias formas de se testar este resultado. Um das mais empregadas o teste para diferenas de mdias de amostras independentes. Esse teste bastante confivel quando a
aleatorizao dos grupos de tratamento e controle feita com base no mtodo de amostragem aleatria simples. Todavia, caso a aleatorizao dos grupos seja realizada de forma
estratificada exemplos tpicos de estratos so: escola, turma, clnica, bairro, etc. , no necessariamente esse o teste mais recomendado. Para maiores detalhes, ver Firpo et al. (2011).
comum que os programas sociais gerem efeitos distintos para diferentes grupos da populao. Por exemplo, programas de treinamento de mo de obra
tendem a mostrar impactos diferenciados entre mulheres e homens e entre
jovens e adultos. Tipicamente, a incorporao desse tipo de heterogeneidade
ao modelo importante, j que revela aos gestores para que grupos socioeconmicos o programa pode ser aperfeioado.
Caso o tamanho da amostra de indivduos nos grupos de tratamento e controle seja suficientemente grande, possvel estimar o impacto do programa
particionando a amostra entre os estratos para os quais se quer conhecer o
efeito. Por exemplo, se se quer conhecer o efeito de um programa de creche
gratuita para diferentes reas de um municpio, pode-se calcular a diferenas
de mdias da varivel de interesse (e.g., participao no mercado de trabalho
das mulheres) entre o grupo de tratamento e controle separadamente para
cada rea da cidade. Naturalmente, importante que a amostra para cada rea
da cidade seja relativamente grande, caso contrrio o impacto no ser precisamente medido.
Podemos tambm utilizar uma variante da equao (2) para computar impactos heterogneos de um programa para grupos formados pelas caractersticas
que aparecem no vetor X. Para operacionalizar essa estratgia, basta interagir
as variveis em X, para as quais temos interesse em medir separadamente o impacto do programa, com o indicador de tratamento T. Para verificar isso, suponha que queiramos medir o efeito mdio de uma interveno separadamente
para homens e mulheres, os quais so identificados na base de dados pela varivel binria
com 1 para mulheres e 0 para homens. Denotemos
por X* todas as variveis presentes em X que no
Se escrevermos:
o efeito do programa para as mulheres pode ser obtido por meio de:
e para os homens via:
Comparando as duas ltimas expresses, v-se que a potencial heterogeneidade de impacto entre os grupos de gnero dada pelo parmetro . A realizao
de um simples teste t para permite inferir se ele nulo ou no. Da mesma
forma que para , outras variveis presentes em X poderiam ser interagidas
com T para obtermos o impacto diferenciado do programa segundo essas caractersticas.
58
l Fundao Ita Social
3.4 Dificuldades Tcnicas da Aleatorizao

Apesar de os experimentos sociais apresentarem importantes vantagens sobre
outros mtodos de avaliao de impacto, eles no esto livres de problemas.
Na seo 3.2, abordamos os problemas de natureza tica e financeira que podem surgir para se implementar um experimento social. Nesta seo, discutiremos algumas dificuldades de natureza mais tcnica que, caso no sejam adequadamente tratadas, podem comprometer bastante a acurcia os resultados
obtidos.
Quatro so as principais dificuldades tcnicas que aparecem na realizao dos
experimentos aleatorizados. A primeira o no comparecimento de uma parcela dos indivduos selecionados para o grupo de tratamento para realizar o
programa. A segunda, muito frequente, a substituio do programa em avaliao por outros semelhantes por parte dos indivduos do grupo de controle.
A terceira dificuldade, chamada atrito amostral, tipicamente aparece quando
h coleta de dados em mais de um ponto do tempo e ocorre perda de observaes de um conjunto de indivduos da amostra entre perodos. A quarta
dificuldade surge quando o prprio programa gera externalidades para os no
tratados incluindo os membros do grupo de controle , o que pode distorcer
os efeitos computados.
No Comparecimento
Um dos problemas mais comuns de um experimento social aleatrio ocorre
quando, aps terem sido selecionados para participar do programa, alguns
indivduos do grupo de tratamento no aparecem de fato para realizar as
atividades previstas na interveno. O no comparecimento desse subgrupo
altera o grupo de tratamento, o que pode comprometer a identificao dos
impactos do programa, especialmente se a desistncia estiver associada com
caractersticas no observadas dos desistentes. Por exemplo, se os menos motivados entre os selecionados para o programa so os que no comparecem, a
composio do grupo de tratamento deixa de ser parecida com a do grupo de
controle nessa caracterstica. Assim, se motivao for um determinante importante da varivel de resultado (por exemplo, busca por emprego), a diferena
de composio que aparece a posteriori entre os dois grupos ir comprometer
o isolamento do que efetivamente o impacto do programa.
Uma forma de olhar para esse problema que ocorre uma distino entre a
oferta e a participao propriamente dita no programa. Essa distino, que
ocorre com vrios programas sociais e no somente com experimentos aleatorizados, pode criar uma diferena entre o impacto que os gestores intencionavam que o programa tivesse para o pblico elegvel em geral e o impacto
que de fato ocorreu para o pblico efetivamente tratado. Na realidade, essa

diferena de impactos tem sido amplamente discutida na literatura de avaliao de impacto e pode ser entendida dentro do arcabouo dos experimentos
aleatrios.
Suponhamos que os gestores de um programa de treinamento tenham aleatorizado a oferta de vagas entre os indivduos de uma comunidade. Seja Z uma
varivel binria que assume valor unitrio quando um indivduo aleatorizado
para o grupo de tratamento e valor zero quando a aleatorizao para o grupo
de controle. Caso uma frao dos que foram alocados para o grupo de tratamento no aparecerem para participar do curso, haver uma distino entre a
varivel Z e a varivel que identifica quem efetivamente compareceu, T. Assim,
se a estimao for realizada com base na diferena
no estaremos identificando o EMPT, mas sim outro parmetro, que recebe o
nome de efeito da inteno de tratar (EIT).143
Dada a frequncia com que o problema de desistncia ocorre, a estimao do
EIT pode ser to relevante quanto a do EMPT. De fato, enquanto o EMPT fornece o impacto somente para os tratados, o EIT informa os gestores sobre como
a disponibilidade do programa afeta em mdia a populao de elegveis. Isso
importante, j que, na prtica, o mximo que os gestores normalmente conseguem fazer oferecer o programa populao-alvo, no tendo como obrig-la
a frequent-lo.
Mas o no recebimento dos servios do programa por parte de uma parcela do
grupo de tratamento no impede que o mtodo de aleatorizao seja capaz de
identificar o efeito do programa. Se olharmos com cuidado a situao, possvel perceber que a varivel Z deve ser correlacionada com a varivel T, porm
no associada com qualquer determinante (observado ou no) da varivel de
resultado, Y. Isso permite utiliz-la como um instrumento no mtodo de variveis instrumentais, um tema que ser tratado com detalhes no captulo 6.
Substituio
O problema inverso tambm costuma ocorrer com os indivduos que compem
o grupo de controle. Idealmente, num experimento social, nenhum membro
desse grupo deveria receber os servios do programa ou de um substituto
prximo dele. Contudo, na prtica, no incomum que uma parcela do grupo acabe entrando no programa em avaliao ou em algum programa similar.
Quanto mais substituvel a interveno sendo avaliada, maior a possibilidade
de que os controles busquem um tratamento parecido em algum outro lugar.
Implicitamente, estamos assumindo que o efeito da interveno heterogneo entre as
pessoas. Naturalmente, na hiptese de que o efeito igual para todos, no haveria diferena
entre o EIT e o EMPT.
14
60
l Fundao Ita Social
A principal consequncia dessa substituio do programa que o grupo de

controle experimental deixa de corresponder ao contrafatual do estado no
tratamento. Como decorrncia, a mdia da varivel de resultado para o grupo
de controle,
deixa de fornecer a mdia que se buscava com o experimento aleatrio,
Com isso, a simples diferena das mdias
calculadas para os grupos de tratamento e controle experimentais no isola
mais o impacto do programa.154
Naturalmente, para se estimar o efeito causal da interveno nessa situao
de substituio do programa h que se recorrer a estratgias de identificao
alternativas. Como no caso do no comparecimento s atividades do programa por parte do grupo de tratamento, uma estratgia fazer uso da varivel Z
como instrumento quando h substituio do programa por parte dos controles. Essa estratgia de identificao ser discutida no captulo 6.
Outra possibilidade assumir que o efeito do programa substituto para os controles que dele participam igual ao efeito do programa em avaliao para os
efetivamente tratados (Heckman et al., 1999). Se
representa respectivamente as situaes em que um indivduo do grupo de controle recebe um
tratamento alternativo e no recebe tratamento nenhum, essa hiptese pode
ser expressa por:
onde
representaria a varivel de resultado no caso do recebimento do
tratamento alternativo ao em avaliao. Trata-se claramente de uma hiptese forte, cuja invocao requereria uma anlise cuidadosa dos contedos das
duas intervenes em questo.
Atrito
Em quase todas as pesquisas que coletam dados de campo em mais de um
momento do tempo h perda de informaes sobre alguns indivduos que no
so encontrados nos perodos subsequentes ao primeiro. H diversos motivos
que levam ao aparecimento desse atrito amostral, mas muitos deles so no
-aleatrios, ou seja, podem estar relacionados s caractersticas (no observadas) dos indivduos ou ao impacto de interesse. Normalmente, quando o atrito
no aleatrio, a estimao do efeito causal do programa por meio da comparao entre tratados e controles torna-se potencialmente enviesada.
A apario desse tipo de vis mais provvel quando a taxa de atrito difere
entre o grupo de tratamento e o grupo de controle. Na prtica, essa a situao
Novamente, sob a hiptese de que o efeito do programa homogneo para todos, essa
diferena identificar o impacto do programa.
15
mais comum, com a taxa do grupo de controle sendo tipicamente mais elevada que a do grupo de tratamento. Muitas vezes, a negao do programa aos
controles gera uma reao de recusa por parte deles em fornecer informaes
aos entrevistadores do programa. Em alguns casos, os controles, quando se
veem na situao de no encontrar um programa alternativo perto de onde
moram, se mudam para outras localidades, tornando mais difcil a coleta subsequente de informaes.
Como j mencionado, sempre boa prtica comparar as caractersticas observadas dos grupos de tratamento e controle, antes e aps o tratamento. Essa
comparao pode ser particularmente informativa quando a taxa de atrito
substancial, pois, se aparecerem diferenas marcantes entre os dois grupos nas
caractersticas observadas, provvel que o atrito tenha alterado tambm a
composio dos atributos no observados entre os grupos. Tipicamente, a resoluo do problema do vis de atrito amostral requer o uso complementar de
hipteses comuns aos mtodos no experimentais.165
Externalidades
Alm das limitaes acima apontadas, os experimentos aleatrios tambm podem estar associados a dois outros tipos de problemas. O primeiro um efeito
de transbordamento do programa sobre o grupo de controle, ou seja, uma externalidade (positiva ou negativa) que gerada pelo prprio tratamento sobre a varivel de resultado do grupo de controle. Por exemplo, se os grupos
de tratamento e controle de um programa de combate obesidade infantil
so escolhidos aleatoriamente dentro das escolas, provvel que o tratamento
acabe afetando indiretamente o grupo de controle, j que as crianas tratadas podem influenciar o comportamento alimentar das crianas do grupo de
controle (dentro ou fora da escola). Em casos como esse, mais recomendado
realizar a aleatorizao dos grupos experimentais entre escolas, preferencialmente guardando certa distncia entre as selecionadas para cada grupo. Esse
tipo de cuidado deve ser sempre tomado com intervenes de sade, educacionais, alimentares, entre outras, em que podem ocorrer externalidades devido ao contato fsico ou de comunicao dos indivduos tratados com os no
tratados. 176
Uma forma comumente utilizada especificar uma equao dos determinantes do atrito
amostral e estim-la conjuntamente com a equao da varivel de resultado. Geralmente,
esse procedimento realizado utilizando-se variveis instrumentais, um mtodo que ser
apresentado no captulo 6. O leitor mais interessado encontrar em Grasdal (2001) uma discusso sobre esse procedimento no contexto de avaliao de impacto. Duflo et al. (2008)
prov uma apresentao do problema de atrito amostral no contexto de experimentos aleatrios.
17
H algumas tcnicas para averiguar a existncia de efeitos de transbordamento para fora
do grupo de tratados. Uma delas, utilizada num estudo sobre os efeitos de um programa de
16
62
l Fundao Ita Social
Finalmente, o ltimo problema que precisa ser levado em considerao a

ocorrncia de efeitos de equilbrio geral, isto , efeitos que o programa pode
ter sobre o funcionamento da economia do local onde ele ocorre. Esses efeitos so mais comuns quando a escala do programa grande relativamente
ao tamanho da economia. Por exemplo, o programa Bolsa-Famlia atende uma
proporo que pode chegar a quase 90% da populao de vrios municpios
pequenos no Brasil. Em municipalidades como essas, as transferncias de renda s famlias beneficiadas pelo programa pode gerar um impacto significativo
sobre a demanda por diversos bens e servios dessas localidades, resultando
em mudanas de preos e salrios. Esse tipo de efeito agregado da interveno
tende a alterar o prprio estado do contrafatual de no tratamento, tipicamente concebido para uma situao na qual no h mudanas na economia decorrentes do prprio programa. Os efeitos de equilbrio geral podem provocar
uma reao dos agentes sobre suas decises futuras em relao varivel de
interesse, pelo menos no longo prazo. Por exemplo, um amplo programa de
concesso de bolsas de estudos universitrias pode ter efeito positivo sobre a
entrada dos beneficirios na universidade. No entanto, devido a sua escala, o
programa tambm tende a alterar o retorno educao superior, o que pode
afetar as decises das pessoas de fazer curso superior no futuro.
A maior parte das avaliaes de impacto no leva em conta esse tipo de efeitos
indiretos do programa na economia e nas decises dos agentes. Essa prtica
no recomendada, especialmente nos casos de intervenes de larga escala.
A forma tpica de resolver esse problema lanar mo de um modelo estrutural geral que incorpore de forma explcita o comportamento dos agentes. Aps
a estimao dos parmetros do modelo inclusive o referente ao impacto do
programa , possvel simul-lo para conhecer os efeitos diretos e indiretos da
interveno.
aplicao de drogas de combate a vermes em escolas do Qunia (Miguel e Kremer, 2004),

faz uso de diferentes nveis de exposio ao tratamento para analisar as externalidades (positivas) do programa nas localidades prximas s escolas. Ver Duflo et al. (2008) para uma
apresentao de outras tcnicas para estudar a presena de externalidades de intervenes
avaliadas pelo mtodo de aleatorizao.
Box 1: Avaliao Experimental do Planfor

Lanado em 1995 pelo governo federal, o
Plano Nacional de Formao Profissional
(Planfor) foi um programa de qualificao
que ofereceu cursos de treinamento profissional para uma variedade de ocupaes
tais como garom, cabeleireiro, vendedor,
eletricista, costureiro etc. Os principais objetivos do programa eram aumentar a empregabilidade e a capacidade de gerao
de renda dos trabalhadores da sua populao-alvo, que era prioritariamente formada
de desempregados e pessoas em situao
de desvantagem social. A inscrio no programa era voluntria e os cursos costumavam durar entre 30 e 60 dias, em geral com
uma carga horria de 60 horas por ms. Os
servios de treinamento eram basicamente
providos por escolas especializadas, universidades, sindicatos e organizaes no governamentais.
Em 1998, o Planfor passou por uma avaliao de impacto realizada com base no mtodo de aleatorizao. Especificamente, foram avaliados os cursos oferecidos no ms
de setembro de 1998 nas regies metropolitanas do Rio de Janeiro e de Fortaleza. Na
inscrio para os cursos, os indivduos responderam um questionrio normalmente chamado de linha de base com uma
srie de perguntas sobre suas condies socioeconmicas e de trabalho. Como houve
excesso de demanda, os grupos de tratamento e controle foram formados pela aleatorizao dos inscritos nos diversos cursos
oferecidos em cada regio. Em novembro
de 1999, um segundo questionrio foi aplicado aos indivduos de ambos os grupos
normalmente chamado de acompanhamento (ou follow-up) que puderam ser
encontrados cerca de um ano depois do incio dos cursos. Novamente, perguntas sobre
a situao de trabalho foram levantadas no

segundo questionrio. Apesar da ocorrncia
de atrito (isto , perda de observaes entre
a linha de base e o follow-up), as amostras
finais permaneceram grandes, com a do Rio
de Janeiro contendo 2256 indivduos (1201
tratados) e a de Fortaleza, 2517 (1210 tratados).
A Tabela B.1 contm as estimativas do impacto do Planfor separadamente para cada
regio metropolitana (Ipea e Cedeplar,
2000). As variveis de resultado so a proporo de ocupados e a taxa de desemprego. As estimativas para cada grupo experimental esto apresentadas em termos das
diferenas nessas variveis entre os perodos anterior e posterior aos cursos. O impacto calculado simplesmente pela subtrao
dessas diferenas entre os dois grupos, ou
seja, pelo procedimento conhecido por diferenas em diferenas, a ser tratado em detalhes no captulo 4.
Os resultados mostram que o programa parece ter tido um impacto positivo em termos de ocupao em ambas as regies. Especificamente, vemos que a proporo de
ocupados aumentou mais entre os tratados do que entre os controles tanto no Rio
de Janeiro quanto em Fortaleza, gerando
um impacto positivo de cerca de 2 pontos
de percentagem (pp) na primeira regio e
de aproximadamente 3 pp na segunda. No
caso da taxa de desemprego, as estimativas
indicam que o programa s foi capaz de reduzir essa taxa no Rio de Janeiro. De fato, em
Fortaleza, embora a estimativa pontual do
impacto seja na direo de aumento da taxa
de desemprego, do ponto de vista estatstico o efeito pode ser considerado nulo, pelo
menos ao nvel de significncia de 10%.
Tabela B.1: Estimativas do Impacto do Planfor para Rio de Janeiro e Fortaleza

Rio de Janeiro
Fortaleza
Fonte: Ipea e Cedeplar (2000).

Nota: Os nmeros entre parnteses correspondem aos erros-padro calculados para as amostras de cada
grupo experimental e regio metropolitana. Os nmero entre colchetes referem-se aos p-valores reportados
para as estimativas do impacto do programa.
64
l Fundao Ita Social
Box 2: Impacto das Creches Pblicas no Rio de Janeiro sobre

a Participao das Mulheres no Mercado de Trabalho
Na cidade do Rio de Janeiro, existe um
conjunto amplo de creches que recebem
algum financiamento do governo para funcionar. Espera-se que as creches tenham
efeitos positivos tanto no desenvolvimento das crianas quanto na insero das suas
mes no mercado de trabalho. As evidncias mostram que um desenvolvimento
adequado na primeira infncia tem efeitos
cognitivos e no-cognitivos positivos, com
repercusses de longo prazo para as pessoas na fase juvenil e adulta. A liberao de
tempo que as creches propiciam para um
maior engajamento das mes com o mercado de trabalho tambm considerada
importante, especialmente para as famlias
de baixa renda.
Em 2007, utilizou-se um mecanismo de
loteria na cidade do Rio de Janeiro para
selecionar entre as 25 mil famlias candidatas s 10 mil vagas a serem oferecidas
nas creches municipais com financiamento
pblico no ano de 2008. Explorando essa
aleatorizao, uma pesquisa foi realizada
com cerca de 3800 famlias entre junho e
outubro de 2008 para levantar uma srie
de informaes sobre a situao de trabalho das mulheres. Metade dessas famlias
tinha sido selecionada aleatoriamente
para fazer parte do grupo de tratamento e
a outra metade para o grupo de controle.
Na prtica, no entanto, ocorreram os problemas de no comparecimento por parte
das famlias do grupo de tratamento e de
substituio do programa pelas famlias do
grupo de controle. Especificamente, 94%
das crianas do grupo de tratamento entraram de fato nas creches cobertas pelo programa, ao passo que 51% das crianas do
grupo de controle acabaram conseguindo
vagas nesse mesmo conjunto de creches.
Como mencionado no texto, a existncia
desses problemas requer o uso de mtodos
complementares ao proposto pelo mtodo
de aleatorizao. Em Barros et al. (2011),

empregou-se o procedimento de variveis
instrumentais a ser discutido no captulo
6 para se estimar um parmetro conhecido como efeito mdio local do tratamento
(EMLT). Sendo Y a varivel de resultado,
T uma varivel binria que indica se uma
mulher pertence ao grupo de tratamento
ou controle ( T = 1 ou 0, respectivamente)
e Z uma varivel tambm binria que marca quais mulheres efetivamente tiveram ou
no seus filhos matriculados nas creches (Z
= 1 ou 0, respectivamente), o estudo citado
estimou o seguinte parmetro:
EMLT=
E[Y|T=1]_ E[Y|T=0]
P[Z=1|T=1]_ P[Z=1|T=0]
Em linhas gerais, esse parmetro pode ser

interpretado como efeito do programa que
seria estimado pelo mtodo de aleatorizao (o numerador) corrigido para o fato
de que nem todos os tratados e controles
cumpriram o que a seleo aleatria determinou (o denominador). Note que essa
correo dada pela diferena entre os 94%
das mulheres do grupo de tratamento que
tiveram seus filhos efetivamente tratados (o
P[Z = 1|T = 1] do denominador) e os 51%
das mulheres do grupo de controle que
descumpriram o determinado pela loteria e
conseguiram colocar seus filhos nas creches
do programa (o P[Z = 1|T = 0] do denominador).
As estimativas do impacto do programa
indicam aumentos relativos de 8% na taxa
de participao das mulheres no mercado
de trabalho (de 74% para 79%) e de 27% na
proporo de ocupadas (de 36% para 46%).
A interveno parece tambm ter reduzido
a taxa de desemprego das mulheres em
16% (de 50% para 42%).
Exerccios
1) Um governo estadual est atualmente planejando realizar programa de reduo do analfabetismo e quer que uma avaliao seja realizada para medir
os impactos do programa. Assinale se as assertivas abaixo so verdadeiras ou
falsas e explique sua resposta.
a) Se esse governo utilizar apenas os dados da Pesquisa Nacional por
Amostra de Domiclios (PNAD) que uma pesquisa com uma amostra aleatria realizada pelo IBGE em todo o territrio nacional para avaliar o programa,
os resultados asseguraro a validade interna do estudo.
b) A validade externa da avaliao estar garantida se houver a aleatorizao dos servios do programa (por exemplo, entre os municpios do estado).
c) Qual o principal tipo de problema que pode surgir se compararmos
diretamente os rendimentos do trabalho dos estudantes formados em diferentes cursos?
2) Uma entidade que recebe verba pblica presta servios de treinamento de
mo de obra para trabalhadores de baixa renda num certo municpio. Para selecionar os beneficiados pelo programa, a entidade utiliza o critrio do primeiro a chegar ao local da inscrio. Um dia, um gestor decidiu tabular as informaes das fichas de inscrio para o programa nessa entidade e descobriu que
cerca de 80% dos beneficiados morava no mesmo bairro do local da inscrio.
O gestor tambm observou que as caractersticas socioeconmicas dos inscritos no diferiam muito entre si. Baseado apenas na ideia de igualdade de
oportunidade para participar do programa, voc proporia alguma mudana de
critrio de seleo dos beneficiados? Pensando agora somente em termos de
avaliao de impacto do programa, voc proporia utilizar um critrio baseado
na seleo aleatria dos inscritos? Desenvolva suas respostas.
3) Em laboratrios de fsica, biologia e reas cientficas afins, muito comum
a realizao de experimentos controlados, ou seja, experimentos nos quais
o pesquisador tem ampla capacidade de controlar as variveis que afetam o
objeto de estudo. Nas cincias sociais, entretanto, no to fcil realizar experimentos desse tipo. Discuta pelo menos duas razes (tcnicas ou no) que
dificultam a realizao de experimentos aleatrios na rea de avaliao de programas sociais.
4) Em uma avaliao de impacto aleatorizada de um programa de reforo escolar, descobriu-se que 10% dos alunos do grupo de tratamento desistiram do
programa. Ao analisar as informaes disponveis, os avaliadores observaram
66
l Fundao Ita Social
que esses alunos que no compareceram tinham histricos escolares piores

que os demais.

a) Voc trataria essa informao como uma evidncia de que h caractersticas no observadas dos alunos que influenciaram na desistncia do
programa?

b) A diferena entre o grupo que foi aleatorizado para participar e o
que efetivamente participou no impede o uso do experimento para estimar o
impacto do programa. Discuta o efeito causal que poderia ser estimado nessa
situao.

c) Distintamente, se a situao fosse que 10% dos indivduos do grupo
de controle substituram o programa por outros similares, o experimento aleatrio estaria invalidado para se estimar o impacto do programa? Explique.
CAPTULO 4
Diferenas
em Diferenas
Como vimos nos captulos anteriores, os mtodos de avaliao de impacto so

geralmente divididos em dois grupos: experimental e no-experimental. O primeiro, apresentado no captulo anterior, baseado na seleo aleatria dos
participantes e no participantes do programa e considerado o mtodo de
referncia na rea de avaliao. O segundo grupo composto por uma variedade de mtodos distintos que, embora faam uso de hipteses especficas
para identificar o efeito causal do programa, procuram mimetizar o mtodo
experimental. Os prximos captulos sero dedicados aos principais mtodos
no-experimentais utilizados na rea de avaliao de impacto. Neste captulo,
discutiremos um dos mais empregados dentre eles, o chamado mtodo das
diferenas em diferenas (DD).
Como sugere o seu nome, o mtodo de DD baseado no clculo de uma dupla
subtrao: a primeira se refere diferena das mdias da varivel de resultado
entre os perodos anterior e posterior ao programa, para o grupo de tratamento e para o de controle, e a segunda se refere diferena da primeira diferena
calculada entre esses dois grupos. Naturalmente, a operacionalizao do mtodo requer a existncia de informaes para ambos os grupos para pelo menos
um perodo de tempo antes e um perodo depois do programa. Embora essa
demanda por dados torne a aplicao do procedimento mais custosa, o mtodo possui uma srie de vantagens relativamente a outros mtodos no-experimentais. Em particular, como veremos, ele capaz de lidar com o vis de seleo associado a certo tipo de caractersticas no observveis dos indivduos,
especificamente quelas que so invariantes no tempo.
A aplicabilidade do procedimento de DD ampla e ele tem sido utilizado isoladamente ou em combinao com outros mtodos em diversas situaes.183
Muitas vezes, ele empregado no contexto do que se chama experimento natural (ou quase-experimento) uma situao na qual a ocorrncia de um evento
fortuito ou em larga medida imprevisto permite formar grupos de trataPor exemplo, no captulo 5, apresentaremos como o mtodo de pareamento combinado com o mtodo de DD.
18
mento e controle parecidos em diversos aspectos. Esses eventos podem ter

origem em mudanas que ocorrem na prpria natureza (por exemplo, terremotos e furaces), alteraes institucionais (modificaes inesperadas em leis
ou programas em algum municpio ou estado) ou at mesmo na seleo dos
participantes que ocorre devido a circunstncias que envolvem um alto grau
de aleatoriedade.194 Qualquer que seja o caso, a ideia que a fortuidade do
evento permita criar uma seleo dos indivduos ou unidades de observao
que comporo os grupos de tratamento e controle prxima daquela do mtodo experimental.205 No entanto, mesmo que o evento gerador parea fortuito, no h garantias de que o grupo de controle seja uma boa representao
contrafatual do grupo tratado. O mtodo de DD procura resolver isso levando
em considerao as diferenas de caractersticas pr-existentes entre tratados
e controles. Essa caracterstica torna o mtodo de DD empregvel no s em
casos de experimentos naturais, mas em diversos outros contextos onde haja
disponibilidade de informaes pr e ps-programa para os dois grupos. Neste
captulo, a menos que explicitamente mencionado, no distinguiremos se o
procedimento de DD est sendo aplicado num contexto de experimento aleatrio, natural ou outra situao em que as condies demandadas pelo mtodo so atendidas.
A principal hiptese do mtodo de DD que a trajetria temporal da varivel
de resultado para o grupo de controle represente o que ocorreria com o grupo tratado caso no houvesse a interveno. Naturalmente, essa hiptese no
pode ser testada diretamente nos dados, mas uma indicao de sua validade
aparece quando as trajetrias dos dois grupos so parecidas pr-programa. A
ideia bsica que, se as trajetrias se assemelham durante o perodo antes do
programa, ento parece razovel supor que a evoluo do grupo de controle
aps o programa represente com fidedignidade o que ocorreria com o grupo
de tratados na situao de no tratamento. Assim, quando existem dados para
vrios perodos de tempo pr-programa, tipicamente testa-se se as sries da
varivel de resultado para os dois grupos possuem a mesma tendncia temporal. Embora este no seja um teste cabal da hiptese, ele bastante intuitivo e
pode ser realizado com facilidade.
Um exemplo interessante dessa ltima situao o estudo de Braido et al. (2012), que
avaliou os efeitos do programa brasileiro Bolsa-Alimentao sobre o padro de consumo
dos domiclios. Por conta de uma incompatibilidade temporria dos softwares utilizados
nos sistemas de recrutamento e seleo de beneficirios do programa, um conjunto de domiclios acabou no sendo selecionado devido presena de letras nos nomes de membros
dos domiclios que tivessem acentos, til ou cedilha. Dada a abrangncia com que essas letras
aparecem nos nomes das pessoas no Brasil, esse equvoco, que foi no intencional, constitui
um mecanismo fortuito de seleo ao programa. Esse experimento natural permitiu aos
autores construir grupos de tratamento e controle muito prximos aos de experimentos
aleatrios.
20
Vale observar que o mtodo de DD tambm utilizado com experimentos puramente
aleatrios, sempre que estes levantam informaes para os perodos pr e ps-interveno.
19
70
l Fundao Ita Social
O procedimento de DD pode ser utilizado com dados de indivduos/famlias,

mas tambm com dados em nveis mais agregados, por exemplo, setores de
atividade, ocupaes, municpios ou estados. Por exemplo, se certa UF implementou um programa de educao ou sade num determinado ano, possvel empregar o mtodo para avaliar o impacto desse programa comparando
os dados agregados (por exemplo, frequncia escolar ou incidncia de uma
doena) da UF tratada com os dados de um conjunto de UFs no tratadas. Sua
aplicabilidade com dados agregados uma importante vantagem do mtodo
de DD, pois permite que o impacto de uma srie de intervenes possam ser
avaliadas apenas com base em informaes rotineiramente coletadas por governos e institutos de pesquisa e estatstica.
Outra importante vantagem do mtodo de DD que ele permite controlar para
caractersticas no observveis dos indivduos que sejam invariantes no tempo
(por exemplo, habilidades inatas). Como vimos em captulos anteriores, os atributos no observados dos indivduos so uma fonte potencial de gerao de vis
de autosseleo. Embora o mtodo de DD s consiga levar em conta esse tipo
de atributo que fixo no tempo, esse controle capaz de resolver o problema de
autosseleo para um conjunto amplo de aplicaes. Essa capacidade confere
ao DD uma vantagem relativa a outros mtodos no-experimentais, por exemplo, o mtodo do emparelhamento, que no consegue controlar para vieses de
autosseleo decorrentes de atributos no observveis, fixos ou no no tempo.
4.1 Comparando com os Mtodos

Ingnuos
Em uma avaliao de impacto sempre se busca encontrar o contrafatual para
o grupo tratado, ou seja, o que teria ocorrido a esse grupo na ausncia da interveno. No captulo 2 (sees 2.1 e 2.2), vimos dois mtodos ingnuos de
identificar o impacto do programa, a saber: (i) quando apenas se compara o
grupo de tratados antes e depois da interveno e (ii) quando se compara o
grupo de tratados com um grupo qualquer de no tratados aps a interveno.
A primeira forma de identificao no possui um grupo de controle explcito e
s consegue isolar o impacto do programa sob a hiptese de que o nico fator
que afeta a varivel de resultado do grupo de tratados a prpria interveno.
Obviamente, trata-se de uma hiptese forte, j que sempre h um conjunto
de fatores que podem influenciar a trajetria dessa varivel alm da prpria
interveno. A segunda forma de identificao utiliza um grupo de controle
explicitamente, mas s consegue isolar o efeito do programa sob a hiptese
de que esse grupo representa corretamente o que teria ocorrido com o grupo
tratado na ausncia do programa. Novamente, trata-se de uma suposio forte,
uma vez que parte da diferena na varivel de resultado entre os dois grupos
pode se dever existncia de diferentes caractersticas entre os grupos. Esse
problema torna-se particularmente srio quando essas caractersticas no so
observadas (ou medidas) pelo avaliador.
O mtodo de diferenas em diferenas (DD) busca contornar os problemas dessas duas formas de identificar o impacto de um programa. Em relao primeira, ao invs de simplesmente contrastar o grupo de tratamento com ele mesmo
antes e depois do programa, o mtodo de DD vai buscar um grupo de comparao que se parea ao mximo com o grupo tratado. A ideia que esse grupo
esteja sujeito s mesmas influncias dos fatores que afetam a varivel de resultado dos tratados, ou seja, que esse grupo funcione como um grupo de controle
semelhante ao que se constri a partir de experimentos aleatrios. Obviamente, sem aleatorizao, no h garantias de que a nica diferena entre os grupos a participao no programa, mas o mtodo de DD, assim como os demais
mtodos no-experimentais, busca mimetizar a situao de aleatorizao. Uma
caracterstica do mtodo de DD que ajuda nesse processo que ele capaz de
levar em conta uma das principais fontes de diferena entre tratados e controles: as caractersticas no observveis dos indivduos que so invariantes no
tempo. Nesse sentido, ele um avano em relao ao mtodo que simplesmente contrasta o grupo de tratamento com um grupo de indivduos no tratados.
4.2 Hipteses Bsicas

Para identificar o efeito causal de uma interveno, o mtodo de DD lana mo
de um conjunto de hipteses. Idealmente, o mtodo quer encontrar um grupo
de indivduos (ou unidades mais agregadas de observao, como municpios
ou estados) para os quais a evoluo da varivel de resultado corresponda
trajetria dessa varivel para o grupo tratado na ausncia do programa. Naturalmente, essa uma condio no diretamente testvel pelos dados: a despeito da quantidade ou qualidade das informaes disponveis, no possvel
saber se a evoluo da varivel de resultados para o grupo de controle representa bem o contrafatual dessa varivel para o grupo tratado aps o programa.
Mas o fato de essa hiptese no ser diretamente passvel de confirmao emprica no significa que os dados no possam ser utilizados para revelar algo
sobre sua validade. De fato, sempre que possvel, a verificao da hiptese
feita de forma indireta atravs de um teste que requer que a tendncia temporal da varivel de resultado dos dois grupos seja a mesma antes do programa.
A ideia que uma trajetria temporal semelhante indica que ambos os grupos
vinham reagindo de forma similar a todo e qualquer fator que afeta a varivel
de resultado antes da interveno. Supe-se ento que, na ausncia da inter-
72
l Fundao Ita Social
veno, essa trajetria continuaria ao longo do tempo para o grupo tratado

aps o programa tal como ela efetivamente segue para o grupo de controle.
Note que a condio que os grupos tenham a mesma tendncia temporal,
mas no necessrio que eles partam exatamente do mesmo ponto antes do
programa: o mtodo de DD capaz de lidar com diferenas existentes entre os
grupos pr-programa. Se a condio de mesma tendncia atendida, ento
desvios na trajetria da varivel de resultado entre os grupos aps o programa
so atribudos aos efeitos causais da interveno.
Caso haja disponibilidade de dados para vrios pontos no tempo antes da interveno, o teste de mesma trajetria temporal para os dois grupos pode ser
facilmente realizado. Naturalmente, esse teste s pode ser feito com base nos
dados do perodo pr-programa, j que as trajetrias dos grupos podem dife6
rir por causa dos efeitos do programa logo aps o incio deste.21
Vale ressaltar
que, embora a existncia de uma mesma tendncia temporal pr-programa
no garanta que o grupo de controle um bom contrafatual para o grupo tratado, recomendvel que o teste seja realizado sempre que possvel. De fato,
caso a hiptese de mesma tendncia no seja rejeitada, o teste confere maior
credibilidade ao grupo de controle como um contrafatual adequado para o
grupo tratado.
O mtodo de DD pode ser utilizado tanto com dados de painel quanto com
dados seccionais (cross-section) repetidos no tempo. Os primeiros tipicamente
referem-se a informaes de indivduos ou famlias que so seguidos ao longo
do tempo, enquanto os segundos so dados temporais calculados para unidades mais agregadas tais como escolas, hospitais, setores de atividade, bairros,
municpios ou estados. A agregao dos dados normalmente feita de termos
de propores ou mdias das variveis de interesse para a avaliao. J os momentos no tempo geralmente so meses ou anos.227
A despeito do tipo de dados, outra hiptese do mtodo de DD que a compoEm alguns casos, podem ocorrer efeitos antecipatrios do programa, isto , mudanas
no comportamento do grupo de tratamento ou controle antes mesmo do comeo da interveno. Por exemplo, quando as notcias da introduo de uma poltica ou programa
vm a pblico com alguma antecedncia, certas decises dos indivduos tratados ou de
controle podem se alterar modificando as trajetrias da varivel de resultado pr-programa.
Em casos como esses, a verificao da existncia de tendncias semelhantes no perodo pr
-programa pode ser realizada retirando-se os dados mais prximos do incio da interveno.
22
Proposto por Abadie et al. (2010) para contextos em que a unidade de tratamento agregada, h um mtodo recente que um pouco mais geral que o de DD. Nele, busca-se de
forma flexvel um conjunto de unidades agregadas no tratadas para o qual a trajetria da
mdia da varivel de resultado seja a mais prxima possvel (segundo certo critrio) da trajetria da unidade tratada antes do programa. Em linhas gerais, o mtodo procura um vetor
de pesos para unidades no tratadas que as aproxime ao mximo do que ocorreu com a
unidade tratada pr-interveno.
21
sio dos grupos de tratamento ou controle no se altere de forma significativa

entre os perodos anterior e posterior interveno. Por exemplo, quando as
informaes so de painel, possvel que tenha ocorrido atrito amostral no
aleatrio com o grupo de tratamento ou controle (ou ambos). O impacto do
programa pode ser mal identificado pelo mtodo de DD nesse caso, j que as
diferenas na varivel de resultado entre perodos de tempo e entre grupos
podem refletir no apenas o efeito do tratamento, mas tambm mudanas nas
caractersticas no observadas dos indivduos. De forma semelhante, quando
os dados so de cross-sections repetidas, as unidades de observao deveriam
manter, pelo menos aproximadamente, a mesma composio de caractersticas das subunidades (indivduos, firmas etc.) que as compem. Por exemplo,
quando se est comparando uma regio tratada (digamos, certas reas de uma
cidade) com regies no tratadas (outras reas da cidade), se estiver ocorrendo
um esvaziamento de pessoas de um dos dois tipos de reas, provvel que a
distribuio das caractersticas observveis e no observveis esteja mudando
em um ou ambos os tipos de rea. Parte ento do que o mtodo atribuir ao
efeito do tratamento na realidade pode se dever s mudanas de composio
dos grupos.
Outra condio requerida pelo mtodo de DD que os grupos de tratamento e
controle no sejam afetados de forma heterognea por mudanas de qualquer
natureza que ocorram aps o programa. Por exemplo, se houver uma mudana idiossincrtica com o grupo de controle aps a interveno, a trajetria da
varivel de resultado desse grupo pode se alterar de forma a que ela deixe de
representar adequadamente o contrafatual do grupo tratado. Uma mudana
idiossincrtica (independente do programa) tambm pode ocorrer com o grupo de tratados.238 Em ambos os casos, o mtodo de DD captar os efeitos dessas
mudanas, os quais sero erroneamente atribudos aos efeitos do programa.
4.3 O Modelo de Diferenas em Diferenas

A forma mais simples de expressar o estimador do mtodo de DD calculando
uma dupla diferena de mdias da varivel de resultado. Se denotarmos por T
= {1,0} a participao ou no no programa e por t = {1,0} os perodos posterior
e anterior interveno, respectivamente, o estimador de DD ser dado por:

possvel tambm que choques macroeconmicos tenham efeitos diferenciados sobre os

grupos de tratamento e controle, ou seja, no se pode garantir nem mesmo que choques
agregados sejam homogneos sobre os grupos.
23
74
l Fundao Ita Social
ou seja, pela diferena temporal do que ocorreu com o grupo tratamento subtrada da mesma diferena calculada para o grupo de controle. Embutida nesse
estimador est a hiptese de que a variao temporal na varivel de resultado
para o grupo de controle representa a variao contrafatual do grupo tratado,
isto , a variao que seria experimentada pelo grupo de tratamento na ausncia do programa.249 Em decorrncia dessa hiptese, a diferena entre a variao
efetivamente observada para o grupo de tratamento e a variao contrafatual
fornecida pelo grupo de controle vai capturar o efeito causal da interveno.
Como mencionado anteriormente, a mdia da varivel de resultado para o grupo de controle no perodo anterior ao programa no precisa coincidir com a
mdia correspondente para o grupo de tratamento, ou seja, os grupos podem
ou no partir de um mesmo ponto. Na realidade, na maior parte das aplicaes
do procedimento de DD, os dois grupos tm essas mdias distintas, um fato
que tipicamente reflete as diferentes influncias dos atributos observveis e
no observveis dos indivduos sobre a varivel de resultado. O que o mtodo
de fato requer que a variao temporal do que ocorre com o grupo de controle antes e depois do programa reflita corretamente a variao temporal do
grupo de tratados na situao contrafatual de no tratamento.
Uma forma equivalente de expressar o estimador de DD pela dupla diferena:

que apenas um rearranjo da expresso (1). A expresso (2) mostra que o estimador de DD tambm pode ser visto como o contraste das diferenas de
mdias existentes entre os dois grupos no perodo anterior e posterior ao programa. Aqui, torna-se ainda mais claro que o mtodo permite a existncia de
diferenas de mdias entre os dois grupos no perodo pr-programa, ou seja,
o mtodo no requer que o segundo termo entre chaves na expresso (2) seja
igual a zero.
Para ilustrar como o mtodo funciona, retornaremos ao exemplo hipottico
que utilizamos no captulo 2, no qual imaginamos um curso de treinamento
profissional oferecido a trabalhadores de baixa escolaridade em certo municpio. O interesse recaa sobre o impacto do programa sobre o salrio mdio dos
tratados, que era de R$ 1000 um pouco antes do incio do curso e de R$ 1100
alguns meses aps o programa. Argumentamos naquele captulo que nem a
comparao do grupo tratado antes e depois da interveno e nem a compaSe utilizarmos o arcabouo de resultados potenciais apresentado no captulo 2, a hiptese
requerida pelo mtodo de DD : E[Y(0)|T = 1, t =1] E[Y(0)|T = 1, t = 0] = E[Y(0)|T = 0,t = 1]
E[Y(0)|T = 0, t = 0],, ou seja, que a variao temporal na mdia do contrafatual do grupo
tratado seja igual variao observada na mdia do grupo de controle.
24
rao dos tratados com um grupo de no tratados somente aps a interveno

isolam corretamente o impacto do programa. Suponha agora que fomos capazes de levantar informaes sobre o grupo de no tratados no perodo anterior
ao programa. A Tabela 4.1 contm os valores dos salrios mdios dos grupos de
tratamento e controle respectivamente,
para os perodos anterior
e posterior ao programa
respectivamente. A notao representa a
mdia amostral do salrio e significa o operador de diferena.
Distintamente dos outros dois mtodos, o procedimento de DD computa uma dupla diferena de mdias. Acompanhando as expresses (1) e (2),
h duas maneiras de se calcular essa dupla diferena. Seguindo a expresso (1), a primeira obtida fazendo-se inicialmente a diferena das mdias entre os perodos antes e depois do programa para cada grupo isto ,
e, posteriormente, calculando-se a segunda diferena entre os grupos:
A segunda maneira corresponde ao anlogo amostral da expresso (2), sendo obtida
pela subtrao das mdias salariais entre os grupos de tratamento e controle
para cada perodo de tempo isto ,
e,
a seguir, pela diferena dessa primeira subtrao entre os perodos anterior e
posterior ao programa:
O mtodo
de DD mostra ento que o impacto do curso foi de R$ 50, o que representa um
aumento salarial de 5% em mdia para os tratados relativamente situao
deles antes do incio do programa.
Tabela 4.1: Mdia salarial por grupo e perodo de tempo R$
Tratados
Controle
Diferena
Antes
Depois
Diferena
O funcionamento do mtodo de DD tambm pode ser visualizado pela Figura

4.1. Nela, as mdias salariais observadas dos grupos de tratamento e controle
esto representadas pelos quadrados e tringulos preenchidos, respectivamente. O principal aspecto a se destacar nessa Figura o quadrado listrado,
que representa o contrafatual do grupo de tratamento aps o programa. Note
76
l Fundao Ita Social
que a posio dele obtida atravs de uma projeo da mdia salarial dos tratados que paralela que ocorreu com o grupo de controle depois do programa. Essa projeo, que est ilustrada pela linha pontilhada que se liga ao ponto
E na Figura 4.1, baseada na hiptese de que a trajetria do salrio mdio do
grupo de tratamento na ausncia do programa igual trajetria dessa varivel para o grupo de controle aps a interveno. Essa a principal hiptese do
mtodo de DD.
A magnitude do impacto do programa pode ser obtida na Figura 4.1 a partir da
diferena de pontos: (B A) (D C) = (1100 1000) (900 850) = 50, ou
seja, pela primeira forma de dupla diferena descrita anteriormente. Note que
o impacto no calculado pela simples variao salarial antes e depois do programa para o grupo tratado (i.e., B A), mas sim pelo contraste dessa variao
com a experimentada pelo grupo de controle no mesmo intervalo (i.e., D
C). Utilizando a segunda forma de dupla diferena apresentada anteriormente,
obtemos (B D) (A C) = (1100 900) (1000 850) = 50, um resultado
que mostra que o impacto no dado apenas pela diferena entre tratados e
controles ps-tratamento (i.e., B D), mas sim pela comparao dessa diferena com a sua correspondente antes do programa (i.e., A C).
Figura 4.1: Rendimento mdio dos tratados e no tratados, antes e

depois do programa
B
1100
1000
900
C
t=0
Programa
t=1
Tempo
Podemos tambm apresentar o modelo de DD por meio de regresses lineares.

Suponhamos inicialmente que s possumos observaes para dois perodos de
tempo, um anterior e o outro posterior ao programa. A equao bsica do modelo pode ser especificada como:

onde o subscrito t foi acrescentado notao dos captulos anteriores para denotar o perodo de tempo no qual o indivduo (ou unidade de observao) i
se encontra. Como antes, o vetor X representa as caractersticas observadas do
indivduo e T uma varivel binria que assume valor unitrio, se o indivduo
tratado, e valor nulo, caso contrrio. A varivel t tambm binria, assumindo valor um no perodo ps-programa e valor zero, caso contrrio. O termo de erro
o efeito causal do programa
dado por . Sob a hiptese de que
(condicional a X) medido pelo parmetro .325
Note que, na equao (3), as variveis T e t aparecem tanto isoladamente quanto
interagidas. Caso no houvesse o termo de interao entre as variveis, suas presenas isoladas captariam respectivamente as diferenas da mdia de Y entre o
grupo de tratamento e controle e entre o perodo anterior e posterior ao programa (condicional a X). A introduo do termo de interao na equao procura
captar o que ocorreu especificamente com o grupo de tratamento no perodo
ps-programa, ou seja, se a mdia da varivel de resultado para esse grupo em
particular tornou-se diferente aps a interveno. fcil ver ento que o papel
do termo de interao entre as variveis T e t medir o impacto do programa. A
magnitude desse impacto , portanto, capturada pelo parmetro . Uma forma
de verificar isso escrevendo a mdia (condicional a X) da varivel de resultado
para os seguintes casos (retirando os subscritos para facilitar a leitura):
Tratados, pr-programa:
Tratados, ps-programa:
Controles, pr-programa:
Controles, ps-programa:
Sem a presena do vetor de caractersticas X, o parmetro equivale dupla diferena de

mdias do mtodo de DD discutida anteriormente.
25
78
l Fundao Ita Social
onde as ltimas igualdades so obtidas sob a hiptese de mdia condicional

Assim, calculando a dupla diferena:
nula:
26
4
A equao (3) pode ser expandida para o caso em que h disponibilidade de

informaes para vrios perodos de tempo (por exemplo, meses ou anos). Seja
ento t = 1,2,,, onde representa o nmero mximo de perodos para o qual
temos informaes sobre os dois grupos. Digamos que a interveno ocorre em
certo ms (ou ano) k ao longo do perodo de observao isto , 1< k < . Considere a equao a seguir, que uma modificao da equao (3):

onde
uma varivel binria que assume valor um se o indivduo i
tambm binria mas s assume valor unitrio se o indivtratado,
duo i tratado e o perodo t se refere a qualquer ms aps o incio da interveno (isto ,
). Qualquer varivel
do conjunto
assume valor
unitrio ou zero dependendo de se o ms da observao corresponde ao ms t
ser igual a um se o ms for o segunou no, respectivamente (por exemplo,
do e zero, caso contrrio).275 A funo de cada varivel desse conjunto controlar
para efeitos agregados de tempo que possam afetar a varivel de resultado de
todos os indivduos do grupo de tratamento e controle (por exemplo, inflao).
Analogamente equao (3), o efeito causal do programa tambm ser dado
pelo parmetro na equao (4).
Uma das principais vantagens do mtodo de DD que ele capaz de controlar
para as influncias sobre a varivel de resultado das caractersticas no observveis dos indivduos que sejam fixas no tempo. Essa uma vantagem importante do mtodo, pois, muitas vezes, essas caractersticas fixas no observveis
influenciam tambm a participao no programa. Por exemplo, as habilidades
inatas tendem a influenciar no somente os salrios, mas tambm a deciso das
pessoas de participar em cursos de treinamento. A motivao ou certos traos
de comportamento (inibio, autoestima, entre outros) tambm seriam outros
exemplos de caractersticas no observveis que podem afetar tanto salrios
quanto a deciso de participar no programa. Qualquer que seja o caso, o importante que o mtodo de DD capaz de levar em conta a associao entre a
varivel de resultado, a participao no programa e as caractersticas no obserNote que o primeiro mtodo ingnuo da diferena de mdias antes e depois do programa para o grupo de tratamento fornece: {(B) (A)} = + , o que revela um vis igual a .
J o segundo mtodo ingnuo compara dos tratados com os controles no perodo aps o
programa. Por este mtodo, o impacto seria: {(B) (D)} = + , o que corresponde a um
vis de magnitude .
27
Note-se que exclumos da equao a varivel binria dti1 para evitar o problema de multicolinearidade perfeita com a (implcita) presena do intercepto no vetor de parmetros .
26
vveis dos indivduos que sejam invariantes no tempo (pelo menos durante o
perodo de observao). Assim, como o problema do vis de autosseleo pode
surgir da associao entre essas dimenses, o mtodo de DD oferece uma ferramenta poderosa para contornar esse problema.
Para verificar como o mtodo de DD controla para a influncia das caractersticas
no observveis que no se alteram no tempo, podemos utilizar uma especificao da regresso linear tipicamente empregada em modelos de dados de painel.
Nesse tipo de modelo, a expresso para a varivel de resultado passa a poder
incluir os chamados efeitos fixos individuais, os quais entram na equao como
um conjunto de variveis binrias que tm valor unitrio ou nulo dependendo
de com qual indivduo elas esto associadas. Assumindo a existncia de mltiplos perodos de tempo t = 1,2,, e uma amostra com i = 1,2,, N indivduos,
a equao pode ser escrita como:

onde igual a um para o indivduo i e zero para todos os demais indivduos
recebe valor um para o indivduo i = 2 e zero para o
da amostra (exemplo:
resto dos indivduos).286 A incluso desses efeitos fixos especficos de cada indivduo permite controlar para heterogeneidades existentes entre as pessoas em
caractersticas que sejam fixas no tempo.297 Uma propriedade dos efeitos fixos
que eles podem ser correlacionados com qualquer caracterstica observada
dos indivduos, incluindo a que determina a participao no programa,

ao permitir esse tipo de correlao que o mtodo de DD controla para o vis de
autosseleo.
Uma forma de estimar a equao (5) aplicar o mtodo do MQO primeira diferena dessa equao:830

Note que os efeitos fixos individuais so eliminados na equao (6) e isso s
ocorre porque eles so invariantes no tempo. Note tambm que essa equao
Novamente, exclumos a varivel I1 para evitar o problema de multicolinearidade perfeita
com o intercepto em X.
29
Estrito senso, a presena do efeito fixo individual na equao capta a influncia sobre Y
de qualquer caracterstica, observvel ou no, do indivduo que no varie com o tempo. Isso
implica que os efeitos de variveis fixas no tempo no so identificados conjuntamente com
o efeito fixo individual. Por essa razo, o termo T1 no aparece na equao (6). De forma
semelhante, eventuais variveis tempo-invariantes contidas no vetor X (por exemplo, sexo e
cor) tambm no poderiam aparecer na equao.
30
Outra forma de estimao comumente utilizada com dados de painel a que se chama de
intragrupos. Neste caso, cada varivel subtrada do valor de sua mdia temporal para cada
indivduo, por exemplo, subtrai-se
28
80
l Fundao Ita Social
est em linha com a aplicao do mtodo de DD, pois corresponde ao clculo de

sua primeira diferena. A hiptese bsica que permite estimar o impacto do programa pela equao (6) o qual dado pelo parmetro que o termo
9
31
no seja correlacionado com as variveis do modelo, em particular com
Embora estejamos nos referindo a indivduos ao apresentar as equaes acima,
mutatis mutandis, elas tambm podem ser utilizadas para o caso em que as unidades de observao esto num nvel mais agregado, como escolas, setores de
atividade, municpios ou estados. Uma das principais vantagens de usar dados
agregados (e.g., mdias, propores) que eles tendem a atenuar problemas
de erros de medidas que tipicamente aparecem em informaes coletadas no
nvel do indivduo ou famlia. Por outro lado, para que o mtodo de DD identifique corretamente o efeito causal de uma interveno importante que tanto
o grupo de tratamento quanto o de controle permaneam similares nas suas
caractersticas ao longo do tempo. Em particular, importante que no ocorram
mudanas expressivas na composio dos grupos no que tange aos efeitos fixos
dos indivduos que compem os agregados de cada grupo. Esse tipo de mudanas, ao tornar os grupos distintos entre perodos de tempo, enfraquece (ou
impede) a comparabilidade temporal dos grupos. Por exemplo, a migrao de
pessoas entre municpios ou estados pode tornar os grupos muito diferentes antes e depois de uma interveno. Ou a dinmica prpria do sistema educacional
pode fazer com que a composio dos alunos das escolas se altere de ano para
ano. A perda de comparabilidade dos grupos ao longo do tempo compromete
a acurcia do mtodo de DD, j que o impacto estimado pode estar misturado
com efeitos das mudanas de caractersticas no medidas dos grupos. Uma boa
prtica em avaliaes que utilizam dados de cross-section repetidos verificar se
as caractersticas observveis de cada grupo permanecem relativamente estveis no tempo. Esse tipo de problema tambm pode ocorrer com dados longitudinais de indivduos quando ocorre atrito amostral.
4.4 Desvantagens
Embora possua uma srie de vantagens, o mtodo de DD no consegue lidar
com casos em que alguma mudana temporria num fator no observvel dos
indivduos afeta a deciso de participao no programa. Por exemplo, j se detectou que muitos trabalhadores que fazem cursos de treinamento experimentaram choques negativos e temporrios de renda um pouco antes do comeo
do programa (Ashenfelter, 1978, e Heckman e Smith, 1999). Alm de poder ter
influenciado os indivduos a fazerem o curso, essa queda temporria nos rendimentos poder fazer com que o grupo tratado experimente um crescimento
maior nos seus rendimentos mesmo se ele no tivesse participado do programa.
Se essa mudana temporria no ocorrer com o grupo de controle, o procediEmbora fora do escopo do livro, vale observar que, se o termo
apresentar correlao serial isto , a correlao entre
e
ser diferente de zero , h
que se fazer alguma correo para os erros-padro a serem estimados pelo procedimento
de DD. Mais detalhes podem ser encontrados em Bertrand et al. (2004).
31
mento de DD tender a sobre-estimar o verdadeiro impacto do programa. De

forma mais geral, vieses aparecero no estimador de DD sempre que houver algum tipo de caracterstica no observvel que varie no tempo e afete simultaneamente a varivel de resultado e a participao no programa.
Box 1: O Impacto do Programa Sade da Famlia
O Programa de Sade da Famlia (PSF)
procura prover ateno bsica de sade
s famlias de comunidades carentes no
Brasil. O funcionamento do programa
baseia-se no uso de equipes de profissionais de sade (mdicos, enfermeiras,
auxiliares de enfermagem e agentes
comunitrios) cujos principais objetivos
so a proviso de prticas bsicas de
sade (e.g., estratgias para lidar com
problemas simples de sade) s famlias,
o encaminhamento das pessoas para
clnicas e hospitais em casos especficos
e o acompanhamento da situao de
sade das famlias beneficiadas ao longo
do tempo. Idealmente implementado
com a participao das trs esferas de
governo (federal, estadual e municipal),
o PSF iniciou-se na metade dos anos
90. O programa foi se expandindo pro-
gressivamente ao longo dos anos e em

meados da dcada de 2000 j atendia a
quase totalidade dos municpios do pas.
Utilizando informaes no nvel municipal, Rocha e Soares (2010) avaliam o impacto do PSF comparando os municpios
tratados e no tratados pelo programa
ao longo do tempo. Os autores utilizam
o mtodo das diferenas em diferenas
explorando as diferentes datas de entrada dos municpios no programa. Os resultados mostram que o PSF foi capaz de
reduzir a taxa de mortalidade das pessoas de vrias faixas etrias, notadamente
do grupo de crianas. Outros efeitos positivos foram estimados sobre a oferta
de trabalho dos adultos e a frequncia
escola das crianas das famlias das regies NO e NE.
Exerccios
1) Foi noticiado em dois jornais locais que a poltica atual de reduo da criminalidade de seu estado era eficaz. Em um dos jornais, a comprovao dessa eficcia
foi associada informao de que a taxa de roubos de veculos havia cado 10%
nos ltimos dois anos. J no outro jornal, a efetividade da poltica foi consubstanciada por meio da comparao da taxa de roubo de veculos no ltimo ano do seu
estado com a mdia da mesma taxa para os demais estados do pas. Como um conhecedor da rea de avaliao de impacto, ao ler os jornais, voc considera ambas
as matrias ingnuas e decide tentar estimar o verdadeiro impacto do programa
(talvez porque voc ou algum prximo teve seu carro roubado recentemente!).
Responda os itens a seguir.

a) Por que voc acha a matria do primeiro jornal ingnua? E a segunda?

b) Voc decide estimar o efeito da poltica usando o mtodo das diferenas em diferenas. Quais os dados que voc deve buscar?

c) O que voc deveria testar com dados anteriores ao incio da poltica
para averiguar se o grupo de controle parece adequado aos seus propsitos?
82
l Fundao Ita Social
2) Um grupo de bilogos utilizou a erupo de um vulco que ocorreu numa ilha

para estudar o efeito de erupes vulcnicas sobre a flora e a fauna daquela regio.
Para tanto, eles compararam os dados da ilha que sofreu a erupo com os dados
de outras ilhas antes e depois da erupo. Nem sempre na rea de avaliao de
polticas ou programas sociais tem-se a certeza de que a interveno ocorreu de
forma totalmente exgena como no caso da erupo do vulco. Crie ou busque
exemplos de programas sociais que se aproximem da situao de experimento natural.
3) Uma das grandes vantagens do mtodo de diferenas em diferenas que ele
capaz de lidar com a autosseleo decorrente de certo tipo de caractersticas no
observadas dos indivduos. Que tipo de caractersticas esse e como o mtodo as
incorpora no modelo?
4) Certo municpio comeou a realizar um programa habitacional que comeou a
atrair um conjunto significativo de moradores de outros municpios para residirem
l. Suponha que um analista contratado para avaliar o impacto do programa e
decide utilizar o mtodo de diferenas em diferenas com informaes no nvel
de municpio. Discuta os problemas que o avaliador precisa levar em considerao
com os dados aps o programa para aplicar corretamente o mtodo.
5) O grfico 4.2 abaixo mostra as trajetrias do salrio mdio dos grupos de tratamento e controle de uma avaliao de impacto para um curso de treinamento
hipottico que ocorreu no momento zero no grfico. possvel que o mtodo das
diferenas em diferenas estime de forma enviesada o impacto do programa? Por
qu?
Grfico 4.2: Trajetria do Salrio Mdio por Grupo

15
R$ 100
14
13
12
11
-6
-5
-4
-3
-2
-1
meses
Controle
Tratamento
CAPTULO 5
Pareamento
Cristine Campos Xavier Pinto
O mtodo do pareamento busca construir um grupo de controle semelhante

ao grupo de tratamento em termos de determinadas caractersticas observ3
veis.32
De acordo com as hipteses deste mtodo, cada membro do grupo de
tratamento teria um par no grupo de controle que representa o resultado que
ele teria obtido caso no fosse tratado. De outra forma, as hipteses do pareamento postulam que, ao comparar dois indivduos, um no grupo de controle
e outro no grupo de tratamento, com as mesmas caractersticas observveis, o
nico fator que diferencia os resultados destes indivduos a participao ou
no no programa.
A hiptese principal deste mtodo, que tem como objetivo estimar o efeito
mdio do tratamento sobre os tratados (EMPT), que o vetor de variveis observveis X contm todas as informaes sobre o resultado potencial na ausncia do tratamento (Y(0)) que o indivduo possui ao tomar a deciso de participar ou no do tratamento. Ao levar em considerao estas caractersticas
observveis, o avaliador controla por todas as variveis que esto relacionadas ao resultado potencial na ausncia de tratamento e que tambm afetam
a deciso do indivduo em participar ou no. Assim, ao controlar pelo vetor X,
a varivel Y(0) torna-se independente de T. Esta hiptese conhecida como
seleo nos observveis, ou ignorabilidade, ou ainda no-confundimento, e
4
pode ser formalizada como:33
A implicao desta hiptese que o resultado de um indivduo no grupo de

controle um bom previsor do resultado potencial na ausncia de tratamento
de um indivduo no grupo de tratamento que possui o mesmo vetor de variveis observveis (X).345 Desta forma, para estimar o EMPT via pareamento, preExiste uma extensa literatura emprica e terica sobre o mtodo de pareamento. Ver Rosenbaum (1995, 2002), Rubin (1973, 1979), Heckman, Ichimura e Todd (1998), Abadie e Imbens (2002), Lalonde (1986) e Deheija e Wahba (1999).
33
Para estudar o efeito mdio do tratamento, precisamos da hiptese de independncia nos
dois resultados potenciais,
34
Esta hiptese de independncia mais forte do que a hiptese mnima necessria para
identificar o efeito mdio do tratamento sobre os tratados. A hiptese necessria seria a
32
cisamos que cada indivduo no grupo de tratamento tenha um par no grupo

de controle, cujo resultado reproduz o que seria o resultado deste indivduo
na ausncia de tratamento. Desta forma, precisamos que a regio do vetor X
que engloba as caractersticas dos indivduos tratados tambm represente as
caractersticas dos indivduos que esto no grupo de no-tratados. Assim, a
segunda hiptese do mtodo do pareamento a hiptese de sobreposio, e
pode ser formalizada como:356
(H2)
Uma das crticas aos mtodos baseados nas duas hipteses acima que, ao
tomar a deciso de participar ou no, os indivduos olham no s para um vetor de caractersticas observveis, mas tambm para caractersticas que no
so observadas pelo avaliador. Se estas caractersticas no-observveis forem
correlacionadas tanto com a deciso de participar do programa como com o
resultado potencial deste indivduo, o mtodo do pareamento no conseguir
eliminar o vis de seleo, e a estimao do EMPT estar sujeita a um vis.
Sob as hipteses H1 e H2, obtemos o efeito mdio de tratamento sobre os tratados. O efeito mdio do tratamento sobre os tratados para a subpopulao
com caractersticas observveis X=x pode ser escrito como:
(5.1)
a mdia populacional de Y para os tratados com
em que
uma determinada combinao de caractersticas X e
a mdia de Y que os tratados com essas caractersticas teriam caso no tivessem recebido o tratamento.
De outra forma, o efeito mdio do tratamento sobre os tratados para os indivduos com certa combinao de caractersticas de X seria a diferena entre
a mdia populacional do resultado para os indivduos tratados e a mdia populacional do resultado de interesse para estes indivduos tratados caso eles
no recebessem o tratamento. Na prtica, podemos estimar a primeira mdia
condicional em 5.1 usando a mdia amostral dos resultados obtidos pelos indivduos tratados. No entanto, no conseguimos observar os resultados destes
independncia na mdia, isto , .
35
Como no caso do EMP, precisamos que para cada indivduo no grupo de tratamento tenhamos um par no grupo de controle cujo resultado potencial seja um bom previsor do
resultado deste indivduo na ausncia do tratamento. Tambm precisamos que para cada
indivduo no grupo de controle tenhamos um par no grupo de tratamento cujo resultado
potencial seja um bom previsor do resultado deste indivduo caso ele fosse tratado. Nesse
caso, a hiptese de sobreposio deve ser expandida para:
Esta
hiptese garante que as caractersticas dos tratados sejam representadas no grupo de controle, e vice-versa.
86
l Fundao Ita Social
indivduos tratados caso eles no tivessem recebido tratamento, e no podemos simplesmente estimar a segunda mdia condicional usando uma mdia
amostral. No entanto, a hiptese H1 nos permite escrever o segundo termo da
equao 5.1 em funo das variveis que observamos.
Sob a hiptese H1,
Ou seja, em mdia, os resultados sem tratamento dos tratados que apresentem

uma determinada combinao de caractersticas presentes em X so iguais
aos resultados sem tratamento dos no tratados (grupo de controle) com essas
mesmas caractersticas, que so observveis para o avaliador.
Este resultado juntamente com a hiptese H2 indicam que podemos estimar
o segundo termo da equao 5.1 usando a mdia dos resultados de interesse
para os indivduos no grupo de controle que possuem a mesma combinao
de caractersticas X que os indivduos no grupo de tratamento.
E, portanto, podemos escrever:
(5.2)
Assim, podemos calcular o efeito do tratamento para os indivduos com uma
determinada combinao de caractersticas X comparando a mdia observada de Y para os tratados com essas caractersticas com a mdia observada de
Y para os indivduos do grupo de controle com essas mesmas caractersticas.
Para obter o efeito mdio do tratamento sobre os tratados, precisamos calcular
o valor esperado (expectativa) dessa diferena de mdias na distribuio de X,
condicional a T=1:736
Por exemplo, no caso em que
inclui apenas uma varivel explicativa discreta,
Neste caso, D uma mdia ponderada dos efeitos mdios para os indivduos
com determinada combinao de caractersticas X (D(x)), na qual os pesos so
Note que para obter o efeito mdio do tratamento, precisamos calcular a expectativa de
D(x) sobre a distribuio de X. No caso em que Xi inclui apenas uma varivel explicativa
discreta,
36
dados pela porcentagem de indivduos tratados que possuem esta combinao de caractersticas X.
e
Para estimar o EMPT, precisamos estimar
Se a hiptese H2 for violada, no ser possvel estimar ambas as
mdias, pois os valores de x sero vlidos para o grupo de tratamento, mas no
para o grupo de no-tratados.
5.1 Pareamento Simples

Para cada indivduo no grupo de tratamento, o estimador de pareamento busca os indivduos no grupo de controle mais prximos (em termos do seu vetor
de variveis observveis) e usa os resultados destes indivduos para obter o
que seria o resultado do indivduo no grupo de tratamento caso ele no fosse tratado (contrafatual). As principais diferenas entre os vrios estimadores
de pareamento dizem respeito mtrica usada para definir os indivduos mais
prximos dos tratados em termos do vetor de variveis X. Alm disso, os mtodos tambm diferem em relao a quantos indivduos do grupo de no-tratados sero relacionados a cada indivduo no grupo de tratamento para obter
o seu contrafatual.
Suponha um pareamento em que mais de um indivduo no grupo de controle
possa ser relacionado com o indivduo no grupo de tratados, e que o mesmo
indivduo no grupo de controle possa ser relacionado a vrios indivduos no
8
grupo de tratados. Usando uma medida de distncia37
, que nos diz quais so os
indivduos no grupo de controle que possuem um nmero de caractersticas
observveis mais prximas do indivduo i, identificamos os M pares mais prximos deste indivduo. De modo mais formal, definimos como
o conjunto de
ndices com M pares mais prximos do indivduo i:
eo
anlogo amostral dos resultados potenciais como:
(5.1.1)
Um exemplo de medida de distncia a mtrica definida em Imbens e Wooldridge (2007)

para determinar quo diferentes os indivduos so em relao ao vetor X,
37
na qual 1 uma funo indicadora que igual a 1 se a expresso entre chaves verdadeira,
e 0 caso contrrio. Nesta mtrica, l lm (i) o ndice do indivduo no grupo de no-tratados
com a distncia M mais prxima do indivduo i no grupo de tratados em termos a mtrica
||. ||. Por exemplo, l1 (i) representa o par a distncia 1 do indivduo 1, isto , o indivduo mais
prximo do indivduo i.
88
l Fundao Ita Social
Usando este estimador do contrafatual do indivduo i, o estimador simples de

pareamento :
(5.1.2)
no qual
o nmero de indivduos no grupo de tratamento.
O estimador de pareamento muito sensvel escolha de variveis presentes

em X. Se o vetor X incluir um nmero grande de variveis explicativas, a hiptese de sobreposio (H2) pode no ser verdadeira, pois a regio de X no qual
precisamos de sobreposio das caractersticas entre o grupo de controle e de
tratamento muito grande. Se incluirmos um nmero limitado de variveis no
vetor X, a hiptese de seleo nos observveis (H1) pode ser violada. O vetor X
deve incluir as variveis observveis que influenciaram o indivduo no momento da deciso de participar, e que so simultaneamente correlacionadas com
os resultados potenciais dos indivduos. Este conjunto de variveis garante
que a hiptese de seleo nos observveis se verifica, mas no necessariamente que teremos sobreposio. A sobreposio pode ocorrer somente em um
pedao da regio de X. Neste caso, o pareamento estar olhando para outro
parmetro, que seria o efeito mdio do tratamento sobre os tratados naquela
9
regio de suporte comum38
.
Como vimos no captulo 3, se os indivduos fossem alocados de forma aleatria
entre os grupos de tratamento e de controle como no experimento natural, na
mdia eles deveriam ter caractersticas bem parecidas. O mtodo do pareamento assume que ao controlar por todas as caractersticas que afetam simultaneamente a deciso de participar no programa e os resultados potenciais,
comparamos indivduos semelhantes, exceto pelo fato de que um recebeu o
tratamento, enquanto o outro no sofreu influncia do programa. Para verificar
se atravs do pareamento estamos de fato comparando indivduos que possuem um vetor X de caractersticas semelhantes, podemos realizar um teste
de comparao de mdias. Se fizermos um teste de comparao de mdias
das variveis observveis entre os grupos de controle e de tratamento antes do
pareamento, devemos notar que na mdia eles so diferentes em algumas caractersticas, pois eles no foram selecionados de forma aleatria entre os dois
grupos. No entanto, aps o pareamento, se fizermos o mesmo teste de comparao de mdias, o grupo de controle e o grupo de tratamento usados para estimar o efeito mdio do tratamento devem ser semelhantes nas caractersticas
observveis, pois escolhemos para cada indivduo no grupo de tratamento os
seus pares com caractersticas bastante parecidas.
38
Ver Crump, Hotz, Imbens e Mitnik (2009, 2008).
5.2 Pareamento com Escore de Propenso

A implementao do estimador de pareamento torna-se cada vez mais difcil
quanto maior for a dimenso do vetor X. Quando acrescentamos variveis ao
vetor X, a dimenso da regio de X cresce exponencialmente, e fica cada vez
mais difcil encontrar para cada indivduo no grupo de tratamento sua contraparte no grupo de controle com todas as caractersticas observveis semelhantes. Rosenbaum and Rubin (1983) sugeriram que ao invs de parearmos os
indivduos com base em todo o vetor X, podemos parear os indivduos usando
uma funo de X que resume toda a informao contida neste vetor. Esta funo a probabilidade de receber o tratamento dado o conjunto de caratersticas X, e denominada de escore de propenso. De forma formal, o escore de
propenso definido como:
Como o escore de propenso contm a mesma informao contida no vetor

de caractersticas observveis X, se a hiptese de seleo nos observveis for
vlida, tambm ser vlida a independncia entre o resultado potencial na ausncia de tratamento e a deciso de participar ou no, quando condicionarmos
39
no escore de propenso10
. De modo mais formal,
Este resultado nos diz que, se as hipteses H1 e H2 se verificarem e se o escore

de propenso for conhecido, poderemos estimar o efeito mdio do tratamento
sobre os tratados fazendo o pareamento entre indivduos tratados e indivduos no tratados com base somente no escore de propenso. Na prtica, no
conhecemos o escore de propenso e precisaremos estim-lo. A forma mais
comumente usada para estimar o escore de propenso usar os procedimentos paramtricos para estimao de probabilidade, por exemplo, os modelos
probit ou logit. No caso do modelo logit, assumimos que a probabilidade de
participar ou no segue o seguinte modelo:
Em que vetor de parmetros que ser estimado num primeiro estgio. Seja
o estimador do parmetro . Neste caso, o escore de propenso estimado
como:
39
Para uma prova formal deste resultado, ver Rosenbaum e Rubin (1983).
90
l Fundao Ita Social
Como no caso do pareamento baseado no X, o pareamento baseado no escore de propenso tambm ir depender de uma mtrica pr-determinada, que
definir a proximidade do escore de propenso dos indivduos tratados em relao ao escore de propenso dos indivduos no-tratados. Um dos estimadores mais usados o estimador de pareamento do vizinho mais prximo (The
Nearest Neighbor Matching) que usa os resultados dos M indivduos no grupo
de no-tratados que possuem escores de propenso mais prximos ao escore
de propenso do indivduo i para estimar qual seria o resultado do indivduo i
40 41
12
caso ele no recebesse tratamento11
.
o conjunto das M observaes com o menor valor
Formalmente, sendo
de
podemos construir o anlogo amostral para o resultado
potencial do indivduo caso ele no fosse tratado, como:
(5.2.1)
e o efeito mdio do tratamento sobre os tratados estimado como na equao
Para implementar esse estimador na
(5.1.2), usando essa definio para
prtica, primeiro usamos a mdia de Y dos M indivduos mais prximos de
cada participante do tratamento (em termos do escore de propenso) para
calcular o contrafatual de cada indivduo tratado (Yi(0)) e depois calculamos
a diferena de mdias entre os tratados e seus contrafatuais, como em (5.2.1).
importante ressaltar que as propriedades do estimador de pareamento baseado no escore de propenso tambm dependem da escolha do vetor X. necessrio escolher o vetor X que afete simultaneamente a deciso de participar
ou no do tratamento e os resultados potenciais. Alm disso, o estimador de
pareamento baseado no escore de propenso tambm sensvel especificao do escore de propenso, isto , forma funcional que vai ser escolhida na
Outros estimadores de pareamento baseado no escore de propenso so o pareamento
baseado em Kernel e o pareamento baseado em polinmio local. Neste caso, para construir
o contrafatual para o indivduo no grupo de tratamento usam-se os indivduos no grupo de
no-tratados que esto em uma vizinhana em torno do escore de propenso do indivduo
i. Alm disso, cada indivduo no-tratado pode receber um peso diferente ao calcular o contrafatual do indivduo i.
41
Um exemplo usar a mesma medida de distncia que usamos no caso do pareamento
baseado no vetor X,
40
Neste caso,
o ndice do indivduo no grupo de no-tratados cujo escore de propenso est a distncia m do escore de propenso do indivduo tratado i.
estimao do escore de propenso. necessrio que esta forma funcional seja

flexvel o suficiente para que a hiptese de sobreposio (H2) se verifique. Rosenbaum e Rubin (1983) propuseram uma forma simples de buscar evidncia
se estamos violando a hiptese de sobreposio. Eles sugeriram uma comparao simples das mdias de cada uma das variveis observveis no grupo de
tratamento e no grupo de seus pares. Se a diferena destas mdias for muito
grande, o teste de diferena de mdias ir rejeitar a hiptese de que os grupos
de tratamento e o grupo de pares so balanceados em relao a estas variveis
observveis. Nesse caso, provavelmente o escore de propenso no est sendo
flexvel o suficiente para garantir que a distribuio dos observveis a mesma
no grupo de tratamento e no grupo de pares.
Existem diversos mtodos que usam o escore de propenso para ajustar as diferenas entre os indivduos nos grupos de controle e de tratamento, sempre
com base nas hipteses de seleo nos observveis e de sobreposio. Na prxima seo, iremos apresentar dois mtodos bastante usados: o mtodo de
imputao baseado em uma regresso linear e o mtodo de reponderao.
5.3 Regresso Linear

O modelo de regresso linear tambm pode ser visto como um estimador de
42
pareamento13
. Usando as definies do captulo 2 para o caso em que consideramos que o programa tem o mesmo efeito em todos os indivduos, podemos
escrever os resultados potenciais como:
Para estimarmos o efeito mdio do tratamento sobre os tratados, precisamos

conhecer o modelo do resultado potencial para
Sob as hipteses de seleo nos observveis e exogeneidade de
podemos estimar o efeito mdio do tratamento sobre os tratados usando o estimador de
mnimos quadrados ordinrios da regresso de Y em X.
Neste caso, iremos estimar uma regresso linear de Y em X para a amostra de
indivduos que no foram tratados. Os coeficientes estimados nesta regresso
simples para a subamostra do grupo de controle so ento usados para prever
qual teria sido o resultado de cada indivduo do grupo de tratamento caso ele
no tivesse recebido o tratamento. Neste caso, o estimador do efeito mdio do
tratamento sobre os tratados seria:
42
Rubin (1977) usa o mtodo de regresso linear para estimar o efeito mdio do tratamento.
92
l Fundao Ita Social
(5.3.3)
o valor previsto para o grupo de indivduos no grupo de traem que
tamento usando os coeficientes estimador pela regresso linear simples no
43
grupo de controle 14
.
Os estimadores baseados em regresso dependem fortemente da extrapolapara valores fora do intervalo dos usados na regresso.
o dos valores
Os coeficientes estimados nesta regresso so usados para encontrar os valores preditos do resultado para os indivduos tratados caso eles no recebessem
tratamento. Para esta extrapolao, necessitamos de sobreposio na regio
de X do grupo de controle e no grupo de tratamento, isto , precisamos da
nossa hiptese H2. Por exemplo, se estimssemos uma regresso linear simples com intercepto, o valor mdio previsto para os indivduos no grupo tratamento seria:
em que
o intercepto da regresso usando somente os indivduos do grupo de controle, e
o coeficiente relacionado a X estimado na mesma regresso. Usando a frmula do estimador do intercepto da regresso,
em que o valor mdio do resultado para o grupo de controle,

o valor
mdio das variveis explicativas no grupo de tratamento e
o valor mdio
das variveis explicativas no grupo de controle. Se
muito diferente de
os valores previstos usando a regresso linear sero muito sensveis especificao desta regresso. Podemos usar sempre uma forma funcional flexvel para
a regresso, mas no teremos garantias de que este modelo funciona bem nas
regies onde no h sobreposio da regio de X no grupo de controle e no
grupo de tratamento.
Um mtodo alternativo para obter o efeito mdio do tratamento sobre os tratados atravs de uma regresso linear usar o escore de propenso como uma
44
varivel explicativa15
. Neste caso, iremos estimar uma regresso linear simples
de Y em P(X) para a sub-amostra de indivduos no-tratados, e usar os valores
Para estimar o efeito mdio do tratamento, precisamos tambm estimar a regresso linear simples para os indivduos tratados, e usar os resultados desta regresso para
prever qual seria o resultado para os indivduos no grupo de controle caso eles recebessem o tratamento. Neste caso, o estimador do efeito mdio do tratamento seria:
no qual
o valor previsto
para os indivduos no grupo de no-tratados usando os resultados da regresso estimada
para os indivduos que receberam o tratamento.
44
Este mtodo foi sugerido por Rosenbaum e Rubin (1983).
43
estimados nesta regresso para prever os valores dos resultados dos indivduos tratados caso eles no recebessem tratamento.
5.4 Reponderao
45
O escore de propenso tambm pode ser usado como um peso 16
que, ao balancear os indivduos no grupo de controle, torna este grupo semelhante na
mdia ao grupo de indivduos tratados. Neste caso, ponderamos cada unidade
no grupo de controle pela probabilidade de no receber tratamento. Quando
maior for a probabilidade do indivduo no grupo de controle de no receber
o tratamento, menor ser o seu peso ao balancearmos o grupo de controle.
Usando a Lei de Bayes, podemos definir uma relao entre a distribuio de X
na populao de tratados e a distribuio de X na populao de no-tratados.
Pela Lei de Bayes, a distribuio de X condicional a D=1 pode ser escrita como
E, de forma anloga, podemos escrever a distribuio condicional de X em

D=0 como,
e dividindo as duas distribuies condicionais, temos
Usando a definio do escore de propenso e definindo que

podemos reescrever a relao entre as distribuies condicionais de X,
(5.4.1)
Usando esta relao e a hiptese de seleo nos observveis, podemos escrever o parmetro de interesse (EMPT) usando o escore de propenso como peso,
Como no caso do estimador de pareamento, estimamos o escore de propenPara uma reviso do mtodo de reponderao, ver Imbens (2004) e Imbens e Wooldridge
(2009).
45
94
l Fundao Ita Social
so usando o modelo paramtrico, como o logit. Dado que T uma varivel

binria, o estimador de
ser simplesmente a proporo de tratados, isto
,
Usando o anlogo amostral para a equao acima, o estimador de
reponderao de D
(5.4.2)
Este estimador se baseia somente na estimao do escore de propenso, e
uma das limitaes deste estimador ser bastante sensvel especificao do
escore de propenso. Quando o valor do escore de propenso for prximo de
um, este estimador pode assumir valores muito altos.
5.5 Combinao de Mtodos

Alguns estimadores surgiram da combinao de dois mtodos descritos nas
sees anteriores. Estes mtodos so bastante atrativos na prtica, por terem
comportamentos menos sensveis a certas hipteses, como a especificao
correta do modelo do escore de propenso ou a especificao correta da funo de regresso que relaciona Y(0) com X. Nesta seo, descrevemos trs
combinaes: regresso e pareamento, pareamento e diferenas em diferenas, e regresso e reponderao.
5.5.1 Pareamento e Regresso Linear

Abadie e Imbens (2002) mostram que, medida que aumentamos a dimenso
do vetor X, podemos estar diminuindo a varincia do estimador de pareamento baseado em X, mas aumentamos o vis. Para cada indivduo no grupo de
tratamento, podemos definir um resduo que seria a diferena entre o efeito
de tratamento para aquele indivduo,
e o efeito mdio do
tratamento
A varincia do estimador de pareamento uma funo da
soma do quadrado dos resduos. Ao aumentarmos o nmero de variveis includas em X, diminumos este resduo e consequentemente a varincia do estimador. O vis surge porque o vetor de variveis explicativas para o indivduo i
prximo do vetor de variveis explicativas dos seus M vizinhos mais prximos
usados no pareamento, mas no exatamente igual. No caso do pareamento
com base em poucas variveis discretas em que fosse possvel parear os indivduos no grupo de tratamento com indivduos no grupo de controle com
valores exatamente iguais para o vetor X, o vis desapareceria. Uma das maneiras de corrigir o vis do estimador de pareamento ajustar pela diferena
nos valores das variveis explicativas X, usando o modelo de regresso linear.

Neste caso, usamos o mesmo conjunto
que engloba os M indivduos no
grupo de controle cujos vetores X esto mais prximos do vetor X do indivduo i, como na seo 5.1 acima. Alm disso, estimamos a regresso linear
que relaciona o resultado Y com X somente para a subamostra de indivduos
que no receberam tratamento, como na seo 5.2 acima. Com os coeficientes
estimados na regresso, calculamos o valor previsto de Y para os indivduos
no grupo de controle e tambm para os indivduos no grupo de tratamento, e
usamos estes valores preditos para ajustar o estimador de pareamento. Neste
caso, os valores do resultado para os indivduos tratados caso eles no recebem tratamento so:
(5.5.1.1)
e o estimador do efeito mdio do tratamento sobre os tratados que combina
pareamento e regresso :
(5.5.1.2)
5.5.2 Pareamento e o Mtodo de Diferenas

em Diferenas
No caso de dados em painel, o mtodo do pareamento pode ser combinado
46
com o mtodo de diferenas em diferenas17
. Esta combinao de mtodos faz
com que algumas das hipteses usadas em cada um dos mtodos possam ser
substitudas por hipteses mais fracas. Por exemplo, a hiptese de seleo nos
observveis estabelece que, condicional ao vetor de variveis observveis X,
no pode existir nenhum fator no-observvel que influencie simultaneamente a deciso de participar ou no no tratamento e os resultados potenciais. Ao
combinar o pareamento com o mtodo de diferenas em diferenas, podemos
permitir que fatores no-observveis que sejam constantes ao longo do tempo
influenciem simultaneamente a deciso de participar e os resultados potenciais, mesmo controlando pelo vetor de variveis observveis X, como vimos
no captulo 4.
Para aplicar esta combinao de mtodos, precisamos observar os indivduos
no grupo de controle e no grupo de tratamento em pelo menos dois perodos
no tempo, um anterior ao recebimento do tratamento e um perodo aps o
tratamento. Para simplificar, vamos considerar apenas dois perodos: , antes
do tratamento, e , aps o tratamento. Este mtodo usa basicamente a ideia
do mtodo de diferenas em diferenas, isto , ele compara a diferena do re46
Este mtodo foi proposto por Heckman, Ichimura e Todd (1997,1998).
96
l Fundao Ita Social
sultado do grupo de tratamento entre os perodos e com a diferena de

resultados do grupo de controle no mesmo perodo e atribui esta diferena da
diferena ao efeito do tratamento. Formalmente, o mtodo que combina pareamento e o mtodo de diferenas em diferenas estima o seguinte parmetro
populacional,
em que representa o resultado no tempo t para o individuo i quando o seu

status de tratamento d. Para que este parmetro corresponda ao efeito mdio do tratamento sobre os tratados, precisamos da seguinte hiptese:
(H3)
Esta hiptese mais fraca do que a hiptese de seleo nos observveis, pois
ela continua vlida mesmo que existam fatores no-observveis comuns aos
dois perodos que afetem simultaneamente a deciso de participar e os resultados potenciais. No entanto, esta hiptese exige informao em pelo menos
um perodo anterior interveno. Se a evoluo dos resultados entre os perodos pr e ps-programa a mesma no grupo de controle e no grupo de
tratamento, esta hiptese vlida. O vetor X tem que incluir toda a informao
disponvel para o indivduo quando ele decidiu participar ou no no programa,
isto , so caractersticas observveis em perodos anteriores ao programa e
que esto relacionadas deciso de participao.
A hiptese H3 no suficiente para identificarmos o efeito mdio do tratamento sobre os tratados. Como no estimador de pareamento, precisamos tambm
da hiptese de sobreposio da regio de X para o grupo de controle e o grupo de tratamento. No caso de dados longitudinais, precisamos da hiptese H2.
Se tivermos suporte comum, podemos estimar o efeito mdio do tratamento
18
sobre os tratados fazendo um pareamento baseado no escore de propenso47
e calculando a diferena das diferenas. Usando o estimador de pareamento
baseado no vizinho mais prximo, definimos o conjunto
como o conjunto das M observaes que possuem o escore de propenso mais prximo do
indivduo i, isto , os M indivduos tais que
Usando o pareamento, construmos o anlogo amostral
para a diferena do resultado potencial do indivduo entre os perodos e
caso ele no fosse tratado:
(5.5.2.1)
e o estimador de pareamento no escore de propenso para dados longitudinais :,
47
Podemos tambm fazer o pareamento baseado no vetor X.
(5.5.2.2)
Para implementar esse estimador na prtica, primeiro calculamos para cada
indivduo no grupo de tratamento qual seria a diferena de resultados entre
os perodos e caso ele no fosse tratado. Para isso, estimamos o escore de
propenso para todos os indivduos, e selecionamos os M indivduos no-tratados mais prximos de cada indivduo tratado em relao ao escore de propenso e calculamos a mdia da diferena de resultados entre os dois perodos
para os M indivduos. Em um segundo passo, para cada indivduo no grupo
de tratamento, calculamos a diferena entre a sua diferena de resultado entre os perodos e e a mdia dos M indivduos no grupo de controle mais
prximos a ele. O estimador do efeito mdio do tratamento sobre os tratados
a mdia destas diferenas das diferenas calculadas para os indivduos tratados. Para estimar o escore de propenso usando dados em painel, precisamos
usar a amostra de controles e tratamentos. A varivel dependente T igual a
1 se o indivduo recebeu o tratamento, e 0 caso contrrio, e o vetor X engloba
as informaes que os indivduos tinham ao decidir participar ou no no programa, isto , caractersticas nos perodos anteriores ao programa. Neste vetor
X, podemos incluir variveis que influenciaram a deciso do indivduo entre
participar ou no do programa, e no devemos incluir variveis que possam
ser resultado do programa.
5.5.3 Regresso Linear e Reponderao

Como vimos acima, alm do pareamento, podemos usar regresso linear ou
reponderao para estimar o efeito mdio do tratamento. No primeiro mtodo, estimamos uma regresso linear para o grupo de controle e para o grupo
de tratamento usando o vetor X como variveis explicativas. Nesta primeira
abordagem, no precisamos estimar o escore de propenso. J o mtodo de
reponderao se baseia somente na estimao do escore de propenso. Neste
segundo mtodo, no precisamos estimar a funo de regresso que relaciona
os resultados potenciais com X. Sob algumas hipteses, ambos os mtodos
resultam em estimadores consistentes e eficientes para o efeito mdio do tratamento. No entanto, enquanto o comportamento do estimador de regresso
sensvel especificao usada para o modelo que relaciona os resultados potenciais com X, o estimador de reponderao sensvel ao modelo usado para
o escore de propenso. Robins e Ritov (1997) propuseram um estimador que
combina o mtodo de regresso com o mtodo de reponderao. A motivao
para combinar mtodos que o estimador se torna menos sensvel a apenas
uma das hipteses. Este estimador para o efeito mdio do tratamento tem a
propriedade de ser duplamente robusto, isto , se o modelo paramtrico para
o escore de propenso for corretamente especificado ou se o modelo param-
98
l Fundao Ita Social
trico para a regresso linear for corretamente especificado, o estimador consistente para o efeito mdio do tratamento sobre os tratados.
Esta combinao de mtodos tambm pode ser usada para estimar o efeito mdio do tratamento sobre os tratados. Uma maneira de estimar o efeito
mdio do tratamento sobre os tratados proposta por Hirano e Imbens (2001)
usando uma regresso linear estimar o seguinte modelo linear:
(5.5.3.1)
no qual a mdia amostral de X na subamostra de indivduos tratados. Neste caso, representa o efeito mdio do tratamento sobre os tratados.
Mas, essa regresso linear pode ser combinada com o mtodo de reponderao, no qual ponderamos as unidades no grupo de controle por
Ao
final, estimamos uma regresso ponderada com o peso igual a 1 para um indivduo no grupo de tratamento e igual a
para uma unidade no grupo
de controle. De modo mais formal, estimamos o modelo linear acima com a
seguinte funo peso:
(5.5.3.2)
representa o estimador paramtrico do escore de propenso,
no qual
19
obtido por uma regresso logit ou probit 48
.
Para obter o efeito mdio do tratamento usamos tambm uma regresso ponderada com duas modificaes em relao ao modelo anterior. Primeiro, a regresso estimada excluindo a mdia para toda a amostra:
em que a mdia amostral de X na amostra total, incluindo os indivduos

no grupo de tratamento. Segundo, temos que no s reponderar os indivduos no grupo de controle para melhor representar os indivduos tratados, mas
tambm os indivduos no grupo de tratamento para melhor representar os indivduos no-tratados. Neste caso, o peso para os indivduos tratados ser o
inverso da probabilidade de receber tratamento e para os indivduos no-tratados ser o inverso da probabilidade de no receber tratamento. Neste caso,
usamos a seguinte funo peso:
Este mtodo mais geral, permitindo que a regresso linear inclua apenas um subvetor de
variveis explicativas, bem como o modelo para o escore de propenso. De outra maneira,
o vetor de variveis observveis que determinam a participao no tratamento pode ser
diferente do vetor de variveis explicativas que determinam os resultados.
48
5.6 Exemplos
Mattos, Maia e Marques (2010) usam o pareamento baseado no escore de propenso para estimar o efeito de programas redistributivos incondicionais no
nmero de horas trabalhadas de homens e mulheres. O programa Bolsa-Famlia engloba polticas de transferncias condicionais e incondicionais de renda.
Este programa abrange a populao em extrema pobreza e so elegveis as
famlias com renda per capita inferior a R$ 50. Estas famlias podem receber a
transferncia sem nenhuma contrapartida. Alm disso, existe um valor adicional para cada criana da famlia que for para a escola. Este programa difere do
antigo Bolsa Escola, no qual as transferncias ocorriam somente se os filhos
frequentassem a escola. O objetivo do artigo comparar a oferta de trabalho
dos beneficirios de programas incondicionais como o Renda Mnima em relao a programas condicionais como o Bolsa Escola. A ideia seria que os beneficirios dos programas de transferncia incondicionais no teriam incentivos
para mudar suas horas de trabalho, pois eles teriam um aumento de renda sem
nenhuma contrapartida. J nos programas condicionais como o Bolsa Escola,
as crianas precisam ficar na escola, o que poderia reduzir as horas trabalhadas
pelas crianas, o que, por sua vez, pode afetar a oferta de trabalho dos adultos.
Alm disso, ao trabalhar mais horas, os adultos poderiam perder o direito ao
benefcio. Os autores usam o mtodo do pareamento um a um baseado no
escore de propenso isto , cada indivduo no grupo de tratado pareado com
apenas um indivduo no grupo de controle para estimar o efeito mdio dos
programas de transferncias de renda nas horas trabalhadas dos beneficirios.
Neste exerccio, usamos dados semelhantes aos usados em Mattos, Maia e Marques (2010) para estimar o efeito do programa de Renda Mnima e do programa Bolsa Escola sobre o nmero de horas remuneradas de homens e mulheres
20
beneficirios do programa com idade entre 12 e 65 anos 49
.
A tabela 5.3.1 apresenta os resultados da estimao deste efeito usando alguns
dos mtodos descritos nesta seo. A parte superior da tabela apresenta os
resultados para os homens, enquanto a parte inferior apresenta os resultados
para as mulheres. Para os homens, o efeito do programa Bolsa Escola sobre o
nmero de horas trabalhadas remuneradas ao ano negativo e estatisticamente significativo em todos os mtodos, exceto no mtodo que usa o pareamento
com o mtodo do vizinho mais prximo (coluna 2). interessante notar que os
resultados estimados pelo pareamento com mtodo do vizinho mais prximo,
pela regresso e pela regresso com reponderao so bem semelhantes. No
entanto, no caso do Programa de Renda Mnima, o efeito do programa sobre
o nmero de horas remuneradas no estatisticamente significativo, exceto
para o caso em que combinamos o mtodo da regresso com o mtodo da
No artigo em questo, os autores usam como varivel dependente o nmero de horas
trabalhadas ao ano. Neste exemplo, usamos como varivel dependente o nmero de horas
de trabalho remuneradas ao ano.
49
100 l Fundao Ita Social
reponderao (coluna 4). Neste ltimo caso, encontramos um efeito positivo

sobre o nmero de horas trabalhadas remuneradas. Este resultado contradiz
a teoria de que programas de transferncias incondicionais no levariam os
indivduos a trabalharem mais, pois eles teriam um aumento da renda sem
contrapartida. No caso das mulheres, quando usamos o mtodo do pareamento, encontramos que os efeitos de ambos os programas so no significativos.
Quando usamos o mtodo da regresso, encontramos que o efeito do programa de Renda Mnima negativo e significativo a 5%, enquanto o efeito do
programa Bolsa Escola no significativo. Os resultados encontrados com o
mtodo que combina regresso com ponderao indicam que ambos os programas tm um efeito negativo e significativo no nmero de horas remuneradas das mulheres beneficirias, sendo este efeito maior em valor absoluto para
no caso do programa de Renda Mnima. Este resultado indica que, no caso das
mulheres, o programa leva a uma diminuio da oferta de trabalho.
Uma das hipteses usadas por todos os mtodos baseados no escore de propenso a de que existe sobreposio da distribuio do escore de propenso
para tratados e da distribuio do escore de propenso para os controles na
regio de X. O grfico 5.6.2 mostra a sobreposio do escore de propenso
para homens e mulheres beneficirios e no-beneficirios para cada um dos
programas. As barras azuis mostram o histograma para os indivduos que no
receberam tratamento, enquanto as barras vermelhas mostram o histograma
para os indivduos no grupo de tratamento. Logo, podemos verificar qual a
porcentagem de indivduos no grupo de controle e no grupo de tratamento
para cada intervalo do escore de propenso. Se h sobreposio, em cada intervalo que tiver indivduo tratado, temos que ter tambm indivduos no-tratados. Os grficos indicam que h sobreposio das distribuies do escore de
propenso tanto para os homens quanto para as mulheres.
Tabela 5.3.1: Mtodos usando o Escore de Propenso
Fonte: Elaborao prpria dos dados da POF 2002-2003.
O vetor de varivel X inclui escolaridade, participao no mercado de trabalho, ciclo de vida, composio
familiar, raa, sade, qualidade de moradia, controles estaduais.
O modelo o mesmo usado em Mattos, Maia e Marques (2010)
Grfico 5.3.2: Distribuio do Escore de Propenso para Tratados e para

No-Tratados
Exerccios
1) Estamos interessados em estimar o efeito mdio do tratamento,
Usamos a seguinte hiptese de seleo nos observveis
e a seguinte hiptese de sobreposio,

a) Mostre que se simplesmente tirarmos a diferena entre a expectativa dos resultados potenciais para os tratados e a expectativa dos resultados
potenciais para o controle no necessariamente conseguimos o efeito mdio
do tratamento.

c) Mostre que podemos usar o mtodo da reponderao para obter o
efeito mdio do tratamento. Ou seja, mostre a seguinte igualdade:

d) Proponha um estimador para o efeito mdio do tratamento baseado no resultado obtido na letra (b).
2) No exemplo deste captulo, Mattos, Maia e Marques (2010) usam o mtodo

do pareamento para estimar o efeito mdio do tratamento de programas de
transferncias de renda sobre o nmero de horas remuneradas dos beneficirios do programa.

a) Quais hipteses devem ser vlidas para que o estimador de pareamento seja consistente para o efeito mdio do tratamento sobre os tratados?

b) Interprete estas hipteses no contexto do exemplo, e discuta a validade destas hipteses.

d) Suponha que voc obtenha uma base de dados que contm as
caractersticas (X) dos beneficirios e no-beneficirios do programa antes e
depois da implementao. Alm disso, voc tambm observa o resultado de
interesse nos perodos pr e ps-programa. Como voc modificaria a anlise
realizada por Mattos, Maia e Marques (2010)? Discuta a validade das hipteses
deste novo mtodo.
3) Para estimar o efeito de um programa de treinamento no mercado de trabalho sobre salrio, voc obtm uma base de dados que tem o salrio dos
indivduos tratados e no-tratados e um vetor com vrias caractersticas do
background socioeconmico dos indivduos e tambm da sua atividade no
mercado de trabalho. Em um primeiro momento, voc decide usar estas informaes para estimar o efeito mdio do tratamento sobre os beneficirios usando um pareamento simples baseado no vetor de caractersticas dos indivduos.
Ao tentar o pareamento baseado nas caractersticas individuais e nas caractersticas dos postos de trabalho, o vetor X tem uma dimensionalidade muito
grande e voc decide fazer o pareamento baseado no escore de propenso.

a) Quais hipteses precisam ser satisfeitas para que este estimador baseado no escore de propenso represente o efeito mdio do tratamento sobre
os beneficirios do programa?

b) Voc poderia obter este efeito mdio do tratamento sobre os tratados usando uma regresso linear? Se sim, explique como. Se no, justifique a
sua resposta.

c) Um pesquisador l o seu trabalho e argumenta que o seu resultado
muito sensvel especificao do escore de propenso. Ele acredita que a
sua especificao do escore de propenso no flexvel o suficiente para que
as hipteses especificadas em (a) sejam satisfeitas. Como voc responderia a
esta crtica? Proponha um mtodo que seja menos sensvel a especificao do
escore de propenso e interprete as suas hipteses.
4) Hirano e Imbens (2001) usam os mtodos baseados no escore de propenso para estimar o efeito mdio de um procedimento cardaco, o cateterismo,
sobre a probabilidade de sobrevivncia dos indivduos. Eles usam observaes
para 5.735 indivduos, sendo 2.184 tratados e 3.551 no-tratados. Para cada
indivduo, eles observam se um procedimento de cateterismo foi aplicado no
perodo de 24 horas aps a entrada no hospital com problemas cardacos. Os
indivduos no grupo de tratamento so aqueles que sofreram a interveno de
um cateterismo, enquanto os indivduos no grupo de controle so aqueles que
no sofreram a interveno. Alm disso, eles observam um vetor com 72 caractersticas para cada um dos indivduos, como por exemplo, sexo, raa, educao, renda, se possui plano de sade, tipo de doena que possui, peso, etc. Eles
estimam o escore de propenso baseado em um modelo logstico.

a) Antes de estimar o efeito mdio do tratamento sobre os tratados,
eles apresentam uma tabela que contm um teste de diferena de mdias para
as caractersticas observveis. Eles obtm resultados para este teste antes e depois da ponderao pelo escore de propenso. Esta tabela encontra-se abaixo.
Interprete estes resultados.
Nesta tabela, renda 1, renda 2 e renda 3 representam 3 baixas de renda faixa,

mdia e alta, respectivamente.
b) Antes de estimar os efeitos, eles tambm mostram os histogramas

do escore de propenso para o grupo de tratados e para o grupo de no-tratados. Interprete estes grficos.

c) Eles usam diferentes mtodos para estimar o efeito mdio do tratamento sobre a taxa de sobrevivncia. Usando um estimador de pareamento simples baseado nos vizinhos mais prximos, eles encontram um efeito de
-0,081 (erro-padro de 0,017). Ao combinar o mtodo de pareamento com regresso simples, o efeito de -0,063 (erro-padro de 0,016). Estimando o efeito
mdio do tratamento por regresso linear, eles encontram um efeito mdio de
-0,065 (erro-padro de 0,014), enquanto usando o mtodo de reponderao,
eles encontram um efeito mdio de -0,060 (erro-padro de 0,018). Combinando os mtodos de regresso e reponderao, eles encontram um efeito mdio
de -0,062 (erro-padro de 0,015). Interprete estas evidncias, dando nfase s
hipteses em que se baseia cada estimador. Qual seria a concluso sobre o
efeito deste procedimento na taxa de sobrevivncia?
PARTE 2
Mtodos Avanados de
Avaliao de Impacto
CAPTULO 6
Variveis Instrumentais
Ao contrrio dos mtodos apresentados no captulo 5, o mtodo de varivel
instrumental baseia-se no caso de seleo em variveis no observveis. Neste
captulo, consideraremos o arcabouo de resultados potenciais apresentado
no captulo 2, mas lidaremos com a estimao do efeito mdio do tratamento
sob a hiptese de seleo em caractersticas no observveis. O nosso problema consiste em estimar o efeito mdio do tratamento quando existem outros
fatores, alm das caractersticas observveis presentes no vetor X, que afetam
simultaneamente a deciso de participar no programa e os resultados potenciais, isto , quando:
Neste caso, precisamos de uma varivel exgena Z que afeta a deciso de participao e que no est correlacionada com nenhum fator no observvel relacionado
ao resultado potencial. No caso clssico de varivel instrumental com efeitos homogneos do tratamento, estamos pensando no seguinte sistema de equaes:
no qual
igual a 1 se o indivduo recebeu tratamento, e 0 se o indivduo
no-tratado. Alm disso, assumimos que
,
ou seja, que no h relao linear entre o instrumento e o termo aleatrio da
equao principal, mas os termos aleatrios no observveis das duas equaes so correlacionados. Neste sistema, os fatores no observveis que afetam a deciso de participar no programa esto correlacionados com os fatores
no observveis que afetam o resultado de interesse, e precisamos de um instrumento Z que permita captar uma variao exgena na deciso de participar
do programa, e que ao mesmo tempo no est relacionado de forma direta
com o resultado potencial.
Este modelo pode ser estimado por mnimos quadrados em dois estgios. Neste caso, em um primeiro estgio, estimamos um modelo de probabilidade linear que relaciona com e obtemos o valor predito:
Este valor predito representa uma variao exgena na deciso de participar

ou no do programa, que no est relacionada a nenhum outro fator que possa
influenciar o resultado de interesse.
Em um segundo estgio, estimamos uma regresso linear que relaciona o resultado de interesse (Y) com este valor predito,
No sistema de equao acima, a varivel Z no afeta diretamente Y. Ela s afeta

o resultado de interesse atravs da sua relao com a participao ou no no
tratamento. Alm disso, assumimos que o efeito de tratamento homogneo,
isto ,
para todo indivduo i. No caso de tratamento homogneo, o resultado do indivduo depende apenas da sua participao ou no no programa
e no est relacionado a como a participao no programa afetada pelo instrumento Z. No caso de tratamento homogneo, o efeito mdio do tratamento
(EMP) igual ao efeito mdio do tratamento sobre os tratados (EMPT), EMP
=EMPT= .
Se os indivduos souberem que os ganhos de participao podem diferir para
certos grupos, eles iro levar em considerao esta informao na hora de decidir se participam ou no do programa. Neste caso, tanto seus ganhos individuais como iro afetar a deciso de participar do indivduo i, e variaes em
iro afetar a deciso de participar de forma diferente para cada indivduo,
dependendo do seu ganho com o tratamento, . Neste caso, a hiptese de
homogeneidade do tratamento violada, e o estimador de varivel instrumental no identifica o efeito mdio do tratamento ou o efeito mdio do tratamen-
to sobre os tratados.
Imbens e Angrist (1994) mostraram que quando os efeitos do tratamento so
heterogneos, o arcabouo de varivel instrumental permite identificar um
efeito mdio de tratamento local, isto , um efeito mdio do tratamento para
uma subpopulao especfica. Neste caso, ser o efeito mdio do tratamento
para aqueles indivduos cuja variao em Z provoca uma variao no status de
participao sem afetar os resultados potenciais. Para estes indivduos, a diferena na mdia dos resultados potenciais do grupo de tratados e do grupo de
no-tratados ocasionada por uma variao em Z se d exclusivamente atravs
do efeito de Z na taxa de participao do programa.
Este efeito mdio do tratamento para a subpopulao de indivduos induzidos
ao tratamento por variaes no instrumento chamado de efeito mdio local
do tratamento (LATE)350. Iremos entender este efeito dentro do arcabouo de
resultados potenciais. Neste arcabouo, definimos como compliers os indivduos que so induzidos pelo instrumento a terem uma mudana de comportamento na varivel endgena, no caso em questo, na participao ou no no
programa. O LATE seria o efeito mdio do tratamento para esta populao de
compliers. Como no captulo 2, definimos (0) como o resultado potencial
do indivduo i caso ele no tivesse participado no programa e (1) como o
resultado potencial do indivduo i caso ele tivesse participado. Podemos definir
o resultado observado como:
(6.1)
Suponha que, alm de observarmos ( , ) para cada indivduo, observamos
tambm uma varivel instrumental binria . Neste caso, (0) seria o valor
potencial da varivel endgena (participao no tratamento) se a pessoa tivesse um valor de que a induzisse a no participar e (1) seria o valor potencial da varivel endgena (participao no tratamento) se a pessoa tivesse
um valor de que a induzisse a participar 514. O valor realizado para pode ser
definido como uma funo do instrumento:
(6.2)
Neste arcabouo de resultados e tratamentos potenciais, podemos pensar no
resultado potencial como uma funo de Z e T, (Z,T) que seria o resultado
Esta sigla LATE vem do nome em ingls, Local Average Treatment Effect.
Ti(0) e Ti(1) so os valores potenciais para a participao no tratamento, e seriam respectivamente os valores de T que eles teriam se no tivessem sido tratados ou tivessem sido
tratados, independendo se eles de fato receberam tratamento ou no.
50
51
potencial que seria observado se o instrumento assumisse valor z e o tratamento, valor t. Com um instrumento binrio, temos quatro resultados potenciais,
(0,0), (0,1), (1,0), (1,1). Por exemplo, Y(0,0) seria o resultado potencial
do indivduo que obteve um valor de Z igual a 0 e decidiu no participar do
programa.
Como no caso clssico de varivel instrumental, precisamos que o instrumento Z s afete o resultado de interesse atravs do seu efeito na taxa de participao. Para garantir que isso acontea em um arcabouo com efeitos hetergenos, precisamos que Z seja independente no apenas dos resultados
potenciais, mas tambm dos tratamentos potenciais. Precisamos que a varivel
instrumental seja to boa como se ela fosse alocada de forma aleatria entre os
indivduos, isto , precisamos que o instrumento seja independente dos quatro
resultados potenciais e dos tratamentos potenciais.
Alocao Aleatria:
(1), (0)) (H1)
independente de (
(0,0),
(0,1),
(1,0),
(1,1),
Alm de
ser alocado de forma aleatria, precisamos que ele s afete o resultado de interesse atravs da variao que provoca na taxa de participao, ou
seja, precisamos de uma hiptese conhecida como restrio de excluso. Esta
hiptese garante que o instrumento s afete Y atravs de um canal conhecido.
De um modo mais formal, esta hiptese garante que, ao controlarmos por t,
(z,t) no uma funo de z, mas somente de t:
Restrio de Excluso:
(z,t) =
(z*,t) para todo t, z, z*
(H2)
A restrio de excluso permite que os resultados potenciais sejam definidos

somente com base no status do tratamento:
e o resultado observado pode ser escrito como:

(6.5)
No caso de tratamentos heterogneos, cada indivduo responde a diferentes
valores do instrumento dependo do resultado recebido pelo tratamento. Podemos pensar em quatro tipos de comportamento induzidos pelo instrumento.
Suponha que os indivduos que recebem valores de Z igual a 1 so convidados
a participar do programa, enquanto os indivduos com valores de Z igual a 0
no so convidados a participar. Podemos pensar, por exemplo, em um progra-
ma em que o aluno pode se matricular em um curso tcnico dependendo de

sua nota em um teste de proficincia e o seu histrico escolar. Se a nota do aluno no teste for superior a um valor determinado c, ele convidado a se matricular no curso. Caso ele receba uma nota inferior a c, ele no recebe o convite.
Neste caso, o instrumento seria uma varivel binria que igual a 1 se o aluno
tirou uma nota no teste de proficincia acima de c, e 0, caso contrrio. Podemos
pensar em um primeiro grupo de alunos que gostariam de se matricular no
programa independente da sua nota no teste de proficincia, isto , independente do valor do instrumento. Estes alunos so chamados de always-takers,
pois eles sempre aceitariam participar do programa independentemente do
valor do instrumento. Existe outro grupo de indivduos que no gostaria de
se matricular no curso tcnico, independentemente do valor do instrumento.
Este grupo de indivduos conhecido como never-takers e so aqueles que
nunca aceitariam participar, independentemente da sua nota no teste de proficincia. Alm disso, existem indivduos que iro mudar o seu comportamento de acordo com o valor do instrumento. O terceiro grupo composto pelos
indivduos que, se tiverem uma nota acima de c no teste de proficincia, iro
realizar o curso tcnico, mas se receberem uma nota abaixo de c no teste, no
iro se matricular. Estes indivduos so chamados de compliers. Finalmente,
teremos os indivduos que tero comportamento oposto quele induzido pelo
instrumento. Neste grupo, se os indivduos recebessem notas abaixo de c, eles
gostariam de se matricular no curso; mas se eles recebessem notas acima de
c, eles no se matriculariam no curso. Este ltimo grupo conhecido como
5
defiers. Podemos representar estes quatro grupos em uma tabela52
de acordo
com o comportamento de cada um a variaes do instrumento,
Por exemplo, a primeira clula desta tabela representa os indivduos cujo tratamento potencial, independentemente da realizao do instrumento (0 ou 1),
sempre igual a 0, ou seja, eles nunca participam. Estes so os never-takers.
Baseados nas variveis que observamos para cada indivduo ( , , ), no
podemos classificar estes indivduos em cada um dos grupos acima. Para isso,
precisaramos saber como eles iriam reagir caso eles recebessem outra realizao para a varivel instrumental. Com as informaes que observamos podemos montar a seguinte tabela:
52
Estas tabelas foram retiradas de Imbens e Wooldridge (2009)
Esta tabela indica que, ao observamos para o indivduo i o par (Z,T) = (0,1), s
sabemos que este indivduo no participaria do curso tcnico se a sua nota for
abaixo do ponto de corte c. Este indivduo pode estar no grupo de compliers
ou de never-takers. Para saber de fato a qual grupo o indivduo realmente
pertence, precisaramos saber qual seria o seu comportamento caso ele tirasse uma nota superior a c no teste de proficincia. Para que o LATE identifique
o efeito mdio para alguma subpopulao, precisamos identificar o comportamento de cada um dos grupos e para isso assumimos que existem poucos
indivduos que faro o oposto do que foi sugerido pelo instrumento, isto ,
assumimos monotonicidade dos tratamentos potenciais:
Monotonicidade:
para todo i
(H3)
Esta hiptese de monotonicidade garante que todas as pessoas so afetadas

na mesma direo pelo instrumento, isto , no podem existir os indivduos
que, se recebessem uma nota no teste de proficincia acima de c, no iriam se
matricular no curso, e se recebessem uma nota no teste acima de c iriam se matricular no curso. Com a hiptese de monotonicidade, a informao que temos
nos dados observveis aumenta e pode ser representada pela tabela abaixo:

Como pode ser visto pela tabela, a hiptese de monotonicidade elimina a existncia dos defiers. Usando a informao da tabela acima, podemos identificar
o efeito mdio do tratamento sobre a populao de compliers. Podemos decompor a expectativa condicional de Y em Z no comportamento de cada um
dos grupos,
Sob a hiptese de monotonicidade,

representa a proporo
representa a proporo de never-takers e
de always-takers,
representa a proporo de compliers. Podemos decompor a diferena dos resultados potenciais em quatro grupos:
Note que as duas primeiras linhas representam o grupo de compliers, a terceira linha se refere o grupo de always-takers e a ltima linha representa o grupo
de never-takers. Sob a hiptese de restrio de excluso,
e podemos reescrever a expresso acima como:
O efeito mdio do tratamento para o grupo de compliers simplesmente a

seguinte razo:
Esta razo o parmetro estimado pelo mtodo de varivel instrumental quando o instrumento uma varivel binria e os efeitos so heterogneos. Os dados observveis s nos do informao sobre o efeito mdio do tratamento
para a subpopulao de indivduos que tiveram o comportamento induzido
pelo instrumento, isto , para o grupo de compliers.
Suponha que observamos um vetor de caractersticas adicionais dos indivduos (X) que podem ser usados nos modelos para o resultado de interesse e para
a participao no tratamento. Neste caso, este vetor seria includo nos dois modelos que iremos estimar por mnimos quadrados em dois estgios:
Consideramos que
so variveis exgenas que tm um efeito direto no resultado de interesse. Se a varivel instrumental
for de fato alocada de forma aleatria entre os indivduos, ele seria independente das demais variveis
explicativas do modelo
e a incluso do vetor X no modelo s levaria ao
aumento da preciso das estimativas. No entanto, como no caso tradicional de
variveis instrumentais, a razo principal de se incluir outras variveis explicativas no modelo que a hiptese de alocao aleatria de
e a restrio de
excluso so vlidas somente se condicionarmos em , isto , se compararmos indivduos com as mesmas caractersticas observveis. De maneira mais
formal, neste caso, as hipteses de alocao aleatria e a restrio de excluso
seriam:
Alocao Aleatria*: Z independente de (Y (0,0), Y (0,1), Y (1,0), Y (1,1),
T (1), T (0)), condicional em X (H1*)
Esta hiptese nos diz que entre indivduos com o mesmo vetor de caractersticas X , o instrumento Z foi alocado de forma aleatria.
Restrio de Excluso*: Y (z,t,x) = Y (z*,t,x) para todo t, x, z, z*
(H2)
Neste caso, somente para indivduos com o mesmo vetor de variveis explicativas, os resultados potenciais no iro depender da realizao de Z.
No caso em que inclumos um vetor adicional de variveis explicativas no modelo, a estimao tambm pode ser realizada por mnimos quadrados em dois
estgios. Em um primeiro momento estimamos o modelo linear que relaciona
a participao com todas as variveis exgenas e calculamos o valor predito,
e em um segundo estgio, usamos este valor predito como varivel explicativa

no modelo linear para Y,
6.1 Interpretao do parmetro LATE e a

sua relao com os outros mtodos
Como j foi dito, apesar de muito semelhante ao estimador clssico de varivel instrumental (se eliminarmos a hiptese de efeitos heterogneos), o LATE
no representa o efeito mdio do tratamento ou o efeito mdio do tratamento sobre os tratados. O LATE representa apenas o efeito mdio do tratamento
para uma subpopulao bem especfica, a populao de indivduos que tem
seu comportamento alterado em funo de uma variao no instrumento. Em
geral, este grupo de indivduos no representativo da populao como um
tudo. Dada esta limitao, podemos perguntar se este efeito local identificado
pelo LATE interessante para uma anlise de poltica. A resposta a esta pergunta ir depender do instrumento que ser usado na anlise. Por exemplo,
se a varivel instrumental for alguma mudana de poltica que afeta a taxa de
participao, o LATE representa um parmetro de interesse para esta poltica,
pois representa o efeito mdio do tratamento para a subpopulao que teve o
seu comportamento alterado por tal poltica. Se, por outro lado, usarmos uma
varivel contnua que simplesmente afeta a taxa de participao e no tem
efeito direto no resultado, LATE pode ser um parmetro menos informativo.
importante pensar tambm na relao entre o arcabouo do LATE e os demais mtodos apresentados neste livro. Como j foi dito, diferentemente dos
mtodos de pareamento, o mtodo de varivel instrumental usado quando a
hiptese de seleo em caractersticas observveis violada, ou seja, o processo de seleo para o tratamento baseado em caractersticas no-observveis.
Alm disso, podemos fazer uma analogia entre o LATE e um experimento aleatrio. Suponha que o instrumento seja uma oferta de tratamento que foi alocado de forma aleatria entre os indivduos. Por exemplo, suponha que queremos testar o efeito de um exame novo que foi criado para detectar cncer de
mama, e para isso convidamos uma amostra aleatria de mulheres de 35 a 50
anos para realizar o exame. As mulheres que recebem a carta convite podem
se dirigir clnica e fazer o exame, ou podem no aceitar o convite e no fazer
o exame. Como so as mulheres que escolhem se iro fazer ou no o exame,
as mulheres que decidem fazer o exame podem ser na mdia diferentes das
mulheres que se recusaram a faz-lo. Por exemplo, as mulheres que aceitaram
os convites so geralmente mais bem instrudas, se preocupam mais em realizar os seus exames peridicos para deteco de doenas e tm hbitos mais
saudveis, tendo na mdia uma sade melhor que as mulheres que rejeitaram
o convite. Logo, para encontrar o efeito mdio do tratamento sobre a probabilidade de detectar cncer de mama, no podemos comparar a proporo de
mulheres que fizeram o exame e foram diagnosticadas com cncer de mama
com a proporo de mulheres que no fizeram o exame e receberam o diagnstico da doena, pois neste caso estaramos misturando o efeito do programa com o efeito de uma vida mais saudvel. Neste caso, estamos no arcabouo
em que o instrumento vem de um experimento real e foi alocado de forma aleatria entre as mulheres. O instrumento seria uma varivel binria que assume
valor igual a 1 se a mulher foi convidada a fazer o exame, e 0, caso contrrio.
Neste caso, LATE o efeito mdio sobre as mulheres que de fato receberam o
tratamento, isto , o efeito mdio do tratamento sobre os tratados.
6.2 O Caso de Mltiplos Instrumentos

Imbens e Angrist (1994) e Angrist e Imbens (1995) mostram que o estimador
que usa mltiplos instrumentos uma mdia ponderada de cada um dos LATEs obtidos com cada instrumento especfico. Nesta seo, iremos entender
este resultado dentro de um instrumental simples no qual consideremos um
par de instrumentos binrios
e
, que so mutuamente exclusivos. Suponha que a hiptese de monotonicidade satisfeita para cada uma destas
variveis binrias. Para estimar o efeito mdio do tratamento para a populao
de compliers, usamos o estimador de MQO em dois estgios. Em um primeiro
estgio, estimamos o modelo linear que relaciona o tratamento com as duas
variveis instrumentais:
(6.2.1)
Em um segundo estgio, usamos este valor predito como a varivel explicativa no
modelo linear para o resultado Y e estimamos o seguinte modelo linear simples:
(6.2.2)
O estimador de mnimos quadrados em dois estgios para este caso :
(7.2.3)
Substituindo a equao do primeiro estgio para
:
(7.2.4)
Multiplicando e dividindo o primeiro termo por Cov

, temos que:
por Cov
, o segundo termo
Note que
seria o LATE usando apenas o instrumento , e
seria o LATE usando apenas o instrumento . Logo, podemos escrever o estimado de MQO como uma mdia ponderada dos estimadores usando cada
uma das variveis instrumentais,
(7.2.5)
Os pesos de cada um dos LATES depende de quo forte a relao de cada
instrumento com a participao no tratamento, isto , ser dado maior peso
ao instrumento que apresenta uma relao mais forte com a participao no
tratamento. Podemos mostrar que este resultado se estende para o caso de
mltiplos instrumentos discretos.
6.3 O Caso de Instrumentos Contnuos

Nesta seo, consideremos a estimao do impacto do tratamento sobre toda
a distribuio de um instrumento contnuo. Neste caso, o instrumento contnuo e a probabilidade de participao condicional a Z tambm uma funo
uma funo contnua em z. Neste caso,
contnua, isto ,
usamos mudanas infinitesimais na taxa de participao para medir o efeito
mdio local do tratamento (LATE). Heckman (1990), Vytlacil (2002), Heckman
e Vytlacil (2001), Carneiro, Heckman e Vytlacil (2005) usam um modelo de seleo para interpretar este efeito marginal. A seleo feita atravs de uma
funo de z e de um componente no-observvel, :
(6.3.1)
Sob a hiptese de alocao aleatria de Z , e se a restrio de excluso e a hiptese de monotonicidade so satisfeitas para todos os pares de z e z*, o modelo
latente implica que podemos ordenar os indivduos de acordo com os seus
componentes no-observveis . Se o fator no-observvel do indivduo i
menor que o do indivduo
, ento
para todo z. Dado este
ordenamento baseado no no-observvel, podemos definir o efeito marginal
do tratamento condicional em :
(6.3.2)
Este efeito se relaciona diretamente com o limite do efeito mdio local do tratamento definido para os valores de tal que existe um valor z que satisfaz
,
para
(6.3.3)
Para entender este parmetro como o limite do LATE, voltamos ao caso mais
simples em que
uma funo linear em z . Neste caso, o estimador do
LATE para dois pontos na distribuio de z,
(6.3.4)
E podemos pensar no efeito marginal do tratamento (EMT) como o estimador
de LATE quando z fica arbitrariamente prximo de z*,
(7.3.5)
Este parmetro EMT usa um instrumento contnuo na tentativa de reconstruir
a distribuio das probabilidades de participao, e usar esta distribuio para
estimar o efeito na variao marginal de z.
6.4 Exemplo
Ponczek e Souza (2011) usam o arcabouo de varivel instrumental para estimar o
efeito do tamanho da famlia em alguns resultados das crianas. Em uma amostra
de famlias cuja mulher teve duas ou mais gestes, eles usam como instrumento
uma varivel binria que indica se na segunda gesto ocorreu o nascimento de
gmeos. Segundo os autores, este acontecimento de gmeos claramente relacionado com o tamanho de famlia, e condicional ao vetor de caractersticas da
famlia, ele s afeta os resultados de interesse atravs do efeito no tamanho da
famlia. Neste caso, a subpopulao de compliers composta pelas famlias com
pelo menos um filho nascido da primeira gesto que tiveram o tamanho da famlia aumentado em um nmero inesperado devido ao nascimento de gmeos. Os
resultados de interesse neste artigo que sero apresentados aqui so: se a criana
participa da fora de trabalho, se a criana vai escola e se a criana no repetiu a
srie. As tabelas 6.4.1 e 6.4.2 apresentam os resultados para as crianas com idade
entre 10 e 15 anos que moram com a me e o marido da me. Os efeitos mdios
locais foram estimados por mnimos quadrados em dois estgios. A tabela 6.4.1
apresenta os resultados do primeiro estgio, enquanto a tabela 6.4.2 contm os
resultados do segundo estgio. As variveis explicativas usadas como controle em
ambos os modelos so: variveis binrias para anos e estados brasileiros, educao
do chefe da famlia, gnero e sexo do chefe de famlia e educao e idade da me.
Usando os dados do Censo Brasileiro de 1991, os autores encontram que o tama-
nho da famlia apresenta um efeito significativo na progresso escolar das meninas, sendo este efeito negativo. Os autores apresentam evidncias de que, quanto
maior o tamanho da famlia, menor ser a probabilidade de a criana progredir na
escola, mantendo todas as demais caractersticas da famlia constantes. Como salientado pelos autores, este resultado importante para pensarmos nas polticas
pblicas de transferncia de renda que condicionam o montante recebido pelas
famlias somente na sua renda e no nmero de filhos que elas possuem. Nestas
polticas o efeito benefcio da renda pode ser cancelado pelos efeitos negativos do
incentivo ao aumento do tamanho da famlia.
Tabela 6.4.1: Resultados do Primeiro Estgio
Fonte: Ponczek e Souza (2011)
Tabela 6.4.2: Resultados do Segundo Estgio
Fonte: Ponczek e Souza (2011)
Exerccios
1) Duflo (2001) estima o efeito da construo de escolas na Indonsia no salrio
dos indivduos. Neste artigo, a autora usa um modelo linear para o salrio (w)
do indivduo i nascido na regio j e na coorte k, que pode ser simplificado pela
equao:
em que uma varivel binria que indica se na regio j o programa foi muito
intenso. Esta varivel igual a 1 se na regio j duas ou mais escolas foram construdas, e igual a 0, caso contrrio. Alm disso,
igual a 1 se o indivduo
estudou em uma escola que foi construda pelo programa, e 0, caso contrrio,
representa os fatores no observveis. Este modelo assume que o efeito
e
mdio do tratamento varia com a intensidade do programa.

a) Calcule
.
Qual seria o efeito mdio do programa para os indivduos que moravam em
regies nas quais o programa teve grande intensidade? Qual o efeito mdio do
programa para os indivduos em regies com baixa intensidade do programa?

b) Na tentativa de capturar efeitos heterogneos, os autores propem
o modelo composto pelo seguinte sistema de equaes:
em que
O que o parmetro
.
representa? Quem seriam os compliers neste modelo?

c) Como podemos estimar o efeito mdio do tratamento para a subpopulao de compliers usando o sistema acima?
2) Usamos o seguinte sistema de equaes para estimar o retorno da educao
sobre o salrio,
Em que S representa o nmero de anos de estudo do indivduo i, Z uma
varivel binria que igual a 1 se o indivduo i nasceu no primeiro trimestre do ano, e 0 se o indivduo nasceu no quarto trimestre. Assumimos que
e
. Suponha que
.

a) Interprete as duas hipteses
contexto deste exerccio.
no
b) Mostre que
c) Mostre que
d) Usando os resultados das letras (a) e (b), mostre que
e) Baseado nos estimadores acima, proponha um estimador para .

f) Angrist e Imbens (1995) usam uma base de dados para os Estados
Unidos para estimar o efeito dos anos de escolaridade sobre salrio, usando o
trimestre de nascimento como instrumento para anos de estudo. A ideia que
as pessoas s podem entrar no ensino bsico com 6 anos de idade. Nos Estados Unidos, o ano letivo comea em agosto. Assim, as crianas que nascem no
quarto trimestre do ano tm que esperar um ano a mais para entrar na escola
que as crianas que nascem no primeiro trimestre de nascimento. Esta variao
levaria um grupo a permanecer mais tempo na escola do que o outro. Os autores separam os indivduos em dois grupos. O primeiro grupo, composto pelos
indivduos nascidos no primeiro trimestre, e o segundo, por aqueles nascidos
no quarto trimestre. Para cada grupo, eles obtm as seguintes mdias para os
alunos de estudo e logaritmo do salrio,
Usando os resultados da tabela acima e o estimador proposto em (e), calcule a

estimativa para o efeito mdio de anos de estudo no logaritmo do salrio. Interprete este coeficiente como o efeito mdio de um tratamento para a subpopulao de compliers. Quem so os compliers neste caso?
3) Considere o seguinte modelo com efeitos heterogneos, no qual T uma
varivel binria que igual a 1 se o indivduo recebeu o tratamento, e

uma varivel instrumental binria. O efeito do tratamento sobre o resultado de
interesse representado por
ou de outra forma, podemos escrever este modelo usando o resultado observado para cada indivduo,
e tambm assumimos um modelo para o efeito do instrumento sobre o tratamento,

a) Mostre que, se temos efeitos heterogneos do instrumento sobre o
tratamento, mas temos um efeito homogneo do tratamento , o estimador
do LATE igual a mesmo que a hiptese de monotonicidade seja violada.

b) Considere o caso heterogneo, derive o vis do estimador do LATE
caso a hiptese de monotonicidade seja violada. Sob quais circunstncias, violaes da hiptese de monotonicidade no invalidam a anlise de um efeito
mdio local do tratamento?

c) Suponha que as hipteses do LATE sejam verdadeiras, mas
mostre que
Qual o significado desta hiptese adicional? Interprete este resultado e discuta

como voc iria estimar o efeito mdio local do tratamento neste contexto.
4) Um programa criado pelo governo para promover o consumo de frutas e
vegetais entre os alunos na 5 srie do ensino fundamental. Nas escolas que
receberam o programa, os alunos foram convidados a participar de aulas que
explicavam cada tipo de alimento e nas quais eles podiam experimentar as
frutas e vegetais. Alm disso, estes alunos tambm faziam excurses para mercados e feiras na tentativa de conhecer e experimentar um nmero grande de
frutas e verduras. As aulas e as excurses eram atividades extracurriculares, e os
pais tinham que autorizar os alunos a participar das mesmas. Dentro do estado,
metade das escolas foi selecionada para o grupo de controle, enquanto a outra
metade foi selecionada para o grupo de tratamento. Esta seleo foi realizada
de forma aleatria. O governo gostaria de avaliar o efeito do programa sobre a
sade das crianas. Para isso, ele possui uma base de dados que contm algumas caractersticas socioeconmicas dos alunos, se eles estavam em uma escola tratada e se participaram do programa. Alm disso, ele possui informaes
sobre a sade do aluno, como o nmero de vezes que o aluno ficou gripada
nos ltimos 12 meses.

a) Proponha um mtodo para estimar o efeito do programa sobre a
sade dos alunos.

b) Discuta as hipteses necessrias para que o mtodo proposto em
(a) seja vlido.

c) Quais seriam os resultados esperados desta avaliao? Voc acha
que os resultados obtidos para este estado se manteriam se esta poltica fosse
implementada em outros estados?
CAPTULO 7
Regresso Descontnua
O mtodo de regresso descontnua pode ser usado quando a probabilidade

de receber tratamento muda de forma descontnua com uma varivel, que vamos chamar de Z. Um dos primeiros trabalhos que usaram regresso descontnua foi Thristhlewaite e Cook (1960), que estimou o impacto de um prmio por
mrito no desempenho acadmico dos alunos. Neste estudo, o prmio por mrito era dado de acordo com as notas dos alunos. Os alunos que tinham notas
acima de um certo valor recebiam o prmio, enquantos os alunos que tinham
notas abaixo deste ponto de corte no podiam receber o prmio. Os autores
argumentam que os indviduos que esto logo abaixo do ponto de corte so
muito semelhantes aos indivduos logo acima do ponto de corte, exceto pelo
fato de que no receberam o prmio, e seriam um bom grupo de controle.
Neste estudo, a varivel Z, cujo valor determina o recebimento do tratamento,
a nota do aluno.
Uma das vantagens do mtodo de regresso descontnua que ele requer
hipteses mais fracas do que as hipteses usadas pelos mtodos no-experimentais apresentados at aqui. Ao invs de assumirmos uma hiptese de
independncia, como no captulo 5, iremos assumir que existe uma relao
contnua entre os determinantes do resultado de interesse e a varivel Z, e uma
relao descontnua entre a participao no tratamento e Z. Com esta hiptese, qualquer descontinuidade que ocorra na funo que relaciona Y a Z pode
ser atribuda ao salto que ocorre na participao do tratamento em determinado valor de Z, e o tamanho deste salto pode ser interpretado como um efeito
mdio local do tratamento. A desvantagem do mtodo de regresso descontnua que ele estima um efeito mdio do tratamento comparando apenas
os indivduos em torno deste ponto de corte. Se estes indivduos forem muito
diferentes do restante dos indivduos na populao de interesse, no podemos
afirmar que este seria o efeito mdio do tratamento para a populao de interesse. Assim, devemos ter cuidado ao tentar extrapolar o efeito mdio local encontrado pelo mtodo de regresso descontnua para o restante da populao.
No instrumental de regresso descontnua, o recebimento do tratamento, denominado pela varivel binria T, uma funo de Z. A descontinuidade pode
ser fuzzy ou sharp. No caso sharp, a participao uma funo determinstica
de Z, isto , T = 1 se X c, e T=0 se X < c. No caso fuzzy, ocorre um salto na
probabilidade de participao no ponto em que Z igual a c, mas no necessariamente de 0 para 1, como no caso sharp. Em ambos os casos, ter a descontinuidade na probabilidade de participao em Z igual a c no suficiente para
identificarmos o efeito mdio local do tratamento.
Se os indivduos tem controle sobre a varivel Z e eles sabem os benefcios
do tratamento, os indivduos abaixo da descontinuidade podem ser sistematicamente diferentes dos indivduos acima da descontinuidade. Por exemplo,
no estudo de Thristhlewaite e Cook (1960), se os estudantes puderem deteminar a sua nota no teste de proficincia de forma perfeita atravs do esforo, os
alunos mais esforados e determinados iro escolher notas acima de c e iro
ganhar o prmio, e estes alunos podem ser sistematicamente diferentes dos
demais pelo menos no que se refere ao esforo. Neste caso, os indviduos no
so comparavis em torno do ponto de corte, e no podemos usar os indivduos abaixo de c como um grupo de controle para os indivduos logo acima de c
que receberam o tratamento. No entanto, suponha um outro cenrio no qual
os alunos, mesmos se esforando mais, no tm garantia de que sua nota ser
maior que c. Neste novo cenrio, parece mais razovel pensar que os alunos
que ficaram logo abaixo do ponto de corte so semelhantes aos que ficaram
acima, exceto que os primeiros tiveram sorte e acertaram uma questo a mais
na prova do que os outros. Mesmo sabendo dos benefcios do tratamento, os
alunos no so capazes de manipular de forma perfeita a sua nota de modo
que ela fique acima de c. Neste caso, temos uma variao exgena no tratamento em torno da descontinuidade, e usamos esta variao para estimar o
efeito mdio do tratamento.
Se a variao no status do tratamento em torno do ponto de corte aleatria,
como descrito no caso acima, as caractersticas determinadas antes da realizao de Z devem ter a mesma distribuio no grupo de indivduos com valores
Z acima do ponto de corte e no grupo de indivduos com valores abaixo do
ponto de corte. Como no caso dos mtodos de pareamento, podemos verificar
se os indivduos em torno do ponto de corte so semelhantes em suas caractersticas observveis atravs de um teste de comparao de mdias. Se tivermos
evidncias de que na mdia os indivduos situados em torno do ponto de corte
so diferentes, devemos desconfiar da validade da estrutura da regresso descontnua. Alm disso, podemos representar a estrutura de uma regresso descontnua atravs de uma anlise grfica. Por exemplo, uma representao grfica da relao de Y e Z pode ser usada para nos dar uma ideia do tamanho da
descontinuidade, da forma funcional adequada para modelar esta relao, etc.
Voltaremos anlise grfica de uma regresso descontnua ao final do captulo.
Antes de descrevermos os casos fuzzy e sharp, iremos definir o efeito mdio
local do tratamento que identificado dentro da estrutura de uma regresso
descontnua, usando o arcabouo de resultados potenciais. O efeito mdio lo-
cal no ponto de descontinuidade c pode ser definido como:
Mas no observamos os resultados potenciais Y (1) e Y (0) para o mesmo

indivduo. Para cada indivduo i, observamos:
Para os indivduos com valores de Z logo acima do ponto de corte:
e de forma anloga para os indivduos logo abaixo do ponto de corte:
Definimos
como o valor que Y aproxima quando Z chega prximo de c
para os indivduos acima do ponto de corte, e
como o valor que Y aproxima quando Z chega prximo de c para os indivduos abaixo do ponto de
corte. De modo formal, temos
Sob a hiptese de que o resultado de interesse (Y) uma funo contnua de

Z,
A hiptese de continuidade exige que as funes de regresses condicionais

dos resultados do tratamento e do controle em Z sejam contnuas. De maneira
mais formal,
3
so funes contnuas em z53
Se em torno do ponto Z=c, o status do tratamento foi determinado de forma

aleatria, temos ignorabilidade local (H2), ou seja:
Uma hiptese mais forte que teria como consequncia a continuidade das funes de
regresso seria assumirmos que as funes de distribuies condicionais so contnuas, isto
, FY(0)|Z (y|z) e FY(1)|Z (y|z) e em z para todo y.
53
4
Sob esta hiptese de ignorabilidade54
,
Sob as hipteses de ignorabilidade local e continuidade,
E podemos escrever o efeito mdio local de tratamento como
no qual
A hiptese bsica para a identificao do efeito mdio local do tratamento
que a probabilidade de participao no tratamento uma funo de Z, e no
ponto c esta probabilidade sofre um salto. Esta variao no status de participao em torno de c pode ser interpretada como uma variao aleatria. Alm
disso, o resultado uma funo contnua de Z, de modo que qualquer descontinuidade em Y em torno de c pode ser atribuda somente ao tratamento.
7.1 Caso Sharp

Neste caso, T uma funo determinstica de Z. Todos os indivduos com um
valor de Z acima de c recebem o tratamento, e todos os indivduos com valores abaixo deste valor no recebem. A probabilidade de receber o tratamento
muda de 0 para 1 ao passar o ponto de corte. Neste caso, sob as hipteses de
continuidade e ignorabilidade local, no existem outros fatores que expliquem
a descontinuidade de Y em c a no ser o recebimento do tratamento, e interpretamos o salto de T no ponto c como o efeito causal do tratamento. Neste
caso,
e o efeito mdio local do tratamento :
Neste caso, a hiptese de ignorabilidade naturalmente satisfeita, pois para

Note que, como no caso dos mtodos de pareamento, a hiptese de ignorabilidade mais
forte do que a hiptese mnima necessria para identificar o efeito mdio local do tratamento. As hipteses mais fracas necessrias para identificao seriam as equaes (6.2) e (6.3).
54
os indivduos com o mesmo valor de Z no existe variao no tratamento. Os

indivduos com valores Z iguais ou acima de c tero T=1; e os indivduos com
valores abaixo de c sempre tero T=0.
O grfico 7.1.1 ilustra a estrutura da regresso descontnua no caso sharp. A
figura 1 representa a probabilidade de receber tratamento, ilustrando que esta
probabilidade muda de 0 para 1 quando Z igual ao valor do ponto de corte. A
figura 2 representa as curvas dos resultados potenciais caso o indivduo receba
tratamento (Y(1)) e os resultados potenciais caso o indivduo no receba tratamento (Y(0)). S observamos os pontos da funo de Y(0) para indivduos
com valores de Z abaixo de c, e os pontos da funo de Y(1) para os indivduos
com valores de Z acima de c. Se estas funes so contnuas em Z, podemos
atribuir o salto que acontece no ponto c como o efeito mdio do tratamento
em torno desta descontinuidade.
Grfico 7.1.1: Regresso Descontnua Sharp

Figura 1: Probabilidade Condicional de Receber Tratamento
Figura 2: Expectatica Condicional dos Resultados
Suponha o caso simples em que a relao entre Y e Z uma funo linear,

e queremos identificar o efeito mdio do tratamento. Podemos representar o
caso sharp de regresso descontnua atravs do sistema de equaes:
no qual 1 uma funo indicadora que assume valor 1, caso o indivduo tenha
o valor de Z acima de c; e 0, caso contrrio. O grfico 7.1.2 ilustra este problema.
O salto na varivel Y no ponto c pode ser interpretado como o efeito causal do
tratamento se todos os outros fatores que afetam Y esto evoluindo de forma
suave em torno de c. De maneira formal, este salto ir representar se
Esta hiptese pode ser entendida como a hiptese de exogeneidade que usamos em uma regresso linear tradicional, sendo vlida somente em torno do
ponto de corte.
Grfico 7.1.2: O Caso Linear
7.2 Caso Fuzzy

Este o caso mais comum nas aplicaes em economia. Neste caso, o tratamento determinado parcialmente pela descontinuidade em Z. A probabilidade de receber tratamento no muda de 0 para 1 no ponto de corte (c), mas
acontece apenas um salto na probabilidade de receber tratamento no ponto
em que Z=c, ou seja:
Como a probabilidade de receber tratamento tem um salto menor que um, o

salto da expectativa condicional de Y em Z, que acontece no ponto em que Z
igual a c, no pode ser interpretado como efeito mdio do tratamento. Neste
caso, voltamos equao (7.4) e identificamos o efeito mdio do tratamento
como a razo entre o salto que ocorre em Y e o salto que ocorre em Z no ponto
de corte,
Um exemplo deste caso seria a situao em que o recebimento do prmio de

mrito no depende somente das notas dos alunos no exame de proficincia,
mas tambm de uma entrevista com uma banca examinadora. Neste caso, uma
nota acima de c aumenta a probabilidade de receber o prmio de mrito, mas

alunos que tiraram uma nota abaixo de c podem receber o prmio deste que
faam uma boa entrevista.
Para a identificao da razo das descontinuidades como um efeito mdio local do tratamento, precisamos das hipteses H1 e H2, estabelecidas no incio
deste captulo. O estimador da regresso descontnua no caso Fuzzy pode ser
relacionado com o estimador de varivel instrumental conhecido como LATE,
5
que foi apresentado no captulo 655
. Como sabemos, o LATE identifica a efeito
mdio do tratamento para os indivduos que mudaram o seu status de participao quando o valor do instrumento passa do ponto c. Para isso, ele precisa
de uma hiptese de monotonicidade, alm da hiptese de independncia.566
Defina T (z) como o status potencial de tratamento no ponto em que Z=z, para
z em uma pequena vizinhana de c. T (z) igual a 1 se o indivduo i recebe o
tratamento no ponto em que Z=z. A hiptese de monotonicidade pode ser
expressa usando este tratamento potencial:
H3: T (z) uma funo no-decrescente em z.
Dentro do instrumental do LATE, definimos como compliers os indivduos que
so de fato afetados pelo tratamento, isto , um indivduo i denominado de
complier se:
Os compliers so definidos como os indivduos que recebem o tratamento se

o valor de Z igual ou acima de c, mas no recebem o tratamento se o valor
de Z est abaixo de c. Considere o exemplo em que os indivduos que recebem
uma nota no teste de proficincia abaixo c so encorajados a fazer aulas de reforo escolar no contra-turno. O complier o indivduo que ir participar das
aulas de reforo se a sua nota ficar abaixo de c, e no ir participar se a nota for
igual ou maior que c. A hiptese de monotonicidade elimina o grupo de indivduos que receberia o tratamento se o valor de Z fosse abaixo do ponto de corte
e no receberia caso o valor de Z fosse acima do ponto de corte. Como fizemos
no captulo anterior, usando a hiptese de monotonicidade, podemos decompor o efeito mdio do tratamento em torno da descontinuidade no efeito para
os compliers, no efeito para os indivduos que sempre aceitam o tratamento
independente do valor de Z e no efeito para os indivduos que sempre recusam o tratamento independente do valor de Z.
Para maiores detalhes sobre o LATE, ver Imbens e Angrist (1994) e Angrist, Imbens e Rubin
(1996).
56
Ver Imbens e Angrist (1994).
55
As duas primeiras equaes representam o efeito mdio local do tratamento para

os compliers, a equao (7.2.2c) representa o efeito do tratamento para os indivduos que sempre recebem o tratamento independente do valor de Z e a ltima
equao representa o efeito mdio do tratamento para as pessoas que sempre recusam o tratamento independente do valor de Z. Pela hiptese de continuidade,
e temos que:
O estimador de regresso descontnua para o caso fuzzy identifica o efeito mdio

local do tratamento para os compliers. Da mesma maneira que no caso clssico de varivel instrumental, apresentado no captulo anterior, temos que verificar
se existe uma relao forte entre o instrumento e a varivel endgena, no caso
da regresso descontnua temos que verificar se existe uma descontinuidade na
probabilidade de T condicional a Z. O grfico 7.2.1 ilustra o instrumental de uma
regresso descontnua fuzzy. Na primeira figura temos o salto que acontece na probabilidade de receber tratamento. Notamos que esta probabilidade no salta de 0
para 1 como acontecia no caso sharp. A segunda figura mostra o salto que acontece no resultado potencial, e semelhante ao grfico para o caso sharp. A diferena
que no podemos dizer que o tamanho deste salto o efeito causal do tratamento. Neste caso, o efeito mdio local do tratamento dado pela razo entre os saltos
da figura 1 e da figura 2.
Grfico7.2.1: Regresso Descontnua Fuzzy
Figura 1: Probabilidade Condicional de Receber Tratamento
Figura 2: Expectativa Condicional dos Resultados
7.3 Estimao
Um maneira simples de implementar o mtodo de regresso descontnua
usar regresses lineares locais separadas para estimar as relaes de um lado
e de outro do ponto de corte 577. No caso sharp, precisamos estimar apenas a
relao de Y com Z dos dois lados em torno do ponto de corte c. A modelo de
regresso do lado esquerdo do ponto de corte :
e o modelo de regresso do lado direito :
Como as variveis explicativas esto subtradas do valor no ponto de corte, o

valor esperado de cada regresso no ponto de corte dado por
O
efeito mdio local do tratamento ser a diferena entre o intercepto das duas
regresses,
Uma forma mais direta de estimar o efeito mdio do
tratamento seria usar um modelo de regresso que combina os modelos em
ambos os lados do ponto de corte:
no qual
A vantagem deste modelo que combina os efeitos direita e esquerda do
ponto de corte que o efeito mdio do tratamento e o seu erro padro so
estimados de forma direta em uma nica regresso.
Dado uma vizinhana h, fcil estimar o modelo de regresso representado
pela equao (7.3.3). Mas para estimar esta regresso, precisamos escolher o h.
Se escolhermos um h muito grande, iremos usar um nmero maior de observaes na estimao, o que aumenta a preciso das estimativas. No entanto,
quando maior o h , maior a chance da especificao linear no ser a correta
para estimar a relao entre Y e Z e podemos aumentar o vis do efeito mdio
do tratamento. Se a expectativa condicional de Y no uma funo linear em
Z, o modelo linear pode ser uma boa aproximao em uma regio limitada de
Z, mas medida que aumentarmos a regio de valores de Z, o modelo linear
pode se tornar uma aproximao muito ruim. Da mesma forma, quanto menor
o h, maior a chance de a especificao linear ser uma aproximao adequada
para estimar a relao entre Y e Z naquela vizinhana, mas menor a preciso
Nesta seo, apresentamos o mesmo, mais comumente usado para estimar regresso
descontnua. Existem outros mtodos no-paramtricos que podem ser usados, como uma
regresso por Kernel. Para uma reviso de alguns mtodos que podem ser implementados,
ver Imbens e Lemieux (2008) e Lee e Lemieux (2009).
57
das estimativas. O h ideal aquele que balanceia de forma tima este trade off
entre vis e preciso. Existem vrias regras usadas para escolher esta janela, h.
Se o nmero de observaes aumentar, podemos diminuir h, pois teremos um
maior nmero de observaes por intervalo.
Existem dois procedimentos mais comumente usados para escolher esta janela tima 588. O primeiro seria usar uma janela que leva em considerao alguns
componentes da distribuio conjunta de (Y,Z), como por exemplo, a curvatura do modelo de regresso. A regra de bolso usada para a escolha de h :
em que o erro padro estimado da regresso,

a derivada segunda
do modelo de regresso estimado para captar a relao em Y e Z, e R representa o intervalo da varivel Z usada para estimar a regresso. Para usar esta
regra de bolso, primeiramente precisamos estimar um modelo de regresso arbitrrio em uma vizinhana em torno do ponto de corte. Por exemplo, suponha
que nesta primeira etapa, estimamos uma regresso quadrtica para estimar
a relao entre Y e X,
Neste caso, aps
a estimao da regresso, precisamos calcular
(z )
,
e estimar
usando a soma do quadrado dos resduos dividido pelo nmero
de observaes, menos os graus de liberdade. Se usarmos as observaes na
vizinhana,
R ser igual a 10.
O segundo procedimento conhecido como validao cruzada (Cross-Vali9
. Para cada observao i, estimamos uma regresso no qual a obserdation)59
vao i deixada de fora e usamos os valores estimamos nesta regresso para
obter o valor predito de Y quando Z igual a z . Como estamos dentro do
instrumental de regresso descontnua, na estimao da regresso consideramos somente as observaes em uma vizinhana h de z , isto , z -h Z < z
+h. . Fazemos este exerccio para cada observao, e obtemos um conjunto
de valores preditos para Y. A janela tima ser aquela que minimiza a mdia
dos quadrados das diferenas em cada Y predito e o Y observado. De maneira
formal, para determinado valor de h, calculamos o valor de predito para
, e calculamos o erro quadrtico mdio:
Em todos os procedimentos descritos nesta seo, estamos escolhendo uma janela nica
para ambos os lados do ponto de corte. A funo de densidade de Z provavelmente similar
em ambos os lados do ponto de corte, e com uma amostra grande a janela tima para o lado
direito do ponto de corte ser igual janela do lado esquerdo do ponto de corte. No entanto, podemos aplicar os procedimentos descritos para as observaes somente direita de
c e para as observaes somente esquerda de c, obtendo janelas timas diferentes para o
lado esquerdo e para o lado direito.
59
Neste captulo, iremos descrever o procedimento proposto por Imbens e Lemieux (2008).
58
e o h timo ser aquele que minimiza este critrio da validao cruzada:
Na prtica, calculamos o erro quadrtico mdio do critrio de validao cruzada para uma srie de valores fixos de h, e escolhemos o valor de h relacionado
ao menor erro quadrtico mdio.
No caso da regresso descontnua fuzzy, temos que estimar tambm como a
probabilidade de receber tratamento est relacionada com Z. Neste caso, podemos usar um modelo de regresso linear que relaciona a varivel T ao vetor
Z. Da mesma maneira que fizemos anteriormente, podemos usar um modelo
para as observaes que esto direita do ponto de corte e um modelo para
as observaes esquerda do ponto de corte:
E neste caso, o efeito mdio do tratamento ser dado pela razo entre a diferena dos interceptos:
Podemos usar o mesmo critrio de validao
cruzada para estimar a janela tima no caso em que a varivel dependente T.
Neste caso, usaremos duas janelas diferentes na estimao do efeito mdio de
tratamento na regresso descontnua fuzzy. A primeira janela seria aquela que
minimiza
, e a segunda seria aquela que minimiza
. Imbens e Lemieux (2008) argumentam que na prtica podemos usar a mesma janela para o
numerador e para o denominador. Para minimizar o vis assinttico, podemos
usar a menor janela escolhida por validao cruzada:
Em alguns casos, pode existir um vetor de outras variveis explicativas alm

de Z que esto correlacionadas com a varivel de interesse. A incluso destas
outras variveis no modelo no pode afetar a estimao da descontinuidade,
se todas as hipteses da estrutura de uma regresso descontnua so vlidas.
Se os valores estimados mudarem com a incluso destas variveis adicionais,
podemos desconfiar que outros fatores tambm saltam em torno do ponto
de corte e que o salto que ocorre em Y em torno de c no pode ser atribudo
somente ao efeito do tratamento. Se estas demais variveis explicativas forem
correlacionadas com Z, elas podem aumentar a preciso das estimativas ao
diminuir o resduo da regresso.
Alm da estimao, necessrio fazermos testes de hipteses para verificar se

o efeito mdio do tratamento estaticamente significativo. No caso de uma
regresso descontnua sharp, podemos estimar a equao (7.3.3) por mnimos
quadrados ordinrios e usar o erro padro estimado nesta regresso. No caso
de uma regresso descontnua fuzzy, podemos estimar o erro padro de forma
fcil se entendermos este modelo como um caso particular do estimador de
mnimos quadrados ordinrios em dois estgios. Usando a mesma janela para
o modelo que relaciona Y com Z e para o modelo que relaciona T com Z, o
sistema de equao que contm as duas equaes que combinam os modelos
para as observaes direita e esquerda do ponto de corte dado por:
no qual D indica se Z excedeu o valor c, isto , D uma varivel binria igual a

1 se Z maior que c e 0, caso contrrio.
O estimador de MQO em dois estgios para o sistema acima, usando D como
instrumento para T numericamente igual razo que representa o efeito mdio do tratamento para o caso fuzzy se usarmos a mesma janela para as duas
equaes do modelo. Neste caso, para fazermos inferncia podemos usar os er60
ros padres estimados pelo mtodo de mnimos quadrados em dois estgios10
.
7.4 Anlise Grfica

O mtodo de regresso descontnua requer uma anlise grfica. Podemos verificar vrias hipteses de uma estrutura de regresso descontnua atravs desse
tipo de anlise. Em uma regresso descontnua, o efeito mdio do tratamento
est relacionado ao valor da descontinuidade no valor esperado de Y em certo
ponto. O primeiro grfico a ser feito um histograma que relaciona o valor mdio
de Y com Z. Neste grfico, temos que observar se em torno do ponto de c h evidncia de uma descontinuidade na mdia condicional de Y. Alm disso, devemos
verificar se no existem outros saltos na expectativa condicional de Y em relao
a Z. Se estes outros saltos existirem e forem grandes quando comparados ao salto
que ocorre em torno do ponto de corte c, podemos desconfiar que outros fatores
alm da participao no tratamento esto influenciando a relao entre Y e Z.
O segundo grfico seria um histograma que relaciona o valor de outras variveis
explicativas X que poderiam estar explicando a relao entre Y e Z. A ideia que
se a descontinuidade de Y em torno do ponto de corte se deve somente ao tratamento, estas demais variveis X devem ter uma relao suave com Z, no apreImbens e Lemieux (2008) computam as varincias assintticas para os estimadores e propem um mtodo para estim-las de forma consistente.
60
sentando saltos em torno deste ponto de corte c.

No caso da regresso descontnua fuzzy, necessrio tambm fazer um grfico
dos valores mdios de T em relao a Z para mostrar que de fato existe um salto
na probabilidade de receber tratamento em torno do ponto de corte, c.
Uma ltima anlise grfica sugerida por McCrary (2008) seria investigar se houve
seleo dos indivduos em torno do ponto de corte olhando para o nmero de
indivduos abaixo e acima deste ponto. Com este propsito, usamos um grfico em que dividimos o suporte de Z em intervalos e estimamos o nmero de
observaes em cada intervalo. Com este grfico, podemos avaliar se o nmero
de indivduos muda de forma descontinuidade em torno do ponto de corte. Se
houver uma mudana descontnua do nmero de indivduos em torno do ponto
de corte, podemos desconfiar que os indivduos manipularam o valor de Z, o que
invalidaria a regresso descontnua. Por exemplo, no caso em que o prmio de
mrito determinado pela nota em um teste de proficincia, se os indivduos
conseguissem escolher a sua nota no teste, iramos observar um nmero maior
de indivduos acima do ponto de corte do que abaixo do mesmo.
7.5 Comparao da RD com os outros mtodos

Podemos entender a regresso descontnua no caso sharp como uma aplicao muito particular da hiptese de seleo nos observveis (H1), usada pelos
mtodos apresentados no captulo 5. No caso da regresso descontnua sharp,
a hiptese de seleo nos observveis trivialmente satisfeita, pois condicional
em Z, o tratamento completamente determinstico. Neste caso, para todos os
indivduos com o valor de Z abaixo de c, T sempre igual a 0, e para os indivduos
com valores de Z acima de c, T sempre igual a 1. Ou seja, condicional em Z, no
h variao no tratamento e a seleo nos observveis sempre satisfeita. No entanto, a segunda hiptese usada pelos mtodos baseados em seleo nos observveis a de sobreposio da regio de valores de Z tanto no grupo de tratados
como no grupo de controles,
Esta hiptese violada no
mtodo de regresso descontnua, pois os indivduos tratados tero valores de Z
acima de c enquanto os indivduos no-tratados tero valor de Z abaixo de c. Para
todos os valores de z, a
sempre um ou zero, e nunca est entre 0
e 1. Ao invs de assumirmos a hiptese de sobreposio, impomos continuidade
das funes de expectativa condicional de Y em Z para o grupo de controle e
tratamento. Esta hiptese de continuidade garante que podemos comparar estas
duas funes ao longo de todos os valores de Z. A ideia da regresso descontnua
no caso sharp que os indivduos que possuem valores de Z em torno do ponto
de corte c so semelhantes na mdia, exceto que, por sorte, um indivduo teve
um valor Z acima de c e o outro teve um valor de Z abaixo de c. Logo, podemos
pensar a regresso descontnua como uma forma limite de pareamento, aquele
que acontece em torno de um nico ponto.
Outra forma de interpretar a regresso descontnua sharp como um experimento aleatrio local. A ideia da regresso descontnua que, em torno do ponto de corte, o status do tratamento selecionado de forma aleatria. Desta maneira, os indivduos em torno do ponto de corte so semelhantes na mdia em
todas as suas caractersticas, exceto que por sorte um grupo obteve um valor
de Z um pouco maior que c, e o outro grupo um valor um pouco menor. Neste
sentido, dentre todos os mtodos apresentados neste livro, o mtodo de regresso descontnua o que mais se aproxima de um experimento real (aleatrio).
Na seo 7.3, mostramos que podemos entender a regresso descontnua fuzzy
dentro do instrumental de varivel instrumental. Neste caso, a probabilidade de
receber tratamento salta no ponto de corte, mas no de 0 para 1 como no caso
sharp. No caso fuzzy, usamos a varivel binria que indica se Z maior que o ponto de corte como instrumento para o tratamento, dado que estamos assumindo
que a probabilidade muda em torno de c somente devido ao tratamento, e no
aos demais fatores que podem estar afetando o resultado. Na regresso descontnua fuzzy, a variao na taxa de participao em torno do ponto de corte usada para estimar o efeito mdio do tratamento. Neste caso, a variao do resultado potencial em torno do ponto de corte ocasionada somente pela variao
da taxa de participao induzida por Z quando este passa de valores abaixo de c
para valores logo acima de c e no est relacionada com a variao de nenhum
outro fator observvel ou no observvel.
7.6 Exemplo
Ferraz e Finan (2011) usam o mtodo de regresso descontnua para estimar o
efeito de uma possvel reeleio em corrupo. De acordo com os autores, os
prefeitos que tm incentivo a se reelegerem so, em mdia, menos corruptos
que os prefeitos que no tm a possibilidade de reeleio. Para estimar este efeito, eles comparam municpios nos quais o prefeito incumbente ganhou as eleies de 2000 com uma margem muito pequena de votos com municpios nos
quais o prefeito incumbente perdeu as eleies por uma quantidade pequena
de votos. Ou seja, eles comparam prefeitos que tentaram a reeleio e tiveram
a votao em torno de 50%. No entanto, um deles ficou com um percentual de
votos um pouco abaixo de 50 e perdeu a eleio; enquanto o outro ficou com um
percentual um pouco acima de 50 e venceu a eleies. A ideia que estes prefeitos so na mdia muito parecidos em caractersticas que afetariam corrupo
e a capacidade de reeleio (como preferncias ideolgicas). A nica diferena
que por sorte um obteve um votao um pouco maior que o ponto de corte,
enquanto o outro obteve uma votao um pouco menor. Para estimar o efeito da
reeleio para estes municpios que tiveram prefeitos com percentual de votos
muito prximo a 50%, os autores estimam o seguinte modelo:
em que R mede o nvel de corrupo no municpio i, Z representa a diferena

entre o percentual de votos do prefeito incumbente e o segundo colocado, I
uma varivel binria que igual a 1 se Z 0, e 0, caso contrrio, f(Z ) representa uma funo contnua e suave da margem de votos, como por exemplo, um
polinmio. Alm disso, X o vetor que contm as caractersticas do municpio,
como por exemplo, coeficiente de Gini, populao, etc.; e o vetor W inclui caractersticas do municpio que afetam o nvel de corrupo, como por exemplo,
nmero de partidos polticos no legislativo, quantidade de recursos repassada
ao municpio, etc.
Usando os dados de auditorias realizadas pelo Tribunal de Contas da Unio (TCU)
em 496 municpios brasileiros, os autores constroem uma medida de corrupo
atravs da classificao das irregularidades descritas nestes relatrios em trs
categorias: (i) fraudes na contratao ou compra de bens e servios; (ii) superfaturamento de bens e servios; (iii) desvios de fundos pblicos para pessoas
ou firmas privadas. Baseados nestas irregularidades classificadas, eles constroem
uma medida de corrupo que seria o total de recursos relativo a essas atividades irregulares expresso como frao do total de recursos auditados. Para obter
as caractersticas dos municpios, os autores usaram os dados fornecidos pelo
Instituto Brasileiro de Geografia e Estatstica (IBGE), Tribunal Superior Eleitoral
(TSE) e Tesouro Nacional.
A tabela 7.6.1 apresenta o principal resultado da regresso descontnua sharp
estimada pelos autores. A coluna (1) desta tabela apresenta o caso para a especificao linear, isto,
As colunas (2) e (3) usam um polinmio
quadrtico em Z e outro cbico. Os resultados indicam que a reeleio tem um
efeito negativo na corrupo.
Tabela 7.6.1: O Efeito da Reeleio na Corrupo
Varivel Dependente: % de recursos auditados envolvendo corrupo
Fonte: Ferraz e Finan (2011)
Para verificar se de fato existe uma descontinuidade na medida de corrupo

em torno do ponto de corte da margem de votos, os autores fazem o grfico
da funo da expectativa condicional de R em Z. O grfico 7.6.2 apresenta tal
relao, e comprova a descontinuidade da medida da corrupo em torno do
ponto de corte. Usando o instrumental de regresso descontnua, os autores
atribuem esta descontinuidade ao efeito da reeleio.
Grfico 7.6.2: O Efeito da Reeleio na Corrupo
Fonte: Ferraz e Finan (2011)
Exerccios
1) Suponha que os estados brasileiros mudem a sua poltica educacional e os
alunos para progredirem do ensino fundamental para o ensino mdio so obrigados a fazer uma prova estadual de matemtica e portugus. Esta prova a
aplicada a todos os alunos em todas as escolas pblicas estaduais no ltimo
ano do ensino fundamental e para progredir eles devem acertar no mnimo
50% das questes em cada uma das provas. Se o aluno no passar em um dos
exames ou em ambos, ele deve cursar aulas de recuperao no perodo de frias e tentar o exame novamente aps o perodo de recuperao. O objetivo
avaliar se o curso de recuperao est tendo um impacto no desempenho dos
alunos. Para isso, observamos uma base de dados que contm as informaes
de todos os alunos no ltimo ano do ensino fundamental em 2004 e as notas
que eles obtiveram em cada um dos testes. Alm disso, observamos o desempenho de todos os alunos em um teste padronizado no ltimo ano do ensino
mdio.
Para avaliar o programa de recuperao, propomos o seguinte modelo:
em que Y representa o desempenho do aluno no teste padronizado ao final

do ensino mdio, T uma varivel binria que igual a 1 se o aluno participou
do curso de recuperao, X um vetor de caractersticas socioeconmicas do
indivduo i e o fator no observvel do modelo.

a) Discuta o vis do estimador de mnimos quadrados ordinrio no
modelo acima.

b) Como voc usaria o desenho do programa para estimar o efeito
mdio da poltica de recuperao por uma regresso descontnua. Seria uma
regresso descontnua fuzzy ou sharp?

c) Discuta dentro do contexto da poltica em questo, as hipteses necessrias para a validade do mtodo de regresso descontnua proposto em
(b).
2) O governo gostaria de saber se uma poltica que expandisse o acesso a planos de sade teria um efeito positivo na sade dos indivduos, pois os levaria
a irem um maior nmero de vezes ao mdico. Para responder tal pergunta,
usamos como medida de acesso ao servio de sade o nmero de vezes que
o indivduo i foi ao mdico nos ltimos 12 meses. O modelo que gostaramos
de estimar :
em que Y o nmero de vezes que o indivduo i foi ao mdico, C uma

varivel binria que igual a 1 se o indivduo i possui plano de sade, X
um vetor de caractersticas socioeconmicas do indivduo i e o termo no
observvel da equao.
Nos Estados Unidos, ao completar 65 anos, todos os indivduos tm acesso a
um plano de sade completo que pago pelo governo. Card, Dobkin e Maesta (2008) usam a descontinuidade quando o indivduo completa 65 anos para
estimar o efeito do plano de sade no nmero de consultas mdicas. A ideia
que os indivduos com 64 anos so semelhantes aos indivduos com 65 anos,
exceto que o segundo grupo tem plano de sade completo provido pelo governo.

a) Alguns indivduos se aposentam aos 65 anos, e tm uma queda da
renda anual. Como isso poderia causar um vis no estimador de regresso descontnua?
Considere o seguinte modelo que relaciona idade com acesso a plano de sade,
em que mi uma varivel binria que assume valor igual a 1 se o indivduo tem
65 anos ou mais, e 0 caso contrrio.

b) Qual a interpretao de ?
, faa um diagrama que ilustre a rela

c) Suponha que
o entre o resultado de interesse (Y ) e idade.
, faa um diagrama que ilustre a rela
d) Suponha que
o entre o resultado de interesse (C ) e idade.

e) As hipteses do arcabouo de regresso descontnua so vlidas
neste exemplo? Discuta cada uma delas.
3) Considere o seguinte modelo
em que Y o resultado de interesse, T uma varivel indicadora de tratamento, Z seria um instrumento que influencia a participao ou no no programa e
D uma varivel binria igual a 1 se Z maior que c e 0, caso contrrio. Supomos que todas as hipteses no mtodo de regresso descontnua so vlidas.

a) Qual seria o parmetro que captaria o efeito mdio local do tratamento dentro do arcabouo de regresso descontnua?

b) Suponha que ao analisar os dados, verificamos que o salto na probabilidade de receber tratamento em torno de Z igual a c muito pequeno,
sendo prximo de zero. De outra maneira, suponha que prximo de zero.
O que aconteceria com o estimador do efeito mdio local proposto na letra (a)?

c) Voc resolve analisar melhor os dados e percebe que existem in-
meras descontinuidades no grfico que relaciona a probabilidade de receber

tratamento com o instrumento Z. Como voc interpreta esta evidncia? Esta
evidncia invalida o uso de regresso descontnua?

Suponha que, ao analisar os dados, voc percebe que existem inmeros saltos no grfico que relaciona o resultado de interesse Y a Z. Como voc
interpreta esta evidncia? Esta evidncia invalida o uso do mtodo de regresso descontnua?
4) Devido a um aumento inesperado nos preos dos aluguis, o governo cede
presso popular e resolve criar uma poltica que facilite o acesso casa prpria ao trabalhadores brasileiros. Para isso, o governo estabelece redues nos
juros do crdito para casa prpria. Estas redues nos juros variam com a renda
mensal do trabalho. Nos primeiros anos da poltica, os trabalhadores com renda at R$ 700,00 tm reduo de 2% ao ano, os com renda entre R$ 701,00 e R$
1.500,00 tm reduo de 1% e os com salrio entre R$ 1.501,00 e R$ 3.000,00
tm reduo de 0,5% ao ano. Os demais trabalhadores no tm reduo na
taxa de juros do crdito para compra de imveis.
Suponha que o governo tem uma base de dados com informaes dos trabalhadores em anos que antecederam a poltica e depois de sua implementao.
Nesta base de dados, temos informao sobre as caractersticas do trabalhador
como idade, sexo, renda mensal do trabalho, regio de domiclio e se o domiclio prprio ou no. Com estes dados, vamos estimar o efeito dessa poltica
de crdito sobre a probabilidade de adquirir um novo domiclio. Com esta base
de dados, trs pesquisadores propem metodologias diferentes para estimar
o efeito de tal poltica. O primeiro pesquisador prope o mtodo de diferenas
em diferenas, o segundo usa o mtodo de variveis instrumentais e o ltimo
se baseia no mtodo de regresso descontnua. Para cada um dos mtodos,

(i) Descreva qual o parmetro de interesse.

(ii) Discuta as hipteses necessrias para identificar estes parmetros
e interprete estas hipteses no contexto deste exemplo.

(iii) Descreva o processo de estimao de cada um dos mtodos.
(iv) Compare os resultados que seriam obtidos com cada mtodo.
PARTE 3
Anlise de Retorno
Econmico
A parte III desse livro apresenta a anlise do retorno econmico de projetos sociais e polticas pblicas. A avaliao econmica de um projeto composta de
duas etapas, a avaliao de impacto e a avaliao do retorno econmico. Estas
duas etapas so complementares, sendo que a avaliao de retorno econmico realizada a partir dos resultados obtidos na avaliao de impacto.
A avaliao de retorno econmico visa mensurao da viabilidade econmica de um projeto. Em outras palavras, o retorno econmico de um investimento compara o seu custo com o benefcio financeiro gerado, de forma a
determinar se o investimento economicamente vivel. Assim, a avaliao de
retorno econmico procura responder, principalmente, as seguintes questes:
se o benefcio gerado pelo projeto maior do que seu custo; se o projeto vivel economicamente; e se existe algum projeto alternativo mais vivel.
Calcular o retorno econmico importante porque, mesmo que um projeto

tenha impacto positivo (estimado por meio da avaliao de impacto), pode
acontecer uma situao em que seu custo seja to alto que inviabilize a replicao. Concluiramos, nesse caso, que o projeto funciona, mas no compensa.
Muitas vezes, existem projetos que exibem um impacto de grande magnitude,
mas quando comparados com seu custo, apresentam-se pouco viveis, ou seja,
tm custo muito alto em relao aos benefcios que geram.
Por analogia, imagine a deciso de comprar um carro. Se olharmos apenas o
lado das benesses do carro como a potncia e o conforto , poderamos, por
exemplo, escolher uma Ferrari. Entretanto, essa escolha no considera um elemento importante da anlise que o custo. Como vivemos em um mundo com
recursos escassos, esse elemento fundamental nas tomadas de decises. E
um dos principais motivos de Ferrari no ser consumida por todos o custo. O

mesmo deveria acontecer com o investimento nos programas sociais. Se analisarmos somente o impacto do programa que equivale s benesses da Ferrari,
muitas vezes estaremos investindo em programas com alto impacto, mas que
apresentam custo to elevado que no seriam viveis economicamente.
A aplicao do conceito de viabilidade econmica em projetos sociais exige
uma viso mais ampla do seu significado, pois no trivial pensar o projeto
social da mesma forma que se pensa um investimento econmico. Isso porque
o benefcio advindo do projeto social no auferido somente pelo financiador (a partir deste ponto, referido como investidor social). Grande parte dos
benefcios auferida pelas pessoas que foram impactadas pelo projeto. Nesse
sentido, um benefcio privado. Parte dos benefcios recebida ainda por pessoas que no participaram do projeto, caracterizando-se como um benefcio
pblico. O benefcio pblico ocorre uma vez que o projeto, ao atingir seus objetivos e gerar benefcios para os participantes, tambm beneficia uma parte
da sociedade, que ganha (indiretamente) com essas melhorias. Esse fenmeno,
em que o projeto atinge indiretamente tambm os que no participam, denominado de externalidade.
Vamos entender a aplicao dos conceitos mencionados anteriormente, no
caso de avaliao de projetos sociais, por meio de um exemplo: o projeto
Olimpada Brasileira de Matemtica das Escolas Pblicas - OBMEP, avaliado
por BIONDI et al. (2012). A OBMEP tem como um dos principais objetivos melhorar a qualidade da educao pblica, especialmente no ensino de matemtica. Para atingir esse fim, desempenha vrias aes, ou seja, incorre em custos.
Apesar dos custos, esse projeto no um investimento financeiro no sentido
clssico. O projeto no visa lucros para os financiadores, mas se ocorrer aumento da qualidade da educao, o ganho para o indivduo e para a sociedade desse aumento pode ser interpretado como retorno social do projeto. O ganho
para o participante (a criana) ser uma melhor formao e mais escolaridade,
que ela levar por toda a vida benefcio privado. As externalidades (benefcios pblicos), advindas da maior escolarizao dos participantes, podem ser
vrias, como aumento da produtividade do trabalho, melhora na qualidade
dos servios pblicos, diminuio da subnutrio infantil na gerao dos filhos
desses tratados, entre outros.
Se os custos do projeto social so considerados como investimento, e os seus
benefcios, como receita proveniente desse investimento, para calcularmos o
retorno econmico necessrio dimensionarmos o valor monetrio destes
dois elementos.
CAPTULO 8
O Clculo do Retorno
Econmico
Betnia Peixoto
8.1 Benefcios do Projeto Social em Valores
Monetrios
O benefcio do projeto social ou poltica pblica o valor monetrio do seu impacto. Portanto, necessariamente, a avaliao de impacto antecede a avaliao
de retorno econmico e somente se realiza quando a avaliao de impacto evidencia que o projeto gerou resultados. O que fazemos transformar o impacto
em valor monetrio, de forma a obter o benefcio.
A transformao do impacto estimado em benefcio uma das maiores dificuldades da avaliao de retorno econmico. Ela exige a associao de um valor
monetrio a um impacto, muitas vezes, no monetrio. A nica exceo so os
projetos para gerao de renda, em que o indicador de impacto a renda, ou
seja, j estimado em valor monetrio, no exigindo nenhuma transformao.
Para os demais projetos sociais, que no tenham como indicador de impacto a
renda dos participantes, a transformao do impacto em benefcio precisa ser
realizada.
A pergunta que se faz como efetuar essa transformao em projetos sociais
com objetivos to diversos, como, por exemplo, a melhora na qualidade da
educao, na sade, a reduo da criminalidade, entre outros. A resposta no
simples. Para efetuarmos essas transformaes, temos que fazer hipteses que
permitam atribuir um valor monetrio ao impacto. Essas hipteses variam de
projeto para projeto e exigem um profundo conhecimento sobre a temtica
qual se aplica. O avaliador precisa conhecer a literatura a respeito do indicador
de impacto. Ele precisa saber quanto a mudana causada no indicador, pelo programa, economiza para a sociedade e quanto aumenta o bem-estar, devido
contribuio advinda das mudanas geradas nos beneficirios e nas circunstncias que os envolvem.
Analisemos, por exemplo, um programa para o aumento da escolaridade, no
qual o indicador de impacto a taxa de jovens com ensino superior completo.
A literatura mostra que escolaridade mais alta propicia salrios maiores, menor
probabilidade de acessar programas sociais, menor probabilidade de encarceramento, entre outros efeitos. Na transformao do impacto estimado em benefcio (valor monetrio do aumento da taxa de jovens com ensino superior completo), o avaliador tem que considerar: os ganhos salariais devido ao aumento dos
salrios; a probabilidade daqueles jovens tratados acessarem programas sociais
e a mdia dos custos em prover esses programas que seriam acessados caso o
jovem no tivesse aumentado sua escolaridade isso equivale a uma economia
para a sociedade; a probabilidade de os jovens tratados serem presos e o custo
dessas prises que teriam acontecido se a escolaridade no tivesse sido aumentada o valor que a sociedade deixou de gastar, tambm uma economia. No
seria possvel estimar todas essas probabilidades e ganhos se no conhecermos
bastante a literatura para podermos fazer hipteses plausveis sobre todos os
parmetros que sero empregados nessas estimaes.
No caso de projetos na rea de sade, por exemplo, para prevenir a incidncia de
diabetes, a transformao do impacto em benefcio tambm baseada em uma
srie de hipteses. Digamos que o impacto do projeto seja mensurado em termos da diminuio da taxa de incidncia de diabetes na populao. Uma menor
taxa de incidncia de diabetes leva a: uma diminuio dos gastos com o sistema
de sade para tratamento das doenas derivadas dessa; uma melhora na vida
das pessoas que adquiriram hbitos saudveis por causa do projeto e que ficariam doentes caso ele no existisse; economia para a sociedade com os dias de
trabalho que seriam perdidos se as pessoas ficassem doentes; diminuio dos
gastos com previdncia social que teria que ser paga aos doentes e invlidos.
Se o projeto para melhorar a empregabilidade dos jovens, por exemplo, o avaliador deve conhecer muito sobre o mercado de trabalho. Ele precisar determinar qual o valor para a sociedade do aumento do nmero de jovens empregados. O fato de mais jovens entrarem no mercado de trabalho gera ganhos para
os prprios indivduos (em termos de salrio) e para toda a sociedade como: aumento da produo porque agora h mais pessoas contribuindo para o produto; diminuio da probabilidade de o jovem que arrumou emprego se envolver
com lcool, drogas e crime, o que, por sua vez, leva a menores gastos com tratamentos de toxicmanos e prises; melhora na qualidade do aprendizado dos filhos daqueles que foram empregados, pois tero uma melhor estrutura familiar;
aumento do nvel de atividade econmica medida que boa parte dos salrios
gasta no comrcio, entre outros efeitos.
Dos exemplos apresentados, pode-se concluir que para determinar o valor ganho ou economizado pela sociedade devido ao projeto o avaliador ter que conhecer, profundamente, a literatura sobre o tema. S assim ser capaz de estimar
as vrias facetas afetadas pelo projeto e adotar boas hipteses para a transformao. Ao final desse captulo, apresentamos trs exemplos de avaliaes de projetos no Brasil, nas reas de educao, criminalidade e sade.
Outra questo que o avaliador ter que considerar na estimativa do benefcio do
projeto que o impacto, em geral, perdura mais do que um perodo de tempo.
Algumas vezes o benefcio perdura por toda a vida produtiva do indivduo, como
no caso dos projetos de qualificao profissional; ou por sculos, como o caso de
projetos de reflorestamento. Outras vezes, os benefcios so grandes logo aps a
implementao e reduzem-se ao longo do tempo, por exemplo, campanhas de
preveno a doenas epidemiolgicas como a dengue. Existem tambm projetos que s geram efeitos muitos anos aps sua implementao, como aqueles
para o aumento da escolaridade. O que todos esses casos tm em comum que
os benefcios ocorrem em momentos distintos no tempo.
Se os benefcios so recebidos em momentos diferentes, preciso considerar o
tempo no clculo do benefcio total. No se pode, simplesmente, somar os benefcios em cada momento para obter o benefcio total. Isto acontece porque, em
geral, as pessoas atribuem mais valor ao dinheiro no presente do que no futuro.
Afinal, o que voc prefere: ganhar 500 reais hoje ou somente no ano que vem? A
maioria das pessoas prefere hoje. Isso se chama preferncia intertemporal.
Para calcularmos o benefcio monetrio total do projeto, precisamos considerar
o efeito do tempo no seu recebimento. Para isso, montamos o fluxo de caixa do
benefcio e utilizamos a taxa de desconto intertemporal para deduzir do montante o fato de que o valor s ser recebido no futuro. A taxa de desconto intertemporal indica quanto o indivduo valoriza o consumo presente em relao ao
futuro, ou seja, o percentual pelo qual ele est disposto a abrir mo do consumo no presente para s faz-lo no futuro. Para efetuar o desconto intertemporal
aplicamos, ento, os conceitos de valor presente e valor futuro oriundos da
matemtica financeira. Esses conceitos so bastante intuitivos:
i.
Valor presente (VP) quanto determinado montante de dinheiro a ser
recebido no futuro vale no tempo inicial do investimento;
ii.
Valor futuro (VF) quanto determinando montante de dinheiro recebido no tempo inicial valer em momentos posteriores.
A frmula que relaciona estes dois conceitos :
(1)
Onde: n o nmero do perodo
i a taxa de desconto intertemporal
Para obter o benefcio total do projeto, aplicamos diretamente essa frmula, de
forma a considerar o desconto intertemporal na soma dos benefcios ao longo
do tempo.
(2)
Onde o VPTB o valor presente do benefcio total; VB o valor do benefcio

no tempo inicial, se ocorrer de o benefcio ser imediato implementao; e
VFB o valor do benefcio recebido nos n perodos t.
A taxa de desconto intertemporal adequada uma deciso discricionria. Em
geral, os economistas consideram a taxa de desconto intertemporal com sendo igual taxa de juros. A intuio para isso que a taxa de juros seria a recompensa financeira por deixar de consumir hoje, para consumir amanh. Ela pode
ser interpretada como a taxa sobre quanto os indivduos valorizam o presente
em relao ao futuro. Quanto mais elevada a taxa de desconto intertemporal,
mais as pessoas valorizam o consumo presente. Por outro lado, quanto menor
essa taxa, menos as pessoas valorizam o consumo presente em relao ao futuro.
A taxa de juros considerada como representativa da taxa de desconto intertemporal a taxa de juros real. A taxa de juros real igual taxa de juros nominal
menos a inflao / deflao. A taxa de juros nominal a de face, ou seja, aquela
que paga quando fazemos um investimento. Por exemplo, se em determinado ano uma aplicao na poupana rendeu 7,5% (taxa de juros nominal) e a
inflao acumulada foi de 6,5%, ento a taxa de juros real foi de 1%. Utilizamos
a taxa de juros real porque o cmputo do montante do benefcio j est isento
da inflao / deflao, pois quando o calculamos usamos as estimativas com
os valores monetrios referentes ao ano-base (via de regra, em t ). Portanto,
se usssemos a taxa de juros nominal, estaramos descontando a variao do
valor da moeda duas vezes.
No necessariamente precisamos igualar a taxa de desconto intertemporal
taxa de juros. Muitas vezes, os avaliadores adotam taxas de desconto intertemporal menores que a taxa de juros corrente. Isso acontece, porque, como
a maioria dos projetos tem impactos de longo prazo, os avaliadores utilizam
uma taxa de juros de longo prazo. A taxa de juros de longo prazo, em geral,
menor que a taxa de juros corrente. Alternativamente, muitos estudos utilizam
a taxa de juros dos Estados Unidos, por se tratar de uma economia mais estvel
que a brasileira. Como a economia brasileira passou nas ltimas dcadas por
profundas mudanas, a sua taxa de juros de longo prazo muito voltil e pode
no ser uma boa estimativa para o futuro.
Para entender melhor os conceitos trabalhados, est disponvel como ltimo
tpico do captulo um exemplo fictcio de avaliao de retorno econmico de
um projeto para qualificao profissional de jovens.
8.2. Custo do Projeto

Uma vez calculado o benefcio total, a outra dimenso necessria para a avaliao de retorno econmico o custo do projeto. O custo considerado nesse
tipo de anlise denominado custo econmico e transcende o custo contbil
por considerar o custo de oportunidade do projeto. Vamos entender cada um
desses conceitos:
Custo econmico = custo contbil + custo de oportunidade
O custo contbil todo dispndio que, via de regra, aparece nos demonstrativos contbeis. todo desembolso monetrio necessrio para o funcionamento
do projeto, por exemplo, pagamento de conta de luz, de pessoal, aquisio
de material, etc. O custo de oportunidade difere do custo contbil por ser um
custo implcito, ou seja, em geral no aparece nos demonstrativos contbeis.
O conceito do custo de oportunidade foi cunhado pela economia para designar o rendimento que se deixa de obter ao realizar determinada escolha. Em
outras palavras, o ganho que poderia advir da aplicao alternativa de um
determinado recurso. Muitos projetos funcionam com um exguo oramento
prprio, mas utilizam muitos recursos extras da sociedade. Por exemplo, um
programa de fornecimento de sopa para pessoas carentes que utiliza mo de
obra voluntria, que recebe os alimentos de um doador, que utiliza a cozinha
cedida de uma instituio beneficente, entre outros recursos. O custo contbil
provavelmente ser muito baixo e se somente ele fosse computado no clculo
do retorno, esse estaria distorcido. O custo de oportunidade resolve o problema da distoro do retorno, uma vez que computa quanto valeria: a aplicao
da mo de obra em outra atividade produtiva; os alimentos doados se fossem
aplicados de outra maneira, por exemplo, vendidos; o aluguel da cozinha para
um restaurante. Nesse caso especfico, o custo econmico do projeto tem
como maior parcela o custo de oportunidade. Ao utiliz-lo para o clculo do
retorno econmico, esse no mais estaria distorcido.
Um exemplo clssico de custo de oportunidade no terceiro setor o aluguel
no pago. Muitos projetos sociais funcionam em imveis cedidos por parceiros, pelos quais o aluguel no pago. Como no pagam pelo recurso usado (o
imvel), esse no consta no custo contbil. Porm, para o projeto funcionar ele
ocupa aquele imvel. Nesse sentido, o projeto usa o recurso (o imvel), mesmo
no pagando por ele e, portanto, esse custo precisa ser computado no clculo
do retorno. O custo de oportunidade faz esse cmputo. Se o imvel fosse usado para outro fim, por exemplo, aluguel para ponto comercial, estaria gerando
renda e remunerando o capital investido na sua aquisio. Portanto, o custo
de oportunidade do uso do imvel pelo projeto o aluguel que ele deixou de
render.
Para melhor compreenso, vejamos outro exemplo. Considere o projeto de

curso profissionalizante ministrado no contraturno escolar. O jovem que escolheu participar do curso deixou de fazer um estgio pelo qual receberia um
salrio. Mesmo que seja desejado pelos gestores do projeto, o fato de o jovem
assistir as aulas em vez de ir para o estgio remunerado um custo de oportunidade de participao no projeto e precisa ser computado na avaliao de
retorno econmico. Ainda que esse jovem no fizesse o estgio, o tempo que
ele permanece no curso poderia ser usado de forma alternativa para ajudar os
pais nos afazeres domsticos, ou para cuidar dos irmos mais novos. Portanto,
o custo dos afazeres domsticos e do cuidado com os irmos o custo de oportunidade de participar do projeto e precisa ser valorado.
Outro custo de oportunidade, muito comum em projetos sociais, o dispndio de horas de trabalho dos voluntrios. Quando o projeto social funciona
com a colaborao de voluntrios, o custo das horas trabalhadas por eles no
aparece no custo contbil, simplesmente porque no foram pagas. Entretanto,
para o seu funcionamento esse recurso (as horas de trabalho dos voluntrios)
foi utilizado e o cmputo do seu custo deve consider-lo. O uso alternativo
desse recurso seria despender as horas em servio remunerado. Assim, o custo
de oportunidade do trabalho voluntrio quanto esses profissionais estariam
recebendo caso fossem remunerados.
Existem muitos outros exemplos de custo de oportunidade, especficos para
cada projeto social ou poltica pblica e para descobri-los basta aplicar o conceito na anlise de cada caso. Ao final do captulo, apresentamos trs exemplos
de custos econmicos considerados em avaliaes no Brasil.
Calculado o custo de oportunidade e o custo contbil, a soma de ambos resulta
no custo econmico. Assim como acontece com o benefcio, o custo econmico pode ocorrer em diferentes momentos no tempo. Novamente, vale relembrar que no podemos somar o valor gasto em cada momento para obtermos
o custo total sem considerar a taxa de desconto intertemporal. Para isso, aplicamos os conceitos de valor presente e valor futuro da matemtica financeira
e obtemos a seguinte relao:
(3)
Onde o VPTC o valor presente do custo total; VC o valor do custo no tempo inicial; e VFC o valor do custo incorrido nos n perodos t.
Essa frmula anloga quela aplicada ao clculo do benefcio total do programa. Assim, toda a discusso em relao taxa de desconto intertemporal
realizada na seo 8.1 continua vlida. Alm disso, no podemos esquecer que
a taxa de desconto intertemporal tem que ser a mesma considerada no clculo de Valor Presente do Benefcio Total, ou seja, ao escolhermos uma taxa de
desconto intertemporal, essa ser a mesma para todos os clculos do retorno
econmico.
8.3. Medidas do Retorno Econmico

Aps a estimao do custo e do benefcio de um projeto social ou poltica pblica, estamos aptos a calcular o seu retorno econmico. O retorno econmico
visa a identificao da viabilidade econmica do projeto, por meio da comparao do seu custo com o seu benefcio. A viabilidade econmica se refere ao
fato de o projeto gerar um lucro social, ou seja, seu benefcio ser maior que
seu custo para a sociedade.
O clculo do retorno permite descobrir a viabilidade econmica de um projeto
social ou poltica pblica e tambm comparar alternativas de investimentos
em projetos diferentes. A comparao de dois projetos indica que aquele com
maior retorno o mais atrativo como investimento. Entretanto, preciso ter
cuidado com essa comparao.
A comparao de projetos s deve ser realizada se eles forem semelhantes em
seus objetivos e pblico-alvo. Cada rea de investimento social apresenta retornos diferenciados para a sociedade, mas todas precisam de investimento.
A deciso de investimento no passa somente pelo retorno de cada rea, mas
tambm pela vocao de cada instituio financiadora. Por exemplo, projetos
de educao bsica costumam gerar retornos elevados para a sociedade pelas
caractersticas inerentes ao seu pblico-alvo o impacto perdura por toda a
vida do participante. Projetos para idosos, em geral, apresentam retornos mais
baixos, tambm por caractersticas inerentes ao pblico-alvo o impacto perdura poucos anos. No seria correto usar a comparao do retorno econmico de ambos para decidir em qual investir, pois essas duas reas sociais tm
caractersticas muito diferentes. O ideal seria comparar somente o retorno de
projetos de educao bsica com objetivos semelhantes e comparar somente
o retorno de projetos para idosos e, dentre cada grupo, decidir em qual investir.
Alm disso, o nmero de atendidos e a capacidade de expanso do projeto
tambm devem ser levados em considerao.
Existem vrias formas de calcularmos o retorno e cada uma delas constitui
uma estatstica de retorno econmico. A diferena entre as estatsticas apenas a tica da sua construo, pois todas medem a relao entre o custo e o
benefcio do projeto. Neste livro, apresentamos quatro estatsticas de retorno
econmico: Valor Presente Lquido (VPL), Taxa Interna de Retorno (TIR), Razo
Custo-Benefcio e Razo Custo-Efetividade.
O VPL e a TIR decorrem da aplicao direta de conceitos da matemtica financeira. A Razo Custo-Benefcio um conceito aplicado em diversas reas da
economia. Essas estatsticas so muito comuns na anlise de viabilidade econmica de investimentos do setor privado. Por fim, a Razo Custo-Efetividade
calculada quando no for possvel transformar o impacto encontrado em benefcio, ou seja, quando no for possvel atribuir valor monetrio ao impacto.
Veremos detalhadamente cada uma dessas estatsticas.
8.3.1 Valor Presente Lquido VPL

O valor presente lquido estima o retorno por meio da subtrao do valor presente do custo total pelo valor presente do benefcio total. A intuio que se
os benefcios so maiores que os custos, ento o projeto vivel economicamente. Ou seja, o projeto gera para a sociedade mais valor do que retira dela
em termos do investimento necessrio para sua execuo. Assim, temos:
VPL= Benefcio Custo
(4)
Considerando que os benefcios e os custos acontecem em momentos diferentes no tempo, para realizarmos essa subtrao, precisamos que ambos estejam
a valor presente de um mesmo perodo. Considerando o primeiro ano do
investimento, trazemos os valores do benefcio e do custo de cada ano a valor
presente desse perodo, por meio da frmula:
(5)
A anlise do resultado :
Se VPL > 0 retorno positivo, o projeto vivel economicamente, pois seu
benefcio supera o custo.
Se VPL < 0 retorno negativo, o projeto no vivel economicamente, pois
seu custo supera o benefcio gerado.
Se VPL = 0 retorno neutro, valor do benefcio gerado igual ao custo incorrido.
8.3.2 Taxa Interna de Retorno - TIR

A taxa interna de retorno a taxa de oportunidade de investir o recurso no
projeto. Ela representa o retorno implcito do investimento. Matematicamente,

a TIR a taxa de desconto intertemporal implcita que iguala o benefcio do
projeto ao seu custo, de forma que o valor presente lquido seja zero. Assim:
(6)
Ou, reagrupando os termos de (6), temos:
Calculadoras financeiras ou softwares fazem essa estimao.

A TIR uma taxa anual, ou na unidade de tempo utilizada para construir o fluxo de caixa. Para interpretarmos o resultado da TIR, necessria a comparao
com a TIR de outro projeto ou com uma taxa mnima de atratividade - TMA. A
taxa mnima de atratividade a taxa de juros mnima que um investidor pretende obter com o seu investimento. Assim a TMA pode ser a taxa de juros
bsica do mercado, a taxa de remunerao da poupana ou outra taxa que
se considerar a mnima para remunerar um investimento. Assim, so trs os
resultados possveis:
Se a TIR > TMA, o projeto vivel economicamente, pois o retorno gerado
maior que a taxa mnima de atratividade. Ou seja, o projeto tem um retorno
implcito maior do que o mnimo considerado pela sociedade como razovel.
Se a TIR < TMA, o projeto no vivel economicamente, porque seu retorno
menor que a mnima de atratividade. Ou seja, o projeto tem um retorno implcito menor do que o mnimo desejado.
Se a TIR = TMA, o projeto est em uma zona de indiferena de retorno, mas
economicamente vivel. Ou seja, o projeto gera o mnimo desejado pela sociedade.
8.3.3 Razo Custo-Benefcio

A Razo Custo-Benefcio uma das estatsticas de retorno econmico mais utilizadas, devido sua fcil compreenso. No dia a dia, costumamos fazer anlises de custo-benefcio em todas as nossas decises tomadas. Em geral, quando
estamos diante de uma escolha, pensamos nos prs e nos contras que podem
advir da deciso, para somente depois balizarmos nossas aes. Por exemplo,
com relao compra de um automvel: primeiramente analisamos a potncia, o custo de manuteno, o conforto, o design e vrios outros aspectos. Depois, verificamos o custo do automvel. Por fim, relacionamos os benefcios de
cada modelo e comparamos com o custo. Somente depois de todo esse processo que decidimos pela compra. Quando se realizam essas comparaes, o
que estamos fazendo de forma intuitiva uma anlise custo-benefcio.
No caso de projetos privados e sociais a anlise no pode ser intuitiva. O que se
faz relacionar o custo e o benefcio do projeto por meio da Razo Custo-Benefcio. Essa razo fornece uma estatstica de quanto o retorno para a sociedade
de cada real investido no projeto. Para o seu clculo basta dividir o benefcio
total pelo custo econmico total361. Tanto o benefcio quanto o custo tm que
estar a valor presente de um mesmo perodo de tempo.
Razo Custo-Benefcio = VPTB / VPTC
(7)
Onde t indica o tempo n, no qual o benefcio e o custo foram calculados. A interpretao do resultado nos fornece o montante de benefcio que ser gerado
por cada real investido. Por exemplo, se a Razo Custo-Benefcio foi de 1,5, significa que a cada real investido o benefcio gerado ser de um real e cinquenta
centavos. Portanto, o projeto vivel economicamente. Por outro lado, se a
Razo Custo-Benefcio for de 0,60, significa que cada real investido no projeto
valer no futuro apenas sessenta centavos. Ou seja, o dinheiro investido perdeu valor com o projeto, pois esse no foi capaz de gerar benefcios suficientes
para compensar os custos.
Se quisermos saber o retorno para a sociedade em termos percentuais, aplicamos a seguinte frmula:
Retorno % = (Razo Custo-Benefcio - 1)*100
(8)
Esse resultado nos fornece quanto o investimento no projeto gera no futuro

em termos percentuais. Se a Razo Custo-Benefcio de 1,5, ento o retorno
ser de 50%. Portanto, o projeto apresenta retorno positivo para a sociedade,
sendo vivel economicamente. Com a Razo Custo-Benefcio de 0,6, o retorno
ser de -40%, ou seja, retorno negativo, indicando que o programa no vivel economicamente. O retorno percentual , somente, uma outra maneira de
apresentar o mesmo resultado da razo benefcio-custo. A deciso de como
apresentar os resultados escolha discricionria do avaliador e depender do
seu conhecimento prvio do pblico para o qual se dirige, de modo a determinar qual a forma de mais fcil compreenso.
Apesar de a razo ser a diviso do benefcio pelo custo razo benefcio-custo, adotamos
a nomenclatura razo custo-benefcio por ser a denominao difundida nacionalmente. Em
ingls o termo benefit-cost ratio.
61
8.3.4 Razo Custo-Efetividade

A Razo Custo-Efetividade uma alternativa para a comparao dos custos
com os benefcios dos projetos, quando no se deseja, ou quando no possvel, valorar monetariamente o impacto. Essa estatstica dimensiona o impacto em relao aos custos, sem a transformao daquele em benefcio. Assim,
utilizamos a Razo Custo-Efetividade quando no possvel encontrar boas
hipteses para transformar o impacto estimado em valor monetrio ou caso
no seja interessante essa transformao.
Alguns projetos tm indicadores de impacto de difcil valorao. Por exemplo,
projetos para a preservao das baleias. O impacto ser medido em termos de
nmero de baleias salvas. Para transformar o impacto em benefcio teramos
que saber quanto vale para a sociedade cada baleia salva. Isso exigiria hipteses nada triviais. Outras vezes, por questes ideolgicas, os avaliadores no
querem atribuir valor a alguns indicadores de impacto. No caso de projetos
para preveno de doenas, em que o impacto o nmero de vidas salvas. Para
transformar esse impacto em benefcio preciso valorar a vida. Muitos autores
consideram que o valor da vida quanto a pessoa vai produzir no mercado
de trabalho, ou seja, quanto de salrio receber ao longo da sua vida laboral.
Isso pode parecer lgico para alguns. Entretanto, para outros, pode parecer um
absurdo, pois o valor da vida transcende o seu sentido econmico. Nos dois
exemplos, o avaliador poderia optar por apresentar a Razo Custo-Efetividade.
A Razo Custo-Efetividade calculada pela diviso do impacto estimado (na
avaliao de impacto) pelo custo econmico total:
Razo Custo-Efetividade= impacto estimado / VPTC
(9)
Esta estatstica fornece quanta unidade de impacto se obtm por real gasto.
Por exemplo, no caso do projeto para preservao das baleias, a Razo Custo-Efetividade fornece quantas baleias foram salvas para cada real gasto. Se a
Razo Custo-Efetividade de 0,000003, significa que a cada real investido salva
0,000003 baleias. A fim de tornar o resultado mais intuitivo, podemos multiplicar o resultado por 1.000.000. Assim, teramos que, para cada 1.000.000 de
reais investidos no programa, trs baleias so salvas. No exemplo do projeto de
preveno s doenas, a Razo Custo-Efetividade indica quantas vidas foram
salvas para cada real despendido com o programa. Se a Razo Custo-Efetividade de 0,00045 e multiplicarmos esse resultado por 100.000, teremos que cada
cem mil reais investidos no projeto salvam 45 vidas.
Aps calcular a Razo Custo-Efetividade, a pergunta se o valor encontrado
seria alto ou baixo. A resposta s poder ser fornecida pelas outras estatsticas
de retorno econmico. Isso indica que essa estatstica, apesar de considerada
uma estatstica de mensurao de retorno econmico, no permite que seja

avaliada a viabilidade econmica do projeto. Por esse motivo, deve sempre
que possvel ser substituda pelas outras estatsticas apresentadas nesse captulo. Mesmo com essa limitao, a estatstica de custo-efetividade muito
usada para comparar projetos. Lembre-se que a comparao deve se restringir
a projetos com o mesmo indicador de impacto, o mesmo pblico-alvo e a mesma finalidade. Se o gestor tem que decidir entre dois projetos, ele escolher
o que tem maior custo-efetividade, pois com o mesmo custo mais impacto
atingido. No exemplo da baleia, se uma outra metodologia de preservao das
baleias fosse aplicada com Razo Custo-Efetividade de 0,000001, esta no seria
prefervel quela em que a Razo Custo-Efetividade de 0,000003, pois com o
mesmo montante menos baleias so preservadas.
Algum poderia argumentar que para comparar dois projetos poderamos
analisar somente o impacto estimado. Entretanto, a comparao do impacto
estimado poderia levar a concluses errneas, pois pode ocorrer a situao em
que um projeto tenha impacto maior do que o outro, mas por seu custo ser
muito mais elevado, tenha menor Razo Custo-Efetividade.
8.4 Anlise de Sensibilidade

A anlise de sensibilidade a ltima etapa da avaliao econmica. Seu objetivo testar a sensibilidade (variao) dos resultados da avaliao em relao
aos parmetros utilizados. Como a avaliao econmica baseada em mtodos estatsticos, que esto sujeitos a erros, e em parmetros escolhidos s vezes de forma discricionria, faz-se necessrio testar se os resultados encontrados sofreriam alterao caso a amostra e os parmetros da avaliao fossem
diferentes. Assim, a anlise de sensibilidade uma tcnica de verificao de
robustez dos resultados da avaliao. O termo robustez em avaliao empregado no sentido figurado de fora da avaliao, ou seja, sua confiabilidade.
Toda avaliao econmica envolve um conjunto de informaes incertas. A
incerteza se deve s variaes da amostra e ao espectro de plausveis valores
para os parmetros. Por exemplo, podemos calcular o retorno econmico considerando uma taxa de desconto intertemporal de 5%. Entretanto, seria plausvel utilizar uma taxa de desconto de 6% ou 4%, entre outros valores. Nesse
caso, na anlise de sensibilidade, refazemos a avaliao de retorno econmico
com essas possveis variaes da taxa de desconto intertemporal, para verificar
se os resultados no sofrem alterao.
Ento, na prtica, a anlise de sensibilidade implica em refazer a avaliao
econmica alterando os parmetros utilizados e verificar se as estatsticas de
retorno econmico continuam com o mesmo resultado. Se o resultado man-
tido, dizemos que ele robusto. Isso significa que, mesmo que nossa estimao
apresentasse um erro, o valor real fosse diferente do estimado, o resultado no
se alteraria.
Existem vrias tcnicas para se realizar a anlise de sensibilidade. Nesse captulo abordaremos uma delas, conhecida como anlise de sensibilidade univariada (univariate sensitivity approach). A anlise fcil de ser realizada e permite
considerar os dois tipos de incertezas da avaliao econmica a causada pelas variaes da amostra e pelo espectro de plausveis valores dos parmetros.
Como vimos ao longo desse livro, a avaliao econmica de um projeto social
envolve a estimao de vrios parmetros para os quais utilizamos amostras e
tcnicas estatsticas. Isso acontece, por exemplo, na mensurao do impacto
do projeto, quando os mtodos de regresso so empregados. Ao utilizarmos
amostra para estimar determinado parmetro na populao, incorremos em
erros de estimao devido a caractersticas da amostra analisada. Provavelmente, a seleo de uma amostra diferente levaria a valor diverso do parmetro. A
construo do intervalo de confiana procura captar os possveis valores que o
parmetro poderia assumir se amostras diferentes fossem utilizadas, com uma
probabilidade de certeza.
Para considerar a incerteza proveniente de variaes na amostra, em geral, se
considera o menor e o maior valor possvel do parmetro, ou seja, os valores do
limite inferior e superior do intervalo de confiana a 95% ou 90% de confiana.
Para cada um desses valores, recalculamos as estatsticas de retorno econmico e verificamos a manuteno dos resultados. Se os resultados tiverem se
mantido, ento dizemos que o retorno robusto. Esse procedimento repetido para cada um dos parmetros estimados com base em amostras.
O procedimento para o teste de sensibilidade em relao s incertezas proveniente dos valores dos parmetros similar ao proveniente da variao na
amostra. A diferena que, nesse caso, no temos os valores dos limites superiores e inferiores com uma probabilidade de certeza, porque os parmetros
foram escolhidos discricionariamente, com base em conhecimento prvio do
avaliador. Assim, a determinao de quais valores esse parmetro poderia assumir tambm ser escolha discricionria e difcil. Uma forma muito utilizada
pelos avaliadores para determinar os menores e maiores valores a anlise dos
valores passados do parmetro.
A taxa de desconto intertemporal um exemplo de parmetro escolhido discricionariamente pelo avaliador. Como vimos, alguns economistas consideram
essa taxa igual taxa de juros real da economia. Entretanto, existem vrias taxas de juros, por exemplo, a taxa bsica chamada de SELIC, a taxa preferencial
de juros, a taxa de remunerao da poupana, etc. Alm disso, tambm existem vrios ndices de inflao e deflao, como ndice de Preos ao ConsumiAvaliao Econmica de Projetos Socias l 161
dor Amplo (IPCA) e o ndice Geral de Preos (IGP). Assim, surge uma incerteza
quanto preciso do retorno econmico calculado, devido discricionariedade da escolha desse parmetro. Para fazer a anlise de sensibilidade escolhemos o menor e o maior valor da taxa de juros real da economia, de acordo com
a srie histrica das vrias taxas existentes.
O raciocnio anterior, para a taxa de desconto intertemporal, se aplica a qualquer outro parmetro considerado na avaliao econmica. Pode-se, por
exemplo, utilizar parmetros (incertos) para a estimao dos custos de oportunidade ou at mesmo dos custos contbeis. Desse modo, faz-se a anlise
de sensibilidade para cada um dos parmetros discricionariamente adotados.
Portanto, existem vrios parmetros que utilizamos na avaliao econmica
que podem e devem ser testados na anlise de sensibilidade a fim de que possamos confirmar a robustez do retorno.
Alm de testar o efeito no retorno econmico de mudanas em cada parmetro, mantendo os demais constantes, os avaliadores tambm testam a variao conjunta de dois ou mais parmetros a fim de obterem um espectro ainda
maior de testes e verificar, de forma mais precisa, a robustez dos resultados.
Cada novo clculo do retorno, supondo valores diferentes dos parmetros,
chamado comumente de cenrios.
Considere x o nmero de parmetros a serem analisados. Cada parmetro ter
o seu limite inferior e limite superior e seu valor original. Assim, temos x vezes 3
elementos a serem combinados menos a combinao original da avaliao. O
total de cenrios dado por:
Total de cenrios =
-1
(10)
Aps montarmos todos os cenrios, calculamos a proporo daqueles que

tiveram resultados opostos ao da avaliao, em que o valor presente lquido
encontrado foi negativo ao invs de positivo, por exemplo. Quanto menor o
percentual de cenrios com resultados contrrios ao da avaliao, mais robusto
o seu resultado ser. Quanto maior o percentual de cenrios com resultados
contrrios ao da avaliao, mais frgeis os resultados estimados.
A fim de evitar que o relatrio da avaliao fique enfadonho, os avaliadores
no costumam reportar o resultado de cada cenrio. Eles apenas descrevem os
parmetros testados, o nmero total de cenrios e o percentual de estimativas
contrrio ao da avaliao.
8.5 Exemplo Fictcio

Neste ponto, finalizamos a teoria relativa avaliao econmica de projetos
sociais, e em especial, a avaliao de retorno econmico, tema especfico deste

captulo. Para fixar melhor o contedo e servir de roteiro para futuras avaliaes de retorno econmico, apresentamos a seguir a avaliao econmica de
um projeto fictcio, realando todas as etapas e clculos necessrios estimao do retorno do projeto.
Nome do projeto: Trabalha Brasil
Objetivo: inserir jovens no mercado de trabalho.
Pblico alvo: jovens nos dois ltimos anos do ensino mdio.
Aes: curso profissionalizante com durao de dois anos, oferecido no contraturno escolar.
Nmero de beneficirios: 150 indivduos.
Indicador de impacto: empregabilidade dos jovens.
Resultado da estimao de impacto um ano aps o fim do projeto: em mdia, 10% dos tratados conseguiram emprego por causa do projeto.
8.5.1 Clculo do Benefcio

Transformao do impacto em benefcio:
Dos 150 participantes 10% conseguiram emprego por causa do projeto. Ento,
o projeto conseguiu inserir 15 jovens no mercado de trabalho, que no o acessariam se no tivessem participado do curso profissionalizante.
Para transformar o impacto em benefcio considere as seguintes hipteses:
i.
O benefcio de colocar o jovem no mercado de trabalho o salrio que
ele recebe. Esse equivale ao que ele produz para a sociedade;
ii.
Na mdia os beneficirios empregados recebem R$ 1.000,00. Esse valor foi calculado com base nas informaes de salrio informadas pelos jovens.
Para calcular o benfico do projeto por um ano multiplicamos o nmero de
jovens que esto empregados por causa do projeto (15) pelo salrio mdio
que recebem por ms (R$ 1.000,00) por 12 meses perfazendo um total de R$
180.000,00 por ano.
Fluxo de caixa e clculo do benefcio total:

Para elaborar o fluxo de caixa considere que:
iii.
Se no fosse o projeto, os jovens beneficirios entrariam no mercado
de trabalho, de qualquer forma, cinco anos aps o fim do projeto. Ento, o benefcio perdura durante cinco anos.
iv.
A taxa de desconto intertemporal de 5%.
A figura a seguir ilustra o fluxo de caixa.
Para somar os valores em momentos diferentes no tempo, aplicamos a taxa de

desconto intertemporal e calculamos o Valor Presente Total do Benefcio em :
Portanto, o benefcio total do projeto a Valor Presente em de 742.196 reais.

O clculo do impacto, consequentemente, do benefcio s considerou o benefcio individual. As externalidades advindas do salrio dos jovens inseridos
no mercado de trabalho por causa do projeto no foram computadas. Dessa
forma, sabemos de antemo que esse benefcio est subestimado. O benefcio
real deve ser maior do que o estimado pela avaliao, fazendo com que o seu
retorno tambm seja maior.
8.5.2 Clculo do Custo Econmico:

Para o funcionamento dos cursos, a gesto do projeto despende recursos com
salrio dos professores, material de laboratrio, apostilas e lanches fornecidos
para os alunos tabela 1. Alm dos valores efetivamente pagos, o projeto utiliza o laboratrio fornecido por uma empresa parceira que no cobra aluguel,
luz ou gua. Esse valor computado no custo de oportunidade. Tambm os
alunos, ao decidirem alocar seu tempo nas aulas em vez de investi-lo em outras
atividades, incorrem no custo de oportunidade tabela 2. Os valores das tabelas se referem aos custos de um ano de funcionamento.
Custo econmico = custo contbil + custo de oportunidade

Custo econmico = 137.000,00 + 220.450,00 = 357.450,00
Assim, o custo do projeto de 357.450,00 reais por ano. Os jovens permanecem no projeto por dois anos.
Fluxo de caixa e clculo do custo econmico total:
A figura a seguir ilustra o fluxo de caixa dos custos do projeto:
Para somar o custo do projeto nos diferentes momentos do tempo, aplicamos

a taxa de desconto intertemporal de 5%, exatamente igual ao clculo do benefcio total. Note que estamos trazendo o custo do projeto a valor presente em
. Portanto, o custo desse perodo j est em valor presente.
Assim, o custo econmico total do projeto em
de 697.878,57.
8.5.3 Retorno econmico

Clculo do Valor Presente Lquido
O fluxo de caixa completo do projeto :
Considere a taxa de desconto intertemporal de 5%. O Valor Presente Lquido :
Como j conhecamos o valor presente do benefcio e do custo, o VPL poderia ser

calculado de forma alternativa:
VPTB : 742.196,00
VPTC : 697.878,57
VPL = VPTB VPTC
VPL = 742.196,00 - 697.878,57 = 44.317,43
O resultado significa que os benefcios do projeto excedem os custos em 44.317,43

reais. Ento, podemos concluir que o projeto apresenta um retorno econmico positivo para a sociedade, sendo vivel economicamente.
Clculo da Taxa Interna de Retorno

No exemplo do projeto Trabalha Brasil a TIR de 7%. A frmula para seu clculo :
4
Para obtermos a TIR utilizamos o software Excel62
, no qual inserimos o fluxo de
caixa, selecionamos as clulas e inserimos a funo TIR, como apresentado na
figura a seguir:
A interpretao da TIR depende da taxa mnima de atratividade que considerarmos. Suponha que a taxa mnima de atratividade seja de 5%. Ento, a TIR de 7% indica que o projeto vivel economicamente, pois tem um retorno implcito maior
do que o mnimo desejado pelo investidor.
Clculo da Razo Custo-Benefcio

Dos clculos anteriores temos que:
VPTB : 742.196,00
VPTC : 697.878,57
Razo Custo - Benefcio =
Razo Custo - Benefcio =
possvel obter a TIR com calculadora financeira e outros pacotes computacionais. Optamos por apresentar o exemplo utilizando o Excel, por ser um software muito difundido.
62
O resultado indica que para cada real gasto no projeto, o retorno para a sociedade ser de 1,06 reais. Lembre-se que esse valor foi calculado considerando
uma taxa de desconto intertemporal de 5%.
No exemplo:
Retorno = (1,06 - 1)*100 = 6,0%
Ou seja, sob uma taxa de desconto intertemporal de 5%, o retorno do projeto
de 6%.
Exemplo 1: Projeto para melhora na qualidade da educao

(BIONDI et al. 2012):
O projeto Olimpada Brasileira de Matemtica das Escolas Pblicas - OBMEP
tem como objetivo a melhora da qualidade da educao em matemtica nas escolas pblicas brasileiras. A unidade tratada so as escolas pblicas e o indicador
de impacto a nota mdia da escola na
Prova Brasil dos alunos do 9 ano (antiga
8 srie). A avaliao de impacto utilizou
metodologia de diferenas em diferenas com dados da Prova Brasil de 2005 e
2007. Os resultados mostram que o projeto melhora a nota mdia das escolas participantes (foram utilizados vrios mtodos no clculo do impacto).
Para transformar o impacto em benefcio,
os autores consideraram as seguintes hipteses:
i. O impacto positivo estimado na
nota mdia dos alunos da 8 srie
vale em valores absolutos para todos
os alunos matriculados nas escolas
participantes do projeto.
ii. A melhora no desempenho dos jovens na 8 srie afetar os salrios futuros dos jovens no mercado de trabalho - com elasticidade estimada de
0,3, segundo estudo de Curi e Menezes-Filho (2007, apud BIONDI et al.,
2012)
iii. Os retornos da educao no salrio so constantes no tempo.
Com base nos dados da Pnad 2007, os autores projetaram qual seria o salrio anual correspondente de um jovem com 18
anos de idade e oito anos de estudo. Para

obter o benefcio do projeto multiplicaram o impacto na nota em relao aos salrios futuros, considerando a elasticidade pressuposta. Depois, multiplicaram o
impacto do projeto no aluno mdio pelo
nmero de alunos beneficiados, assim
obtiveram o benefcio do projeto.
No clculo do custo, o trabalho considera dois cenrios: apenas com o custo contbil por aluno, que de R$ 2,00; e com
o custo econmico (contbil + oportunidade) calculado com base no custo econmico de outro projeto similar, a Olimpada de Lngua Portuguesa Escrevendo
o Futuro, concurso semelhante OBMEP realizado pela Fundao Ita Social
e Cenpec. Para os dois cenrios a taxa de
desconto intertemporal considerada de
5%.
Os autores calculam o VPL total do projeto, o VPL por aluno e a TIR, diferenciando as estatsticas de retorno para escolas
e alunos que s participaram uma vez da
OBEMP, que participaram duas e trs vezes. Alm disso, repetem os clculos considerando os dois cenrios de custo. Em
seguida, calculam a mdia de cada estatstica estimada. Os resultados apontam
para um VPL total mdio de 901 milhes,
um VPL por aluno mdio de 181,70 reais
e uma TIR mdia de 45% ao ano. Assim,
concluem que a OBMEP apresenta uma
taxa de retorno elevada e gera benefcios
salariais futuros aos jovens participantes.
Exemplo 2: Projeto para preveno da violncia

(PEIXOTO, 2010).
O projeto Fica Vivo foi implementado
de forma piloto em uma das favelas mais
violentas de Belo Horizonte, Minas Gerais,
no ano de 2002. O objetivo do projeto
a reduo dos nmeros de homicdios,
por meio de aes que combinam policiamento ostensivo com aes sociais.
A unidade tratada a favela e o indicador de impacto a taxa de homicdios
por cem mil habitantes. A avaliao de
impacto utilizou a combinao da metodologia de pareamento por escore de
propenso com a de diferenas em diferenas e os dados foram provenientes
do Banco de Dados Georeferenciados da
Polcia de Minas Gerais 2000 a 2006 e
o Censo Demogrfico do IBGE 2000. Os
resultados mostram o impacto do projeto
entre 2002 e 2006, que foi de reduo de
15 homicdios.
Para transformar o impacto em benefcio,
a autora considerou as seguintes hipteses:
i. O benefcio de um homicdio evitado igual perda social do homicdio. Assim, o benefcio do homicdio
evitado a perda que a sociedade
deixou de sofrer porque o homicdio
foi evitado. Essa perda tem vrios fatores, como anos de produo perdidos, custos judiciais, psicolgicos,
entre outros.
ii. No caso do Brasil, Carvalho et al.
(2007, apud PEIXOTO, 2010) calculam
o valor dos anos de produo perdidos devido ao homicdio. A autora
supe que a proporo dos anos de
produo perdidos devido ao homicdio em relao perda total gerada
para a sociedade igual do Reino
Unido, onde o custo da perda gerada
pelo homicdio foi calculado considerando vrios fatores (DUBOURG E
HAMED, 2005, apud PEIXOTO, 2010).
Para obter o benefcio do projeto, a au-
tora aplicou regra de trs considerando

o valor dos anos de produo perdidos
pela proporo que esse fator representa na perda total gerada pelo homicdio
no Reino Unido. Assim, calcularam que
a perda total gerada pelo homicdio no
Brasil de 490 mil reais.
A autora considera o custo econmico do
projeto, mas no o subdividiu em custo
contbil e custo de oportunidade e sim
por uma tipologia de custo prpria. Alm
disso, estima o custo do projeto por trs
formas diferentes. Os valores de custo
anuais mdios por beneficirio variam
de 43,17 a 52,43 reais e os custos totais
anuais mdios variam de 1,019 a 1,238
milhes de reais, de acordo com o mtodo de estimao. Para realizar o fluxo de
caixa do projeto considera a taxa de desconto intertemporal igual ao ndice de inflao IPCA-IBGE varivel mensalmente.
A razo custo-efetividade de um homicdio evitado pelo projeto e tambm a
razo custo-benefcio calculada para as
trs formas de estimao do custo. A razo custo-efetividade encontrada varia,
de acordo com o mtodo de clculo do
custo, de 201 a 244 mil reais e a razo custo-benefcio varia de 1,99 a 2,42. Os resultados indicam que o projeto gera retorno
para a sociedade.
Como foram utilizados vrios parmetros
para a estimao dos resultados, a autora
realiza a anlise de sensibilidade variando os diferentes valores dos anos de produo perdidos, do percentual que este
componente representa na perda total
que o homicdio acarreta para a sociedade e do mtodo de rateio. A anlise de
sensibilidade mostra que apenas dois casos, das 62 combinaes de parmetros
utilizadas, no se mostraram economicamente viveis. Para as demais combinaes de parmetros o projeto apresenta
retorno para a sociedade. Essa anlise indica robustez dos resultados estimados.
Exemplo 3: Projeto de preveno em Sade

(CAMELO JUNIOR et. al., 2011)
Avaliao econmica da triagem neonatal da galactosemia, no Estado de So
Paulo. A galactosemia uma da doena
metablica hereditria, que pode ter seus
malefcios prevenidos caso seja detectada precocemente. Se o diagnstico for
tardio, a criana que apresenta a doena
pode precisar de tratamento de urgncia
e intensivo, para infeces generalizadas e insuficincia heptica. Alm de a
doena poder evoluir para cirrose, insuficincia heptica, cataratas, hipertenso
intracraniana, edema cerebral, letargia,
hipotonia, retardo mental e morte. Com
o diagnstico precoce, a criana necessita apenas de acompanhamento mdico
ambulatorial e, se a evoluo do quadro
clnico for favorvel, adquire qualidade
de vida e possibilidade real de produtividade social futura. Os autores verificaram
o impacto da incluso do diagnstico
dessa doena no conhecido teste do pezinho, por meio de um estudo piloto no
ano de 2006, em So Paulo.
Os autores consideram como indicador
de impacto a incidncia da doena em
crianas. A base de dados proveniente
do teste realizado em 59.953 recm-nascidos escolhidos aleatoriamente.
Os resultados indicaram que 1:19.984
nascidos vivos teriam o diagnstico precoce caso o teste para galactosemia fosse includo no exame do pezinho. Para
transformar o impacto em benefcio, os
autores assumiram as seguintes hipteses:
i. O benefcio de um diagnstico precoce igual diferena entre a perda
social com diagnstico tardio e a perda social causada pela doena quando o diagnstico precoce.
ii. O diagnstico tardio gera perda
para a sociedade de: despesa com
terapia intensiva e enfermarias; procedimentos cirrgicos; tratamento
diettico; seguimento ambulatorial
a longo prazo; e perda de produo
por causa das complicaes geradas
pela doena;
iii. Mesmo com o diagnstico precoce a doena gera perda de: despesa
com seguimento ambulatorial a longo prazo, sem complicaes e com o
tratamento diettico.
iv. O valor da perda de produtividade foi considerado como a perda de
meio dia de trabalho (R$ 21,65), com
base no rendimento mdio mensal
real das pessoas ocupadas no Brasil,
em maro, de 2011
v. R$ 1.298,70.
vi. o paciente trabalharia entre 20 e
65 cinco anos de idade.
Para obter o benefcio do projeto, os
autores subtraram a perda gerada pelo
diagnstico tardio da gerada pelo diagnstico precoce, calculando assim o benefcio individual. Em seguida, multiplicaram o benefcio pelo total de nascidos
vivos com a doena (incidncia da doena multiplicada pelo nmero de nascidos
vivos em So Paulo no ano de 2009).
Os autores consideraram o custo econmico do projeto, mas no o subdividiram
em custo contbil e custo de oportunidade. So computados os custo do projeto com os kits de deteco da doena,
o retorno das crianas detectadas para
confirmao, bem como o custo do contato para que esse retorno acontea, e a
perda de produtividade do trabalho do
acompanhante. Para realizar o fluxo de
caixa do projeto consideraram a taxa de
desconto intertemporal igual SELIC de
junho de 2009 de 9,25%.
O retorno econmico foi mensurado com
base na razo custo-benefcio da triagem
neonatal da galactosemia, considerando
ainda mais dois nveis de incidncia da
doena dados pelos limites do intervalo
de confiana a 95%. A razo custo-benefcio estimada foi de 1,33 e para os intervalos de confiana foi de 0,44 e 3,54. Assim, os resultados mostram que o projeto
gera retorno para a sociedade.
Exerccios
1) A avaliao econmica composta de duas etapas. Cite quais so essas etapas e os seus principais objetivos.
2) Por que no podemos comparar dois programas apenas usando os resultados da avaliao de impacto?
3) O que o benefcio do projeto e por que devemos transformar o impacto
em benefcio?
4) O que a taxa de desconto intertemporal? E quando ela utilizada na avaliao econmica?
5) Quais so os componentes do custo econmico?
6) Se o custo de oportunidade implcito, como possvel calcul-lo? D
exemplos.
7) O que o avaliador pretende captar ao calcular o retorno econmico do projeto?
8) Cite as estatsticas de retorno econmico vistas nesse captulo.
9) Qual a diferena entre as estatsticas de retorno econmico?
10) O que anlise de sensibilidade e qual a sua finalidade?
Exerccios Prticos
1) O programa Mulher do Futuro fictcio objetiva aumentar a renda de famlias chefiadas por mulheres. Para isso, oferece cursos profissionalizantes em
diversas reas e ajuda na insero das participantes no mercado de trabalho,
por meio de convnios com empresas. Os cursos duram em mdia seis meses.
A avaliao de impacto do programa foi pensada desde sua concepo. Assim,
realizou-se uma pesquisa com as participantes e no participantes antes da
implementao. Dois anos aps o incio do programa, o grupo de avaliao
voltou a campo e novamente coletou informaes sobre as mulheres. O banco
de dados DDM contm as informaes em dois momentos no tempo escolaridade, idade, se o domiclio possui luz eltrica, se a mulher vive com cnjuge
e a renda familiar per capita.

a) Suponha que o experimento foi aleatrio e que possumos dados
do programa em um momento do tempo - aps o programa. Calcule o impacto
na renda per capita.

b) Faa o teste de diferena de mdias entre tratado e controle para as
variveis: escolaridade, idade, luz, cnjuge, no perodo aps o programa.

c) Como o teste de diferena de mdias mostrou que os grupos tratado e de controle no so estatisticamente iguais em todas as caractersticas
observadas, calcule o impacto do programa controlando para as variveis observveis, ainda supondo os dados em um momento do tempo - aps o programa. Esse resultado mostrou alguma diferena para o obtido na letra b? Se
sim, explique.

d) Ainda considerando os dados em apenas um momento do tempo,
estime o impacto do programa pelo mtodo pareamento por escore de propenso um para um, vizinho mais prximo, raio e Kernel.

e) Calcule o impacto do programa pelo mtodo de diferenas em diferenas. Analise os resultados.

f) Faa uma anlise descritiva e o teste de diferena de mdias das caractersticas dos participantes e no participantes antes do incio do programa.
O que podemos concluir dos resultados do teste?

g) Calcule o impacto do programa combinando o mtodo de pareamento com o de diferenas em diferenas.
Suponha que o resultado da avaliao de impacto mostrou que o programa
aumenta em 277,12 reais, por ms, a renda das participantes.
O custo do projeto expresso como segue:

h) Por que no precisamos transformar o impacto em benefcio? Calcule o benefcio anual do projeto

i) Monte o fluxo de caixa do projeto supondo que a renda a mais gerada pelo programa perdurar durante toda a vida produtiva da mulher e que
as mulheres entram no mercado de trabalho com 20 anos e trabalham por 35
anos.

j) Em , calcule o benefcio total, custo total, VPL, a TIR, a Razo Custo
-Benefcio e a Razo Custo-Efetividade. Suponha uma taxa de desconto intertemporal de 5%.

k) Faa uma anlise de sensibilidade considerando:

i. O impacto, que apresenta o intervalo de confiana a 95%, variando
de 248,45 a 305,79.

ii. O retorno do projeto recebido por apenas 5 anos.
2) O programa Brasil Melhor fictcio visa melhorar o desempenho escolar

dos alunos do ensino fundamental. Esse programa foi desenvolvido com 245
alunos da Escola Estadual Joo dos Santos. A escola possui ao todo 745 alunos.
O desenho do programa no abrangia a sua avaliao de impacto que foi implementada aps um ano de seu funcionamento. Dessa forma, s foi possvel
obter informaes em um momento no tempo depois do programa implementado. O banco de dados PSM1 apresenta informaes sobre a nota no
exame de proficincia realizado em toda a escola fundamental, a participao

no programa, o sexo, a cor e os anos de estudos da me do aluno.

a) Calcule o impacto do programa supondo que o experimento foi aleatrio. Analise os resultados.

b) Faa o teste de diferena de mdias para as variveis: sexo; cor; anos
de estudos da me. O grupo tratado e controle apresentam diferenas estatisticamente significativas nas caractersticas mdias? O que podemos concluir
com este teste?

c) Calcule o impacto do programa supondo que o experimento foi no
aleatrio pelo mtodo de regresso MQO, usando todos os no tratados como
controle. Analise os resultados.

d) Calcule o impacto do programa supondo que o experimento foi no
aleatrio pelo mtodo de pareamento por escore de propenso mtodo um
para um.

e) Faa o teste de diferena de mdias para as variveis: sexo; cor; anos
de estudos da me. Utilize apenas o grupo de controle selecionado pelo pareamento. Compare o resultado deste teste de mdias com o realizado na letra b.
O que podemos concluir com esta comparao?

f) Faa o grfico do escore de propenso para os tratados e controles
selecionados pelo mtodo de pareamento. O que podemos concluir com este
grfico?

g) Repita os procedimentos de e a g utilizando as metodologias de
pareamento por escore de propenso mtodo vizinho mais prximo, raio e
mtodo de Kernel.
BIBLIOGRAFIA
ABADIE, A.; DIAMOND, A.; HAINMUELLER, J. Synthetic control methods for comparative case studies: estimating the effect of Californias tobacco control program. Journal of the American Statistical Association. v. 105, p. 493-505, 2010.
ABADIE, A.; IMBENS, G. Simple and Bias-Corrected Matching Estimator for Average Treatment Effect. NBER Working Paper. n. 283, 2002.
ANGRIST, J. Lifetime earnings and the Vietnam era sraft lottery: evidence from
social security administrative records. American Economic Review. v. 80, p. 313335, 1990.
ANGRIST, J.; KRUEGER, A. The effect of age at school entry on educational attainment: an application of instrumental variables with moments from two
samples. Journal of the American Statistical Association. v. 418, p. 328-336,
1992.
ANGRIST, J.; PISCHKE J. Mostly harmless econometrics: an empiricists companion. Nova Jersey: Princeton University Press, 2008. 392 p.
ANGRIST, J. D.; IMBENS G. W. Two-stage least squares estimation of average causal effects using instrumental variables. Journal of American Statistical Association. v. 90, p. 430-442, 1995.
ANGRIST, J. D.; IMBENS, G. W.; RUBIN, D. B. Identification of causal effects using
instrumental variables. Journal of the American Statistical Association. v. 91, p.
444-472, 1996.
ANGRIST, J. D.; LAVY, V. Using Maimonides rule to estimate the effect of class
size on scholastic achievement. Quarterly Journal of Economics. v. 114, p. 533575, 1999.
ASHENFELTER, O. Estimating the effect of training programs on earnings. Review of Economics and Statistics. v. 60, p. 47-57, 1978.
ASSAF NETO, A. Matemtica Financeira e suas Aplicaes. 11 edio. So Paulo: Atlas, 2009. 296 p.
BANEREE, A.; DUFLO, E. Poor Economics: A Radical Rethinking of the Way to
Fight Global Poverty. Nova York : Public Affairs, 2011. 320 p.
BARROS, R.P.; OLINTO, P.; LUNDE, T.; CARVALHO, M. The impact of access to free
childcare on womens labor market outcomes: evidence from a randomized

trial in low-income neighborhoods of Rio de Janeiro. 2011. No Publicado.
BERTRAND, M.; DUFLO, E.; MULLAINATHAN, S. How should we trust difference
-in-differences estimates?. Quarterly Journal of Economics. v. 119, p. 249-275,
2004.
BIONDI, R. L.; VASCONCELLOS, L.; MENEZES FILHO, N. Evaluating the impact of
the brazilian public school math olympics on the quality of education. Economia. Spring, v. 2, n. 2, p. 143-170, 2012.
BLOOM, H. Accounting for no-shows in experimental evaluation designs.
Evaluation Review. v. 8, p. 225-246, 1984.
BLUNDELL, R.; DIAS, M. C. Alternative approaches to evaluation in empirical microeconomics. Journal of Human Resources. v. 44, p. 565-640, 2009.
BLUNDELL, R.; DIAS, M. C. Evaluation methods for non-experimental data. Fiscal
Studies, v. 21, p. 427-468, 2008.
BOARDMAN, A. E.; GREENBERG, D. H.; VINING, A. R.; WEIMER, D. L. Cost benefit
analysis: concepts and practice. Nova Jersey: Prentice Hall, 2005. 560 p.
BOURGUIGNON, F.; FERREIRA, F. Ex-Ante evaluation of policy reforms using
behavioral models. In: BOURGUIGNON, F.; SILVA, L. P. The Impact of Economic
Policies on Poverty and Income Distribution: Evaluation Techniques and Tools.
Washington: World Bank Publications, 2003. p. 123-141.
BRAIDO, L.; OLINTO, P.; PERRONE, H. Gender bias in intrahousehold allocation:
evidence from an unintentional experiment. Review of Economics and Statistics. v. 94, p. 552-565, 2012.
BURTLESS, G. The case for randomized field trials in economic and policy research. Journal of Economic Perspectives. v. 9, p. 63-84, 1995.
CAMELO JUNIOR, J. S.; FERNANDES, M. I. M.; JORGE, S. M.; MACIEL, L. M. Z.; SANTOS. J. L. F.; CAMARGO JR, A. S.; PASSADOR, C. S.; CAMELO, S. H. H. Avaliao
econmica em sade: triagem neonatal da galactosemia. Cadernos de Sade
Pblica. v. 27, n. 4, p. 666-676, 2011.
CAMPBELL, H. F.; BROWN, R. P. C. Benefit-cost analysis: financial and economic
appraisal using spreadsheets. Cambridge: Cambridge University Press, 2003.
360 p.
CARD, D.; DOBKIN, C.; MAESTAS, N. The impact of nearly universal insurance
coverage on health care utilization and health: evidence from medicare. American Economic Review. v. 98, n. 5, p. 2242-2258, 2008.
CARNEIRO, P.; HECKMAN, J.; VYTLACIL, E. Understanding what instrumental
variables estimate: estimating the average and marginal return to schooling.
2005. No Publicado.
CHAY, K.; GREENSTONE, M. Does air quality matter; evidence from the housing
market. Journal of Political Economy. v. 113, p. 376-424, 2005.
COCHRAN, W. Sampling Techniques. New York: John Wiley& Sons, 1977. 428 p.
COHEN, E.; FRANCO, R. Avaliao de projetos sociais. 9 edio. Petrpolis: Vozes, 2011. 312 p.
CRESPO, A. A. Matemtica Financeira Fcil. 14 edio. So Paulo: Saraiva, 2009.
255 p.
CRUMP, R.; HOTZ, V. J.; IMBENS, G.; MITINIK, O. Dealing with limited overlap in
estimation of average treatment effects. Biometrika. v. 96, n. 3, p. 187-199, 2009.
CRUMP, R.; HOTZ, V. J.; IMBENS, G.; MITINIK, O. Nonparametric tests for treatment
effect heterogeneity. Review of Economics and Statistics. v. 90, n. 3, p.389-405,
2008.
DEHEIJA, R.; WAHBA, S. Propensity score-matching methods for nonexperimental causal studies. Review of Economics and Statistics. v. 84, n. 1, p. 151161, 2002.
DEHEJIA, R. Program evaluation as a decision problem. Journal of Econometrics. v. 125, p. 141-173, 2005.
DEHEJIA, R.; WAHBA, S. Casual effects of nonexperimental studies: reevaluating
the evaluation of training programs. Journal of American Statistical Association. v.94, p.1053-1062, 1999.
DRUMMOND, M. F.; SCULPHER, M. J.; TORRANCE, G. W.; OBRIEN, B. J.; STODDART, G. L. Methods for the economic evaluation of health care programmes.
Nova York: Oxford University Press, 2005. 379 p.
DUFLO, E. Schooling and labor market consequences of school construction in
Indonesia: evidence from an unusual policy experiment. American Economic
Review. v. 91, n. 4, p. 795-813, 2001.
DUFLO, E.; GLENNERSTER, R.; KREMER, M. Using randomization in development
economics research: A Toolkit. In: T. SCHULTZ; J. STRAUSS. Handbook of Development Economics. Oxford: North Holland, 2008. v. 4, p. 3895-3962.
EUROPEAN COMISSION. Guide to cost-benefit analysis of investment projects:
structural funds, cohesion fund and instrument for pre-accession, 2008. Disponvel em: <http://ec.europa.eu/regional_policy/sources/docgener/guides/
cost/guide2008_en.pdf>. Acesso em: 7 maio 2012.
FERMAN, B.; ASSUNO, J. Does affirmative action enhance or undercut investment incentives?: evidence from quotas in brazilian universities. 2009. No Publicado.
FERRAZ, C.; FINAN, F. Electoral accountability and corruption: evidence from
the audit reports of local governments. American Economic Review. v.101, p.
1274-1311, 2011.
FIRPO, S.; FOGUEL, M.; JALES, H. Evaluating the impact of stratified randomized
experiments with an application to a Brazilian public training program. 2011.
No Publicado.
GRASDAL, A. The performance of sample selection estimators to control for attrition bias. Health Economics. v. 10, p. 385-398, 2001.
GUJARATI, D. N. Econometria Bsica. 3 edio. So Paulo: Makron Books, 2000.
860 p.
HAHN, J. On the role of the propensity score in efficient semiparametric estimation of average treatment effects. Econometrica. v. 66, n. 2, p. 315-331, 1998.
HAHN, J.; TODD, P.; VAN DER KLAAUW W. Identification and estimation of treatment effects with a regression discontinuity design. Econometrica. v. 69, p.
201-209, 2001.
HECKMAN, J.; LOCHNER, L. e TABER, C. Explaining raising wage inequality: explorations with a dynamic general equilibrium model of labor earnings with
heterogeneous agents. NBER Working Paper. v. 1, n. 6384, p. 1-58, 1998.
HECKMAN, J. Varieties of selection bias. American Economic Review. v. 80,
p.313-318, 1990.
HECKMAN, J.; LALONDE, R.; SMITH, J. The economics and econometrics of active labor market programs. In: ASHENFELTER, O.; CARD, D. Handbook of Labor
Economics. Oxford: North Holland, 1999. v. 3, p.1865-2097.
HECKMAN, J.; HOTZ, J. Alternative methods for evaluating the impact of trai-
ning programs. Journal of the American Statistical Association. v. 84, n. 804, p.

862-874, 1989.
HECKMAN, J.; ROBB, R. Alternative methods for evaluating the impact of interventions. In: HECKMAN, J.; SINGER, B. Longitudinal analysis of labor market
data. Nova York: Cambridge University Press, 1985.
HECKMAN, J.; SMITH, J. Assessing the case for social experiments. Journal of
Economic Perspectives. v. 9, p. 85-110, 1995.
HECKMAN, J.; VYTLACIL, E. Local Instrumental Variables. In: HSIAO, C; MORIMUNE, K; POWELL, J. Nonlinear Statistical Modeling: Essays in Honor of Takeshi
Amemiya. Nova York: Cambridge University Press, 2001.
HECKMAN, J.; VYTLACIL, E. Structural equations, treatment effects, and econometric policy evaluation. Econometrica. v. 73, n. 3, p. 669-738, 2006.
HECKMAN, J; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation
estimator: evidence from a job training program. Review of Economic Studies.
v. 64, n 4, p. 605-54, 1997.
HECKMAN, J.; ICHIMURA, H.; TODD, P. Matching as an econometric evaluation
estimator. Review of Economic Studies. v. 65, p. 261-294, 1998.
HECKMAN, J.; SMITH, J. The pre-program earnings dip and the determinants of
participation in a social program: implications for simple program evaluation
strategies. Economic Journal. v. 109, p. 313-348, 1999.
HIRANO, K.; IMBENS, G. Estimation of causal effects using propensity score weighting: an application to data on right heart catheterization. Health Services &
Outcomes Research Methodology. v. 2, p. 259-278, 2001.
HIRANO, K.; IMBENS, G.; RIDDER, G. Efficient estimation of average treatment
effects using the estimated propensity score. Econometrica. v. 71, n. 4, p. 11611189, 2003.
HIRANO, K.; IMBENS, G.; RUBIN, D.; Zhou, X. Identification and estimation of local average treatment effects. Biostatistics. v. 1, n. 1, p. 69-88, 2000.
HOFFMANN, R. Estatstica para Economistas. 4 edio. So Paulo: Cengage Learning, 2006. 446 p.
IMBENS, G. Nonparametric estimation of everage treatment effects under exogeneity: A review. Review of Economics and Statistics. v. 86, n. 1, p. 1-29, 2004.
IMBENS, G. The role of the propensity score in estimating dose-response functions. Biometrika. v. 87, n 3, p. 706-710, 2000.
IMBENS, G.; ANGRIST, J. Identification and estimation of local average treatment effects. Econometrica. v. 61, n. 2, p. 467-476, 1994.
IMBENS, G.; LEMIEUX, T. Regression discontinuity designs: a guide to practice.
Journal of Econometrics. v. 142, n. 2, p. 615-635, 2008.
IMBENS, G.; RUBIN, D. Rubin causal model. In: DURLAUF, S.; BLUME, L. The New
Palgrave Dictionary of Economics. Hampshire: Palgrave Macmillan, 2008, 2
edio. 7344 p.
IMBENS, G.; WOOLDRIDGE, J. Recent developments in the econometrics of program evaluation. Journal of Economic Literature. v. 47, n 1, p. 5-86, 2009.
IMBENS, G. Nonparametric estimation of average treatment effects under exogeneity: A review. Review of Economics and Statistics. v. 86, n. 1, p. 1-29, 2004.
IPEA e CEDEPLAR. Uma proposta de avaliao do plano nacional de formao
profissional (planfor). 2000. Relatrio Parcial. No Publicado.
LALONDE, R. J. Evaluating the econometric evaluations of training programs
with experimental data. American Economic Review. v. 76, p. 604-620, 1986.
LEE, D. S.; CARD, D. Regression discontinuity inference with specification error.
Journal of Econometrics. v. 142, n. 2, p. 655-674, 2008.
LEE, D. S.; MORETTI, E.; BUTLER, M. Do voters affect or elect policies? Evidence
from the U.S. house. Quarterly Journal of Economic. v. 119, p. 807-859, 2004.
LEE, D. S.; LEMIEUX, T. Regression Discontinuity Designs in Economics. NBER
Working Paper. v. 48, n. 14723, p. 281-355, 2009.
MATTOS, E.; MAIA, S.; MARQUES F. Evidncias da relao entre oferta de trabalho e programas de transferncia de renda no Brasil: bolsa escola versus bolsa
famlia. Pesquisa e Planejamento Econmico v. 40, p. 1-44, 2010.
MCEWAN, H. M.; LEVIN, P. J. Cost-effectiveness analysis: methods and applications. Califrnia: Sage Publications, 2001. 308 p.
MCRARY, J. Testing for manipulation of the running variable in the regression
discontinuity design. Journal of Econometrics. v. 142, n. 2, p. 698-714, 2008.
MEYER, B. Natural and quasi-experiments in economics. Journal of Business &
Economic Statistics. v. 13, p. 151-161, 1995.

MIGUEL, E.; KREMER, M. Worms: identifying the impacts on education and health in the presence of treatment externalities. Econometrica. v. 72, p.159-217,
2004.
PEIXOTO, B. Avaliao econmica do projeto fica Vivo: o caso piloto. In: Ministrio do Planejamento, Oramento e Gesto, Secretaria de Oramento Federal.
(Org.). Oramento Pblico: II Prmio SOF de Monografias - Coletnea. Braslia,
2010.
PONCZEK, V.; SOUZA, A. New evidence of the causal effect of family size on
child quality in a developing country. Journal of Human Resources. v. 47, p.
64-106, 2011.
PORTER, J. Estimation in the regression discontinuity model. Department of
Economics. 2003. No Publicado.
ROBINS, J. M.; RITOV, Y. A curse of dimensionality appropriate (coda) asymptotic theory for semiparametric models. Statistics in Medicine. v. 16, p.285-319,
1997.
ROCHA, R.; SOARES, R. Evaluating the impact of community-based health interventions: evidence from brazils family health program. Health Economics.
v. 19, p. 126-158, 2010.
ROSENBAUM, P. Observational studies. Nova York: Springer Verlag, 2002. 375p.
ROSENBAUM, P. The role of a second control group in an observational study.
Statistical science. v. 2, n. 3, p. 292316, 1987.
ROSENBAUM, P.; RUBIN, D. The central role of the propensity score in observational studies for causal effects. Biometrika, v. 70, p. 41-55, 1983.
RUBIN, D. Estimating causal effects to treatments in randomized and nonrandomised studies. Journal of Educational Psychology. v. 66, p. 688-701, 1974.
RUBIN, D. Assignment to treatment group on the basis of a covariate. Journal of
Educational Statistics. v. 2, n. 1, p. 1-26, 1977.
RUBIN, D. Matching to remove bias in observational studies. Biometrics. v. 29,
p. 159-183, 1973.
RUBIN, D. The use of matched sampling and regression adjustments to remove
bias in observational studies. Biometrics. v. 29, p. 185-203, 1973.
RUBIN, D. Using multivariate matched sampling and regression adjustment to

control bias in observational studies. Journal of American Statistical Association. v. 74, p. 318-328, 1979.
THISTLEWAITE, D.; CAMPBELL, D. Regression-discontinuity analysis: an alternative to the ex-post facto experiment. Journal of Educational Psychology. v. 51,
p.309-317, 1960.
TODD, P.; WOLPIN, K. Ex-Ante Evaluation of Social Programs. PIER Working Paper Penn Institute for Economic Research. n. 06-122, 2006.
TRIOLA, M. F. Introduo Estatstica. 10 edio. Rio de Janeiro: LTC, 2008. 686
p.
VAN DER KLAAUW, W. Estimating the effect of financial aid offers on college enrollment: a regressiondiscontinuity approach. International Economic Review.
v. 43, p. 1249-1287, 2002.
VYTLACIL, E. Independence, monotonicity, and latent index models: An equivalence result. Econometrica. v. 70, n. 1, p. 331-341, 2002.
WOOLDRIDGE, J. M. Introduo Econometria: Uma Abordagem Moderna. So
Paulo: Thomson, 2006. 725 p.
BIBLIOGRAFIA COMPLEMENTAR
I. Estatstica
TRIOLA, Mario F. Introduo Estatstica. 10 ed. Rio de Janeiro: LTC, 2008.
Esse manual bastante adotado em cursos de graduao nas cincias humanas. Apresenta uma linguagem fcil, compreensvel para alunos com um
conhecimento menos profundo de lgebra. Alm disso, apresenta sees especiais com profissionais de vrios campos que utilizam a estatstica como ferramenta de trabalho, o que torna a leitura fluida e atraente. Um diferencial a
quantidade de exerccios (mais de 1.500) em varias reas das cincias humanas e seu foco mais centrado na interpretao do que nos clculos. Muitos dos
exerccios usam dados reais, o que os torna mais interessantes para os leitores.
O livro aborda temas mais avanados como correlao, regresso e estatstica
no paramtrica.
HOFFMANN, Rodolfo. Estatstica para Economistas. 4 ed. So Paulo: Thompson, 2006.
Esse livro ensina estatstica bsica para iniciantes. Apesar de o ttulo direcion
-lo para economistas, atende qualquer aluno das cincias humanas interessado em aplicar a estatstica no seu campo de trabalho. Com uma linguagem simples e objetiva, sem perder o rigor formal, apresenta os aspectos conceituais e
metodolgicos da estatstica. Mais ainda, o livro adentra o tpico de regresso
linear, o que permite ao leitor ter uma introduo ao tema.
II. Econometria
WOOLDRIDGE, Jeffrey. M. Introduo Econometria: Uma Abordagem Moderna. So Paulo: Thomson, 2006.
Esse manual de introduo econometria alia a matemtica existente nesse
mtodo de pesquisa emprica econmica com uma ampla interpretao prtica de problemas estudados em vrios campos das cincias humanas. Assim,
mostra que esse instrumental analtico, antes restrito problemtica econmica, pode ser aplicado em outras cincias para anlise de questes empricas.
Com esse enfoque, o livro combina questes mais tcnicas da econometria
com suas aplicaes prticas, facilitando seu entendimento. A estrutura dos

tpicos apresentados diferente da tradicional, e segue a diviso por tipos de
dados. Essa abordagem moderna muito intuitiva e torna o contedo mais
acessvel ao estudante.
GUJARATI, Damodar N. Econometria Bsica. 3 Ed., Makron Books, 2000.
O manual de econometria bsica adota uma abordagem tradicional do tema.
Primeiramente apresentado o modelo de regresso linear, em seguida so
listadas as hipteses necessrias e os problemas decorrentes da sua no observao. Por fim, tpicos especiais so discutidos detalhadamente, como regresso sobre varivel binria, equaes simultneas e modelo de sries temporais.
Para compreenso do contedo requerido nvel bsico de clculo, lgebra e
estatstica.
III. Matemtica Financeira

CRESPO, Antnio A. Matemtica Financeira Fcil. 14 ed. So Paulo: Saraiva,
2009.
Esse livro uma obra bsica de matemtica financeira. Escrito para quem nunca estudou o tema, traz os tpicos iniciais como juros simples e compostos,
descontos, sries de pagamentos e amortizaes. Com muitos exemplos resolvidos e exerccios prticos, excelente para um primeiro contato com a matria, principalmente para aqueles que no so familiarizados com a matemtica.
Entretanto, para quem deseja se aprofundar uma complementao com outros livros necessria.
ASSAF NETO, Alexandre. Matemtica Financeira e suas Aplicaes. 11 ed.
So Paulo: Atlas, 2009.
Esse manual de matemtica financeira utilizado em cursos de graduao e
ps-graduao. Tem uma abordagem ampla do tema, incluindo desde os princpios bsicos da matemtica financeira, como juros simples e compostos, at
tpicos mais avanados, como anlise de ativos financeiros. A sequncia dos
contedos intuitiva e inclui os principais produtos financeiros existentes no
Brasil. Dessa forma, o leitor aprende os fundamentos tericos da matemtica
financeira e suas aplicaes prticas com ativos financeiros no pas.
AUTORES
Betnia Peixoto
Graduada em Cincias Econmicas pela FACE/UFMG (2000), mestre em Economia pelo CEDEPLAR/UFMG (2003) e doutora em Economia pelo CEDEPLAR/
UFMG (2008). Tem experincia na rea de Economia, com nfase em Economica dos Programas de Bem-Estar Social e Econometria aplicada, atuando principalmente nos seguintes temas: Avaliao Econmica de Polticas Pblicas e
Programas Sociais, Anlise Economtrica Aplicada e Criminalidade.
Possui Ph. D. em Economia pela University of California, Berkeley. Atualmente

professora assistente da Escola de Economia de So Paulo, FGV. Suas reas de
pesquisa so: Econometria, Economia da Educao e Economia do Trabalho.
Lycia Lima
Graduou-se em Economia pela UFMG em 2003. Concluiu o mestrado em Development Economics pela School of Oriental and African Studies da Universidade de Londres em 2007. Desde ento, trabalhou como pesquisadora na
rea de monitoramento e avaliao de polticas pblicas no Banco Mundial em
Washington, na Fundao Joo Pinheiro do governo do Estado de Minas Gerais
e na Secretaria de Assuntos Estratgicos da Presidncia da Repblica do Brasil,
tendo conduzido principalmente estudos de avaliao de impacto nas reas
de sade, educao, governana, pobreza rural e primeira infncia.
pesquisador do IPEA desde 1998 e professor auxiliar da PUC/RJ desde 2009.

Tem mestrado pela PUC/RJ e doutorado pela UFF. J publicou diversos estudos e artigos em livros e revistas cientficas nas reas de avaliao de polticas
sociais, economia do trabalho, desigualdade de renda e pobreza. Recebeu o
Prmio Mario Henrique Simonsen, concedido pela Revista Brasileira de Economia, em 2000. coordenador da rede internacional de pesquisa Network on
Inequality and Poverty (NIP) no Brasil desde 2009.
Naercio Menezes Filho professor titular (Ctedra IFB) e coordenador do Centro de Polticas Pblicas do Insper Instituto de Ensino e Pesquisa. Professor associado da FEA-USP, colunista do Valor Econmico e consultor da Fundao
Ita Social, Naercio PhD em Economia pela University College London.
Graduou-se em Engenharia Eletrnica no Instituto Tecnolgico da Aeronutica

ITA em 1977. Concluiu mestrado em Estatstica pelo Instituto de Matemtica Pura e Aplicada IMPA em 1982 e doutorado em Economia pela Universidade de Chicago em 1987. Possui ps-doutorado pelo Centro de Pesquisa
em Economia, Universidade de Chicago (1988), e pelo Centro de Crescimento
Econmico, Universidade de Yale (1989). Desde 1979, tem trabalhado como
pesquisador do Instituto de Pesquisa Econmica Aplicada (IPEA), conduzindo
pesquisas nos campos de desigualdade social, educao, pobreza e mercado
de trabalho no Brasil e na Amrica Latina. Atualmente subsecretrio da Secretaria de Assuntos Estratgicos da Presidncia da Repblica SAE/PR.

Livro Aval Econ PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Livro Aval Econ PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Ficha Tcnica

1 Edio - Brasil - 2012

Parte I - Mtodos Bsicos de Avaliao de Impacto

Cristine Campos de Xavier Pinto

Parte III - Anlise de Retorno Econmico

Vice-presidente da Fundao Ita Social

Srgio Ribeiro da Costa Werlang

Vice-presidente do Ita Unibanco

Avaliao Econmica de Projetos Socias l 9

l Fundao Ita Social

fatores que no so observados pelo avaliador. Em seguida, a mesma autora

Naercio Menezes Filho

Avaliao Econmica de Projetos Socias l 11

Ricardo Paes de Barros

so de estudos dessa natureza sinaliza que a importncia de dedicar esforos e

2.1 No evidente que um programa

l Fundao Ita Social

na alegao de que pouco provvel que um programa com acesso voluntrio

Avaliao Econmica de Projetos Socias l 15

2.2 Demanda pelos mais ricos evidncia

Muitos dos programas sociais existentes so ofertados gratuitamente para a

l Fundao Ita Social

2.3 A relao entre impacto, ambiente

2.4. Impacto potencial versus impacto

Avaliao Econmica de Projetos Socias l 17

devido a falhas no processo de implementao.

2.5 Avaliao de impacto como forma de

l Fundao Ita Social

2.6 A questo da relao custo-efetividade

2.7 A questo da relao custo-benefcio

Avaliao Econmica de Projetos Socias l 19

2.8 Por que no investigar diretamente a

l Fundao Ita Social

surao. Em segundo lugar, mesmo que fosse possvel estimar a magnitude de

Avaliao Econmica de Projetos Socias l 21

posteriormente valorar cada um destes individualmente. Sendo assim, dado

l Fundao Ita Social

2.9 Heterogeneidade do programa e da

3. Para que avaliar o impacto de

Avaliao Econmica de Projetos Socias l 23

Sobre o uso interno:

l Fundao Ita Social

3.2 Sobre o uso externo: para o desenho

Avaliao Econmica de Projetos Socias l 25

constatao da sensibilidade do impacto do programa ao seu ambiente deve

4. Quando avaliar o impacto de

4.1 Sobre a necessidade de avaliaes

l Fundao Ita Social

aquela determinada interveno. Em geral, justificativas deste tipo se baseiam

Avaliao Econmica de Projetos Socias l 27

em geral est relacionada identificao de melhores prticas. Avaliaes ex

4.2 Diferenas informacionais e

l Fundao Ita Social

da populao. Entretanto, dada a escassez dos recursos disponveis, nem todas

Avaliao Econmica de Projetos Socias l 29

l Fundao Ita Social

Avaliao Econmica de Projetos Socias l 31

l Fundao Ita Social

Box 1: Avaliaes Ex-ante e Ex-post

Avaliao Econmica de Projetos Socias l 33

Avaliao Econmica de Projetos Socias l 35

programa com um grupo que decide no participar da interveno. Como

2.1 Comparando os Tratados Antes e Depois