Martin Ravallion

O MISTÉRIO DO DESAPARECIMENTO DOS BENEFÍCIOS:

UMA INTRODUÇÃO À AVALIAÇÃO DE PROGRAMAS DA SRTA. ANALISTA
LIGEIRINHA*

Tradução: Victor Maia Senna Delgado†

CURSO DE ADMINISTRAÇÃO PÚBLICA

Fundação João Pinheiro
Escola de Governo Prof. Paulo Neves de Carvalho

Belo Horizonte
Abril de 2011

*
Tradução de: RAVALLION, Martin The mystery of vanishing benefits: Ms Speedy Analyst’s introduction to
evaluation., The World Bank Economic Review, v. 15, n. 1, p. 115-140, 2001.

Este artigo objetiva prover uma introdução aos conceitos e métodos da Avaliação de Impacto. O artigo pressupõe
que os leitores estejam familiarizados com a estatística básica até o estágio da análise de regressão (que pode ser
satisfeita com textos introdutórios de econometria). Pelos comentários e discussões agradeço a Judy Baker, Kene
Ezemenari, Emanuela Galasso, Paul Glewwe, Jyotsna Jalan, Emmanuel Jimenez, Aart Kraay, Robert Moffitt,
Rinku Murgai, Pedro Olinto, Berk Ozler, Laura Rawlings, Dominique van de Walle e Michael Woolcock (N.A.).
†
Victor Maia Senna Delgado é economista da Fundação João Pinheiro, MG. Mestre em economia pela
Universidade Federal de Minas Gerais e membro da Rede Brasileira de Monitoramento e Avaliação. Doutorando
no departamento de Demografia na UFMG.
 Prefácio do tradutor

Descobri “The Mystery of Vanishing Benefits” de Martin Ravallion, 2001, na metade

do ano de 2007, enquanto fazia a matéria de avaliação de políticas públicas do professor
Eduardo Rios-Neto. Depois de concluídos todos os créditos para o mestrado de economia,
peguei essa matéria como aluno eletivo junto com outros colegas calouros da economia e da
demografia (departamento em que a disciplina do professor Rios-Neto é ofertada). O texto do
Ravallion foi mencionado na primeira aula do curso, e a leitura foi bastante rápida e agradável.
O que mais me impressionou foi o quanto a história do país fictício de Labas, que Ravallion
havia criado, parecia se passar no Brasil.
Em 2009, quando entrei na Fundação João Pinheiro, Lycia Lima tinha acabado de
“reformatar” o curso de Avaliação Social de Projetos da graduação em administração pública
da Escola de Governo da Fundação, conferindo-lhe um aspecto atual e em linha com as
pesquisas da área de avaliação e monitoramento. O novo formato do curso era uma
necessidade, já que os alunos quando graduados pela Escola de Governo ingressam para os
quadros permanentes do Estado na função de gestores em políticas públicas. Além disso, há
um esforço em Minas Gerais para consolidação de um sistema de avaliação das políticas
públicas.
Lycia foi chamada para trabalhar no Banco Mundial, e convidaram-me para dar
prosseguimento ao curso. Achei aquela uma boa oportunidade para aprender melhor sobre
avaliação (é quando nos propomos a ensinar algo que ressurgem as nossas mais bem guardadas
dúvidas). Lembrei-me logo do texto do Ravallion e de como ele era didático e próximo da
situação daqueles alunos, recomendei a leitura e criei uma pontuação extra de 10 pontos para o
grupo que me ajudasse com uma tradução.
Acho que a matéria foi muito fácil, pois, ao final de dois semestres lecionando a
disciplina, nenhum dos grupos necessitou dos pontos extras. Propus-me então conduzir a
tradução no tempo que me cabia, e está aqui o resultado, que espero ser útil a todos. Como todo
trabalho de tradução, procurei preservar ao máximo o sentido original e o estilo de texto do
prof. Martin Ravallion. Optei, porém pela tradução dos termos técnicos para linguagem usual
com que vêm sendo utilizada em português no Brasil, algumas notas de tradução ao longo do
texto explicam essas escolhas e as alternativas.

Victor M. Senna Delgado

Professor e pesquisador do Centro de Estudos em Políticas Públicas da Fundação João Pinheiro.

2
 Introdução

O começo de nossa história ocorre em um país em desenvolvimento, Labas. Há 12

meses, o governo introduziu um programa de combate à pobreza no Nordeste do país, com
apoio do Banco Mundial. O programa tem como objetivo oferecer transferências monetárias
para famílias pobres com crianças em idade escolar. Para se candidatarem ao recebimento das
transferências, as famílias devem ter certas características observáveis que dêem conta de que
elas são realmente “pobres”; e para continuar recebendo a transferência, elas precisam manter
os filhos na escola até a idade de 18 anos. O programa é chamado de PROSCOL.
O diretor do Banco Mundial em Labas requisitou ao governo avaliação do impacto do
PROSCOL na pobreza, para ajudar a determinar se o programa deveria ser expandido para
incluir o resto do país, ou ser abandonado. O Ministério do Desenvolvimento Social (MDS)
gerencia o PROSCOL. No entanto, o banco perguntou se o Ministério da Fazenda poderia fazer
a avaliação, para ajudar a garantir a independência e desenvolver a capacitação desse tipo de
avaliação na unidade central do governo onde a alocação dos recursos orçamentários é feita. O
governo concordou com o pedido do banco. O ministro da Fazenda delegou a tarefa ao
subsecretário, que chamou ao seu escritório uma das mais brilhantes funcionárias do seu
quadro, a Srta Analista Ligeirinha.
Há quatro anos, Analista Ligeirinha graduou-se na Universidade Nacional de Labas,
onde concluiu o mestrado em economia aplicada. Desde então, ela trabalha no Ministério da
Fazenda. Ligeirinha possui a reputação de combinar senso comum com a habilidade de extrair
o máximo de dados imperfeitos. Ligeirinha também sabe que está um pouquinho “enferrujada”
nos conhecimentos que aprendeu na UNL.
O subsecretário foi direto ao ponto. “Ligeirinha, o governo está gastando bastante
dinheiro no programa PROSCOL, e o ministro quer saber se os pobres estão se beneficiando
disso, e quanto. Você poderia, por favor, realizar uma avaliação.”
Ligeirinha achou que aquilo parecia muito vago para o seu gosto, o que poderia
significar “benefícios”, ela pensou consigo. Um esclarecimento de quais são os objetivos do
programa poderia ajudá-la.
“Tentarei o meu melhor, Sr. Subsecretário. Que mal lhe pergunte, quais são os
objetivos sobre os quais deveríamos julgar o PROSCOL?”
O subsecretário não se sentiu inteiramente confortável com aquela questão tão direta,
mas respondeu: “Para reduzir a pobreza em Labas, tanto agora quanto no futuro”.

3
 Ligeirinha redarguiu mais profundamente. “Eu entendo. O dinheiro da transferência
objetiva reduzir a atual pobreza, enquanto que ao mesmo tempo exigindo que os beneficiários
das transferências deixem suas crianças na escola, o programa objetiva reduzir a pobreza
futura.”
“Sim, está certo, Ligeirinha.”
“Então acho que preciso conhecer duas coisas sobre o programa: primeiro, saber se as
transferências estão indo prioritariamente para as famílias de baixa renda e segundo, saber
quanto o programa aumenta as taxas de matrículas escolares.”
“Pode fazer isso, Ligeirinha, aqui está um arquivo do programa que conseguimos do
Ministério do Desenvolvimento Social.”
Assim começou o treinamento da Analista Ligeirinha no trabalho de avaliar o impacto
de um programa social. A primeira anotação resume os métodos que ela vai aplicar nos dias
seguintes.

O desenrolar de um mistério

De volta a sua sala, Ligeirinha descobriu que o arquivo do MDS incluía algumas
descrições muito úteis sobre o material que envolvia o PROSCOL. A determinação do público
alvo é feita com uma série de “medidas aproximadas de pobreza” (proxies de pobreza, como
ela havia aprendido na UNL), que incluíam o número de pessoas em um domicílio, a
escolaridade do chefe de família, e vários atributos de moradia. O PROSCOL paga uma
quantia fixa por criança em idade escolar para todas as famílias sob a condição de que as
crianças frequentem pelo menos 85% das aulas, o que tem de ser verificado por um laudo
obtido da escola.

4
Anotação 1: Métodos de avaliação de impactos dos programas

O problema essencial da avaliação de impacto é o de que nós não observamos resultados para
os participantes caso eles não houvessem participado. Logo, a avaliação é essencialmente um
problema de dados faltantes. Um “grupo de comparação” é usado para identificar o
contrafatual do que poderia ter acontecido sem o programa. O grupo de comparação é
designado para ser representante dos participantes do “grupo de tratamento”, com uma
diferença-chave: o grupo de comparação não participa do programa. Os principais métodos
disponíveis são os seguintes:
• Aleatorização, método no qual a seleção entre os grupos de tratamento e comparação são
aleatórios em um bem definido subconjunto de pessoas. Não haverá nenhuma diferença
(em esperança estatística) entre os dois grupos além do fato de que os tratados estão no
programa (podem remanescer diferenças devido ao erro de amostragem: quanto maior o
tamanho das amostras de tratamento e controle, menor o erro de amostragem).
• Pareamento, método em que o ideal é escolher um grupo de comparação de uma grande
coleta primária de dados (survey). O grupo de comparação é pareado ao grupo de
tratamento com base em um conjunto de características observáveis, ou usando o “escore
de propensão”‡ (a probabilidade predita da participação no programa dado determinadas
características); quanto mais próximos os escores de propensão, melhor o pareamento. Um
bom grupo de comparação provém do mesmo ambiente econômico e é comparado com o
mesmo questionário e pelo mesmo tipo de preparo dos entrevistadores a que foram
submetidos participantes do grupo de tratamento.
• Comparações reflexivas, método em que uma pesquisa prévia, a “linha de base”§, é feita
antes da intervenção, e uma pesquisa de acompanhamento é feita depois. A linha de base
provê um grupo de comparação, e o impacto é medido pela mudança nos indicadores de
resultado antes e depois da intervenção.
• Dupla diferença (ou “diferença na diferença”), compara-se o grupo de tratamento e
comparação (primeira diferença), antes e depois do programa (segunda diferença). Os
comparados podem ser deixados de lado caso eles possuam escores de propensão fora do
intervalo observado para o grupo de tratamento.
• Variáveis Instrumentais são variáveis que importam para a participação, mas não nos
resultados de uma dada participação. Se tais variáveis existem, elas identificam uma fonte
de variação exógena em resultados que podem ser atribuídos ao programa – reconhecendo
que a distribuição não é aleatória mas sim proposital. As variáveis instrumentais são
primeiramente usadas para predizer a participação no programa, podendo-se ver como o
indicador de resultado varia com os valores preditos.
Nenhum método é perfeito. A aleatorização sofre de problemas práticos. A viabilidade
política é às vezes um problema. E mesmo quando a seleção do programa pode ser feita
aleatoriamente, pode haver seletividade na não-participação. Os métodos de pareamento lidam
apenas com diferenças observáveis; envolve o problema de resolver a heterogeneidade latente,
que pode levar a um possível viés em estimar o impacto do programa. A “atrição seletiva”
afeta de forma negativa tanto as estimativas advindas da aleatorização quanto da dupla
diferença. É sempre desejável uma triangulação entre os métodos.
‡
Do original propensity score, probabilidade de pertencimento a um ou outro grupo. O método de propensity
score matching de Rosenbaum e Rubin (1983) foi traduzido como pareamento por escore de propensão. N.T.
§
O termo inglês baseline é usado na área de monitoramento e avaliação para designar uma referência inicial. O
termo tem sido geralmente traduzido ao pé da letra como “linha de base” que foi aqui mantido para manter-se com
a literatura em português do Brasil para área, mas outras denotações são possíveis tais como pesquisa de
referência, pesquisa do status inicial ou pesquisa-base. N.T.

5
 O arquivo incluía o relatório: “PROSCOL: perspectiva dos participantes”,
comissionado pelo MDS e elaborado por um consultor local. O relatório baseava-se em
entrevistas qualitativas com gestores do programa e grupos focais dos participantes. Ligeirinha
não sabia dizer se aqueles que foram entrevistados eram representativos dos participantes do
PROSCOL, ou quão pobres eles eram em relação àqueles que não foram incluídos no
programa e não foram entrevistados. O relatório indicava que as crianças iam à escola, mas
Ligeirinha se perguntava se eles já não iriam caso o programa não existisse.
Ligeirinha pensou consigo mesma: “este relatório é um começo, mas ele não me diz
quão pobres são os participantes do PROSCOL e qual o impacto do programa na escolarização.
Eu preciso de dados mais sólidos”. Depois Ligeirinha preparou a segunda anotação, resumindo
os tipos de dados mais comumente empregados nas avaliações de impacto.

Anotação 2: Dados para avaliação de impacto

• Conheça bem o programa. É arriscado embarcar em uma avaliação sem conhecer detalhes
administrativos/institucionais do programa; essa informação usualmente vêm dos responsáveis pela
administração do programa.
• Também ajuda ter um razoável conhecimento firme e apurado de “fatos estilizados” sobre o
problema, como incluir um mapa da pobreza, a maneira com que o mercado de trabalho opera, as
principais divisões étnicas, outros programas públicos relevantes, etc.
• Seja eclético sobre os dados. As fontes podem ser informais, não estruturadas, entrevistas com os
participantes do programa, assim como dados quantitativos de amostras representativas.
• Mas tenha em mente que é extremamente difícil fazer perguntas contrafatuais em entrevistas ou
grupos focais; tente perguntar para alguém que atualmente participa de um programa público: “o
que você estaria fazendo agora se este programa não existisse?” Conversas com participantes dos
programas podem ser valiosas, mas dificilmente lhe fornecerão avaliações críveis por si mesmas.
• São também necessários dados sobre indicadores de resultados e variáveis explicativas relevantes.
Você necessita destas últimas para lidar com a heterogeneidade nos resultados, que são
condicionados na participação do programa. Os resultados podem diferir, digamos, dependendo se
uma pessoa é educada ou não. Pode não ser possível ver o impacto, a menos que se controle pela
heterogeneidade.
• Dependendo dos métodos usados (anotação 1), você poderá também precisar de dados de variáveis
que influenciam na participação mas não influenciam os resultados dado que o beneficiário já
participa. Essas variáveis instrumentais podem ser valiosas em revelar os efeitos causais mais
prováveis em programas não-aleatórios (anotação 1).
• Os dados dos resultados e das outras variáveis explicativas podem ser quantitativos ou qualitativos.
Porém é importante a possibilidade de organizá-los em um tipo sistemático de banco de dados
estruturado. Um simples e comum exemplo é aquele em que há valores das diferentes variáveis,
incluindo um ou mais indicadores de resultados, e para várias unidades de observação (indivíduos,
domicílios, firmas, comunidades).
• As variáveis que constam no banco de dados e as unidades de observação são escolhidas como
parte do método de avaliação. Essas escolhas devem estar ancoradas a um conhecimento a priori
sobre o programa (seus objetivos é claro, mas também com o programa opera) e o contexto no qual
foi introduzido.
• A fonte específica dos dados dos resultados e seus determinantes, incluindo a participação no
programa, comumente são provenientes de pesquisas de algum tipo. As unidades de observação

6
 podem ser o domicílio, firmas, área geográfica, dependendo do tipo de programa que está sob
estudo.
• Dados de pesquisas podem ser também complementados por suplementos com outras informações
sobre o programa (tais como a base de dados do monitoramento do projeto) ou sobre o lugar
(informações de dados geográficos).

Há uma informação promissora no arquivo do MDS. Nove meses atrás, a primeira

pesquisa nacional domiciliar de Labas foi conduzida pelo ILE (Instituto Labasiano de
Estatística). Essa pesquisa foi chamada de Pesquisa dos Padrões de Vida (PPV), contou com
uma amostra aleatória de 10.000 domicílios, e perguntou sobre os rendimentos domiciliares
por fonte de renda, emprego, gastos, condições de saúde, aquisição educacional, características
demográficas e outros atributos da família. Há uma carta do MDS para o ILE, poucos meses
antes da PPV, solicitando acréscimo de uma questão para perguntar se os moradores do
domicílio participam ou não do PROSCOL. A resposta do ILE indicava que na lista de fontes
de renda estaria listado o PROSCOL para uma fonte de renda do dinheiro recebido pelo
programa.
“Uau”, disse Ligeirinha, e se dirigiu logo para o ILE.
Analista Ligeirinha já sabe algumas poucas coisas sobre a PPV, tendo usado as
tabulações da pesquisa realizadas pelo ILE. Mas Ligeirinha está preocupada pensando que não
poderá fazer uma boa avaliação do PROSCOL sem acesso aos dados brutos do nível
desagregado por domicílio. Após uma longa e malfadada conversa com o chefe do ILE
encarregado da unidade responsável pela pesquisa, e aparentes intermináveis telefonemas,
Ligeirinha começou a se preocupar se ela conseguiria mesmo os dados, e teria algo que
prestasse para mostrar ao seu chefe.
No entanto, depois de um pedido formal do ministro (o qual Ligeirinha escreveu para
o ministro assinar), o secretário de Estatísticas finalmente concordou em ceder a ela os
microdados. Depois de alguns telefonemas a mais, o ILE passou a ela uma cópia da
documentação que ela precisaria para ler os dados.
Ligeirinha já sabe como usar um software estatístico chamado SAPS. Depois de um
longo dia de pânico tentando descobrir como usar os dados brutos da PPV, Ligeirinha começou
o trabalho para valer. Ela usa o SAPS para elaborar tabelas de contenção das quantidades
médias da renda recebida pelo PROSCOL por decis, os quais são formados pela classificação
de todos os moradores da amostra de acordo com a renda por pessoa. Ao calcular a renda por
pessoa, Ligeirinha decidiu subtrair o dinheiro do PROSCOL recebido pelas famílias; isto,
reconhece ela, será uma boa medida da renda na ausência do programa. Então ela espera
revelar quem ganhou de acordo com a renda antes da intervenção.

7
 As tabelas de contenção sugerem que as transferências de renda do programa estão
bem focalizadas para os pobres. Pela linha de pobreza oficial do ILE, cerca de 30% da
população do Nordeste de Labas é pobre. De sua tabela, ela computou que os 30% mais pobres
da amostra da PPV recebem 70% das transferências do PROSCOL, o que parece boa notícia
para o PROSCOL, pensou Ligeirinha.
E quanto ao impacto da escolarização? Ela fez outra tabela, mostrando a taxa média
de atendimento de vários grupos de idade das famílias participantes do PROSCOL versus as
famílias não participantes do programa. A tabela lhe sugeriu que quase não há diferença entre
os dois grupos; a taxa média de atendimento para crianças de 6-18 anos é cerca de 80% em
ambos os casos.
Ligeirinha calculou os anos médios de estudo para cada idade e fez um gráfico dos
resultados separadamente para famílias do PROSCOL e famílias fora do PROSCOL. As duas
figuras não eram idênticas, mas eram muito próximas.
“Será que realmente não existia nenhum impacto sobre a escolarização, ou teria eu
feito algo errado?” perguntou a si mesma. Essa questão é apenas o início da história de como
Analista Ligeirinha resolveu o mistério dos benefícios perdidos da escolarização do
PROSCOL.

Analista Ligeirinha visita o Sr. Estatístico Sem-Vícios

Ligeirinha decidiu mostrar seus resultados curiosos a uma dupla de colegas confiáveis.
Primeiro ela visitou o Estatístico Sem-Vícios, um experiente estatístico do ILE. Ligeirinha
gosta do Estatístico, e se sente confortável perguntando a ele sobre problemas de estatística.
“Sr Estatístico, meus cálculos usando a PPV me sugerem que as crianças do
PROSCOL não possuem maior probabilidade de estarem na escola do que as crianças que não
estão no PROSCOL. Eu fiz algo de errado?”
Estatístico respondeu-lhe sem rodeios: “Ligeirinha, eu acho que você tem um sério
viés aqui. Para saber qual impacto o PROSCOL possui, você precisa conhecer o que teria
acontecido sem o programa. O ganho na escolarização atribuível ao programa é só a diferença
entre a verdadeira taxa de atendimento das crianças que participam do programa e a taxa de
atendimento para aquelas mesmas crianças caso o programa não existisse.”
“O que você está fazendo, Ligeirinha, é usando famílias não-PROSCOL como um
grupo de comparação para inferir qual poderia ser a escolarização dos participantes do
PROSCOL caso o programa não existisse. Está assumindo que os não-participantes revelam

8
corretamente, ao menos na média, a escolarização sem o programa. Um pouco de álgebra
simples pode ajudar a tornar esse problema mais simples.”
Estatístico começou escrevendo. “Façamos com que Pi represente a participação no
PROSCOL da i-ésima criança. Isto pode ter dois valores possíveis, digamos que Pi =1 quando
a criança participa do PROSCOL e Pi = 0 quando ela não participa. Quando a i-ésima criança
não participa, seu nível de escolarização é S0i, que indica a escolarização S para a criança i
quando P=0. Quando a criança participa sua escolarização é S1i. O ganho em escolarização
devido ao PROSCOL para uma criança que de fato participa é:

Gi = S1i - S0i | Pi =1

“Porque você precisa dessa ‘¦’?” Perguntou Ligeirinha.

“Aquela barra vertical serve para dizer ‘dado que’ ou ‘condicionado em’, se você
preferir. A ‘¦’ é usada para deixar claro que se está calculando o ganho para uma criança que de
verdade participou. Caso quiséssemos saber o ganho médio, nós simplesmente tomaríamos a
média dos G’s. Isto lhe daria o ganho médio amostral da escolarização entre todos aqueles que
participaram do PROSCOL. Calculando-se essa medida corretamente (usando os pesos
apropriados da sua amostra) isto lhe dará uma estimativa do verdadeiro ganho médio. Este
último é o que os estatísticos às vezes chamam de “valor esperado” de G, e pode ser escrito
como:

G = E(S1i - S0i | Pi =1)

Pode-se pensar nisso como outra maneira de dizer ‘média’. No entanto, isto não
precisa ser necessariamente igual à média que você calculou dos dados da sua amostra, dado
que haverá algum erro de amostragem. Na literatura de avaliação, E(S1i - S0i | Pi =1) é as vezes
chamado de ‘efeito do tratamento’ ou o ‘efeito médio do tratamento nos tratados’.”
Ligeirinha pensou consigo mesma que o governo não gostaria muito de chamar o
PROSCOL de “tratamento”. Mas ela estava empolgada com a última equação do Sr.
Estatístico. “Sim, Sr. Estatístico, isto é exatamente o que eu quero saber.”
“Ah, mas não foi isso que você calculou, Ligeirinha. Você não calculou G, mas uma
diferença de média de crianças de famílias no PROSCOL e famílias não-PROSCOL. Essa é a
estimação amostral de:

9
 D = E(S1i | Pi = 1) - E(S0i | Pi = 0)

Há uma identidade simples ligando D e G, escrita como:

D=G+B

Este termo ‘B’ é o viés em sua estimação, e é dado por:

B = E(S0i | Pi = 1) - E(S0i | Pi = 0)

Em outras palavras, o viés é a diferença esperada na escolarização sem o PROSCOL,

entre crianças que de fato participam no programa e aquelas que não participam. Você poderia
corrigir esse viés se soubesse E(S0i | Pi = 1). Mas você não pode obter uma estimação disto na
amostra. Não se pode observar qual escolarização teriam as crianças que de verdade participam
do PROSCOL caso elas não participassem; essa é uma informação perdida – é denominada
uma média ‘contrafatual’.”
Ligeirinha viu que a preocupação do Sr. Estatístico era legítima. Na ausência do
programa, os pais participantes do PROSCOL poderiam mandar os filhos à escola menos do
que os outros pais. Se fosse assim, havia um viés em sua conta. O que o ministro da Fazenda
precisava saber era o ganho extra da escolaridade dado o PROSCOL. Presumivelmente, isto
afeta apenas aquelas famílias que de fato participam. Então, o ministro necessitava conhecer
quão mais baixa seria a escolarização sem o programa. Se não houvesse o viés, essa
escolaridade extra sob o programa seria a diferença da média de escolaridade entre os que
participam e os que não participam. Logo, o viés aparece se há diferença na média de
escolarização entre os pais participantes do PROSCOL e os pais fora do PROSCOL com a
ausência do programa.
“O que pode ser feito para fazer desaparecer esse viés, Sr. Sem-Vícios?”
“Bem, a melhor maneira de fazer isto é garantir uma distribuição aleatória do
programa. Então, participantes e não-participantes terão a mesma escolaridade esperada
daquela que haveria na ausência do programa, i.e., E(S0i | Pi =1) = E(S0i | Pi =0). A
escolarização das famílias não-participantes mostra corretamente o contrafatual, isto é, a
escolarização que observaríamos para os participantes se eles não obtivessem acesso ao
programa. Dessa forma, a designação aleatória do benefício equaliza toda a distribuição, não
apenas as médias. Haverá ainda um viés devido ao erro de amostragem mas, para amostras
grandes o suficiente, você poderá seguramente afirmar que qualquer diferença estatisticamente

10
significante na distribuição da escolaridade entre participantes e não-participantes é devida ao
programa.”
Relembrando o que tinha lido no arquivo do PROSCOL, Ligeirinha percebeu que ela
não precisava olhar novamente o desenho do programa para ver que a participação das famílias
não era aleatória. Na verdade, haveria sérias críticas ao PROSCOL caso a participação fosse
aleatória. É exultante fato de que o programa intenta se dirigir às famílias pobres, que são
presumivelmente menos propensas a mandar suas crianças para escola, o que criaria o viés.
Ela falou ao Sr. Estatístico sobre o propósito estabelecido pelo programa.
“Então, Ligeirinha, se o PROSCOL está atuando bem, você deve esperar participantes
que teriam pior escolaridade na ausência do programa. Isto é, E(S0i | Pi =1) < E(S0i | Pi =0), e a
sua conta subestimará o ganho devido ao programa. Você deverá encontrar pouco ou nenhum
benefício, mesmo sabendo que o programa está funcionando bem.”
Ligeirinha voltou ao seu escritório desapontada. Ela via agora que a magnitude do viés
que preocupava Sem-Vícios poderia ser grande. A razão para ela acreditar nisso era a seguinte:
Suponha que as famílias pobres ponham suas crianças para trabalhar ao invés de pô-las na
escola; por serem pobres, elas não podem obter empréstimo facilmente, necessitam de dinheiro
extra no presente. As famílias que não são pobres mandam as crianças para a escola. Alguém
poderia observar diferença negligenciável na média das taxas de escolarização das famílias do
PROSCOL e famílias não-PROSCOL. De fato, temos que E(S1i | Pi =1) = E(S0i | Pi =0), dada a
expectância. Entretanto, o impacto do programa é positivo e dado por E(S0i | Pi =0) - E(S0i | Pi

11
1).5 O erro está no ponto de que, ao apurar o propósito do programa, sua característica pró-
pobres e sua focalização podem muito bem levar a uma substancial subestimação dos
benefícios do PROSCOL, o que Ligeirinha havia feito naquela conta de comparação da média
de escolarização entre as famílias PROSCOL e não PROSCOL.

Uma visita à Sra. Economista de Tangência

Em seguida, Ligeirinha visitou uma colega no ministério da Fazenda, a Sra

Economista de Tangência. Tangência havia se especializado em finanças públicas. Ela tem
reputação no ministério de esperta e incisiva, mas às vezes é brutal nos comentários aos
trabalhos dos colegas.
Ligeirinha primeiro mostrou as tabelas de contenção das quantias recebidas com o
PROSCOL e a renda familiar. Tangência manifestou logo preocupação, a qual reprimiu
Ligeirinha por não saber. “Você claramente superestimou os ganhos dos mais pobres com o
PROSCOL porque não considerou a renda que eles deixaram de ganhar, Ligeirinha. As
crianças têm de ir à escola se a família recebe a transferência do PROSCOL. Então, elas não
poderão mais trabalhar, nem nos afazeres auxiliando a família nem no mercado de trabalho.
Adolescentes com 15 a 18 anos podem ganhar dois terços ou mais do salário adulto na
agricultura ou na construção, por exemplo. As famílias do PROSCOL vão perder essa renda do
trabalho de seus filhos. Você deve considerar essa renda não ganha, não a transferência bruta,
para trabalhar com a renda antes da intervenção. Apenas assim você conseguirá saber quão
pobre a família seria na ausência das transferências do PROSCOL. Eu avalio que essa tabela
pode ter superestimado demais os ganhos dos pobres com o programa.
“Mas por que eu deveria considerar a renda não ganha com o trabalho infantil? Menos
trabalho infantil é verdadeiramente uma coisa boa,” Ligeirinha se defendeu.
“Você pode observar que ao reduzir o trabalho infantil, Ligeirinha, um dos principais
ganhos é sem dúvida a escolaridade extra, e então ganhos futuros maiores para as famílias
pobres. Vejo que sua próxima tabela é sobre isso. Entendo que você está preocupada com duas
maneiras principais do PROSCOL reduzir a pobreza: uma é por meio do aumento da renda
corrente dos mais pobres, e a outra é aumentando a renda futura. O impacto sobre o trabalho

5
A equação pode ser também transcrita como E(S1i | Pi =1) - E(S0i | Pi =1). No artigo homônimo do The World
Bank Economic Review, vol. 15 no.I, Ravallion mostra, de maneira a deixar mais claro para o leitor, a equação em
duas formas. Ocorre neste caso é que escolaridade S1i dos grupos de participantes E(S1i | Pi =1) é igual à
escolaridade S0i dos não-participantes E(S0i | Pi =0). Pode-se também reescrever E(S0i | Pi =0) – E(S0i | Pi =1) = –
B, que é igual a G – D. Como na situação descrita Ligeirinha encontrou que D = 0, temos que –B = G, a
verdadeira diferença entre tratados e não tratados. N.T.
infantil tenta resolver as duas coisas, porém com sentidos contrários. Então, o PROSCOL
possui um trade-off.”
Ligeirinha percebeu que esta era uma boa segunda razão para ela obter uma boa
estimativa do impacto da escolarização. Apenas então seria possível determinar a renda não
ganha que preocupava tanto Tangência. Talvez o tempo extra na escola venha das horas que já
não eram mesmo destinadas ao trabalho infantil.
Logo depois, Ligeirinha contou à Tangência as preocupações do Sr. Estatístico sobre
sua segunda tabela, para sondar o que ela pensava.
“Eu acho que o seu problema principal aqui é que você não abriu possibilidades para
todos os outros determinantes que influenciam na escolarização, além da participação no
PROSCOL. Você deveria “rodar” uma regressão de anos de escolaridade com um conjunto de
variáveis controle como “sim” ou “não” para a família da criança estar sendo atendida pelo
PROSCOL. Por que não tenta essa regressão?” Tangência escreveu, “para cada criança i da sua
amostra façamos:

Si = a + bPi + c Xi +ei

Aqui o a, b e c são parâmetros, o X serve para as variáveis de controle, tal como idade
da criança, educação da mãe e do pai, o tamanho para a composição demográfica da família, e
características da escola, enquanto que e é o resíduo que inclui outros determinantes da
escolarização e erros de medição. Como você pode ver, Ligeirinha, o valor estimado de ‘b’
fornece o impacto do PROSCOL na escolarização.
“Não, eu não posso ver isso,” ela interrompeu.
“Bem, se a família da i-ésima criança participa do PROSCOL, então P=1 e a
escolarização será a + b + cXi +ei. Se ela não participa, então P=0 e a escolarização será a +
cXi +ei. A diferença entre os dois é o ganho de escolarização dado o programa, o qual é apenas
b.”
Essa conversa deixou Ligeirinha mais esperançosa, assim que retornou a sua sala para
tentar a equação sugerida pela Tangência. Ela escreveu o comando REGRESS no SAPS para
uma regressão com e sem as variáveis de controle sugeridas por Tangência. Quando ela
“rodou” sem os controles, encontrou que b não era estatisticamente diferente de zero (não
significante, usando o teste t padrão dado pelo SAPS). Suspeitou de que parecia com o
primeiro resultado que ela tinha obtido fazendo a diferença entre as médias dos participantes e
não participantes – sugerindo que o PROSCOL não tinha impacto na escolaridade. Entretanto,
ao colocar um punhado de variáveis de controle na regressão, ele imediatamente viu um

13
positivo e significante coeficiente da participação no PROSCOL. Ela calculou que para idade
de 18 anos o programa havia incrementado dois anos para a escolaridade.
Ligeirinha pensou que aquilo estava começando a ficar mais convincente. Mas ela
sentia ainda uma pequena incerteza sobre o que estava fazendo. “Por que essas variáveis de
controle fazem tanta diferença? Eu usei os controles corretos? Preciso de mais ajuda para
entender exatamente o que está acontecendo aqui para que eu possa acreditar nessa regressão.”

O professor Qui-quadrado ajuda a interpretar os resultados de Ligeirinha

Ligeirinha decidiu visitar o professor Qui-quadrado, que foi um dos professores dela
na UNL. Qui-quadrado é um pequeno homem engraçado, que usa ternos e gravatas fora de
moda e que muitas vezes não combinam muito bem. “Não é normal ser tão quadrado”, ela
relembra ao pensar nas aulas de econometria. Ligeirinha também se lembra do medo de
perguntar qualquer coisa para o professor Qui-quadrado, porque suas respostas eram algumas
vezes muito difíceis de entender. “Mas ele conhece mais de regressões do que qualquer outro”,
refletiu.
Ela marcou uma reunião. Tendo escutado pelo telefone qual era o problema dela, Qui-
quadrado felicitou sua ex-aluna com uma longa lista de artigos para ler, a maioria deles com
títulos indecifráveis, e publicados em lugares aparentemente obscuros.
“Muito obrigada, professor, mas acho que não vou ter tempo de ler tudo isso antes do
relatório ficar pronto. Eu poderia dizer o meu problema e pegar suas impressões agora?”
Qui-quadrado concordou. Ligeirinha mostrou a ele as regressões, pensando que ele
ficaria satisfeito ao saber que a ex-aluna dele estava “rodando” regressões. Ele lhe formulou
algumas poucas questões sobre o que ela havia feito e se recostou em sua cadeira, depois de um
tempo, parecia que iria pronunciar julgamentos pelos esforços desempenhados por Ligeirinha e
por ela ter ido tão longe.
“Uma preocupação que eu tenho com sua regressão de escolarização de P e X é que
isso não permite o impacto do programa variar com X; o impacto é o mesmo para todo mundo,
o que não me parece muito plausível.”
“Sim, eu pensei nisso,” atalhou Ligeirinha. “Pais com mais escolaridade poderiam ser
mais propensos a levar seus filhos à escola, e os ganhos do PROSCOL seriam menores.”
“Muito provavelmente, Srta. Analista. Para permitir os ganhos variarem com X,
deixemos a média de escolarização dos não participantes ser a0 + c0Xi enquanto a dos
participantes seria a1 + c1Xi, sendo que o nível de escolarização observado fica:

14
 Si = (a1 + c1Xi + e1i) Pi + (a0 + c0Xi + e0i)(1-Pi)

Em que e0 e e1 são erros aleatórios, cada qual com média zero e não correlacionado
com X. Para estimar esse modelo, tudo o que se há de fazer é acrescentar um termo extra para
os efeitos de interação entre a participação no programa e as características observadas da
regressão que você já rodou. Dessa forma, a regressão aumentada é:

Si = a0 + (a1 - a0 ) Pi + c0Xi + (c1 - c0) Pi Xi + ei

Em que ei = e1i Pi + e0i(1-Pi). E assim, (a1 - a0) + (c1 - c0)X é a média do impacto do
programa para qualquer valor dado de X. Se você usar a média de X dos participantes de sua
amostra irá obter o ganho médio do programa obtido por eles.
“Uma segunda preocupação, senhorita Analista, é sobre como foi estimada sua
regressão. O comando REGRESS do SAPS é apenas de Mínimos Quadrados Ordinários
(MQO). Você deve se lembrar da aula do meu curso de econometria em que falei que as
estimativas de MQO são viesadas mesmo em amostras muito grandes, a menos que todas
variáveis do lado direito sejam todas exógenas.”
“Sim, creio que me lembro disto, mas você poderia me lembrar o que quer dizer
mesmo‘exógenas’?”
“Significa que as variáveis do lado direito são determinadas independentemente das
escolhas de escolarização e não são correlacionadas com os erros na regressão de escolaridade.
A participação no PROSCOL é exógena senhorita Ligeirinha?”
Ligeirinha pensou rápido, relembrando a conversa com o Sr. Estatístico. “Não. A
participação é propositalmente endereçada aos mais pobres. Como isso afeta meu cálculo do
impacto do programa?”
Sua equação para anos de escolaridade é:

Si = a + bPi + cXi + ei

Você usou a + bPi + cXi + ei como estimativa da escolarização da i-ésima pessoa

quando ela participa no PROSCOL, e usou a + cXi + ei quando ela não participa. Essa
diferença, b, é o ganho do programa. Contudo, ao fazer essa conta, você implicitamente assume
que ei se comporta da mesma maneira para ambos os casos. Em outras palavras você assumiu
que e é independente de P.

15
 Ligeirinha agora havia entendido que o viés devido a uma seleção não aleatória dos
benefícios que preocupava o Sr. Estatístico poderia atrapalhar a regressão estimada com base
no modelo sugerido pela Sra. Economista de Tangência. “Isto significa que os meus resultados
estão muito fora de propósito?”
“Não necessariamente,” respondeu Qui-quadrado, à medida que ia para o seu quadro
branco. “Vamos escrever uma equação que explicita o P, digamos:

Pi = d + eZi + ?i

Em que Z constitui um conjunto de variáveis que incluem todas as proxies de pobreza

usadas pela focalização do PROSCOL. Claro que também existem alguns erros puramente
aleatórios que influenciam a participação; estas são proxies de pobreza que não estão nos seus
dados, e também pode haver alguns ‘enganos’ na seleção de participantes, o que culmina nesse
termo de interrogação ‘?i’. Repare também que esta equação é linear, embora o P assuma
apenas dois únicos valores, 0 e 1. Valores preditos entre zero e um estão OK, mas um modelo
linear não pode descartar a possibilidade de valores preditos negativos ou mesmo acima de um.
Há modelos não lineares que podem lidar com esse problema. Mas, para simplificar a
conversa, eu vou limitar a atenção para os modelos lineares.”
“Agora, há um caso especial em que sua regressão MQO de S sobre P e X fornecerá
uma estimativa não viesada de b. Isto ocorre quando X inclui todas as variáveis em Z que
também influenciam a escolarização, e o termo de erro ‘?i’ não é correlacionado com seu termo
de erro e da sua regressão de escolarização. Isto é às vezes chamado na literatura de ‘seleção
nas observáveis’.”
“Por que isso elimina o viés?” perguntou Ligeirinha.
“Bem, pense sobre isso. Suponha que as variáveis de controle X na sua regressão
incluem todas as variáveis observadas Z que influenciam a participação P, e ‘?’ não está
correlacionada com e (quer dizer que as variáveis não observadas que afetam o recebimento
do programa não influenciam a escolaridade condicionada em X), eliminando-se qualquer
possibilidade de P ser correlacionado com e. Isto será exógeno na regressão de escolaridade.
“Visto de outra maneira, senhorita Analista, a ideia principal da seleção nas
observáveis é de que há alguma variável observável X que faz desaparecer o viés condicionado
em X.”
“Por que faz tanta diferença quando eu acrescento variáveis de controle na minha
regressão de escolarização com base na participação do PROSCOL?”

16
 “Porque seu X deve incluir variáveis que estão entre as proxies de pobreza usadas para
a focalização, ou estão correlacionadas com elas, e há variáveis que também influenciam na
escolarização.”
“Não obstante, senhorita Analista, tudo isso só funciona se os pressupostos são
válidos. Há dois problemas para os quais você tem que estar alerta. Primeiramente, o método
acima falha completamente se há variáveis não observadas que determinam a participação; em
outras palavras, se o termo de erro ‘?’ possui variância zero, e todos os determinantes que
afetam a participação afetam também a escolarização. Então, não há variação independente na
participação no programa para permitir uma identificação de impacto na escolarização; você
pode predizer P perfeitamente dado X, e a sua regressão não será estimada. Este problema é
difícil de acontecer, dado que quase sempre há determinantes não observados para a
participação no programa.”
“O segundo problema é mais comum e mais preocupante. O termo de erro e da
regressão de escolarização provavelmente contém variáveis que não são encontradas na PPV,
mas podem muito bem influenciar a participação no programa, i.e., podem estar
correlacionadas com o termo de erro ‘?’ na equação de participação. Se é este o caso, o termo
de erro e não terá média zero dados X e P, e então os métodos de regressão de mínimos
quadrados continuarão viesados nas suas estimativas para a escolaridade. Portanto, o ponto-
chave é a extensão dessa correlação entre o termo de erro na equação de participação e aquele
na equação para escolarização.”

Ligeirinha aprende métodos melhores para obter os grupos de comparação

Em seguida, Ligeirinha contou ao professor Qui-quadrado sobre sua primeira tentativa

em estimar os benefícios. “Como eu poderia formar um grupo de comparação melhor?”
“Você pretende comparar os níveis de escolaridade condicionados nas características
observadas. Imagine-se dividindo a planilha em grupos de famílias com valores de X similares
ou os mesmos e, então, você compara as médias condicionais das famílias participantes do
PROSCOL e as não-participantes. Se a escolarização na ausência do programa é independente
da participação, dado X, então a comparação lhe fornecerá uma estimativa não viesada do
impacto do PROSCOL. Isto é às vezes chamado de “independência condicional”, e se trata do
pressuposto-chave feito por todos os métodos que usam comparação entre grupos.”
Ligeirinha tentou resumir. “A melhor maneira de escolher meu grupo de comparação,
dados os dados que possuo, é usar como controle para cada participante um não-participante
com as mesmas características observadas. Mas isso com certeza seria muito difícil, professor,

17
dado que eu posso ter muitas dessas variáveis. Pode não haver ninguém entre os não-
participantes que possua exatamente os mesmos valores em todas as características observadas
de um participante do PROSCOL.”
“Ah”, falou Qui-quadrado, “alguns estatísticos espertos descobriram como você pode
simplificar enormemente o problema. Em vez de tentar garantir que o controle pareado de cada
participante tenha o mesmo valor de X, você pode obter o mesmo resultado pelo pareamento
feito em um valor predito P dado X, que é chamado de escore de propensão de X. Você deve
ler os artigos de Rosenbaum e Rubin da lista de artigos que preparei para você. O artigo deles
na Biometrika 1983 mostra que se (no seu caso) escolarização sem o PROSCOL é
independente da participação dado X, então haverá também independência da participação
dado o escore de propensão de X. Por conta do escore de propensão ser apenas um número, é
bem mais fácil controlar por ele do que por X, que pode ter muitas variáveis, como você disse.
E já que o pareamento por escore de propensão é suficiente para eliminar o viés existente, isso
corresponde a independência em relação a X.”
“Deixe-me ver se eu lhe entendi, professor. Primeiro devo regredir P em X para obter
o valor predito para cada valor de X possível, faço isso para toda minha amostra. Para cada
participante, acharei o não-participante com o valor mais próximo da probabilidade predita. A
diferença na escolarização é portanto o ganho estimado para o programa para aquele
participante.”
Isto está basicamente correto, senhorita Analista. Você pode pegar a média de todas
essas diferenças para estimar o impacto. Ou então, digamos, você pode tirar a média para
diferentes grupos de renda. Mas você terá de ser cuidadosa com a maneira com que irá estimar
o modelo de participação. Um modelo linear pode lhe dar probabilidades preditas muito
estranhas, acima de um ou mesmo negativas. É melhor usar o comando LOGIT no SAPS. Esse
comando pressupõe que o termo de erro ‘?’ na equação tem uma distribuição logística, e estima
os parâmetros de forma consistente com as hipóteses dos métodos de máxima verossimilhança.
Você se lembra de minhas aulas sobre estimação de máxima verossimilhança com modelos de
respostas binárias, não é mesmo, senhorita Analista?”
“Sim, lembro!”, falou Ligeirinha, da forma mais convincente que conseguiu.
“Outro assunto para o qual você deve estar atenta, senhorita Ligeirinha, é de que
alguns dos não-participantes devem ser retirados de um potencial pareamento desde o começo.
Alguns serão inelegíveis de acordo com as regras de elegibilidade. Outros serão elegíveis, mas
possuirão características observadas que tornariam a seleção impossível. Na verdade, há
importantes resultados na literatura que indicam que a falha para comparar tratados e controles

18
com valores em comum no pareamento é uma das maiores fontes de viés nas avaliações. Veja
o artigo de Heckman et al. (1998) na minha lista de leitura.”
“A intuição é fazer com que o grupo de comparação seja o mais similar possível ao
grupo de tratamento nos termos da verossimilhança de participar do programa, tal como é
resumido pelo escore de propensão. Você poderá encontrar que alguns dos não-participantes da
amostra possuem um escore de propensão mais baixo do que aqueles no grupo de tratamento.
Isto é às vezes chamado de ‘carência de suporte comum’.6 Na formação do grupo de
comparação, você deve eliminar estas observações do conjunto de não-participantes para
garantir que você está comparando ganhos apenas para um mesmo intervalo de escores de
propensão. Você certamente deverá excluir aqueles não participantes cuja probabilidade de
participar é zero. É também boa ideia relaxar um pouco a amostra, digamos que 2% abaixo do
piso e acima do topo da distribuição de não participantes que estão em uma região comum de
pareamento. Eu lhe recomendo tirar uma média de mais ou menos cinco vizinhos mais
próximos em termos da diferença absoluta dos escores de propensão.”
“O que eu poderia incluir no X?”, perguntou Ligeirinha.
“Bem, evidentemente, você poderia incluir todas as variáveis do seu banco de dados
que são, ou poderão ser, proxies para os indicadores de pobreza e que foram usados pelo MDS
ao selecionar os participantes do PROSCOL. Então, novamente, os X poderiam incluir as
variáveis em Z.”
“No entanto, você tocou em um ponto fraco do pareamento por escore de propensão.
Com a aleatorização, os valores não dependem do X que você escolhe. Com o pareamento, um
X diferente vai levar a uma diferente estimativa do impacto. A randomização também não
exige que você especifique algum modelo para a participação, seja logito ou qualquer outro.”
“Sim, professor, estou convencida de que um experimento aleatório é ideal.
Infelizmente, esse não é o caso do PROSCOL.”
Ligeirinha preparou sua terceira anotação, resumindo os passos de que ela precisa
realizar ao fazer o escore de propensão.

6
Do original: ‘lack of common support’. N.T.

19
Anotação 3: Passos para o pareamento

O objetivo do pareamento é encontrar o grupo de comparação mais próximo entre uma

planilha de não-participantes. “Mais próximo” é medido em termos de características que são
observáveis. Quando há apenas uma ou duas características, o pareamento se torna fácil. Mas
naturalmente há muitas características potenciais. Os principais passos do pareamento baseado
no escore de propensão são os descritos a seguir:

Passo 1: É necessária uma amostra representativa para os não-participantes como também

uma para os participantes. Quanto maior a amostra de não-participantes “elegíveis” melhor,
pois facilita um bom pareamento. Se as duas amostras provêm de pesquisas diferentes, elas
devem ser pesquisas com uma base bem grande de comparação para compatibilidade (o
mesmo questionário, mesmos entrevistadores ou treinamento, mesmo período de coleta, e
assim por diante).
Passo 2: Agregue as duas planilhas (participantes e não-participantes) e estime um modelo
logito da participação no programa em função de todas as variáveis do banco de dados que são
passíveis de determinar a participação no programa.
Passo 3: Crie os valores preditos da probabilidade de participação com a regressão logito; os
quais são os chamados “propensity scores” (escores de propensão). Você obterá um escore de
propensão para cada participante e não-participante.
Passo 4: Alguns da amostra de não-participantes têm de ser descartados desde o início por
possuírem um escore de propensão que está muito fora do intervalo da amostra de tratamento
(tipicamente muito abaixo). O intervalo dos escores de propensão estimados para o grupo de
tratamento deve corresponder de perto àqueles obtidos para o subgrupo de não-participantes.
Você também deve procurar apenas permitir pareamentos entre uma mesma região geográfica,
para ajudar a garantir que os pareados provenham do mesmo ambiente econômico.
Passo 5: Para cada indivíduo na amostra de tratados, deve-se encontrar, na amostra de
controle, aqueles participantes que possuem o escore de propensão mais próximo, medido pela
diferença absoluta dos escores. Este é chamado de “vizinho mais próximo”. Você pode
encontrar os cinco vizinhos mais próximos, por exemplo.
Passo 6: Calcule o valor médio do indicador de produto (ou para cada um dos indicadores de
produto, caso haja mais de um) para os cinco vizinhos mais próximos. A diferença entre esta
média e o verdadeiro valor dos participantes do tratamento é a estimativa dos ganhos do
programa para aquela observação.
Passo 7: Calcule a média desses ganhos individuais para obter o ganho médio geral. Isto pode
ser satisfeito com algumas variáveis de interesse, como rendas na amostra dos não-
participantes.

Esta é a forma mais simples de pareamento por escore de propensão. Na prática podem
aparecer algumas complicações. Por exemplo, caso haja uma sobre-amostra de participantes
então você poderá usar métodos de amostragem baseados na escolha para corrigir isto (Manski
and Lerman, 1978); alternativamente você poderá usar a chance probabilística (P/(1-P), em
que P é o escore de propensão) para obter o pareamento. Ao invés de se basear nos vizinhos
mais próximos, pode-se usar no lugar todos os não-participantes como pares em potencial,
porém ponderados diferentemente, de acordo com quão próximos eles estão (Heckman et al.,
1998).

20
Algumas incômodas variáveis não-observáveis e outras não tão incômodas

“Agora eu possuo uma ideia bem melhor de como obter um grupo de comparação,
professor Qui-quadrado. Isto me poderá dar uma estimação muito melhor dos impactos do
programa.”
“Ah, não há garantia disso. Lembre-se de meu alerta de que todos esses métodos que
eu lhe descrevi até agora só vão eliminar o viés se houver a independência condicionada, tal
que os determinantes não-observáveis de escolarização – aqueles não inclusos no seu conjunto
de variáveis de controle X – são não correlacionadas com os atributos do programa. Há duas
fontes distintas de viés, aquela dada pela diferença nas observáveis e aquela devida a diferença
nas não-observáveis; a última é chamada de ‘viés de seleção’.”
A quarta anotação de Ligeirinha desenvolve sobre essa diferença.

Anotação 4: Fontes de viés das estimativas naïve do impacto do PROSCOL.

O viés descrito pelo Sr. Estatístico é a diferença esperada na escolarização sem o PROSCOL
entre as famílias selecionadas para o programa e aquelas não escolhidas. Isto pode ser
repartido em duas fontes de viés:

• Viés devido a diferenças nas características observáveis. Isso surge por duas maneiras.
Primeiramente, pode não existir suporte comum. O suporte é um o conjunto de variáveis
de controle para os quais os produtos e a participação no programa é observada. Se o
suporte é diferente entre a amostra de tratamento e o grupo de comparação, isto viesará os
resultados. Na verdade, não se estará comparando iguais com iguais. Secundariamente,
mesmo com um suporte comum, a distribuição de características observáveis poderá ser
diferente dentro da região de suporte comum; os dados do grupo de comparação usados
estão ponderados erroneamente. Uma seleção cuidadosa do grupo de comparação pode
eliminar esta fonte de viés.
• Viés devido a diferenças nas não observáveis. O termo “viés de seleção” é às vezes
limitado somente a este caso (há alguns autores que usam este termo para o viés total em
uma avaliação não experimental). A fonte do viés aparece no momento em que, para os
valores de X dados, há uma relação sistemática entre a participação no programa e os
resultados na ausência do programa. Em outras palavras, há algumas variáveis não
observadas que influenciam conjuntamente a escolarização e a participação no programa
condicionada nas variáveis observadas nos dados.

Não há nada que garanta que essas duas fontes de viés funcionarão na mesma direção. Então,
eliminando-se um deles não significa que o viés total será reduzido em seu valor absoluto. Esta
é uma questão empírica. Em um dos poucos estudos que discutem esta questão, o verdadeiro
impacto, medido por um bem desenhado experimento, foi comparado com várias estimativas
não experimentais (Heckman et al. 1998). O viés das estimativas naïve foi grande, mas um
pareamento cuidadoso do grupo de comparação baseado nas variáveis observáveis pode
reduzir bastante o viés.

21
 O professor Qui-quadrado apontou para a última equação. “Claramente, a
independência condicional estará garantida se P é exógeno, desse modo E(ei| Xi,PI) = 0.
Entretanto, o estabelecimento endógeno do programa dado a um foco propositado em variáveis
não observáveis pode ainda deixar um viés. Isto é, às vezes, chamado de ‘seleção nas não-
observáveis’.”
Ligeirinha interjeitou: “Então, as verdadeiras condições necessárias para justificar o
método sugeridas pela Sra. Economista de Tangência não são menos restritivas do que aquelas
necessárias para justificar uma versão de meu primeiro método de comparação de famílias do
PROSCOL com famílias não-PROSCOL de valores similares para os X. Os dois se
fundamentam na crença de que essas não-observáveis não estão conjuntamente influenciando a
escolarização e a participação no programa, condicionados em X.”
“Correto, senhorita Analista. Intuitivamente se poderia pensar que um pareamento
cuidadoso reduz o viés, mas não necessariamente. O pareamento elimina parte do viés da sua
primeira estimativa naïve do impacto do PROSCOL. Isto deixará o viés totalmente a cargo de
algumas variáveis não observáveis que podem causar problemas. Contudo, essas duas fontes de
viés poderiam compensar uma à outra, sendo uma positiva e a outra negativa. Heckman et al.
(1998) trata sobre isso. Então, as estimativas após pareamento podem, na verdade, ter mais viés
do que uma estimativa naïve. Ninguém pode saber, a priori, quão melhor está mesmo após um
muito bem escolhido grupo de comparação. Esta é uma questão empírica.”

Ligeirinha lamenta que uma pesquisa de ‘linha de base’ não tenha sido feita

Ligeirinha começou a se sentir um tanto quanto desesperada. “Existe algum método

além da aleatorização que seja robusto a estas variáveis não observáveis problemáticas?”, ela
perguntou ao professor.
“Há alguma coisa que se pode fazer se tiver dados de uma ‘linha de base’ tanto para
os participantes quanto para os não-participantes, colhidos antes de o PROSCOL ter começado.
A ideia é coletar dados dos resultados e os seus determinantes antes e depois de um programa
ter-se iniciado, dentro de um grupo de comparação não-tratado assim como para o grupo de
tratamento. Dessa forma, pode-se simplesmente subtrair a diferença entre a escolarização dos
participantes e o grupo de comparação antes do programa daquela que foi obtida após o
programa. Isto é chamado de estimação de ‘dupla diferença’, a diferença da diferença, ou
apenas ‘dif-dif’ pelas pessoas que gostam de abreviar os termos. Isto lida com as incômodas
variáveis não-observadas tratando como se elas não variassem no tempo.”

22
 Qui-quadrado voltou à sua lousa branca e de novo, apontando uma de suas primeiras
equações, acrescentou: “Para ver como isso funciona, vamos adicionar subscritos de tempo, ‘a’
para ‘antes’ do programa e ‘d’ para ‘depois’ do programa. A escolarização depois de
introduzido o programa é:

Sid = a + bPi + cXid + eid

Alternativamente, antes do programa, na pesquisa de ‘linha de base’, a aquisição

escolar é:

Sia = a + cXia + eia

(É claro que o P = 0 antes do programa ter começado). Os termos de erro incluem um

efeito aditivo invariável no tempo, que pode ser escrito como:

eit = etai + muit (para t = a,d)

Onde temos que etai é um efeito invariante no tempo, em que se permite estar
correlacionado com Pi, e muit é um erro de inovação, que não é correlacionado com Pi (ou Xi).”
“A ideia principal aqui é a de usar os dados da ‘linha de base’ para nos revelar
algumas daquelas incômodas variáveis não-observáveis. Como a pesquisa de base é para os
mesmos domicílios que você possui agora, o i-ésimo domicílio na equação Sid é o mesmo
domicílio que você encontrará na equação Sia. Você poderá, então, tirar a diferença entre as
equações de ‘depois’ e ‘antes’ e obter:”

Sid - Sia = bPi + c(Xid - Xia) + muid – muia

“E agora se pode regredir a mudança na escolarização devido à participação no

programa e às mudanças nas variáveis X. Um MQO fornecerá uma estimativa do impacto não-
viesado do programa. As incômodas não-bserváveis que criam problema – aquelas
correlacionadas com a participação no programa – foram convenientemente tiradas para
longe.”
Ligeirinha pensou: “Se o estabelecimento do programa foi baseado em variáveis
observadas e não-observadas, que eram conhecidas no período da pesquisa de linha de base,
será razoável admitir que a diferença não se altera entre as duas pesquisas, se o programa
mantiver estas mesmas variáveis nas quais se baseou.”

23
 Professor Qui-quadrado anuiu. “Sim, na medida em que as não-observáveis são
invariantes no tempo, as mudanças de escolarização no tempo para o grupo de comparação
revelarão o que poderia ter ocorrido ao tratamento se não houvesse o programa.”
Ligeirinha pensou consigo mesma que isso significa que se deve conhecer o programa
bem, e estar apta para que as avaliações feitas no tempo estejam coordenadas com o programa.
De outra maneira, haveria margem para existirem mudanças não observadas depois da pesquisa
de base que influenciariam quem obtém o programa. Isso criaria diferenças que se alterariam
entre as duas pesquisas.
Alguma coisa na última equação do professor Qui-quadrado a estava preocupando.
“Como eu estou entendendo, professor, nessa última equação as características do domicílio e
da criança em X não são importantes para a mudança na escolarização, se estas características
não mudam com o tempo. O ganho de escolarização depende da educação dos pais (e não
apenas alguma mudança na educação deles) e possivelmente o local onde a família mora, já
que isso determinará o acesso às escolas.”
“Sim, senhorita Analista, pode haver situações para as quais as mudanças dos
resultados ao longo do tempo são influenciadas pelas condições iniciais. Então, será preciso
controlar pelas diferenças nas condições iniciais. Você pode fazer isso simplesmente
adicionando Xd e Xb na regressão separadamente, de maneira que a regressão fique na forma:

Sid - Sia = bPi + cdXid - caXia + muid – muia

Assim, mesmo que uma (ou todas) variável em X não varie com tempo, pode-se
permitir que o nível de X afete a escolarização ao longo dos anos.”
“O método de pareamento por escores de propensão que eu te falei pode ajudar a
garantir um grupo de comparação similar ao grupo de tratamento antes de fazer a dupla
diferença. Em um interessante estudo sobre o programa de emprego norte-americano,
descobriu-se que a falha em garantir uma comparação sobre uma região de ‘suporte comum’ é
uma das maiores fontes de viés na estimação de dupla diferença quando comparada com um
grupo de controle aleatório. Dentro da região de suporte comum, no entanto, o viés
condicionado em X não varia muito no tempo. Então, fazer a dupla diferença faz sentido depois
que o pareamento está feito. Veja o artigo de Heckman na econometrica 1998, na minha lista
de leitura.”
Ligeirinha tinha alguma experiência em fazer pesquisas, e estava preocupada com essa
ideia de acompanhamento (follow up) dos moradores. “Quando fazemos uma pesquisa de
acompanhamento, não é muito fácil encontrar todos aqueles moradores que estavam

24
originalmente inclusos na pesquisa de ‘linha de base’. Algumas pessoas da pesquisa anterior
podem não querer serem entrevistadas novamente, ou terem se mudado para uma localidade
desconhecida. Isto é um problema?”
“Se essas perdas no acompanhamento são puramente aleatórias, a pesquisa de
acompanhamento continuará sendo representativa da mesma população da pesquisa ‘linha de
base’. Entretanto, se há alguma tendência sistemática para pessoas com certas características a
deixar a amostra, isto será um problema. Isso é chamado de ‘viés de atrição’. Por exemplo, o
PROSCOL pode ajudar algumas famílias pobres a se mudarem para habitações melhores. E
mesmo quando a seleção do participante é baseada em informações disponíveis do momento,
ou um pouco depois da data da pesquisa inicial (o efeito etai invariante no tempo),
participantes selecionados poderão deixar voluntariamente as informações incompletas
sabendo que vão mudar depois daquela data. Tal atrição do grupo de tratamento será
claramente um viés para a estimação por dupla diferença do impacto do programa.”
Depois disso, Ligeirinha escreveu sua quinta anotação, sobre os passos da estimação
de dupla diferença.

25
Anotação 5: Fazendo a dupla diferença.

O método de comparação da dupla diferença implica comparar um grupo de tratamento com

um de comparação (tal como idealmente determinado pelo pareamento com escore de
propensão da terceira anotação) antes e depois da intervenção. Os passos principais são os
seguintes:

Passo 1: Será necessária uma pesquisa ‘linha de base’ antes que a intervenção esteja a
caminho, e a amostra deve cobrir participantes e não-participantes. Se não se sabe quem vai
participar, você terá de dar um palpite com base em alguma informação do programa.
Converse com os administradores do programa.
Passo 2: Você precisará de uma ou mais pesquisas de acompanhamento, depois do programa
em andamento. Elas devem ter uma boa base de comparação com as pesquisas de referência da
‘linha de base’ (em termos de questionário, métodos de entrevista, entrevistadores, etc).
Idealmente as pesquisas de acompanhamento devem ser com as mesmas observações
amostradas na pesquisa de base. Se isto não for possível, poderão ser dados de um mesmo
conglomerado (cluster) geográfico, ou estratificados em termos de alguma outra variável.
Passo 3: Calcule a diferença média entre os valores indicadores de resultado “depois” e
“antes” para cada um do grupo de tratados e comparação.
Passo 4: Calcule a diferença entre essas duas diferenças médias. Esta será sua estimativa de
impacto para o programa.
Esta é a versão mais simples do método de dupla-diferença. Você pode desejar controlar
também por diferenças nas condições iniciais exógenas, ou por mudanças nas variáveis
exógenas, possivelmente permitindo algum efeito de interação no programa (de maneira que o
ganho com a intervenção seja uma função de variáveis observáveis). Um modelo de regressão
apropriado pode permitir trabalhar com essas variações.

Qui-quadrado lembra Ligeirinha sobre as variáveis instrumentais.

“Dupla diferença é o que há, professor Qui-quadrado. Mas eu não tenho uma pesquisa
de ‘linha de base’ das famílias. Eu acho que quando começaram o programa ninguém pensou
que o PROSCOL pudesse ser avaliado. Há alguma coisa a mais que se possa fazer para evitar
as problemáticas variáveis não observáveis?”
“O que você precisa é de uma variável instrumental (VI)” ele falou para Ligeirinha.
Você deve certamente se lembrar de minhas aulas, quando disse que essa é uma solução
clássica para o problema de um regressor endógeno.”
“O Sr. poderia me lembrar, professor Qui-quadrado?”
“Uma variável instrumental é nada mais que uma fonte observável de variação na
participação no programa. Em outras palavras, isto é correlacionado com o P, mas na regressão
não está correlacionado com a escolarização, tampouco é correlacionado com o termo de erro
na equação de escolarização, e. Então, você deverá ter ao menos uma variável em Z que não
está em X, e não correlacionada com e. Portanto, as estimativas do impacto do programa por

26
variáveis instrumentais são obtidas ao substituir P pelos seus valores preditos condicionados
em Z. Dado que o valor predito depende apenas de Z (que é exógeno), e Z é não correlacionado
com e, é razoável então aplicar os mínimos quadrados ordinários a esta nova regressão.”
“Entendo,” assentiu Ligeirinha. “Como os valores preditos dependem só de uma
variação exógena da variável instrumental e as outras variáveis exógenas, as não-observáveis
não são mais um problema, elas estarão não correlacionadas com o termo de erro na regressão
de escolarização.”
“Sim, você compreendeu, senhorita Ligeirinha. Isto também sugere outra, mais
eficiente, maneira com a qual você pode lidar com o problema. Lembre que a fonte de viés na
sua estimativa do impacto do programa vem da correlação entre o termo de erro na regressão
de escolarização e aquela na regressão de participação. É isto que cria a correlação entre
participação e o termo de erro na equação de escolarização. Logo, a maneira natural de lidar
com esse problema quando existe uma variável instrumental é acrescentar os resíduos da
equação de primeiro estágio de participação para a equação de escolarização. Você ainda
deixará a verdadeira participação na regressão de escolaridade. Mas já que agora se
acrescentou à regressão de escolaridade o valor estimado do termo de erro da equação de
participação, pode-se tratar a participação como exógena e ‘rodar’ um MQO. É claro, isto só
vai funcionar se houver um instrumento válido, sem o qual a regressão não funcionará, dado
que o resíduo da participação será perfeitamente predito com a verdadeira participação e o X,
em um modelo linear.”
“Uma VI pode também lhe ajudar se levarmos em conta que pode haver um erro de
medição considerável nos seus dados de participação no programa. Esta é outra possível fonte
de viés. Erros de medição significam que você acha que a participação no programa varia mais
do que na verdade se observa. Essa sobrestimação da variância de P leva naturalmente a uma
subestimação do seu coeficiente b.”
“Sim, o Sr. chamou isso de ‘viés atenuante’ na sua aula. Eu me lembro porque esse
viés atenua o coeficiente estimado da regressão.”
“Isso mesmo. Então, você entendeu como pode ser útil uma variável instrumental.
Entretanto, você deve ter um pouco de cuidado na prática. Quando apenas se substitui a
verdadeira participação com os valores preditos e “roda” uma MQO, não se obtém os valores
corretos dos erros-padrão, já que o computador não tem como saber que você usou
anteriormente valores dos parâmetros estimados para obter os valores preditos. É necessária
uma correção aos erros-padrão do MQO, há pacotes estatísticos que lhe permitem fazer isso
facilmente, pelo menos no que concerne aos modelos lineares”.

27
 “Mais ainda, se você possui uma variável dependente que pode ter apenas dois valores
possíveis, digamos, ‘está na escola’ e ‘não está na escola’, então, você deverá usar um modelo
não-linear de resposta binária, como o logito ou o probito. O hábito de testar a exogeneidade da
participação é similar nesse caso. Há um artigo de Rivers e Vuong (1988) que discute o
problema para tais modelos; Blundell e Smith (1993) fornecem uma revisão bastante útil de
vários modelos não lineares para os quais há um regressor endógeno. Eu escrevi uma
programação em uma linguagem de programa chamada Gauss, que pode fazer um probit com
um regressor endógeno e posso lhe dar uma cópia.”
“Muito obrigada. Eu acho que poderei avançar esse limite quando eu conseguir fechar
esta questão do programa. Mas o que eu poderia usar como variável instrumental?”, perguntou
Ligeirinha.
“Ah, isso você vai ter que descobrir por si mesma, senhorita Analista”.
Ligeirinha resumiu depois o que ela havia aprendido sobre os métodos alternativos,
como está disponível na anotação 1.

Ligeirinha volta ao seu computador

Ligeirinha começa a se perguntar se sua tormenta irá ter fim. “Eu estou aprendendo
bastante, mas o que vou dizer para o meu chefe?”
Ligeirinha tentou pensar em uma variável instrumental. Mas todas as possibilidades
em que ela podia pensar já estavam consideradas com as variáveis de X. Ela agora se lembra da
aula do professor Qui-quadrado. O problema era encontrar uma “restrição de exclusão” válida
que justificasse colocar uma variável na equação de participação, mas não na equação de
escolaridade.
Ligeirinha decidiu tentar o “método de escore de propensão” sugerido pelo prof. Qui-
quadrado. Seu modelo logito para a participação pareceu bem consistente, e sugeriu que o
PROSCOL estava bem focalizado (Virtualmente, todas as variáveis que ela esperaria estarem
associadas com a pobreza tinham um coeficiente positivo e significativo). Isto era interessante
por si só. Ela fez o pareamento por escore de propensão, tal como o professor Qui-quadrado
havia aconselhado. Na comparação das médias de taxas de atendimento, Ligeirinha detectou
que crianças do grupo de comparação possuíam uma taxa de 60%, ante uma taxa de 80% das
famílias do PROSCOL.
Ela agora pensou novamente nos comentários que a Sra. Economista de Tangência
tinha feito sobre os rendimentos não ganhos. Ela descobriu que o Instituto de Estatística fez

28
uma pesquisa especial sobre o trabalho infantil que perguntava sobre a renda. (Há uma
proibição legal para as crianças menores que 16 anos não trabalharem em Labas, mas o
governo tem muito trabalho para fazer valer a lei; não obstante, salário infantil é um assunto
delicado). Com isso, ela conseguiu descobrir quanto uma criança conseguiria ganhar caso não
tivesse ido à escola.
Ligeirinha poderia agora subtrair do dinheiro dado aos participantes do PROSCOL a
quantia devida aos rendimentos não ganhos, e trabalhar com a transferência de renda líquida.
Retirando esta transferência líquida da renda total, ela poderia encontrar de que estrato de
renda os participantes do PROSCOL provinham antes da intervenção do programa. Eles não
eram tão pobres quanto ela havia primeiramente pensado (quando ignorava a renda não
contabilizada), mas ainda assim continuavam bastante pobres; por exemplo, dois terços deles
estavam abaixo da linha de pobreza oficial de Labas.
Tendo calculado o ganho de renda líquida recebida por todos os participantes,
Ligeirinha poderia calcular agora a taxa de pobreza com e sem o PROSCOL. A linha de
pobreza “pós-intervenção” (com o programa) é apenas a proporção de pessoas vivendo em
domicílios com uma renda por pessoa abaixo da linha de pobreza, em que “renda” é a ‘renda
observada’ (incluindo-se a transferência bruta proveniente do PROSCOL). Ligeirinha calculou
diretamente da PPV. Subtraindo-se o ganho líquido de renda (dinheiro transferido do
PROSCOL menos a renda não-ganha do trabalho das crianças) de todos os rendimentos
observados, ela conseguiu uma nova distribuição de renda pré-intervenção. A taxa de pobreza
sem o programa é a proporção de pessoas vivendo em domicílios pobres, baseados nessa nova
distribuição. Ligeirinha encontrou que a taxa de pobreza no Nordeste de Labas, que era 32%,
poderia ter sido 36% caso o PROSCOL não tivesse existido. O programa permitiu que 4% da
população escapasse da pobreza. Os ganhos na escolarização pressupunham que ainda haveria
ganhos pecuniários e não-pecuniários para os pobres no futuro.

Ligeirinha relembrou uma aula do professor Qui-quadrado sobre medição de pobreza,

na qual ele enfatizou que a proporção de pessoas abaixo da linha de pobreza é mais uma
medição imperfeita, dado que ela omite as mudanças abaixo da linha. A sexta anotação
reproduz (não depois de uma certa arrumação) as notas de aula da Ligeirinha. Quando
Ligeirinha calculou tanto o índice para o hiato de pobreza quanto o índice de hiato de pobreza
ao quadrado, os resultados também lhe sugeriram que esses índices também haviam recuado
com o PROSCOL.

29
Anotação 6: Medições de pobreza

A medição mais simples e conhecida de pobreza é a contabilização do porcentual de pobres.

Em Labas, isto equivale à proporção da população vivendo em famílias com renda per capita
abaixo da linha de pobreza (em outros países esse índice é baseado em medições do padrão de
consumo, o que confere algumas vantagens; para discussão e referências veja Ravallion,
1994).

A percentagem de pobres não diz nada sobre a distribuição de renda abaixo da linha de
pobreza: uma pessoa pobre pode estar pior, mas a contagem de incidência não altera, nem
reflete o ganho dos mais pobres a menos que eles cruzem a linha de pobreza.

Uma alternativa à contagem porcentual de pobreza é o índice de hiato da pobreza. O hiato da

pobreza, para cada família, é a diferença entre a linha de pobreza e a renda familiar; para quem
está acima da linha de pobreza o hiato é zero. Quando o hiato de pobreza é normalizado pela
linha de pobreza e se calcula a média para todos os domicílios (pobres ou não), obtém-se o
índice do hiato de pobreza.

O índice do hiato da pobreza diz quão grande é o impacto que o programa obteve na
intensidade da pobreza, mas não refletirá nenhuma mudança na distribuição entre os pobres
devida ao programa. Por exemplo, se o programa leva a um pequeno ganho para uma pessoa
pobre que está acima da média de rendimentos das pessoas pobres, às custas de uma igual
redução para alguém abaixo daquela média, o índice se alterará.

Há várias medidas de pobreza que são sensíveis à distribuição entre os pobres. Uma dessas
medidas é hiato da pobreza ao quadrado (Foster et al., 1984). Ela é calculada da mesma
maneira que o índice de hiato da pobreza com a exceção de que os hiatos individuais em
relação à linha de pobreza são elevados ao quadrado antes de se retirar a média (novamente
pobres e não-pobres). Outro exemplo de medição sensível à medição de pobreza é o índice de
Watts. Este índice é dado pela média do logaritmo da razão entre a linha de pobreza e a renda
obtida, essa razão é estabelecida como sendo igual a um para os não-pobres. Atkinson (1987)
descreve outros exemplos na literatura.

Ligeirinha reconheceu que havia alguma imprecisão sobre a linha de pobreza do ILE.
De maneira que ela reproduziu o cálculo sobre um grande número de linhas de pobreza. Ela
encontrou que para uma linha de pobreza na qual 50% da população era pobre com os cálculos
após a intervenção, a proporção seria de 52% sem o PROSCOL. Com outra linha de pobreza
em que 15% da população era pobre com o programa, essa proporção seria 19% sem a
intervenção. Repetindo esses cálculos para uma grande variedade de rendas, Ligeirinha
percebeu que ela havia traçado quase que totalmente as “curvas de incidência de pobreza” com
e sem o programa, que era justamente aquilo que os estatísticos chamam de “função de
distribuição acumulada”.

30
 A sétima anotação resume os passos que Ligeirinha obteve ao fazer comparações da
pobreza com e sem o PROSCOL.

Anotação 7: Comparando a pobreza com e sem o programa

Usando os métodos descritos no texto principal e nas primeiras anotações é possível obter uma
estimativa dos ganhos para cada família e a proporção de pobres com e sem o programa. Nas
avaliações mais simples isto se resume a apenas um número que diz a diferença com e sem o
programa. Mas é melhor permitir alguma variação da linha de pobreza de acordo com as
características familiares, agrupando essas informações na forma de ‘curvas de incidência da
pobreza’ (CIP’s), com e sem o programa.7

Passo 1: Você já deve ter a renda pós-intervenção (ou outro indicador de bem-estar) para cada
família em toda a amostra (incluindo os participantes e não-participantes), cujos os dados vai
utilizar. Você também já deve saber quantas pessoas estão em cada casa. E, evidentemente,
sabe qual o total de pessoas na amostra (N; este pode ser também o tamanho da população
estimada, se os pesos são do tipo inverso da probabilidade, é possível utilizá-los para
"expandir" cada observação da amostra).
Passo 2: Você pode fazer um gráfico dessas informações na forma das CIP’s. Isto lhe
fornecerá (no eixo vertical) o percentual da população vivendo em domicílios com renda igual
ou inferior ao valor da renda presente no eixo horizontal. Para
fazer este gráfico, deve-se começar com a família mais pobre, marcar o valor de sua renda no
eixo horizontal e, em seguida, colocar no eixo vertical o número de pessoas dessa família
multiplicado por 100 e divisá-lo por N. O próximo ponto será a proporção de pessoas que
vivem na segunda família mais pobre, e assim por diante. Esses passos lhe fornecem a CIP
pós-intervenção.
Passo 3: Agora calcule a distribuição de renda pré-intervenção. Para isso, subtraia da renda
pós-intervenção o ganho estimado de cada domicílio. Você obterá, então, uma relação de
rendimentos pré-intervenção, uma para cada família da amostra. Repita, em seguida, a Etapa 2
e terá a CIP pré-intervenção.

Se se pensar em cada nível de renda do eixo horizontal como uma “linha de pobreza”, a
diferença entre as duas CIP’s em cada ponto lhe dará o impacto da incidência de pobreza para
aquela ‘linha de pobreza’ (anotação 6). Alternativamente, olhando horizontalmente, observa-se
o ganho de renda para aquele percentil. Se nenhum dos ganhos é negativo, a CIP pós-
intervenção deve estar sempre abaixo da CIP pré-intervenção. A pobreza terá reduzido não
importando qual “linha de pobreza” se empregue. Na verdade, isso ocorre para grande
variedade de medições de pobreza; ver Atkinson (1987). Se alguns ganhos forem negativos,
então as CIP’s vão se cruzar. A comparação de pobreza se torna ambígua; a resposta
dependerá de qual linha de pobreza e medições de pobreza se usa. (Para mais detalhes sobre
esses casos, ver Ravallion, 1994).

Podem-se usar restrições a priori para o elenco admissível de linhas de pobreza. Por exemplo,
você pode estar segura de que a linha de pobreza não excede um valor máximo, e se por acaso
a interseção das curvas ocorre acima daquele valor, a comparação não se torna ambígua. Se o
ponto de interseção (e pode haver mais de um) é abaixo de uma linha de pobreza admissível,
será preciso alguns ajustes. As curvas de incidência de pobreza acumuladas (CIPA’s) são

7
Do original: poverty incidence curves (PIC’s). N.T.

31
obtidas formando-se a soma acumulada para cada ponto da CIP (dessa forma, o segundo ponto
da CIPA é o primeiro ponto da CIP mais o segundo ponto, e assim por diante).

Se as CIPA’s não se interceptam, o impacto do programa para a pobreza é inequívoco, assim

como, se voltar sua atenção para os índices de hiato da pobreza e os métodos de medição da
pobreza que consideram a distribuição (descritos na anotação 6), verá que também são não-
ambíguos. Se as curvas se cruzam, você pode ainda calcular as “curvas de severidade da
pobreza” com e sem o programa, fazendo as somas acumuladas da CIPA’s. Caso elas não se
interceptem em uma faixa admissível para as linhas de pobreza, o impacto para qualquer das
medidas de sensibilidade da pobreza, vistas na anotação 6, não se confunde.

Ligeirinha marcou uma reunião com o Sr. Subsecretário, para apresentar a ele a
avaliação do PROSCOL.

Um encontro fortuito com a Srta. Socióloga Engajada

Um dia antes de apresentar os resultados para o chefe, Ligeirinha acidentalmente

esbarrou com uma amiga das antigas, a Socióloga Engajada, que agora trabalha para uma das
maiores ONG’s de Labas, a FOFOCS (Fundação para Organização e Formação do Capital
Social). Ligeirinha contou a ela todos os detalhes sobre o que esteve fazendo no PROSCOL.
Os olhos da Socióloga Engajada começaram a girar quando Ligeirinha discorreu sobre
“estimativas não-viesadas” e “escores de propensão”. “Eu não sei muito dessas coisas,
Ligeirinha. Mas eu sei algumas coisinhas sobre o PROSCOL. Visitei uma das escolas do
Nordeste de Labas onde há muitas crianças atendidas pelo PROSCOL, e encontrei famílias do
PROSCOL o tempo todo no meu trabalho na FOFOCS. Eu posso lhe dizer que eles não são
todos pobres, mas a maioria é. O PROSCOL ajuda.”
“De qualquer maneira, essa história de “ganhos perdidos” ou “renda não-ganha” que a
Tangência veio a mostrar, não estou tão certa disso. Economistas possuem algumas ideias
muito estranhas, às vezes. Eu tenho visto muitas e muitas crianças das famílias pobres que
trabalham e que também frequentam a escola. E os mais novinhos que não estão na escola, não
parecem trabalhar. Talvez Tangência esteja certa na teoria, mas eu não sei o quão importante
isso é na realidade.”
“Talvez você esteja certa, Engajada. O que eu preciso checar é se há alguma diferença
na quantidade de trabalho infantil feita pelas crianças do PROSCOL versus um grupo de
comparação pareado,” falou Ligeirinha. “O problema é que a PPV não pergunta sobre trabalho
infantil. Isto está em outro levantamento do ILE. Acho que vou apresentar os resultados sem e
com a dedução dos rendimentos ‘não ganhos’.”

32
 “Isto seria sensato” ponderou Socióloga Engajada. “Outra coisa que eu percebi,
Ligeirinha, é que para uma família pobre ter acesso ao PROSCOL, interessa bastante saber em
qual distrito escolar ela vive.8 Todos os distritos escolares recebem os recursos centrais do
PROSCOL, mesmo os que possuem muito poucas famílias pobres. Se a família é pobre mas
mora perto de um distrito escolar bem-de-vida, há maior probabilidade de obter ajuda do
PROSCOL do que se vivesse em um distrito pobre. Eu acho que eles gostam de permitir que
todos os distritos participem por razões políticas. Como resultado, é a pobreza relativa –
relativa aos demais que vivem na sua área – que interessa, muito mais do que o nível absoluto
do padrão de vida.”
“Eu não sabia disso”, admitiu Ligeirinha, um pouco embaraçada por não tê-la
procurado para conversar antes, dado que isso poderia ser importante.
“Isso me deu uma ideia, Engajada. Eu sei a qual distrito pertence cada um dos
domicílios na pesquisa do ILE, e sei o quanto que a central distribuiu a cada um dos distritos.
Sabendo disto que me contou, essas alocações podem influenciar a participação no PROSCOL,
mas não se pode esperar que isso afete para a taxa de atendimento escolar, que deve depender
mais em um nível absoluto de padrão de vida, circunstâncias familiares, e intuo que talvez as
características da escola. Logo, a alocação dos recursos do PROSCOL entre os distritos
escolares pode ser usada como uma ‘variável instrumental’ para remover o viés de seleção em
minhas estimativas do impacto do programa.”
Os olhos da Socióloga Engajada começaram a se revirar novamente, e Ligeirinha
despediu-se e correu de volta para sua sala. Ela primeiro olhou o arquivo original que possuía
para ver quais regras a central usou para a distribuição dos fundos do PROSCOL entre os
distritos. Um memorando do ministro indicava que a alocação de recursos baseava-se no
número de crianças em idade escolar, com um ‘fator de ajuste’ para o quão pobre se supunha
ser o distrito. Entretanto, a regra era vaga.
Ligeirinha rodou novamente sua regressão para escolarização. Mas agora ela
substituiu a participação no PROSCOL pelo seu valor predito da regressão para a participação
(o escore de propensão), que agora incluía a alocação orçamentária para os distritos.
Compreendeu que tinha sido de muita ajuda o número maior possível de características para a
regressão de participação. Apesar das características escolares oficialmente não serem
relevantes para decidir como os recursos do PROSCOL são alocados, Ligeirinha percebeu que,
qualquer característica que influenciasse conjuntamente a distribuição distrital dos recursos do

8
Distrito escolar no original é school board área. Poderia ser traduzido também como vizinhança escolar ou área
envolta da escola. N. T.

33
PROSCOL e os resultados de escolarização individuais, deixaria um viés nas estimativas de
‘variáveis instrumentais’. Ela compreendeu que nunca conseguiria descartar totalmente a
possibilidade de viés, mas com bastante controle das características geográficas esse método
poderia ao menos oferecer uma comparação crível para suas estimativas de pareamento.
Assim que obteve os resultados, consistentes com as observações de Engajada, a
alocação de recursos dos distritos escolares possuíam um coeficiente positivo na regressão
logito para a participação no PROSCOL. Agora a participação no PROSCOL (predita) é
significante na regressão de taxa de atendimento escolar, na qual ela incluiu todas as variáveis
(as mesmas que havia usado) da regressão logito, exceto a distribuição dos recursos dos
distritos escolares. O coeficiente encontrado implica que a taxa de atendimento para os
participantes do PROSCOL é 15 pontos percentuais maior do que seria em caso contrário. Ela
também rodou regressões para anos de escolaridade por sexo separadamente. Tanto para os
meninos quanto para as meninas, seus resultados mostravam que os estudantes teriam deixado
a escola quase dois anos mais cedo se não fosse pelo PROSCOL.
Ligeirinha maravilhou-se com o que o professor Qui-quadrado iria pensar disto. Ela
tinha certeza de que ele questionaria seus métodos. “Pergunto-me se teria eu usado os erros-
padrão corretos ou deveria usar os métodos lineares”. Ligeirinha decidiu que solicitaria para
compra aquele novo programa de que ela tinha ouvido falar, o MEM (Métodos Econométricos
Mirabolantes). Mas isto ia ter que esperar. Por ora, Ligeirinha estava feliz com o fato de os
resultados não serem muito diferentes daqueles que ela conseguiu usando o método de
pareamento por escore de propensão. E ela reafirmou, de alguma forma, os comentários da
Socióloga Engajada que haviam sido baseados em suas observações no campo. “Isto não pode
estar tudo errado”.

Ligeirinha responde ao seu chefe

Ligeirinha anotou seus resultados e entregou um relatório ao Sr. Subsecretário. Ele

pareceu bastante satisfeito. “Então, o PROSCOL está indo muito bem.” O Subsecretário
marcou um encontro de Ligeirinha com o ministro, e solicitou seu comparecimento. O ministro
estava interessado nos resultados de Ligeirinha, e questionou como ela descobriu benefícios no
PROSCOL. Ele parecia ter apreciado os esforços de Ligeirinha para garantir que o grupo de
comparação fosse similar às famílias do PROSCOL.
“Eu acho que poderíamos expandir o PROSCOL para incluir o resto de Labas,” o
ministro concluiu. “Nós não conseguiremos fazer tudo isso em um ano, mas em cerca de dois

34
anos, poderemos cobrir todo o país. Porém, eu quero você para continuar monitorando o
programa, Ligeirinha.”
“Eu gostaria de fazer isso, ministro. No entanto, eu aprendi algumas coisinhas com
essas avaliações. Eu poderia recomendar ao Sr. que excluísse aleatoriamente algumas famílias
elegíveis para o PROSCOL no restante de Labas. Nós poderíamos então fazer uma pesquisa de
acompanhamento dos dois tipos de famílias, daquelas que de fato participam e daquelas que
foram aleatoriamente excluídas da participação. Isto poderia nos dar uma estimativa mais
precisa dos benefícios”.
O ministro soltou um olhar congelante para Ligeirinha, e o Sr. Subsecretário começou
a se mexer e se sentir desconfortável no seu assento. Subitamente, o ministro rompeu com uma
gargalhada. “Você deve estar brincando Srta. Analista Ligeirinha! Eu já posso ver as primeiras
páginas dos jornais de Labas clamando: “O Governo Aleatoriamente nega o PROSCOL para
famílias com necessidades desesperadoras. Você não quer que eu seja reconduzido?”
“Eu vejo seu ponto, Sr. ministro. Mas sabendo-se que o Sr. não terá o dinheiro
suficiente para cobrir o ano inteiro em um ano, o senhor terá de fazer escolhas sobre quem
obterá o benefício primeiro. Por que não fazer essa escolha ser aleatoriamente entre os
participantes elegíveis? O que poderia ser mais justo?”
O ministro pensou sobre o que ela dissera. “O que me diz se nós escolhermos as
escolas ou os distritos escolares aleatoriamente na primeira onda?”
Ligeirinha concordou. “Sim, isto com certeza poderia fazer com que a escolha da
escola ou do distrito escolar fosse uma boa ‘variável instrumental’ para a entrada no
programa”, manifestou ela com entusiasmo.
“Instrumento de quê?”, indagou o Sr. ministro, enquanto o Sr. Subsecretário
novamente se sentiu desconfortável em seu assento. “Não se importe. Se isso pode funcionar
para você, verei se podemos fazer desse jeito. O ministro do Desenvolvimento Social terá de
concordar, é claro.”
“Se isto não funcionar, Sr. ministro, seria possível ainda fazer mais alguma coisa antes
do programa começar no sul do país? Uma pesquisa de ‘linha de base’ das áreas nas quais é
muito provável obtermos alta concentração de participantes do PROSCOL? Eu gostaria de
realizar isso ao mesmo tempo em que ocorre a próxima rodada da pesquisa nacional que usei
para avaliar o Norte de Labas. Há também algumas pequenas questões que eu gostaria de
acrescentar à pesquisa, por exemplo, se as crianças realizam algum trabalho pago.”
“Sim, isto parece ser um pedido razoável, senhorita Ligeirinha. Vou conversar
também com o secretário de estatísticas”.

35
 Epílogo

Três anos depois. Analista Ligeirinha é chefe da nova unidade de Avaliação

Econômica e Social, vinculada diretamente ao ministro da Fazenda. A unidade atualmente está
avaliando todos os programas sociais de Labas com regularidade e uma mesma base.
Ligeirinha possui um quadro permanente de três assistentes. Frequentemente ela contrata o
professor Qui-quadrado e a Socióloga Engajada como consultores. Eles tiveram tempos difíceis
conversando um com o outro (“Menina, aquele Qui-quadrado não é normal”, confidenciou
Engajada à Ligeirinha certo dia). Mas Ligeirinha considera útil ter os dois por perto. O campo
qualitativo com entrevistas aos stakeholders, que Engajada tanto prioriza, ajuda bastante ao
formular hipóteses a serem testadas com as plausíveis pressuposições-chave feita pela análise
qualitativa de que o professor Qui-quadrado tanto gosta. Ligeirinha pensa que o verdadeiro
problema com o relatório “Perspectivas dos Participantes” do MDS sobre o PROSCOL não é o
que foi feito, mas sim o que deixou de ser feito; entrevistas informais podem ajudar a entender
como o programa funciona entre os beneficiários, mas eles não podem garantir por si mesmos
uma medida confiável do impacto.
Entretanto, Ligeirinha também aprendeu que avaliações de impacto rigorosas são
muito mais difíceis do que ela primeiramente havia pensado e, às vezes, pode-se obter um
preocupante largo intervalo de estimativas, dependendo das especificidades do método usado.
Os conselhos do professor Qui-quadrado são valiosos para sugerir métodos alternativos em
situações frequentes de dados aquém do ideal, e desvendando as suas armadilhas. Ligeirinha
aprendeu também a ser eclética sobre o banco de dados.
O ministro da Fazenda convenceu o ministro do Desenvolvimento Social a aleatorizar
o primeiro lote de recursos do PROSCOL II pelas áreas escolares para todo o restante de
Labas, e isso ajudou Ligeirinha a identificar o impacto do programa. Sua análise acerca de uma
nova questão sobre trabalho infantil, acrescentada à pesquisa da LBS, revelou que há alguma
perda de renda pelo PROSCOL, apesar de não ser tão grande quanto inicialmente ela havia
pensado.
A economista de Tangência fez mais comentários a respeito do primeiro relatório de
Ligeirinha sobre o PROSCOL, mencionou um efeito que Ligeirinha poderia também mensurar
com a incorporação dos ganhos futuros advindos do PROSCOL, usando trabalhos recentes de
economistas do trabalho para o retorno da educação em Labas. Quando Ligeirinha determinou
essa quantia em seus cálculos, o PROSCOL revelou dispor de uma taxa de retorno econômico

36
bem razoável, considerando-se também o fato de que os benefícios se destinam aos mais
pobres.
Uma grande diferença em relação à primeira avaliação do PROSCOL, é que
Ligeirinha gasta muito mais tempo entendendo como cada programa funciona antes de se
chafurdar nos números. Agora ela prolonga a avaliação por um período muito mais longo, por
vezes incluindo pesquisas de base e de acompanhamento com os mesmos domicílios.
Nem tudo são flores. Inicialmente ela teve muitos problemas para fazer os principais
ministérios cooperar. Foi também difícil obrigá-los a definir os objetivos de cada programa que
ela estava avaliando. Ligeirinha considera que cobrar dos ministérios os objetivos de seus
gastos públicos é uma importante contribuição por si só. Mas eventualmente os ministérios
percebem que eles podem aprender muito com as avaliações e com o fato de que elas estão
sendo conduzidas com seriedade pelo Ministério da Fazenda.
A política interna do governo é, às vezes, um problema. Ainda bem que do lado das
informações e dos dados está tudo funcionando bem. O ministro teve a boa ideia de fazer do
secretário de estatísticas um orientador da unidade, e o Sr. Estatístico é o representante.
Ligeirinha às vezes comissiona novas pesquisas do LBS e os ajuda na formulação dos
questionários e desenho da amostra.
Ligeirinha começou também a aconselhar outros países e agências internacionais
(incluindo o Banco Mundial) que embarcaram na avaliação de impacto de programas sociais. E
ela descobriu que trocar informações com outros analistas de programas pode ser valioso. Por
exemplo, eu aprendi sobre a interessante experiência de Ligeirinha com PROSCOL numa
recente missão em Labas, e também contei aqui sobre um recente trabalho que avaliou um
programa antipobreza na Argentina, avaliação que contou com o auxílio do Banco Mundial
(Jalan e Ravalion, 1999; a anotação 8 resume os métodos e resultados do estudo). Ligeirinha
reconhece que há muitos mistérios em Labas e em qualquer lugar – mistérios cujas ferramentas
ela aprendeu a usar para desvendá-los lançando luz sobre eles.

37
Anotação 8: Exemplo de outro programa antipobreza

Com ajuda do Banco Mundial, a Argentina introduziu o programa Trabajar em 1997, em

resposta ao acentuado aumento nas taxas de desemprego, e a evidência de que isso estava
especialmente prejudicando os pobres. O programa objetivou promover projetos de trabalho
comunitário úteis em áreas pobres, trabalho para trabalhadores desempregados de famílias
pobres. Jalan e Ravalion (1999) estimaram os ganhos de renda para famílias dos trabalhadores
participantes e examinaram quão bem focados eram os ganhos. Uma pesquisa foi feita com
uma amostra aleatória de famílias participantes, ao mesmo tempo, e usando o mesmo
instrumento de pesquisa e entrevistadores, em uma ampla e pré-planejada pesquisa nacional.
Um modelo logito de participação no programa foi primeiramente estimado em uma amostra
agrupada, e os escores de propensão foram calculados.

Os métodos de pareamento descritos na nota 3 foram usados para retirar um grupo de controle
da grande amostra da pesquisa de corte transversal nacional. A amostra de participantes possui
uma média de escore de propensão de 0,40, enquanto que na amostra nacional era de 0,075. A
amostra nacional é claramente não representativa dos participantes do Trabajar. Depois do
pareamento, entretanto, o grupo de comparação retirado da amostra nacional obteve também
um escore de 0,40.

Os resultados indicaram que os ganhos de renda do trabalho foram por volta de metade do
salário bruto no programa (a diferença dada pela perda de renda do trabalho que adviria da
desistência em participar do programa). Cerca de 80% das famílias dos trabalhadores
participantes advêm dos 20% mais pobres de todas as famílias da Argentina, em termos de
renda por pessoa (antes da intervenção). Um teste para o viés de seleção no estimador de
pareamento resultante foi feito utilizando variáveis instrumentais. O viés nas estimações de
pareamento foi insignificante.

38
Referências (inclui a lista de sugestões de leitura do professor Qui-quadrado para
Ligeirinha).

Atkinson, Anthony, 1987, “On the Measurement of Poverty”, Econometrica, 55: 749-64.

Blundell, Richard W. and R.J. Smith, 1993, “Simultaneous Microeconometric Models with
Censoring or Qualitative Dependent Variables”, in G.S. Maddala, C.R. Rao and H.D.
Vinod (eds) Handbook of Statistics Volume 11 Amsterdam: North Holland.

Foster, James, J. Greer, and Erik Thorbecke, 1984, “A Class of Decomposable Poverty
Measures”, Econometrica, 52: 761-765.

Grossman, Jean Baldwin, 1994, “Evaluating Social Policies: Principles and U.S. Experience”,
World Bank Research Observer, 9(2): 159-80.

Heckman, James, 1997, “Instrumental Variables. A Study of Implicit Behavioral Assumptions

Used in Making Program Evaluations”, Journal of Human Resources, 32(3): 441-461.

Heckman, James and Richard Robb, 1985, “Alternative Methods of Evaluating the Impact of
Interventions: An Overview”, Journal of Econometrics, 30: 239-67.

Heckman, J., H. Ichimura, J. Smith, and P. Todd, 1998, “Characterizing Selection Bias using
Experimental Data”, Econometrica, 66: 1017-1099.

Jalan, Jyotsna and Martin Ravallion, 1999, “Income Gains from Workfare and their
Distribution”, Policy Research Working Paper, World Bank, Washington DC.

Meyer, Bruce D., 1995, “Natural and Quasi-Experiments in Economics”, Journal of Business
and Economic Statistics, April.

Manski, Charles and Irwin Garfinkel (eds), 1992, Evaluating Welfare and Training Programs,
Cambridge, Mass: Harvard University Press.

Manski, Charles and Steven Lerman, 1977, “The Estimation of Choice Probabilities from
Choice-Based Samples”, Econometrica, 45: 1977-88.

Moffit, Robert, 1991, “Program Evaluation with Nonexperimental Data”, Evaluation Review,
15(3): 291-314.

Ravallion, Martin ,1994, Poverty Comparisons, Harwood Academic Publishers, Chur,

Switzerland.

Ravallion, Martin ,2001, “The Mystery of Vanishing Benefits: Ms Speedy Analyst’s

Introduction to Evaluation”, The World Bank Economic Review, vol. 15, no. I.

Rivers, Douglas and Quang H. Vuong, 1988, “Limited Information Estimators and Exogeneity
Tests for Simultaneous Probit Models”, Journal of Econometrics, 39: 347-366.

39
Rosenbaum, P. and D. Rubin, 1983, “The Central Role of the Propensity Score in
Observational Studies for Causal Effects”, Biometrica, 70: 41-55.

Rosenbaum, P. and D. Rubin, 1985, “Constructing a Control Group using Multivariate

Matched Sampling Methods that Incorporate the Propensity Score”, American
Statistician, 39: 35-39.

40