Avaliação de Impacto de Programas e

Políticas Sociais
1. Painel
2. Meus cursos
3. Avaliação de Impacto de Programas e Políticas Sociais
4. Semana 1
5. Estudo de caso - Módulo 2

Avaliação de Impacto de Programas e

Políticas Sociais
1. Painel
2. Meus cursos
3. Avaliação de Impacto de Programas e Políticas Sociais
4. Semana 1
5. Estudo de caso - Módulo 2

Estudo de caso - Módulo 2

Feedback

EC.2. Qual é o método de avaliação utilizado pelo comunicado de imprensa?

A. Diferença simples
B. Diferenças em diferenças
C. Avaliação aleatorizada
D. Regressão multivariada
E. Pareamento (Matching)
F. Antes e depois

A resposta correta é a F. O método Antes e depois usa como grupo de comparação os

mesmos participantes do programa antes de se aplicar o programa. Neste caso, pode-se
considerar “participantes” as pessoas que receberam o telefonema e atenderam a
chamada.

Feedback

EC.3. Em qual das seguintes situações este método geraria resultados enviesados?
 A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes
dos que não receberam em variáveis que estão correlacionadas com a taxa de
participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda
mais alta e sabemos que as pessoas com renda mais alta tendem a ter taxas de
participação eleitoral mais altas.)
B. Se os eleitores que atenderam ao telefonema fossem mais propensos a votar do que
as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que
atenderam as chamadas, haja uma maior proporção de pessoas mais velhas, que
passam muito tempo em casa e têm altas taxas de participação eleitoral.)
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral
dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo:
entre os que atenderam, encontram-se muitas pessoas que perderam o seu trabalho e
ficaram desiludidas com o governo e o processo político, e isso faz com que elas
deixem de participar das eleições.)
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma
participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a
atmosfera política estivesse mais competitiva nessas eleições, o que, por sua vez,
poderia ter levado mais gente a votar.)

A resposta correta é a D. A suposição do método Antes e depois é que não há fatores

relevantes no tempo que afetem o resultado além do programa. A atmosfera política é
um exemplo de um fator que poderia ter mudado entre as duas eleições e que pode ter
afetado a taxa de participação eleitoral.

Progresso na lição: 27%

Feedback

EC.4. Na situação da resposta correta da pergunta anterior, o impacto do programa seria

subestimado ou superestimado?

A. Seria superestimado
B. Seria subestimado

Resposta correta: A. Mesmo sem o programa, os que atenderam o telefonema teriam

tido uma participação eleitoral maior do que nas eleições anteriores. Ao comparar a taxa
de participação eleitoral deste grupo nas duas eleições, atribui-se essa mudança positiva
ao programa, o que superestimaria o seu impacto.

Feedback

EC.5. Como se estima o contrafactual neste artigo de opinião?

A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam.
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam,
levando em consideração sua idade, sexo, tamanho da casa, o distrito, o
comportamento eleitoral passado, etc.
 C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam,
levando em consideração a diferença na taxa de votação com relação aos que
atenderam antes do programa.
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas
que têm as mesmas características (idade, gênero, distrito, comportamento em
eleições anteriores, etc.) que os que atenderam.
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do
programa.

A resposta correta é a A. O artigo de opinião indica que “comparamos as pessoas que

atenderam a ligação no contexto da campanha com aquelas pessoas que não
atenderam”. Neste caso, o grupo de comparação são as pessoas que também foram
selecionadas para receber a chamada, mas não atenderam o telefone.

Progresso na lição: 39%

Feedback

EC.6. Qual é o método de avaliação utilizado pelo comunicado de imprensa?

A. Diferença simples
B. Diferenças em diferenças
C. Avaliação aleatorizada
D. Regressão multivariada
E. Pareamento (Matching)
F. Antes e depois

Explicação: A resposta correta é a A. O método de diferença simples compara os

indivíduos que participaram do programa com os que não participaram do programa.
Neste caso, os participantes são aqueles que atenderam o telefonema enquanto o grupo
de controle é formado por aqueles que não atenderam o telefonema.

Progresso na lição: 43%

Feedback

EC.7. Em qual das seguintes situações este método geraria resultados enviesados?

A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes

dos que não receberam em variáveis que estão correlacionadas com a taxa de
participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda
mais alta, e sabemos que as pessoas com renda mais alta tendem a ter taxas de
participação eleitoral mais altas.)
B. Se os que atenderam ao telefonema fossem mais propensos a votar do que as pessoas
que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as
chamadas, há uma maior proporção de pessoas mais velhas, que passam muito tempo
em casa e têm altas taxas de participação eleitoral.)
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral
dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo:
 entre os que atenderam se encontram muitas pessoas que perderam o seu trabalho e
ficaram desiludidas com o governo e o processo político, e isso faz com que elas
deixem de participar das eleições.)
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma
participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a
atmosfera política estivesse mais competitiva nessas eleições, o que, por sua vez,
poderia ter levado mais gente a votar.)

Explicação: A resposta correta é a B. A suposição do método de diferença simples é que

a única diferença entre os participantes do programa e os não participantes é o
programa. Neste caso, é provável que as pessoas que passavam mais tempo em suas
casas foram as que responderam. Por exemplo, as pessoas mais velhas. Então, se as
pessoas mais velhas têm comportamentos eleitorais distintos aos da população em geral,
como votar com maior regularidade, nossos resultados serão enviesados. Isso significa
que nossa estimativa captura o efeito resultante de outras características e não o efeito
isolado do programa.

Feedback

EC.8. Na situação da resposta correta da pergunta anterior, o impacto do programa seria

subestimado ou superestimado?

A. Seria superestimado
B. Seria subestimado

Explicação: A resposta correta é a A. Sem o programa, os que atenderam à chamada

teriam uma participação eleitoral maior que os que não responderam. Isso porque os que
responderam a chamada possivelmente são os que tinham mais tempo disponível, como
as pessoas mais velhas. Se as pessoas mais velhas votam com maior frequência,
deveríamos esperar que a sua taxa de participação seja maior que a do restante da
população; o que superestima o efeito do programa.

Progresso na lição: 52%

Feedback

EC.9. Como se estima o contrafactual neste editorial?

A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam,
levando em consideração sua idade, sexo, tamanho da casa, o distrito, o
comportamento eleitoral passado, etc.
 C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam,
levando em consideração a diferença na taxa de votação em relação aos que
atenderam antes do programa
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas
que têm as mesmas características (idade, gênero, distrito, comportamento em
eleições anteriores, etc.) que os que atenderam
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do
programa

A resposta correta é a C. O contrafactual neste método é o grupo de pessoas que foram

chamadas por telefone, mas não atenderam. É necessário ter informações destas pessoas
antes e depois do programa. Para isso, precisamos conhecer a taxa de participação
eleitoral dessas pessoas em 1998 e 2002, para depois comparar suas diferenças a
respeito da taxa de participação de 1998 e 2002 das pessoas que atenderam.

Feedback

EC.10. Qual é o método de avaliação utilizado pelo comunicado de imprensa?

A. Diferença simples
B. Diferenças em diferenças
C. Avaliação aleatorizada
D. Regressão multivariada
E. Pareamento (Matching)
F. Antes e depois

Explicação: A resposta correta é a B. O método de diferenças em diferenças compara as

mudanças dos grupos de tratamento e controle antes e depois do programa. Ele compara
o que aconteceu com o grupo de controle antes e depois do programa, tomando essa
trajetória como a que teria acontecido com o grupo de tratamento na ausência do
programa. Depois comparamos com o que de fato aconteceu com o grupo de
tratamento, dada a existência do programa. As diferenças entre essas mudanças
ocorridas com os grupos de tratamento e controle são atribuídas ao programa.

Feedback

EC.11. Em qual das seguintes situações este método geraria resultados enviesados?

A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes

dos que não receberam em variáveis que estão correlacionadas com a taxa de
participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda
mais alta, e sabemos que as pessoas com renda mais alta tendem a ter taxas de
participação eleitoral mais altas.)
B. Se os que atenderam ao telefonema fossem mais propensos a votar do que as pessoas
que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as
chamadas, haja uma maior proporção de pessoas mais velhas, que passam muito
tempo em casa e têm altas taxas de participação eleitoral.)
 C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral
dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo:
entre os que atenderam, pode-se encontrar muitas pessoas que perderam o seu
trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que
elas deixem de participar das eleições.)
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma
participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a
atmosfera política estivesse mais competitiva nessas eleições, o que, por sua vez,
poderia ter levado mais gente a votar.)

A resposta correta é a C. A premissa do método Diferenças em diferenças é que as

tendências entre os dois grupos, tratamento e controle, mantenham-se paralelas no
tempo. Isso significa que, na ausência do programa, a mudança entre o primeiro e o
segundo período será a mesma para ambos os grupos. Agora, considere o que
aconteceria com as pessoas que perderam seu emprego entre 1998 e 2002.
Possivelmente terão mais tempo para responder ao telefone, então seriam parte do grupo
de tratamento. Além disso, possivelmente estariam menos interessadas em ir às urnas.
Portanto, dificilmente as tendências entre os grupos seriam paralelas porque as pessoas
desempregadas que estão no grupo de tratamento estão menos dispostas a ir às urnas em
comparação às pessoas que têm trabalho e estão no grupo de controle.

Feedback

EC.12. Na situação da resposta correta da pergunta anterior, o impacto do programa

seria subestimado ou superestimado?

A. Seria superestimado
B. Seria subestimado

Explicação: A resposta correta é a B. Se assumirmos que o viés de seleção do programa

surge pelas diferenças entre os desempregados e empregados, esperaríamos que o efeito
do programa seria subestimado. Isso porque, em 2002, as pessoas que perderam o seu
emprego e têm tempo de responder ao telefone terão menos incentivos para ir às urnas
que as pessoas que estão empregadas e não tiveram oportunidade de atender ao telefone.
Então, a estimativa captura o efeito de estar empregado ou desempregado na
participação eleitoral e não necessariamente o efeito do programa.

Feedback

As 60.000 pessoas que receberam o telefonema foram selecionadas de maneira

aleatória, por meio de um sorteio, de uma população maior de aproximadamente 2
milhões de potenciais eleitores. Nesta pergunta, está incluída uma tabela que mostra
algumas características das pessoas que receberam o telefonema (incluindo tanto os
eleitores que atenderam o telefonema como os que não atenderam) e as pessoas que não
receberam telefonema (nos distritos competitivos de Michigan).
EC.13. Sem conhecer ainda os resultados da aleatorização, você espera que as
características dos dois grupos sejam estatisticamente similares ou estatisticamente
distintas?

A. As características dos grupos são estatisticamente similares

B. As características dos grupos são estatisticamente distintas

A resposta correta é a A. Se a aleatorização é bem feita, os grupos de tratamento e

controle devem ser estatisticamente similares em variáveis observáveis e não
observáveis.

Feedback

EC.14. Associe cada descrição com o respectivo método de avaliação.

1. Mede como os participantes do programa mudam ao longo do tempo. Antes e Depois

2. Mede a diferença entre os participantes e os não participantes depois do programa.
Diferença Simples
3. Compara a variação dos resultados dos participantes ao longo do tempo à variação dos
resultados dos que não participaram do programa. Diferenças em Diferenças
4. Compara participantes e não participantes quando a participação foi determinada por
sorteio.Avaliação Aleatorizada

Progresso na lição: 89%

Feedback

EC.15. Associe cada grupo de comparação com o respectivo método de avaliação.

1. Os mesmos participantes, antes de entrarem no programa. Antes e Depois

2. Os não participantes. Diferença Simples
3. Os não participantes, levando em consideração a sua diferença em relação aos
participantes antes do programa. Diferenças em Diferenças
4. Grupos de potenciais participantes elegíveis que, por sorteio, foram alocados no grupo
de controle e não recebem o programa. Avaliação Aleatorizada

Feedback

EC.16. Associe cada premissa com o respectivo método de avaliação.

1. Não há, no tempo, fatores relevantes que afetem o resultado além do próprio
programa. Antes e Depois
2. A única diferença entre participantes e não participantes que influencia nos resultados
é o programa. Diferença Simples
3. Na ausência do programa, as tendências de participantes e não participantes se
manteriam paralelas. Diferenças em Diferenças
 4. A aleatorização foi bem-feita e gera dois grupos estatisticamente idênticos. Avaliação
Aleatorizada

Progresso na lição: 98%