Você está na página 1de 9

Avaliação de Impacto de Programas e Políticas Sociais

Módulo 02 - Por que Aleatorizar

A.1. O que é impacto?


A. É o valor da variável relevante ao se finalizar o programa.
B. São as mudanças da população alvo antes e depois do programa.
C. São as mudanças atribuídas ao programa e a outros fatores relevantes.
D. São as mudanças atribuídas ao programa e não a outros fatores.

Feedback

A resposta correta é a alternativa D. O impacto é a diferença entre as mudanças observadas depois


do programa e a hipótese do que teria acontecido caso este não tivesse sido implementado. A
diferença resultante é atribuída unicamente ao programa e não a outros fatores.
Progresso na lição: 4%

A.2. O que é o contrafactual?

A. É o estado dos participantes antes de se implementar o programa.


B. É o estado que os participantes experimentariam na ausência do programa, e que não é
observável.
C. É o estado dos participantes depois do programa, e que é observável.
D. É a diferença entre o antes e o depois da implementação do programa.

Feedback

A resposta correta é a alternativa B. O contrafactual tem as seguintes características: 1. É hipotético,


pois representa o estado que os participantes teriam experimentado caso não tivessem participado
do programa. 2. Não é observável, pois precisamos estimar para medir o efeito de um programa.
Progresso na lição: 7%

A.3. Selecione em qual destes casos o programa teve um impacto positivo:

A. Imagem 1.
B. Imagem 2.
C. Imagem 3.
D. Não se pode determinar.

Feedback

A resposta correta é a alternativa D. Embora a mudança no gráfico A sugira um impacto positivo da


intervenção, essa informação, na verdade, não é suficiente para nos dar tal certeza. O mesmo
acontece nos outros casos, onde, embora a tendência seja neutra ou negativa, não se sabe se, na
ausência do programa, ela poderia ter declinado ainda mais (o que significaria um impacto
positivo). Em última instância, precisamos averiguar o que teria acontecido às pessoas beneficiárias
caso não tivessem recebido o programa.

Progresso na lição: 11%

B.1. Qual é a principal diferença entre os diferentes métodos de avaliação de impacto?


A. Como se estima o contrafactual: a diferença entre os que participam e os que não participam do
programa.
B. Como se estima o contrafactual: como definimos quem forma o grupo de controle.
C. Como se estima o contrafactual: o antes e depois dos participantes do programa.
D. Como se estima o contrafactual: o tamanho da amostra varia dependendo do tipo de intervenção.

Feedback

A resposta correta é a alternativa B. Alguns métodos de avaliação de impacto são Antes e depois,
Diferença simples, Diferenças em diferenças e o Método experimental. A principal diferença entre
eles é como se estima o contrafactual, ou seja, a forma como se constrói o grupo de controle. Como
será explicado no decorrer do curso, cada método tem premissas a respeito do contrafactual que
devem ser cumpridas para que a estimativa do impacto seja válida.
Progresso na lição: 16%

C.1. Qual é o grupo de controle no método Antes e depois?

A. Os mesmos participantes, antes de entrarem no programa.


B. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle.
C. Os não participantes, dos quais se recoletam dados depois do programa.
D. Os não participantes, dos quais se coletam dados antes e depois do programa.

Feedback

A resposta correta é a alternativa A. O método Antes e depois estima o impacto de um programa


medindo as mudanças nos participantes ao longo do tempo: calcula-se o estado dos participantes
antes e depois do programa. No grupo de controle estão, portanto, os participantes antes de entrarem
no programa.
Progresso na lição: 21%

C.2. Por que o método Antes e depois poderia oferecer uma má estimativa do contrafactual?

A. Porque o grupo de controle tem acesso ao programa.


B. Porque o grupo de tratamento e o grupo de controle são distintos antes do início do programa.
C. Porque muitos fatores não relacionados ao programa mudam com o tempo, podendo afetar o
resultado que queremos medir.

Feedback

A resposta correta é a alternativa C. O método Antes e depois pode levar a outros fatores que
afetam a variável de interesse e, portanto, a mudança observada nessa variável pode não ser
unicamente atrelada à intervenção. A alternativa A não é correta porque o grupo de controle são os
participantes quando eles não têm acesso ao programa. E a B não é correta porque, como os grupos
de tratamento e controle são as mesmas pessoas em dois momentos distintos, a noção de
temporalidade indicada na alternativa não faz sentido.
Progresso na lição: 25%

C.3. Qual é o principal problema do método de Diferença simples?

A. É difícil recoletar informações sobre pessoas que não participaram do programa.


B. É possível que as pessoas não elegíveis ou que escolhem não participar do programa sejam
sistematicamente diferentes do grupo de participantes.
C. O grupo de pessoas não elegíveis ou que escolhem não participar do programa é muito mais
numeroso que o grupo de participantes.
Feedback

A resposta correta é a letra B. É certo que pode haver dificuldades adicionais para se recoletar
informações de quem não participa do programa, mas o problema principal é o o seguinte: se o
grupo de participantes é sistematicamente diferente do grupo de não participantes, a diferença entre
os resultados de ambos não proporcionará uma estimativa válida do impacto. Isso se deve ao fato de
que os resultados seriam afetados tanto pela intervenção como pelas características diferentes dos
dois grupos.
Progresso na lição: 28%

D.1. Qual é a premissa básica do método de Diferenças em diferenças?

A. Não existem choques, como recessões ou booms econômicos, que afetem o equilíbrio
macroeconômico.
B. Os participantes e não participantes do programa são, em média, idênticos nas variáveis
observáveis e não observáveis.
C. Na ausência do programa, a tendência no tempo da variável de resultado seria igual no
grupo de participantes e no grupo de não participantes.

Feedback

A resposta correta é a alternativa C. Para poder interpretar a Diferença em diferenças como o efeito
causal do programa, a tendência da variável de resultado deve ser paralela nos dois grupos
(participantes e não participantes). Assim, qualquer mudança na tendência observada no grupo de
participantes se equivalerá ao efeito causal do programa. A primeira resposta não é correta, pois se
há um choque que afeta igualmente os dois grupos, ele não afetará a validez do método. A segunda
opção de resposta também não é correta, pois os participantes podem ser diferentes (inclusive em
suas características não observáveis), e o método permanecerá adequado se a premissa de
tendências paralelas for verdadeira.

Progresso na lição: 32%

D.2. Qual é a vantagem do método Diferenças em diferenças?

A. Gerar dois grupos similares que são comparáveis depois da implementação da política.
B. Combinar o método de Antes e depois com a aleatorização do grupo de controle.
C. Permitir que, com o tempo, as tendências entre os grupos sejam paralelas.
D. Corrigir por diferenças pré-existentes entre os dois grupos (observáveis e não observáveis).

Feedback

A resposta correta é a D. A principal vantagem do método de Diferença em diferenças é que ele


corrige pelas diferenças pré-existentes entre os participantes e os não participantes. O problema da
Diferença simples é que a diferença entre os resultados pode ser atribuída a essas diferenças pré-
existentes entre os grupos. Mas, com o método de Diferenças em diferenças, enquanto se mantém a
suposição de tendências paralelas, as diferenças pré-existentes são eliminadas e obtém-se, ao final,
o efeito do programa.

Progresso na lição: 38%


D.3. Com base na tabela, calcule o impacto do programa segundo os três métodos já vistos:

A. Antes e depois = 7
B. Diferença simples = 3
C. Diferenças em diferenças = 1

As respostas corretas são, respectivamente para Antes e depois, Diferença simples e Diferenças em
diferenças, 7, 3 e 1. O método Antes e depois calcula o impacto de um programa a partir da
diferença entre os participantes antes do programa e depois dele. Nesse caso, 21 - 14 = 7. O método
de Diferença simples calcula o impacto de um programa a partir da diferença entre os participantes
e os não participantes depois do programa. Nesse caso, 21 - 18 = 3. O método de Diferença em
diferenças calcula a diferença entre os participantes e não participantes antes do programa (14 - 12
= 2), e depois dele (21 - 18 = 3). Depois, toma a diferença entre ambas as diferenças: 3 - 2 = 1.

Feedback

D.4. Qual é o grupo de controle do método da Regressão multivariada?

A. Os mesmos participantes, antes de entrarem no programa.


B. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle.
C. Os não participantes, dos quais se coletam dados detalhados sobre variáveis observáveis.
D. Os não participantes dos quais se recoletam dados depois do programa.

A resposta correta é a alternativa C. O método da Regressão multivariada estima o impacto de um


programa, elegendo uma variável de interesse e mantendo constante - ou “controlando”
estatisticamente - o efeito de outras variáveis. Assim, o grupo de controle é construído coletando-se
dados confiáveis de variáveis observáveis (como renda, idade, gênero etc) de não participantes.

Progresso na lição: 45%

Feedback

E.1. Qual é a principal diferença entre os métodos do Pareamento e de Diferença simples?

A. O método do Pareamento tenta estimar o contrafactual; o da Diferença simples, não.


B. O método do Pareamento tenta estimar o contrafactual com base nas variáveis não
observáveis, enquanto a Diferença simples se baseia somente nas variáveis observáveis.
C. O método do Pareamento gera um grupo de controle similar ao grupo tratado em variáveis
observáveis, enquanto na Diferença simples os grupos não são necessariamente similares em
variáveis observáveis.

A resposta correta é C. No método da diferença simples, comparam-se todos os não participantes


com todos os participantes que temos informação. Estes dois grupos podem ser muito diferentes
entre si. Pelo método de pareamento, construímos um grupo de controle que seja parecido ao grupo
de tratamento, e para isso se selecionam indivíduos parecidos em variáveis observáveis com os
indivíduos que participam do programa. A resposta A está incorreta porque o método da diferença
simples também estima o contrafactual. A resposta B está incorreta porque o pareamento se baseia
apenas em variáveis observáveis.

Progresso na lição: 50%

E.2. Qual é o grupo de controle do método de Pareamento?

A. Os mesmos participantes, antes de entrarem no programa.


B. Para cada participante, busca-se ao menos um não participante que é idêntico nas
características observáveis.
C. Os não participantes, dos quais se recoletam dados depois do programa.
D. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle.

Feedback

A resposta correta é a alternativa B. O método do Pareamento estima o impacto de um programa ao


parear um participante com ao menos um não participante similar nas características observáveis.

E.3. Na seleção de participantes, que característica um programa deve ter para permitir a aplicação
do método da Regressão descontínua?

A. Os participantes entrarem no programa por ordem de chegada.


B. A linha de corte ser um limite estrito de entrada ou não do programa.
C. Os participantes entrarem no programa por meio de um sorteio.
D. Os participantes entrarem no programa por meio da decisão política do gestor.

A resposta correta é letra B. No método da Regressão descontínua, os indivíduos são classificados


com base em critérios mensuráveis, e uma linha de corte determina se uma pessoa é elegível ou não.
Comparam-se as pessoas que estão logo acima e abaixo dessa linha de corte.

Progresso na lição: 56%

F.1. Por que a avaliação aleatorizada permite eliminar o viés de seleção?

A. Porque a aleatorização garante que os grupos de tratamento e de controle sejam similares


antes de se implementar o programa.
B. Porque requer menos tempo e simplifica a implementação do programa.
C. Porque garante que o programa terá um impacto maior.
D. Porque nos permite poupar recursos, dado que não temos que entregar o programa a toda a
população elegível.

Feedback

A resposta correta é a alternativa A. Uma alocação aleatória bem feita gera dois grupos similares
em características observáveis (ou seja, dados à nossa disposição, como idade, gênero, nível de
educação), e não observáveis (dados que não estão à nossa disposição, como motivação, espírito de
superação, entre outros). Isso nos permite isolar o impacto do programa de outros fatores que
podem influenciar nossas variáveis de interesse. A alocação aleatória nos permite medir melhor o
impacto do programa, mas não influencia o tamanho desse impacto ou a complexidade da
implementação. É certo que, no caso de uma avaliação aleatorizada, não se entrega (inicialmente) o
programa a toda a população elegível. Mas isso não significa necessariamente que se economizem
recursos, já que, normalmente, eles não são suficientes para entregar o programa à toda população
elegível (e, de todo modo, esta não deve ser a razão para aleatorizar).

Progresso na lição: 63%

F.2. Qual é o grupo de controle na avaliação aleatorizada?

A. Os mesmos participantes, antes de entrarem no programa.


B. A parte da população elegível que, de maneira aleatória (por meio de um sorteio), é alocada
no grupo de controle.
C. Os não participantes, dos quais se recoletam os dados depois do programa.
D. Os não participantes, dos quais se recoletam os dados antes e depois do programa.

Feedback

A resposta correta é a alternativa B. Na avaliação aleatorizada, o grupo de controle será constituído


por parte da população elegível selecionada de maneira aleatória. A principal diferença desse
método em relação aos anteriores é essa seleção aleatória (por sorteio), pois nos outros casos não
existiam restrições a respeito das características dos não participantes.

Progresso na lição: 66%

F3. Para cada etapa da avaliação aleatorizada, selecione qual aspecto que devemos tomar em
consideração.

A. Verificar se os grupos de tratamento e controle são similares.


B. Identificar oportunidades de aleatorizar os grupos de tratamento e controle.
C. Avaliar se o impacto do programa é estatística e empiricamente significativo.
D. Recoletar dados dos grupos de tratamento e de controle após a implementação do programa.

Feedback

A resposta correta é a alternativa B. Na etapa do desenho de uma avaliação deve ser levado em
conta a possibilidade de alocação aleatória da amostra (seja ela obtida de maneira aleatória ou não).

Progresso na lição: 70%

Feedback

Passo a passo da avaliação aleatorizada:

1. Ao desenhar o estudo cuidadosamente, que ação devemos levar em conta? Alocar


aleatoriamente os grupos de tratamento e de controle.
2. Ao coletar os dados dos grupos de tratamento e de controle para a linha de base, que ação
devemos levar em conta? Verificar que os dois grupos são similares.
3. Ao monitorar o processo para ter certeza de que a integridade da avaliação esteja garantida,
que ação devemos levar em conta? Recoletar dados dos grupos de tratamento e de controle
depois que o programa tiver sido implementado.
4. Para estimar o impacto, considerando os resultados médios dos grupos de tratamento e de
controle, que ação devemos levar em conta? Avaliar se o impacto do programa é estatistica e
empiricamente significativo.
1 - Na etapa do desenho de uma avaliação, o que deve ser levado em conta é a alocação aleatória da
amostra (seja ela obtida de maneira aleatória ou não).

2 - Na etapa de coleta de dados para linha de base, o que deve ser levado em conta é que os dois
grupos sejam estatisticamente similares (isso é, que estejam balanceados nas suas características
observáveis).

3 - Na etapa do monitoramento, posterior ao desenho e à linha de base, o que deve ser levado em
conta é a a coleta, por mais uma vez, dos dados dos grupos de tratamento e controle.
4 - Na etapa de aferir o impacto, o que deve ser levado em conta é a significância estatística e a
relevância empírica dessa estimativa de impacto.
Progresso na lição: 73%

Feedback

F.7. Existe alguma diferença entre os conceitos de "grupo de controle" e "contrafactual"?

A. Sim: o grupo de controle representa o que aconteceu com aqueles que não participaram da
intervenção, enquanto o contrafactual representa o que aconteceu com aqueles que
participaram.
B. Sim: o grupo de controle representa o que aconteceu com aqueles que não participaram da
intervenção porque não eram elegíveis, enquanto o contrafactual representa o que aconteceu
com aqueles que eram elegíveis mas, por alguma razão, não participaram.
C. Sim: o grupo de controle é o grupo de indivíduos usado como comparação na avaliação,
enquanto o contrafactual é o cenário hipotético que queremos imitar mediante o grupo de
controle.
D. Não. Referem-se à mesma coisa: o grupo de comparação com qual contrastamos os
resultado do grupo de participantes.

A resposta correta é a alternativa C. O grupo de controle é selecionado para imitar o cenário


contrafactual, ou seja, aquilo que teria acontecido com os participantes se eles não tivessem entrado
no programa. As primeiras duas respostas são incorretas porque o contrafactual não representa o
que aconteceu com os participantes ou com as pessoas elegíveis, e sim o que teria acontecido com
os beneficiários do programa caso não recebessem o programa.

Progresso na lição: 77%

Feedback

G.1. Considere a seguinte ideia: as avaliações aleatorizadas não são éticas porque restringem o
benefício do programa a um grupo de pessoas. Quais foram os argumentos apresentados na aula que
se opõem a essa afirmação? Marque todas as respostas que julgar corretas.

A. As avaliações aleatorizadas não selecionam os beneficiados do programa, elas unicamente


determinam o critério de seleção.
B. Em muitas ocasiões, o programa acabaria sendo expandido a toda a população, só não teria
capacidade operacional ou orçamentária de fazê-lo de imediato, restringindo o acesso dos
indivíduos durante um período de tempo.
C. As vantagens estatísticas da avaliação aleatorizada são mais importantes do que os
indivíduos que não recebem o programa
D. Destinar recursos públicos em programas dos quais não se conhece seu impacto também é
um dilema ético

A resposta correta é A, B e D. Quando se critica a ética das avaliações aleatorizadas, devemos


considerar o que teria acontecido na ausência desse tipo de avaliação. Em alguns casos, os recursos
serão escassos e não se poderá distribuir o programa a toda população. Portanto, selecionar
aleatoriamente os beneficiados pode ser, em algumas ocasiões, um critério justo para outorgar o
programa. Em outros casos, toda a população receberá o programa, mas em etapas. Então, nas
etapas iniciais, pode-se selecionar por sorteio os indivíduos com os quais se avaliará o programa.
Finalmente, implementar um programa sem conhecer seus impactos leva a um dilema ético, porque
os recursos públicos são gastos sem saber os resultados possíveis. As qualidades estatísticas da
avaliação aleatorizada não foram relacionadas aos argumentos éticos no vídeo.

Progresso na lição: 82%

G.2. Quais argumentos o professor usa para contrariar as críticas às avaliações aleatorizadas pela
sua viabilidade (tempo e custos)? Marque todas as respostas que julgar corretas.

A. As lições das avaliações aleatorizadas são um bem público.


B. Qualquer método de avaliação requer tempo para observar o impacto do programa.
C. É caro destinar recursos a programas que não oferecem resultados.

Feedback

Todas as respostas estão corretas.

Progresso na lição: 86%

Feedback

G.3. As avaliações aleatorizadas têm vantagens sobre outros métodos de avaliação quanto à
validade externa?

A. Sim
B. Não

A resposta correta é a B. Não há diferença entre a validade externa de uma avaliação aleatorizada e
a validade externa de algum outro método. Sempre existirá dúvida sobre se a avaliação de um
programa, seja ela ou não aleatorizada, terá os mesmos resultados se um programa for
implementado em um outro contexto.

Progresso na lição: 89%


H.1. Assinale quais das alternativas são vantagens das avaliações aleatorizadas. Marque todas as
respostas que julgar corretas.

A. A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis, mas
não nas variáveis não observáveis.
B. A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis e não
observáveis.
C. Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao
programa.
D. Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao programa
e às características não observáveis.
E. São fáceis de interpretar.
F. Os resultados são confiáveis, mas complicados de interpretar.

Feedback

A resposta correta é B, C, e E. A vantagem principal da avaliação aleatorizada é que ela nos dá dois
grupos comparáveis, tanto nas características observáveis, como nas não observáveis, já que a
seleção dos grupos não depende de alguma característica específica. Desta maneira, qualquer
diferença depois da implementação do programa poderá ser atribuída ao programa. Finalmente, os
resultados são fáceis de interpretar, uma característica muito útil no âmbito de políticas públicas.

Feedback

H.2. Verdadeiro ou falso: Depois do método de avaliação aleatorizada, o método de diferenças em


diferenças é o que melhor estima o impacto do programa.

A. Verdadeiro
B. Falso

Feedback

Em alguns casos, por meio do método de diferenças em diferenças, chegaremos a resultados


parecidos aos obtidos por meio de uma avaliação aleatorizada. Como se viu na aula, no caso de
Balsakhi, os resultados destes métodos foram muito similares. No entanto, no caso de Pratham, o
método de diferenças em diferenças foi mais distante do que o método antes e depois. A diferença
entre o método de avaliação aleatorizada e qualquer outro método depende do caso particular. Em
alguns casos a diferença pode ser grande, e em outros, pequena.

Progresso na lição: 98%

Você também pode gostar