Tcnicas de anlise em polticas pblicas Ana Cristina Murta Collares anacollares@unb.

br (Como detectar efeitos de programas sociais)

~Estrutura do curso: Anlise causal Conceitos e variaes Anlise causal nas cincias humanas especificidades O Experimento Aleatrio Controlado (EAC) Implementao do EAC Vantagens e problemas na utilizao do EAC Experimento natural Vis de seleo Tcnicas de controle Questes de implementao da avaliao Exemplos prticos de anlise de projetos

~Questo bsica Qual o efeito de um determinado programa? A resposta implica em uma anlise causal (queremos saber se o programa a causa de um efeito determinado CAUSA ==> EFEITO

~Inferncia verdadeira praticamente impossivel determinar ~Inferncia causal probabilidade de que um efeito venha a acontecer na presena de determinada causa.

Modo de inferncia: que parmetros estimar/testar? Procedimento estatstico de anlise: modelo matemtico a ser utilizado para testar hipteses sobre o efeito do programa (tratamento).

Meta de avaliao: fazer uma inferncia causal a respeito de determinada interveno.

~Especificao formal do modelo de inferencia, ou abordagem contrafactual: Um contrafacutual uma questo de se no houvesse o evento causador do efeito, como seria a situao? Su = Ytu Ycu u = unidade recebendo o tratamento t = tratamento c = controle (placebo, tratamento alternativo e etc) s = efeito do tratamento

Soluo estatistica: S = E(Yt Yc) Estima o efeto causal mdio para uma populao de unidades

~No caso ideal existe: Fidelidade na implementao do tratamento Participantes no se movem entre grupos Participantes permanecem no grupo pela durao do tratamento (ausncia de atrito) Independncia entre as caractersticas pre tratamento e a forma de seleo para grupos T e C

~Critrios para realizao de inferncias causais: Relatividade causal causa sempre em relao a algo Manipulao causal ter a deciso de quem recebe ou no o tratamento Ordenamento temporal ter um antes e um depois definido Eliminao de explicaes alternativas que outras coisas podem ter causado aquele efeito?

~O experimento aleatrio controlado: Considerado por muitos como o mtodo mais direto/simples de fazer inferncias causais eliminando as causas alternativas

Supe sempre a existncia de dois grupos aleatoriamente selecionados: Grupo que recebe a interveno Grupo que recebe a interveno alternativa

Controle: consiste em variar apenas uma circunstncia por vez mantendo as demais fixas, uma vez que os grupos so idnticos e que h pareamento idntico.

~Problema na implementao do EAC Na realidade dos programas sociais, o pareamento perfeito quase nunca ocorre. Amostra desequilibrada Quebra da aleatoriedade (desistncia do tratamento) Efeito especfico x Efeitos mdios Respostas afetadas pelo critrio de seleo Efeito placebo Respostas afetadas pelo tratamento recebido por outros participantes Atrito (mecanismos de soluo do atrito dependem do tipo de dado ausente: MCAR, MAR ou NMAR)

Fora dos dados para detectar efeitos (Power analysis) Googolar isso

O que afeta a fora para detectar efeitos? Tamanho da amostra Magnitude do efeito na populao Nvel de significncia estatstica usado

~Detectando efeitos no EAC Modalidades de medidas usadas:

Efeito mdio do tratamento com participao completa (ATE) Efeito mdio do tratamento da inteno de tratar, com atrito (ITT) Efeito mdio do tratamento para os tratados com atrito (TOT) Efeito mdio do tratamento local (LATE)

~O experimento natural: Em alguns projetos sociais, a forma de seleo de indivduos acaba gerando um grupo de comparao semelhante ao grupo de tratamento em todas as caractersticas exceto a participao no programa, constituindo um experimento natural Ex.: loterias de seleo para escolas ou programas sociais

~O vis da seleo: Um dos maiores problemas de qualquer inferncia causal. Consiste em selecionar uma amostra que no aleatria, ou seja, que possui determinadas caractersticas em maior ou menor frequncia/ intensidade do que a populao que se deseja investigar

Vis observvel: permite ajustes na amostra para detectar o efeito desejado Vis no observvel: existem vrias tcnicas que procuram minimizar os efeitos do vis amostral

~Minimizando o vis de seleo Modelos de efeito fixo Uso de variveis instrumentais Uso de anlises de propenso

Para os modelos no experimentais, questionar: Qual o grupo de comparao que fornece as melhores estimativas dos impactos do programa e em quais condies eles funcionam melhor? Em quais condies, se existem, os melhores mtodos de comparao de grupos produzem estimativas do impacto do programa que so vlidas o suficiente para ser compatveis com as estimativas obtidas com experimentos controlados?

~Variveis instrumentais (IV) Usam uma varivel que correlacionada com o tratamento mas n correlacionada com o resultado para controlar o vis causado por caractersticas desconhecidas que podem estar impactando os resultados do tratamento

~Pareamento de casos Simula uma situao de EAC Amostragem intencional de um grupo de comparao,de forma a montar um grupo semelhante ao grupo de tratamento em tudo, menos o tratamento Uma forma muito usada de pareamento a anlise de propenso

~Validade Os dados e instrumentos de medida realmente esto medindo o que se deseja medir? ->Validade interna: tamanho e qualidade da amostra necessria para interpretar um experimento ->Validade externa: generalizao do resultado Em qual contexto/populao os efeitos encontrados so passveis de ser reproduzidos?