Avaliao de Polticas Pblicas

Parte IV Planos de Avaliao de Impacto

Planejando a Avaliao de Impacto

1) 2)

Entender o programa e como ele gera impacto; Explicitar os objetivos da avaliao;

3)
4) 5) 6) 7)

Elaborar o plano de avaliao;

Executar o plano de avaliao; Definir e estimar o modelo emprico de impacto; Discutir resultados com os interessados; Elaborar relatrio final.

O que um Modelo de Impacto do Programa?

Definio Uma abstrao simplificada do programa e do seu impacto potencial. Apresenta as partes ou elementos principais do programa e suas relaes. frequentemente representado de forma esquemtica Os Modelos nos ajudam a: Visualizar de uma forma clara e sinttica um programa. identificar as relaes entre vrios componentes. pensar de forma mais analtica sobre causa e efeito. identificar hipteses chave que possam ser testadas.

Lgica dos Modelos de Resultados do Programa

Se dermos treinamento aos desempregados, a sua qualidade de vida ir melhorar e a taxa geral de pobreza ir se reduzir. Qual o modelo?

Desempregados Treinamento Emprego Aumento da Renda Reduo da Pobreza

Modelo de Resultados do Programa

Insumos

Atividades
Servios
treinamento

Produtos Produtos
nmero de aulas horas de servio nmero de participantes

Resultados
Benefcios
novo conhecimento

Impactos
Mudanas

Recursos
dinheiro
pessoal voluntrios fornecimentos

educao
orientao

habilidades acrescidas melhoria de condies mudana de atitudes novo comportamento

Perguntas Orientadoras para Definio do Modelo

Determinando Suas Perguntas

Qual a finalidade do seu estudo?

Considere as finalidades e os objetivos do programa Considere quem so os interessados

Escolha as suas perguntas de avaliao Quem quer saber? Por que que querem saber? Como sero utilizados os resultados? O que mais importante?

O que que voc quer saber?

Tipos de Perguntas

1. Perguntas Descritivas: O que 2. Perguntas Normativas: O que deveria ser 3. Perguntas de Impacto ou Causa/Efeito: Que diferena faz?

Pergunta Descritiva

Procura compreender ou descrever um programa ou processo. Fornece uma viso do que Perguntas jornalsticas:

quem, o qu, onde, quando, como e quanto? Pode ser usada para descrever: insumos, atividades, produtos

Quem so os beneficirios do programa? Quais so as caractersticas do programa? Onde se desenvolve o programa? Quando foi implementado o programa? Como reagem os participantes em relao ao programa? Quanto custou o programa?

Perguntas Normativas
Observa o que e compara com o que deveria ser: Estamos a fazer o que previsto? Estamos atingindo o nosso alvo? Podem ser utilizadas para responder a questes sobre insumos e produtos.

Gastamos tanto quanto tinhamos previsto? Alcanamos o nosso objetivo de admitir 5,000 estudantes por ano? Vacinamos 80% das crianas como foi planejado? Drenamos 100,000 hectares no ano passado? Alcanamos o nosso objetivo de capacitar X por ano? Alcanamos uma cobertura de 80% das PMIE da regio Y? Instalamos Z postos de atendimento no ano passado? Contratamos N agentes de crdito?

Perguntas de Impacto ou Causa-Efeito

Os participantes do programa tm novas habilidades? Eles tm empregos melhor remunerados? A taxa de pobreza diminuiu? As PMIE tm menor taxa mortalidade? As PMIE geram mais ocupao? Aumentou a renda familiar dos microempresrios? As PMIE esto mais fortalecidas?

Por que Interessa Esse Tipo de Pergunta?

Para sabermos se um programa causou uma mudana, queremos estabelecer causalidade. Um impacto uma consequncia do projeto/programa. A mudana pode ser atribuda ao projeto/programa?

necessria uma teoria lgica que relacione projetos/programas com os resultados/impactos. A relao tem que fazer sentido. Exemplo: o aumento do nmero de cegonhas e um aumento do nmero de nascimentos numa rea geogrfica no significa que cegonhas causem nascimentos! Voc tem que estabelecer uma ordem cronolgica. Uma alterao na varivel independente tem que ocorrer antes ou ao mesmo tempo que uma alterao na varivel dependente Voc tem que eliminar todas as outras explicaes rivais plausveis. Voc tem que mostrar que no existem outras variveis que realmente expliquem a relao observada.

Plano de Pesquisa para Avaliao

Duas questes bsicas: 1. a estratgia geral e sistemtica sobre como coletar e analisar dados para responder s suas perguntas de avaliao. 2. No caso de avaliao de impacto, como voc ir controlar outros fatores de forma a conseguir aferir o efeito do seu programa (o grande desafio).

Precisa ter Consistncia Interna

Ou seja: em que medida o plano permite a voc verificar que foi o programa que causou as mudanas observadas, e no outros fatores?

Ameaas Consistncia Interna

Histria: Outros acontecimento tambm ocorreram durante o perodo de estudo. Maturidade: Mudana no ciclo de vida (p.ex. as habilidades aumentam com a idade - experincia). Verificao: Respostas propositadamente tendenciosas Instrumentalizao Alteraes na metodologia da coleta de dados, Instrumentos, procedimentos ou medidas em relao a planos comparativos, anteriores ou posteriores

Importncia do Plano
O plano permite a voc: eliminar ou reduzir outras explicaes possveis; conhecer melhor as ameaas e limitaes da pesquisa.

Plano deve indicar como:

controlar a implementao obter medidas antes e depois do programa ter sido implementado obter medidas entre grupos que receberam o programa e outros que no o receberam controlar quem recebe o programa Obter uma distribuio aleatria

Anlise Antes-Depois

Se um programa faz a diferena, algo deve mudar. As medidas de antes e depois permitem que voc determine se algo mudou. A medida de antes funciona como ponto de partida, marco zero ou linha de base. Mesmo que voc calcule a mudana, isto no significa, necessariamente, que o seu programa causou essa mudana.

Anlise Antes-Depois

Exemplo: Programa de Treinamento Objetivo: aumentar o nmero de trabalhadores qualificados Resultado: Aps a implementao do programa, uma elevada percentagem dos qualificados conseguiram emprego Que outro fator, alm do programa, pode ter causado isto? Como poder ser fortalecido o plano de pesquisa, de forma que voc possa obter uma medida mais exata do impacto do programa de treinamento?

Os Grupos de Comparao ou Controle

Se o programa atender a algumas pessoas e no a outras, voc pode ento observar se aqueles que participaram do programa mudaram mais do que aqueles que no participaram.

Exemplo: Programa de Treinamento

Se o programa de treinamento fez alguma diferena, ento uma maior percentagem dos que participaram do programa estaro empregados do que os que no participaram, mantendo tudo o resto constante.

Constatao: aqueles que foram treinados pelo programa apresentaram uma proporo maior de empregados do que aqueles que no participaram do programa.

Mas que outros fatores podero explicar estes resultados? Para assegurar que o grupo que recebe o programa e o grupo que no o recebe tem igual representatividade, use a distribuio aleatria. Ao distribuir aleatoriamente as pessoas, voc garante que diferenas de educao, histrico de trabalho, situaes familiares, motivao, fatores externos etc. sejam aproximadamente iguais para ambos os grupos.

Voc consegue

controlar a Implementao do Programa? organizar o plano de forma a obter medidas antes e depois do programa? encontrar um grupo de comparao? distribuir aleatoriamente as pessoas que receberam o treinamento e as que no receberam?

Tipos de Plano

Experimental Quasi-Experimental No-Experimental

Plano Experimental

Elementos chave: Distribuio aleatria Medidas antes e depois Comparao entre grupos (com e sem o programa) A O1 X O2 A O1 O2 A indica distribuio Aleatria O a Observao ou medida X o Programa (ou tratamento)

Plano Experimental

Exemplo: Avaliao de impacto do microcrdito. Como construir o experimento? o plano mais poderoso para estabelecer relaes de causaefeito:

Elimina a maior parte das outras explicaes plausveis para os resultados obtidos. Controla o tratamento A distribuio aleatria garante a possibilidade de comparao entre os dois grupos.

Desvantagens: no so muito simpticos na distribuio, so mais caros, mais demorados, e requer um acopanhamento intenso.

Quase Experimental

Quase significa que no h distribuio aleatria! Elementos chave: Comparao (com e sem o programa) Pode incluir medidas antes e depois O1 X O2 Grupo de Programa O1 O2 Grupo de Controle Grupos

Combinaes de pares Grupos de comparao no-equivalentes

Desvantagens: No podemos controlar por fatores no-observados de entrada nos programas que facilitam suas performances. Ex. Postura empreendedora natural dos microempresrios faz deles mais propensos a demandar crdito e ter melhores performances.

Quase Experimental: Plano com Controles Estatsticos

til quando queremos medir o impacto de um programa no caso em que no possvel distribuir pessoas para os programas. Segunda Avaliao 5 anos depois do programa ter sido implementado.

Os trabalhadores treinados esto melhor alocados do que aqueles que no foram treinados pelo programa?

Coleta informao sobre todos os trabalhadores treinados ou no, ocupados nos ltimos 5 anos. Separa em dois grupos: os que receberam treinamento e os que no receberam. Compara o tipo de emprego e remunerao de ambos os grupos.

Quase Experimental: Plano com Controles Estatsticos

Voc pode controlar o impacto de outros fatores como idade, sexo, rea geogrfica Utilizados quando voc no pode controlar o processo de decidir a quem cabe o tratamento. Pode haver parcialidade na seleo. So frequentemente utilizados em pesquisas com impacto de mudanas institucionais.

Planos No Experimentais
Elementos Chave: No h distribuio aleatria Pode no haver medidas antes do programa Pode no haver comparao Plano Antes e Depois O X O1 Limitaes: metodologia de coleta pode mudar e no existe grupo de comparao. Comparao Esttica de Grupos X O1 O1 Limitaes: Grupos podem ser heterogneos.

Estratgia de Coleta de Dados

A deciso depende de: o que voc quer saber

nmeros ou estrias;
ambiente, arquivos, pessoas, documentos, locais;

onde esto os dados

recursos disponveis

Uma Escolha Chave

Quantitativa

usa-se quando quiser fazer anlise estatstica, quiser ser exato, saber exatamente o que se quer medir ou quiser analisar um grupo grande usa-se quando quiser estrias ou informaes detalhadas, quando no tiver a certeza do que quer medir ou quando no houver necessidade de quantificar

Qualitativa

Critrio de comparao Foco Tipo de Estudo Objetivo da Investigao Caractersticas do Plano de Pesquisa Amostra Meios de Coleta dos Dados Modo de Anlise Forma de Apresentao dos Resultados

Pesquisa Quantitativa Quantidade (quanto) Experimental ou Quase Experimental Descrever, prever, testar hipteses Predeterminado e estruturado, envolvendo grupo de comparao Grande, aleatria, representativa Testes, questionrios Dedutivo (mtodos estatsticos) Anlise de nmeros, relaes, sries estatsticas, tabelas e grficos

Pesquisa Qualitativa Qualidade (natureza) Interpretativa, Estudo de Caso Descrever e entender o fenmeno, Descobrir o significado e gerar hipteses Flexvel, evolutivo, emergente, sem envolver grupo de comparao Pequena, no aleatria, proposital Entrevistas, observaes, grupos focais Indutivo (pelo pesquisador) Narrativa, enfatizando a compreenso do fenmeno de forma precisa.

Tipos de Coleta de Dados

Observaes Dados disponveis Questionrios Entrevistas individuais Pesquisas telefnicas, fax, internet Grupos focais

Regras Gerais

Utilize dados vlidos disponveis se j existirem.

Mais rpido, barato e fcil coletados os dados definidas as variveis

Descubra de que forma foram:

assegurada a exatido dos dados

Se voc tiver que coletar dados primrios:

Estabelea os procedimentos a serem seguidos Mantenha registros precisos de definies, codificaes Faa o Pr-teste de seu instrumento Verifique a exatido da codificao, entrada de dados

Observao
Observao do Ambiente Observao sem o conhecimento do participante Observao com o conhecimento do participante Exemplos: Observe as atividades num agrupamento de pequeno comrcio. Observe a distribuio das atividades no centro de uma grande cidade. Observe a intensidade de trfico numa localidade. Vantagens:

situao ou comportamento real (no relatado por outros) informao atual.

Desvantagens:

subjetividade do observador problema de codificao pode exigir intensidade de trabalho e ser custosa.

Dados Disponveis

Arquivos e registros Bases de dados existentes Relatrios Dados de Censos Documentos (oramentos, polticas e procedimentos, quadros organizacionais, descries de posies etc.)

Verificar se os dados disponveis so: Vlidos Confiveis Precisos Questes relevantes: Como operacionalizaram as suas medidas? Como coletaram os dados? Como asseguraram a preciso na coleta e transcrio dos dados?

Instrumento de Coleta de Dados

Coleta sistemtica de dados arquivos ou documentos formulrio que especifique exatamente que dados voc quer estabelecer regras de deciso Treinar codificadores Anlisar criticamente os dados Vantagens:

frequentemente mais barato e rpido do que voc mesmo ter que coletar os dados.

Desvantagens:

Os dados exatos que voc necessita podem no estar disponveis Pode ter dificuldade de acesso aos dados Erros na base de dados

Pesquisas
Pesquisa Por Correio Geralmente Muito Estruturada Relativamente barata Demora muito tempo para desenvolver e implementar Fcil de analisar Inflexvel a erros Deve demorar pouco

Quanto ao Questionrio

Utilize linguagem clara, simples Fomente uma gama de respostas Coloque uma s questo de cada vez Focalize experincias atuais Deixe sadas (sem opinio, no aplicvel) Faa o Pr-teste

Para melhorar as taxas de respostas

boa apresentao de fcil preenchimento carta assinada endereado ao prprio, envelope com selo oferea algum incentivo

Pesquisa por Telefone

Geralmente Muito Estruturado Perguntas simples Tempo para Desenvolver Fcil de analisar Moderadamente caro Forma rpida de recolher dados Boa taxa de resposta Interativo Pouco tempo para responder pode comprometer a qualidade da informao.

Entrevistas Pessoais

Estruturadas ou no estruturadas Podem ser complexas Detalhadas Caras Passveis de erros Podem durar uma hora ou mais

Grupos Focais

Grupos pequenos (6-12 pessoas) Ambiente confortvel essencial um bom facilitador Facilitador e algum para fazer anotaes Se possvel gravar ou filmar Colocar poucas questes de resposta aberta Quantas? At que no surjam novos temas Lanche, Incentivos (Brindes), assistncia etc.

Grupos Focais

Perguntas tpicas: O que voc aprendeu no curso X que til nas suas atividades profissionais? Quais so os seus maiores desafios em fazer uma avaliao de polticas pblicas? O que deveria ser lecionado no curso de avaliao de polticas pblicas para que vocs estivessem preparados para realizar (ou analisar) uma avaliao? Vantagens:

relativamente rpidos podem ser menos caros (tempo da equipe) do que entrevistas detalhadas fornece flexibilidade para fazer alteraes no processo pode examinar diferentes perspectivas anlise: consome muito tempo risco de subjetividade na interpretao necessidade de controlar participantes dominantes

Desvantagens:

Exige habilidade, sensibilidade e preparao do pesquisador

Combinaes

Geralmente utiliza-se vrias abordagens, de forma a que as fraquezas de uma sejam balanceadas pelas foras de outra. Combinaes possveis Incluir algumas perguntas de resposta aberta num questionrio de perguntas fechadas Colocar algumas questes de resposta fechada numa entrevista. Conduzir grupos focais para ajudar a desenvolver perguntas de pesquisa Conduzir grupos focais para explorar os resultados de uma pesquisa

AMOSTRAGEM

Coleta de Dados Da populao inteira?

Todos os arquivos, todas as ruas, todos os domiclios, todos os casos, todas as pessoas?

Quando se pode, o recomendvel. Mas, frequentemente no se pode:

restries de tempo e custo

Vantagens da Amostra

Uma amostra aleatria e representativa permite fazermos estimativas sobre uma populao com base no que aprendemos do subconjunto. Vantagens:

Elimina a subjetividade da seleo. Possibilita a generalizao dos resultados de menor custo e com menos tempo.

Conceitos Importantes

Populao: o conjunto total de unidades observacionais. Amostra: um subconjunto da populao Plano Amostral: mtodos de amostragem

probabilstico ou no-probabilstico

Parmetros: caractersticas da populao

Amostragem Aleatria

Cada unidade observacional tem igual probabilidade de ser selecionada Desafio: Disponibilidade de uma listagem completa de toda a populao para selecionar uma amostra.

A Seleo Aleatria

A partir de uma listagem completa de toda a populao

Atribuir um nmero a cada observao Nmeros aleatrios A equiprobabilidade

Selecionar aleatoriamente a amostra

Amostra Aleatria Simples

Subconjunto da populao total Exemplo: Uma seleo a partir de uma lista de todos os desempregados que receberam treinamento (ou dos microempresrios que receberam microcrdito)

Amostra Aleatria Estratificada

A populao separada em estratos (ou grupos).

de cada estrato aleatoriamente tomada uma amostra (pode ser maior do que a simples)

Exemplo: Populao de Desempregados estratificada por sexo (escolaridade)

Uma amostra aleatria de homens e uma amostra aleatria de mulheres (ou por grupo de anos de estudo) so selecionadas

Amostras por Grupos

til quando voc no tem uma listagem completa de toda a populao.

Se voc quiser fazer uma pesquisa sobre o perfil dos consumidores de um produto X no Cear. Provelmente voc no tem uma lista deles completa, ou seria muito oneroso trabalhar todo o Estado.

Seleciona aleatoriamente as localidade Obtm uma lista dos consumidores por localidade Seleciona os consumidores aleatoriamente de cada localidade

Amostragem no probabilstica (intencional)

Seus resultados no podem ser generalizados. O tamanho da amostra no to importante, mas deve ser grande o suficiente para que dar conta do problema de anlise

Tamanho da Amostra

O tamanho da amostra uma funo de:

tamanho da populao nvel de confiana desejado margem de erro aceitvel

z 2 pqN n ( N 1)e 2 z 2 pq

Em geral, exatido e preciso melhoram quando se aumenta o tamanho da amostra. N = tamanho da populao, n = tamanho da amostra, z = 1,96 (para o intervalo adotado de 95%), e = 0,05 (erro adotado), p = 0,5 (proporo populacional que garante o maior intervalo possvel), q = 1 p = 0,5. Regra de bolso: a maior amostra aleatria possvel que os custos permitirem.

ANLISE DE DADOS

Tipos de anlise: Quantitativa Qualitativa

Anlise Quantitativa

No caso de uma s varivel Distribuio de Freqncia (Percentagem) Medidas de Tendncia Central

Mdias, Medianas, Modas

Medidas de Disperso

Desvio Padro Coeficiente de variao

No caso de 2 variveis Estatsticas Descritivas Comparao de Mdias Tabelas cruzadas Grficos

Medidas de Tendncia Central: Exemplo: Qual a escolaridade mdia dos empregados e dos desempregados? Teste de diferena de mdias: Existe diferena significativa entre as mdias?

t = (m1-m2)\s(1-2)

Medidas de Associao Quo forte a associao? Algumas medidas de associao variam entre zero e 1 (magnitude) Outras variam entre -1 e +1 (magnitude e direo)

Relaes Causais

Associao no prova Causalidade! Causalidade implica que um fenmeno explicado por outro. Exemplo: Y = f (X), ou seja: X Y, e no o contrrio Necessidade de modelos de regresso mais completos.

Exemplo: Avaliao de Impacto do CREDIAMIGO Yit = Y(Xit, Wit, Zit, Dit, eit) Onde: Y um indicador de fortalecimento da microempresa i, no momento t; Xit o conjunto de caractersticas da microempresa; Wit o conjunto de caractersticas da famlia do microempresrio que captam a importncia da microempresa na determinao das condies de vida da famlia; Zit o grau de interao do microempresrio i com os demais microempresrios e a sua participao em associaes, instituies ou trabalho em grupo; Dit um conjunto de variveis binrias que procuram captar as diferenas entre os clientes do microcrdito e os no clientes; eit o erro.

A proposta avaliar o impacto em dois momentos, ou seja, num ponto inicial e um ano depois, a pesquisa ser realizada em duas etapas, permitindo-se estimar o impacto do CREDIAMIGO da seguinte forma: Yit+1 - Yit = Y(Xit+1 - Xit , Wit+1 - Wit , Zit+1 - Zit , Dit+1 - Dit, eit+1 - eit) No detalhamento do projeto sero indicadas as tcnicas estatsticas a serem utilizadas e os sinais esperados entre a varivel dependente e as independentes.