Você está na página 1de 25

EVALUATION

A SYSTEMATIC APPROACH

Disciplina: Políticas Públicas

1ª. Edição: 1979


5ª. Edição: 1993

Docente: André Ferreira


http://diariodovale.com.br/destaque/pescaria-comprova-melhoria-na-qualidade-da-agua-dos-rios/
SUMÁRIO
1 - O que é avaliação
• Respostas que se buscam com a Avaliação
• Onde Usar?
• Por que ter Avaliação?
• Exemplos de Avaliação
2 - Uma Breve História da Pesquisa de
Avaliação
• A Pesquisa de avaliação como uma Atividade de
Ciência Social
• O Boom da Pesquisa de Avaliação
• Política Social x Administração Pública
• A Emergência dos Programas de Governo
• Especialistas em Políticas e Administração Pública
• The Great Society e os seus resultados
• O Campo da Avaliação na década de 1990
3 - Pesquisa de Avaliação na Prática
• Volatilidade dos programas sociais
• Posturas de Avaliações Científicas x Posturas
Pragmáticas
• Diversidade nas Perspectivas e Abordagens de
Avaliação
4 - Visão Geral das Avaliações
• Os 3 principais Estágios do Programa
• As 3 principais classes de pesquisa de avaliação:
Programas, Políticas e Avaliações
CHAPTER
1
A avaliação é uma arena robusta direcionada para:

 Coleta
 Análise
 Interpretação de informações

Visando avaliar a:
 Necessidade de implementação
 Efetividade
 Eficiência

das PP, para melhorar o bem-estar da humanidade.


Programas, Políticas e Avaliações
Objetivos das Avaliações de Programas Sociais:
 Avaliar o valor de programas em andamento e a
necessidade de melhorá-los.
 Avaliar a utilidade de novos programas e iniciativas.
 Aumentar a eficiência do gerenciamento dos projetos.
 Satisfazer a necessidade de accountability dos sponsors.
“As avaliações podem também contribuir para evolução do
conhecimento metodológico das ciências sociais.”
As avaliações verificam:
 Planejamento: avalia a extensão e a intensidade dos problemas que requerem uma
intervenção social e o processo de elaboração de programas para melhorá-los;
 Efetividade: grau de sucesso em fornecer para o seu público alvo os recursos,
serviços e benefícios desejados pelos seus sponsors e elaboradores
 Impactos: estima os efeitos da intervenção.
 Accountabilitty
 Se um programa deve ter continuidade, ser expandido ou ser cortado.
Programas, Políticas e Avaliações
Problemas sociais
 Além das mudanças que sofrem no decorrer do
tempo nos valores e nos estilos de vida, as
comunidades, sociedades e culturas também diferem
amplamente na atenção que dispensam para os
problemas que existem.
 “For some of us these are the best of times and for others the worst of times.”
 Este livro busca ser efetivo na melhoria da qualidade de nosso ambiente físico e
social e aumentar as chances de sobrevivência individual e coletiva: aplicação de
procedimentos científicos para solução de problemas.
Histórico de Pesquisa de Avaliações:
 Thomas Hobbes e seus contemporâneos estavam preocupados
há 400 anos atrás em elaborar medidas numéricas para avaliar
as condições sociais e identificar as causas de mortalidade,
morbidade, desorganização social.
 Experimentos sociais: Pesquisa do escorbuto por um Capitão
da Marinha Inglesa. O consumo de limão pode prevenir a
vitamina C. Importante: somente 50 anos depois deste
experimento o consumo de limão foi amplamente adotado.
1 - O que é Avaliação (Pesquisa de Avaliação)

“É a aplicação sistemática de procedimentos de pesquisa social para avaliar a


conceitualização, o design, a implementação e a utilidade dos programas de
intervenção social.”
Respostas que se buscam com a Avaliação:
Qual é a natureza e o escopo dos problemas que requerem: novos programas sociais,
sua expansão ou sua modificação? Onde está localizado e quem é afetado?
Quais possíveis intervenções são mais prováveis para melhorar os problemas
significativamente?
 Quais são as populações alvos para uma particular intervenção?
 As intervenções estão alcançando sua população alvo?
 É ela efetiva?
 Qual é o custo?
 Qual é o custo relativo para sua efetividade e benefícios?
Onde Usar essas questões:
Programas amplos e complexos como Sistema Nacional de Saúde ou esforços para
manutenção de renda, bem como avaliar programas em variados campos como: testar
se um novo método de ensino de matemática vai funcionar, melhoria no programa de
segurança pública.
1 - O que é Avaliação (Pesquisa de Avaliação)
Por que ter da Avaliação?
As experiências de muitas décadas tem trazido uma perspectiva mais realística sobre
as barreiras para implantação com sucesso de programas sociais, e a magnitude dos
resultados que pode se esperar destes projetos. Em geral, o retorno dos programas
sociais apresenta pequenos ganhos, para tristeza daqueles que os defendem.

Exibith 1-A e 1-B


Avaliação de Programas - O que temos aprendido?
A pobreza não é rapidamente superada por programas,
orçamentos e profissionais bem intencionados... As pessoas
estão presas a costumes/ hábitos pelos laços pessoais, de família
e comunitários que são muito resilientes. Eles ficam ligados aos
padrões antigos através de amizades, padrões mútuos de
expectativa, conexões com os lugares, hábitos e atitudes
antigas.
“A Favela é que faz os favelados ou são os favelados que
fazem a favela?”
Mas limitação de recursos e expectativas mais realísticas dos
PS somente aumentam a necessidade de esforços de avaliação...
1 - O que é Avaliação (Pesquisa de Avaliação)
Exemplos de Avaliação:
 Maior visibilidade da Polícia não diminui crimes
 Centros de saúde comunitário em regiões de baixa renda
diminuem os custos com saúde (comparando com
ambulatórios hospitalares)
 Educação via TV para reduzir analfabetismo é questionável
 Treinamento de qualificação
• CETA desempregados crônicos (baixa efetividade)
• Job training partnership - treino na iniciativa privada
(maior efetividade)
• Workfare - contrapartida para receber benefícios (em
avaliação)

 Dieta suplementar na América Central propiciou ganhos físicos mas modestos


ganhos na capacidade cognitiva.
 Trabalho em equipe reduz absenteísmo, taxas de turnover e a ineficiência.
2 - Uma Breve História da Pesquisa de Avaliação
“O crescimento das Ciências Sociais foi de grande importância, pois foram os
primeiros centros de Pesquisa de Avaliação.”
A Pesquisa de avaliação como uma Atividade de Ciência Social:
 Os 1º trabalhos de avaliação eram em educação
(alfabetização), treinamento ocupacional e iniciativas na saúde
pública pra reduzir mortalidade e a morbidez de doenças
contagiosas.
 A partir de 1930 diversos cientistas advogavam a aplicação de
rigorosos métodos de pesquisa social para avaliação dos
programas de ação comunitários e as avaliações passaram a ser
mais frequentes (ferver a água como método de saúde pública,
estudo de liderança autoritária e democrática, Hawthorne,
eficácia de campanhas e preços para mudar hábitos
alimentares).
O Boom da Pesquisa de Avaliação
• Após a 2ª Guerra Mundial iniciou-se programas em larga escala para atender as
necessidades de desenvolvimento urbano e moradia, educação, treinamento ocupacional e
cuidados com a saúde. Houve também maior comprometimento para programas como:
planejamento familiar, nutrição e saúde e desenvolvimento comunitário rural. Os gastos
foram muito altos e foram acompanhados pela demanda para conhecer os resultados.
2 - Uma Breve História da Pesquisa de Avaliação
O Boom da Pesquisa de Avaliação (continuação)
 A partir do 1950 era comum os programas de avaliação em larga escala e a utilização de
procedimentos estatísticos tornou-se bastante difundida (programas de prevenção de
delinquência, projetos de reabilitação de criminosos, programas públicos de habitação).
 Durante a década de 1960 o número de papers e livros relativos a avaliação cresceu tanto
que no final da década , de acordo com as palavras de Wall Street, a pesquisa de avaliação
tinha se tornado uma indústria crescente nos EUA e no mundo (Programas de saúde AL,
Desenvolvimento de Agricultura comunitária na África) e incorporado métodos estatísticos
sofisticados.
 Em 1970 uma variedade de livros apareceram, incluindo críticas à qualidade metodológica
de vários estudos. O journal Evaluation Review, lançado em 1976 é amplamente lido
por pesquisadores do tema avaliação de diversas disciplinas. Há um rápido crescimento do
campo e “avaliação” tem se tornado a mais viva fronteira da Ciência Social Americana.
 O desenvolvimento dos métodos de pesquisa e aplicações estatísticas (com auxílio da
informática) muito contribuíram para o desenvolvimento do campo.
“Mas, a pesquisa de avaliação é mais do que aplicação de métodos. Ela é
também uma atividade política e gerencial, um input dentro do complexo
mosaico em que emerge as decisões políticas e alocações para o
planejamento, design, implementação e continuação de programas para
melhorar a condição humana... Assim avaliação precisa também ser vista
como uma parte integral da política social e dos movimentos da AP”
2 - Uma Breve História da Pesquisa de Avaliação
Política Social x Administração Pública
Para compreender a sobreposição entre os movimentos da
política social e da administração pública nos EUA é
necessário, além de conhecer o aumento da população e a
urbanização da sociedade, detalhar a mudança nos valores
sociais:
A Emergência dos Programas de Governo
• Programas sociais, e suas avaliações, emergiram da transferência de responsabilidade pelas
condições sociais e qualidade de vida dos cidadãos para o governo.
• Antes da 1ª Guerra Mundial o serviço social era visto essencialmente como obrigação dos
indivíduos e associações de voluntários. E os voluntários eram o bastião do serviço social.
• O governo, particularmente o federal, eram comparativamente pequeno antes de 1930. Haviam
poucos programas nacionais de saúde, educação e de bem estar. Somente para educação
pública, hoje fluem mais dólares de Washington em 6 meses, com todas restrições
orçamentárias, do que era gasto em uma década inteira no início do século XX.
• Poucas pessoas queriam trabalhar no governo, não havia critérios de competência na seleção.
• Em 1930 iniciou-se a mudança. Os serviços sociais cresceram em um ritmo rápido, devido a
grande depressão e posteriormente com a 2ª Guerra Mundial
• Pressão para adotar técnicas da administração científica (Taylor) e incorporação de
planejamento, orçamento, controle de qualidade, accountability e análise de custo-benefício.
2 - Uma Breve História da Pesquisa de Avaliação

O Desenvolvimento de Especialistas em Políticas e Administração Pública

 Houve um grande interesse acadêmico, principalmente de


cientistas políticos e economistas sobre como os governos
funcionavam.
 Lideranças do serviço público buscavam formas de lidar com
a complexidade. A partir daí reconheceram que alguns
princípios de economia, ciências políticas e sociologia
poderiam ser úteis.
 Além disto, quanto mais o governo se tornava técnico e
complexo, menos ele poderia ser conduzido por pessoas
contratadas pelo seu nível de conhecimento geral ou pelo fato
de terem parentesco ou amizades com os chefes políticos.
 Em resposta a demanda de tecnocratas, as escolas de
Administração, Saúde Pública e Assistência Social ajustaram
seus programas e criaram escolas especiais, normalmente com
título de administração pública. Assim emergiu um exército de
profissionais.
2 - Uma Breve História da Pesquisa de Avaliação
The Great Society e os seus resultados

 Atividades de avaliação tiveram o seu mais rápido crescimento


nas eras Kennedy e Johnson . A guerra a pobreza e a Great
Society, geraram grande quantidade de recursos para lidar com
desemprego, crime, deterioração urbana, acesso a cuidados
médicos e tratamento da saúde mental.
 Neste período a ênfase era avaliar os ganhos nas condições
humanas e sociais a partir dos programas sociais. Boa parte
destes programas foram implantados rapidamente , com pouco
planejamento, implementação inadequada e administração
ineficaz.
 Limitada efetividade e sérios questionamentos da relação custo
benefício, entre meados e fim dos anos 1960 demonstraram
claramente a importância de empreender programas de
avaliação tanto antes de sua implantação quanto após
modificações serem implementadas.
 A aparente falta de efetividade de muitas iniciativas, na década de 1970 aumentou
os questionamentos sobre os programas governamentais
2 - Uma Breve História da Pesquisa de Avaliação

The Great Society e os seus resultados (Continuação)

 Mudança de ideologia: durante governos Reagan e Bush, o


governo federal estava pressionado para o corte dos gastos
federais internos, visando reduzir inflação e reduzir déficits.
 Desencantamento com os resultados e implantações mal
conduzidas de uma grande parte dos programas defendidos
pelos órgãos públicos, planejadores e políticos nas últimas
décadas.
 Política fiscal conservadora: mudança de ênfase no campo
da avaliação - aumentou a preocupação em documentar os
gastos dos programas sociais, bem como o accountability e
a efetividade.
 Ellwood (1988) proposição para os EUA sucatear / substituir todo seu sistema de
bem-estar. Isto demandaria realizar novas avaliações: design, implementação,
efetividade, eficiência destes programas remodelados.
 Novos problemas emergem pedindo soluções e avaliações: Sem-Tetos, AIDS
2 - Uma Breve História da Pesquisa de Avaliação

O Campo da Avaliação na década de 1990


• Os programas sociais têm se caracterizado por um movimento pendular, mas,
fundamentalmente, se há uma perspectiva liberal ou conservadora do governo e do
público isto não muda o papel da pesquisa de avaliação na arena social.
• Sem considerar a perspectiva política, duas questões são importantes:
• Limitação de recursos: necessidade de escolher os problemas que serão priorizados.
• Intensa avaliação dos programas existentes continuarão devido a pressão para cortar
ou desmantelá-los por não haver evidências da eficácia do programa e eficiência na
entrega dos serviços.
• Mudanças na geopolítica (Dissolução União Soviética, Guerra do Golfe) afetará os
programas sociais vigentes. Um pouco mais sutil, mas também importante,
mudança de valores: redução na ênfase de ganhos salariais e maior ênfase em
atividades fora do ambiente de trabalho.

• Outro exemplo de mudança – investimento público em


saúde pública (impacto do aumento dos custos com saúde
sobre a renda dos trabalhadores).
3 - Pesquisa de Avaliação na Prática

Avaliação é uma prática que quase sempre requer revisão e modificação,


assim os avaliadores devem ser responsivos no contexto que estão atuando.

Os desafios são:

Volatilidade dos programas sociais

Características voláteis:
1) Recursos, prioridades e a influência relativa dos patrocinadores
frequentemente muda (mudança aborto “impacta” e planejamento familiar).
2) Assim como os interesses dos patrocinadores, os interesses dos
stakeholders também mudam (informações policiais e invasão de
privacidade)
3) As prioridades das organizações e agências que implementam também
podem alterar (não obrigatoriedade de implantação de cotas)
4) Problemas imprevistos: benefícios não são aceitos (faltas e auxilio saúde)
5) Problemas imprevistos na implementação (serviço de emergência, sem
custo para implementar mas com custo de manutenção)
3 - Pesquisa de Avaliação na Prática
Posturas de Avaliações Científicas x Posturas Pragmáticas

Talvez, o mais influente artigo no campo da avaliação foi de Donald


Campbell (Reforms as Experiments -1969), que realçou uma posição
ideológica que ele defendia à décadas. Para ele, as decisões de
políticas deveriam emergir de um contínuo teste dos caminhos para
melhorar a condição social e que os esforços deveriam ser enraizados
na experimentação social. A comunidade e a nação, se não o mundo,
deveriam ser vistos como um laboratório para os experimentos
sociais.

VERSUS
O contraponto é de Lee Cronbach, um grande estatístico e altamente
respeitado pesquisador. Apesar de reconhecer que investigação
científica e os esforços de avaliação poderiam usar a mesma lógica e
procedimentos de investigação, ele argumentava que a intenção da
avaliação é diferente da investigação científica. Avaliação é uma arte,
e cada avaliação representa, ou deveria representar, um esforço
idiossincrático para se ajustar as necessidades dos patrocinadores e
stakeholders (amostra estatística maior que o necessário)
3 - Pesquisa de Avaliação na Prática

Diversidade nas Perspectivas e Abordagens de


Avaliação

O campo da pesquisa de avaliação, como todas as


disciplinas e profissões, não é monolítica tanto em
termos de perspectiva conceitual quanto de abordagem
metodológica.

Com o amadurecimento e institucionalização do campo,


há um crescente interesse em identificar elementos em
comum entre as diferentes perspectivas para avançar em
direção de uma Teoria da Avaliação.

Mas não são todos os avaliadores que subscrevem a


visão de que o campo avaliação possui fronteiras claras
para distingui-la conceitualmente das ciências políticas
ou em termos processuais das regras que guiam a
pesquisa social aplicada.
4 - Visão Geral das Avaliações

As avaliações podem ser empreendidas para:

 Verificar o gerenciamento
 Necessidade de realizar mudanças no programa
 Identificar formas de melhorar a entrega das intervenções
 Atender os requisitos de accountability para os grupos de financiamento
 Testar ideias inovadoras
 Lidar com problemas comunitários
 Decidir pela expansão ou corte em programas
 Testar uma hipótese específica de ciência social

 É necessário desenhar e implantar uma avaliação tão reproduzível quanto possível,


sendo aplicável por outro sem a necessidade de ajustes.

 O procedimento de avaliação deve ser de acordo com a classe de intervenção e o


estágio que se encontra: Programa Novo, Modificação de Programa Existente ou
um programa “bem estabelecido”
4 - Visão Geral das Avaliações

As 3 principais classes de pesquisa de avaliação:

1) Conceitualização e Design: intervenções sociais podem ser vistas como respostas


para problemas comunitários incipientes ou já percebidos. Esta classe de pesquisa
avalia a conceituação do problema social e a elaboração de intervenções
apropriadas.

2) Monitoramento e Accountability da implantação dos programas: avaliar a gestão


cotidiano do projeto, mostrar aos sponsors e stakeholders que o investimento está
sendo levado adiante, se o que está sendo feito foi o que foi planejado.

3) Avaliação da eficiência e da efetividade:


 Avaliações de Impacto: implica um conjunto de objetivos operacionalmente definidos
e critérios de sucesso (ex.: redução do analfabetismo, diminuição de deficiências
nutricionais entre crianças, redução da frequência de certos crimes, diminuição da
poluição das águas e melhoria da pontualidade dos ônibus). Serve como comparação
entre programas e algumas vezes é possível utilizar grupo experimental e de controle.
 Avaliação de Eficiência: algumas vezes somente a avaliação de impacto não é
suficiente, os resultados devem ser comparados com seus custos (relação custo-
benefício).
4 - Visão Geral das Avaliações
Os 3 Principais Estágios do Programa

Uma avaliação deve ser feito sob medida para o estágio de desenvolvimento que
ela se encontra (É importante enfatizar que não claro a linha que divide
esforços de inovação, modificação e ajuste fino).

1) Avaliação de Programas Inovadores: Programas completamente novos são


relativamente raros. A maioria dos programas apresentados como novos e
inovadores são modificações de práticas existentes, neste sentido o que faz
uma intervenção ser inovadora é o tratamento específico que nunca foi
aplicado para uma determinada população, ou seja:

a) A intervenção é ainda emergente ou está na fase de pesquisa e desenvolvimento (casas


de repouso para doentes terminais sem médicos)
b) Um sistema de entrega, ou parte dele , que não tenha sido adequadamente testado
(estudantes nível médio fornecer educação e informação nutricional para os mais
velhos)
c) Os objetivos são novos ou expandidos (usar cursos de inglês em CDs para estudantes
filhos de imigrantes)
d) Objetivo era um e atingiu outro (carros – viaturas não diminui taxas de criminalidade
mas aumentou retenção de policiais)
4 - Visão Geral das Avaliações
2) Avaliação para realizar sintonia fina: uma vez no
caminho, é importante testar variações que possam
melhorar a eficácia e a eficiência (ex.: redução de
acompanhamento do tratamento de alcoolismo de 3
para 2 meses).

3) Avaliação de Programas Existentes: Programas que


tem décadas de existência também podem ser
avaliados por diversos motivos. É importante ter dados
concretos sobre seu impacto e sua relação custo-
benefício para justificar continuar, expandir ou
terminar. Avaliações podem ser provocadas por
disponibilidade de recursos, perspectivas políticas ou
prioridades dos membros das comunidades.

O foco pode ser no impacto e relação custo-benefício,


mas frequentemente tais avaliações são focadas na
entrega do serviço.
5 – Como as Avaliações são Usadas

1) Para tomada de decisão: Avaliações são utilizadas para influenciar as ações e


atividades dos stakeholders que tem, ou presumivelmente deveriam ter, uma
oportunidade de moldar suas ações com base nos resultados das avaliações.

 Decisões Go/ No Go (Binárias): São comuns nas esferas políticas e podem no


final do processo virar uma nota de rodapé, mas continuam sendo importantes.

 Desenvolvendo uma racional para ação: Algumas vezes avaliações afetam


diretamente o racional subjacente de um programa e consequentemente as
decisões profissionais, políticas e legais sobre ela (ex.: ineficácia de tratamento
psiquiátrico para presidiários)
 Legitimação e Accountability: Avaliações podem ser usadas para defender ou
atacar um determinado programa.

2) Para estudos Administrativos e de Políticas: Avaliações são mais prováveis


de serem consideradas avaliação política quando se tornam mais gerais e
fornecem dados para decisões que custam mais e são difíceis de reverter. (ex.
Vila Sésamo x Mudança do horário na repartição)
6 – Quem pode fazer Avaliações

EXHIBITH 1-N Evaluation as a Public Grazing Area

Uma metáfora que pode ser aplicada à avaliação na forma como ela é atualmente
praticada nos EUA é uma “área pública de pastagem”, em que quase todas as espécies
de ciência social podem ser encontradas. Cada espécie é capaz de usar a flora da
pastagem como alimento. Assim, economistas podem converter problemas de
avaliação em estudos micro e macroeconômicos. Psicólogos podem encontrar um
grande número de oportunidades para desenvolver a psicologia comunitária, teoria das
decisões cognitivas ou pesquisa do desenvolvimento infantil. Assim a lista de felizes
ruminantes é longa.