Análise de políticas públicas II

Profa Fernanda Machiaveli

UDF - Brasília
Exercício
Exercício para dia 26. Trazer o resumo dos pontos principais de um
desses textos:
 COTTA, Tereza Cristina. Metodologias de avaliação de programas e projetos sociais:
análise de resultados e de impacto. RSP Revista do Serviço Público, Brasília: ENAP, v. 49,
n. 2, p. 105-126, Abr./Jun. 1998. Informações originais da obra: RSP Ano 49 n.2 1998.
 FARIA, Carlos A.P. “A política da avaliação de políticas públicas”. Revista Brasileira de
Ciências Sociais. São Paulo: ANPOCS, v 20 n. 59, p. 97-109. 2005.
 LOBO, Thereza. “Avaliação de processos e impactos em programas sociais: algumas
questões para reflexão. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais:
uma questão em debate. São Paulo: Cortez, 1998. p. 75-84. 1998
 SAUL, Ana Maria. “Avaliação participante: uma abordagem crítico transformadora”. In:
RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São
Paulo: Cortez, 1998. p. 95-109. 1998
Exercício
Reunião para discussão dos resumos e preparação da apresentação
dos principais pontos consolidados:
 Grupo 1
◦ COTTA, Tereza Cristina. Metodologias de avaliação de programas e projetos sociais: análise de resultados e de
impacto. RSP Revista do Serviço Público, Brasília: ENAP, v. 49, n. 2, p. 105-126, Abr./Jun. 1998. Informações
originais da obra: RSP Ano 49 n.2 1998.

 Grupo 2
◦ LOBO, Thereza. “Avaliação de processos e impactos em programas sociais: algumas questões para reflexão. In:
RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p.
75-84. 1998

 Grupo 2
◦ SAUL, Ana Maria. “Avaliação participante: uma abordagem crítico transformadora”. In: RICO, Elizabeth Melo
(Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 95-109. 1998

 Grupo 3
◦ FARIA, Carlos A.P. “A política da avaliação de políticas públicas”. Revista Brasileira de Ciências Sociais. São
Paulo: ANPOCS, v 20 n. 59, p. 97-109. 2005.
Tipos de avaliação
Fernanda Machiaveli
UDF Brasilia
Em função de quem realiza a avaliação

Avaliação externa

• realizada por pessoas de fora da instituição responsável pelo programa, em geral com experiência neste tipo de atividade.
• Vantagens: a isenção e objetividade dos avaliadores externos, que não estão diretamente implicados com o processo, além da possibilidade de comparação dos resultados obtidos com os
de outros programas similares já analisados.
• Por outro lado, o acesso aos dados necessários torna-se mais difícil e os que vão ter seu trabalho avaliado podem se colocar em posição defensiva, fornecendo informações parciais e
minimizando o efeito de melhoria dos programas. Alega-se, também, que o conhecimento da metodologia de avaliação pode não substituir o conhecimento sobre as especificidades do
programa, e que não existe uma única metodologia aplicável a todos os casos.

Avaliação Interna

• realizada dentro da instituição responsável, com maior colaboração das pessoas que participam do programa.
• Vantagens: eliminação da resistência natural a um avaliador externo, a possibilidade de reflexão e aprendizagem e compreensão sobre a atividade realizada dentro da
instituição.
• Mas pode-se perder muito em objetividade, já que os que julgam estão, também, envolvidos, tendo formulado e executado o programa. Se a avaliação for realizada
internamente à instituição, mas por pessoas que não participam do programa, na tentativa de diminuir a subjetividade, a situação torna-se análoga à do avaliador externo.
Em função de quem realiza a avaliação

Avaliação mista

• procura combinar os tipos de avaliação anteriores, fazendo com que os avaliadores externos tenham contato
estreito com os participantes do programa a ser avaliado, na tentativa de manter as vantagens e superar as
desvantagens das avaliações apresentadas acima.

Avaliação participativa

• Objetivo é minimizar distância entre avaliador e beneficiários. Prevê a participação dos

beneficiários das ações no planejamento, na programação, execução e avaliação dos mesmos.
Em função do momento em que é realizada

Avaliações formativas

• estão relacionadas à formação do programa.

• Adotadas durante a implementação, são voltadas para a análise e produção de informação sobre as etapas de implementação.
• Geram informações para os que estão diretamente envolvidos com o programa, com o objetivo de fornecer elementos para a
realização de correções de procedimentos para melhorar o programa.

Avaliações somativas

• estão relacionadas à análise e produção de informações sobre etapas posteriores. São realizadas
quando o programa está sendo implementado há algum tempo ou após a sua implementação, para
verificar a sua efetividade e fazer o julgamento do seu valor geral.
Avaliação ex-ante e ex-post

Avaliação ex-ante

• realizada ao começo de um programa, com o fito de dar suporte à decisão de implementar ou não o programa, e ordenar os vários projetos segundo
sua eficiência para alcançar os objetivos determinados. O elemento central da avaliação ex-ante é o diagnóstico, que auxilia na alocação dos recursos
disponíveis de acordo com os objetivos propostos. Para esta avaliação podem ser utilizadas as técnicas de Análise Custo-Benefício e Análise Custo-
Efetividade, mais afeita aos programas sociais.

Avaliação ex-post

• realizada durante a execução de um programa ou ao seu final, quando as decisões são baseadas nos resultados alcançados. Neste tipo de avaliação julga-se, quando
um programa está em execução, se ele deve continuar ou não, com base nos resultados obtidos até o momento e, se a resposta for positiva, se deve manter a
formulação original ou sofrer modificações. Quando o programa já foi concluído, julga-se a pertinência do uso futuro da experiência, ou seja, se o mesmo tipo de
programa deve ser implementado novamente ou não. A avaliação ex-post é a mais desenvolvida metodologicamente e a que tem tido maior aplicação.
Avaliação de metas (ou de eficácia)
 Avaliação da relação entre os objetivos específicos
ou metas estabelecidos de um dado programa e
objetivos alcançados
 Avaliação de metas é o tipo mais tradicional – é a
mais factível e a menos custosa
 Metas do programa são os produtos mais imediatos
(ou concretos) que dele decorrem — pessoas
atendidas em centros de saúde; número de leitos
hospitalares; número de horas de aula, entre outros
 Tem como propósito medir o grau de êxito que um
programa obtém com relação ao alcance de metas
previamente estabelecidas
 Trata-se, portanto, de uma avaliação ex-post facto,
ou seja, requer que o programa (ou uma etapa do
mesmo) tenha sido concluído para se poder avaliá-
lo.
Fonte: Costa e Castanhar, 2003; Arretche, 1998
 Avaliação de impacto (ou de efetividade)
 Exame da relação entre implementação de
um determinado programa e seus impactos
e/ou resultado, isto é, seu fracasso ou
sucesso em promover efetiva mudança nas
condições sociais prévias dos beneficiados
 Necessário demonstrar que os resultados
encontrados na realidade social estão
causalmente relacionados àquela política
particular
 Busca-se verificar não apenas se as
atividades previstas foram executadas, como
também se os resultados finais que se
esperavam foram igualmente alcançados.
 Essa abordagem é realizada após o
encerramento do programa ou de etapas do
mesmo.
Fonte: Costa e Castanhar, 2003; Arretche, 1998
Avaliação de processos
 A avaliação de processo pode ser definida como a
maneira de identificar o verdadeiro conteúdo de um
programa público, se ele está sendo realizado como
previsto, se está alcançando o público para o qual foi
concebido e se os benefícios estão sendo distribuídos
na intensidade prevista (Scheirer, 1994:40).
 Essa modalidade de avaliação se realiza
simultaneamente com o desenvolvimento do
programa, sendo também chamada de avaliação
formativa.
 Sua aplicação requer que se possam desenhar os
fluxos e processos de programa e a existência de um
adequado sistema de informações gerenciais

Fonte: Costa e Castanhar, 2003

Avaliação de processos: aplicação
 O Relatório do BID 2006 foca sua avaliação sobre os processos de formulação de políticas na
América Latina
 O objetivo é comparar as instituições e seus efeitos sobre a produção de políticas
 Brasil recebeu nota ALTA em todos os critérios, com exceção de EFICIÊNCIA E CONSIDERAÇÃO DO
INTERESSE PÚBLICO – nota MÉDIA.
 Os critérios utilizados no relatório estão expostos abaixo:
Bibliografia
 ALA-HARJA, Marjukka; HELGASON, Sigurdur. “Em direção às melhores práticas de avaliação”.
RSP Revista do Serviço Público, Brasília: ENAP, v. 51, n. 4, p. 5-60, Out. /Dez. 2000.
 COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos sociais. [Título Original: Evaluación
de proyectos sociales]. Petrópolis, RJ: Vozes, 1994.
 COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. “Avaliação de programas públicos:
desafios conceituais e metodológicos”. Revista de Administração Pública, Rio de Janeiro, v. 37,
n. 5, p. 962-969, set./out. 2003
 CUNHA, Carla Giane Soares da. Avaliação de Políticas Públicas e Programas Governamentais:
tendências recentes e experiências no Brasil. Trabalho de conclusão de Curso. 2006.
 ARRETCHE, Marta. “Tendências no estudo sobre avaliação”. In: RICO, Elizabeth Melo (Org.).
Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 29-39.
 TREVISAN, Andrei Pittol; VAN BELLEN, Hans Michael. Avaliação de políticas públicas: uma
revisão teórica de um campo em construção. Rev. Adm. Pública,  Rio de Janeiro,  v. 42,  n.
3, June  2008.   Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid
=S0034-76122008000300005&lng=en&nrm=iso
 Obrigada!
Fernanda Machiaveli
femachiaveli@gmail.com
Bibliografia para exercício
 A bibliografia para o exercício corresponde aos textos da UNIDADE
I do curso e encontram-se na xerox do CA de Ciência Política ou
foram enviadas por e-mail.
◦ Apresentações feitas em sala
◦ COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos sociais. [Título
Original: Evaluación de proyectos sociales]. Petrópolis, RJ: Vozes, 1994.
◦ COSTA, Frederico Lustosa da; CASTANHAR, José Cezar. “Avaliação de
programas públicos: desafios conceituais e metodológicos”. Revista de
Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 962-969, set./out. 2003
◦ ARRETCHE, Marta. “Tendências no estudo sobre avaliação”. In: RICO,
Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em
debate. São Paulo: Cortez, 1998. p. 29-39.
◦ ALA-HARJA, Marjukka; HELGASON, Sigurdur. “Em direção às melhores
práticas de avaliação”. RSP Revista do Serviço Público, Brasília: ENAP, v. 51,
n. 4, p. 5-60, Out. /Dez. 2000.
Exercício
 Uma política de habitação de um município foi planejada
com as seguintes características:
◦ Objetivo: reduzir em 40% o número de famílias vivendo em situação de precariedade em
terrenos irregulares e de risco
◦ Meta: Regularizar/conceder 5000 lotes em área regular
◦ Meta 2: Subsidiar em até R$4000,00 por família a construção de 5000 casas, por meio de
transferência de renda e construção em sistema de mutirão.
◦ Prazo: 36 meses
◦ Público-alvo: Famílias com renda per capita de até R$300,00
◦ Planejamento. Etapa 1 – cadastramento de famílias (Até o mês 3). Etapa 2- Liberação dos
terrenos e construção de infra-estrutura local (Até o mês 10). Etapa 3 – Regularização dos lotes
(Até o mês 15). Etapa 4 – Concessão dos lotes para as famílias (Até o mês 20). Etapa 5 –
Transferência de renda para as famílias iniciarem a construção. Valor será dividido em 6
parcelas. (Até o mês 22). Etapa 6 – Construção das casas em esquema de mutirão (Até o mês
36).
 Vcs foram contratados para fazer uma avaliação de metas e de processos. No
mês 25 referente às etapas 1 a 5. Quais as suas perguntas? O que vc irá
avaliar? Como irá proceder?