AVALIAÇÃO DE POLÍTICAS PÚBLICAS

análise ex ante

APRESENTAÇÃO

 caráter didático e norteador

1 O PAPEL DA ANÁLISE EX ANTE
1 INTRODUÇÃO
 aplicáveis em todos os órgãos, fundos, autarquias e fundações do governo
federal.
2 QUANDO EXECUTAR A ANÁLISE EX ANTE
1. Criação de política pública
2. Expansão de política pública
3. Aperfeiçoamento de política pública: avaliação ex post constatou que o
desempenho da política foi baixo ou insatisfatório

2 DIAGNÓSTICO DO PROBLEMA
1 INTRODUÇÃO
 priorizar alguns problemas, pois alguns são causas e outros são consequências

2 IDENTIFICAÇÃO DO PROBLEMA
 qual grupo ou segmento da população é mais afetado, sua distribuição geográfica.

3 CAUSAS POTENCIAIS DO PROBLEMA

 brainstorming, após, priorização
 árvore do problema: ajuda a destacar a(s) causa(s) principal(ais) e focalizar a
política pública. Contém:
o o problema central a ser atacado;
o as causas potenciais e o relacionamento entre elas; e
o as consequências.

4 DADOS QUANTITATIVOS ACERCA DO PROBLEMA

 elaborados ou por fontes secundárias; os dados em si não evidenciam
automaticamente o problema em análise. O que o evidencia é a sua associação,
por exemplo, com um desajuste.
  Evidências na realidade brasileira: problema público relevante e devidamente
fundamentado.
 Comparação internacional: devem levar em consideração as diferenças
socioeconômicas, territoriais e institucionais entre os países.

5 ALINHAMENTO COM METAS E COMPROMISSOS INTERNACIONAIS

 compromissos internacionais assumidos pelo Brasil, quando houver.

6 POLÍTICAS ADOTADAS PARA ENFRENTAR O MESMO PROBLEMA

 estudos e avaliações sobre as experiências de políticas públicas em execução e
aquelas descontinuadas destinadas a combater o mesmo problema da política em
proposição.
o Em execução: aperfeiçoar, evitar redundâncias e favorecer a integração
dessas políticas.
o Descontinuadas: entender o quê houve e explicar o porquê agora vai dar
certo atacar o mesmo problema.
 Estudar se é replicável. Algumas experiências são exitosas porque são cercadas
de circunstâncias e condições que as favorecem, enquanto outras são prejudicadas
pela ausência de iguais circunstâncias e condições ou pelo fato de elas serem
totalmente adversas.

7 RAZÕES PARA QUE O PROBLEMA SEJA ALVO DE INTERVENÇÃO DO

ESTADO
 constitucional e normativa: obrigação de fazer;
 econômica: funções alocativa, redistributiva e estabilizadora;
 uma das alternativas é a não intervenção no problema e sua tendência natural de
evolução.

8 ANÁLISE DO DIAGNÓSTICO (FONTE DO PROBLEMA)

 dentro da proposta apresentada, outra equipe do ministério poderia realizar a
análise do diagnóstico.

3 DESENHO DA POLÍTICA E SUA CARACTERIZAÇÃO

1 INTRODUÇÃO
 atuar sobre a fonte ou a causa desse problema, solucionando-o ou, pelo menos,
amenizando-o.
 desenho ideal formulado: talvez não seja integralmente aplicado, mas servirá para
orientar a ação pública.

2 OBJETIVO DA POLÍTICA PÚBLICA

  atuar sobre a fonte/causa do problema para solucionar ou minimizar;
 precisa ser: essencial, controlável, mensurável, operacional, decomposto, conciso
e inteligível;
o Essencial : o conjunto de objetivos deve ter hierarquias ou prioridades;
o Conciso/decomposto: quanto mais conciso ou simples é o objetivo, menor
é a necessidade de decomposição da estratégia de ação;
o Mensurável: uso de indicadores apropriados torna o objetivo
mensurável ou, pelo menos, qualificado;
o Proporcionam avaliar, ao final da ação pública (ex post), se os resultados
efetivos condizem com o objetivo previsto.

3 PÚBLICO-ALVO
 Ocorrem transbordamentos (externalidades) entre o público de interesse e outros
indiretamente afetados pela ação pública;
 A unidade do público-alvo pode ser definida como pessoas, famílias, empresas;
o População potencial: é caracterizada por toda a população que
possivelmente esteja envolvida no problema diagnosticado;
o População elegível: parcela da população potencial que poderá
efetivamente se candidatar ao programa, por atender aos critérios de
elegibilidade definidos na política proposta;
o População priorizada: deve ser definida quando há excesso de demanda.

4 METAS DE ENTREGA DE PRODUTOS

 A definição de metas quantitativas é essencial para a avaliação da eficácia,
eficiência e efetividade da política.
 criação, expansão ou aperfeiçoamento de ação governamental que acarrete aumento da
despesa será acompanhado de:
I - estimativa do impacto orçamentário-financeiro no exercício em que deva entrar em
vigor e nos dois subsequentes;
o o gestor deve estabelecer metas de entrega de produtos ou benefícios para
o período de três anos, indicando a continuidade da política.

5 COBERTURA DA POLÍTICA
 estimar a cobertura da população a ser atendida

6 SELEÇÃO DOS BENEFICIÁRIOS

 elaborado e analisado antes que a política seja implementada
o definição direta dos beneficiários finais;
o ou seleção a partir de critérios elegíveis dos interessados.

7 AÇÕES A SEREM EXECUTADAS: MEIOS E INSTRUMENTOS

  instrumentos orçamentários: (receitas e despesas, incluídas as financeiras;
 instrumentos extraorçamentários: incentivos e benefícios fiscais e financeiros.

8 ATORES ENVOLVIDOS
 entes públicos e privados;
 priorizar a descentralização e mútuo apoio entre os entes públicos.

9 ANÁLISE SOBRE A CARACTERIZAÇÃO DA POLÍTICA

 Cumprir a função essencial de desenvolvimento com equidade e sustentabilidade;

4 DESENHO DA POLÍTICA: MODELO LÓGICO, FUNDAMENTAÇÃO

E ANÁLISE SWOT
1 INTRODUÇÃO
2 MODELO LÓGICO
 Teoria do programa: ideia explícita das consequências de uma possível ação que
intervenha sobre um problema. Incide sobre as causas do problema, projetando
seus resultados e impactos de longo prazo. É uma forma de ilustrar como, a partir
de um conjunto de processos, chega-se aos resultados desejados.
o Dada uma necessidade (problema) circunscrita a um contexto específico,
propõe-se o uso de recursos (insumos) para efetivação de um conjunto de
processos que vão gerar produtos e que, por sua vez, deverão implicar
determinados efeitos (resultados/impactos).
 Sugere-se que a teoria seja descrita informando: se (descreva o desenho do
programa), então (descreva os resultados), o que então levará a (descreva os
impactos).
 Tal passo é importante para que se verifique, antes de mais nada, a consistência
lógica do que se pretende fazer, de modo que fique absolutamente claro em que
medida os recursos e os processos a serem despendidos e realizados podem ser
tomados como diretamente responsáveis por produzir o que se vislumbra como
resultado e se vislumbra como impacto.
 O modelo lógico é composto por: insumos, atividades, produtos, resultados e
impactos. É importante insistir que cada componente do modelo é logicamente
conectado ao seguinte. Portanto, não existe atividade se os insumos não foram
previstos e disponibilizados:

o Insumos: recursos necessários, sejam humanos, financeiros.

o Atividades: ações e os serviços realizados; desenhadas na forma de
processos, ou seja, atividades encadeadas por um passo a passo.
 o Produtos: (outputs) os frutos diretos e quantificáveis das atividades da
política; Ex.: número de beneficiários servidos, do número de horas de
duração de uma intervenção.
o Resultados: (outcomes) são mudanças observadas no curto
prazo sobre indivíduos. Devem ser observáveis e mensuráveis.
 observar ou simular uma comparação
dos beneficiários pós-intervenção em relação a um contrafactual
o Impactos: mudanças de mais longo prazo. “resultados dos resultados”.
Devem ser mensuráveis e a constatação de sua causalidade também
requererá comparação a um contrafactual.
 Os objetivos orientam os grandes impactos pretendidos pelo programa
 é preciso construir indicadores de produtos, de resultados e de impactos

3 INDICADORES
 Não é preciso que todos os aspectos de uma política sejam medidos.
 Indicadores possíveis nem sempre representam de forma completa uma situação
a ser acompanhada
 Modelo SMART de indicadores:
o específicos (specific)
o mensuráveis (measurable)
o atribuíveis (achievable): a meta estabelecida por um indicador deve ser
alcançável e realista em relação ao contexto
o relevantes (relevant)
o temporalmente regulares (time)
 É necessário atrelar metas a tais aspectos, ou seja, definir quantitativa e
qualitativamente a partir de que grau as mudanças
geradas pela política serão consideradas satisfatórias.
 Indicadores de insumo e produto: são aspectos básicos ao monitoramento, ou às
avaliações ditas formativas, feitas quando a política ainda não teve tempo
suficiente para gerar resultados. Trata-se de indicadores de avaliação do grau de
implementação.
o Indicadores de produto fornecem elementos a serem considerados para
eventuais ajustes na implementação, revelando problemas nos insumos,
nas atividades ou, o que é mais grave, na teoria do programa.
 A causalidade entre os componentes de uma intervenção não pode ser constatada
simplesmente olhando-se para a diferença entre os valores dos indicadores pré e
pós-intervenção, porém esses indicadores são base para a construção de um
comparativo.
 No âmbito de processos, encontram-se os indicadores de insumos e atividades.
Custos é um exemplo de indicador de processo.
 Indicadores de produto devem ser sempre quantificáveis. Ex.: uantidade de
estruturas físicas implantadas, número de beneficiários atendidos (total, por
unidade, por funcionários etc.), porcentagem de beneficiários satisfeitos com o
programa, entre outros.
  Indicadores de resultados: componentes de resultados e impactos do modelo
lógico. Identificam e quantificam as mudanças ocorridas na realidade do público-
alvo de um programa entre seu início e fim. Trata-se de parâmetros como
alterações da renda, do desempenho dos alunos, da confiança dos beneficiários,
da qualidade de vida de determinada comunidade.
4 PERÍODO DE VIGÊNCIA DA PROPOSTA
 Após período apontado, é importante avaliar a política executada, o que pode
perpassar por uma avaliação de diagnóstico, para saber se o problema se mantém
e por uma avaliação de resultados, a fim de se certificar que os resultados
esperados estão sendo alcançados com a política.

5 FUNDAMENTAÇÃO
 Evidências justificando o desenho da política
 Simulações e outras evidências do tamanho do impacto esperado do programa
 Relação com outras políticas públicas: possibilidade de sobreposição,
complementariedade
 ANÁLISE SWOT:
o avaliar as forças, fraquezas, oportunidades e ameaças referentes ao
desenho do programa;
o Oportunidades e ameaças descrevem características, situações ou
contextos fora do âmbito da instituição.
o
5 IMPACTO ORÇAMENTÁRIO E FINANCEIRO
1 OBJETIVOS DA ANÁLISE DO IMPACTO ORÇAMENTÁRIO E FINANCEIRO
2 ASPECTOS FISCAIS
 LRF: é preciso demonstrar que o impacto orçamentário da despesa pública foi
adequadamente contemplado no cômputo da meta de resultado fiscal prevista
para o exercício.
o LRF: observar o Relatório Bimestral de Avaliação de Receitas e Despesas
Primárias, que busca verificar se a arrecadação efetivamente realizada no
período é suficiente para financiar as despesas previstas.
o Art. 16. A criação, expansão ou aperfeiçoamento de ação governamental
que acarrete aumento da despesa será acompanhado de:
I – estimativa do impacto orçamentário-financeiro no exercício em que
deva entrar em vigor e nos dois subsequentes;
o Criação de despesas obrigatórias de caráter continuado:
“a despesa corrente derivada de lei, medida provisória ou ato
administrativo normativo que fixem para o ente a obrigação legal de sua
execução por um período superior a dois exercícios”
De forma similar às despesas que representem criação, expansão ou
aperfeiçoamento de ação governamental (e que acarretem aumento da
despesa), a geração de despesas obrigatórias de caráter continuado
(DOCC) deverá ser acompanhada de estimativa do impacto
 orçamentário-financeiro no exercício em que deva entrar em vigor e nos
dois subsequentes
duas regras:
 i) comprovação de que a despesa criada ou aumentada não afetará
as metas de resultadosfiscais previstas no Anexo de Metas Fiscais
da LDO; e
 ii) indicação de que, nos períodos seguintes, seus efeitos
financeiros serão compensados pelo aumento permanente de
receita ou pela redução permanente de despesa.
o Renúncia de receita
“anistia, remissão, subsídio, crédito presumido, concessão de isenção em
caráter não geral, alteração de alíquota ou modificação de base de cálculo
que implique redução discriminada de tributos ou contribuições, e outros
benefícios que correspondam a tratamento diferenciado”
 Deverá estar acompanhada de estimativa do impacto
orçamentário-financeiro no exercício em que deva iniciar sua
vigência e nos dois seguintes;
 estar acompanhada de medidas de compensação, no período mencionado
no caput, por meio do aumento de receita, proveniente da elevação de
alíquotas, ampliação da base de cálculo, majoração ou criação de tributo
ou contribuição.

3 ASPECTOS ORÇAMENTÁRIOS
 PPA: as políticas públicas setoriais devem, necessariamente, constar do PPA.
 LDO
 LOA
6 ESTRATÉGIA DE IMPLEMENTAÇÃO
1 INTRODUÇÃO
 É nessa fase que são produzidos os resultados concretos da política pública.
 Descreve quais os instrumentos disponíveis ou a serem constituídos, e a forma de
execução.
 O plano de implementação deve vir acompanhado de um plano de gestão de
riscos.

2 MODELO DE GESTÃO E GOVERNANÇA

 As políticas públicas não envolvem apenas uma operação de ordem técnica, mas
interfaces com um grande número de atores e com distintas políticas públicas
– assistência social, justiça e cidadania, segurança pública, transporte.
 Modelos de gestão: maneira como os atores determinam e operam os insumos e
processos que geram produtos. Se debruça sobre os aspectos que foram
especificados no modelo lógico, organizando soluções técnicas e tecnológicas.
o Liderança empreendedora, capacitação de pessoal, estruturação de
sistemas informatizados de “entrada” (registro de demandas) e “saída”
 (respostas, produtos), controle da execução orçamentária e financeira,
compras, análise e gestão de riscos, entre outros, são aspectos próprios da
gestão, pois é ela que define também os procedimentos de monitoramento,
avaliação e controle que dirão se uma política está indo bem ou mal e que
ajustes são necessários.
 Modelos de governança: definem quem comanda, quem coordena, quem
acompanha (supervisiona) e quem gera a política.
o Competências e atribuições.
o Centralizada: Gov. Federal; / Descentralizada: outro ente, com
transferência de recursos.
o Concentrado: órgão; / Desconcentrado: vários órgãos ou unidades do
órgão.
o Hierárquica / Em rede
o Insulada e fechada (poucos participantes, ou todos de uma
mesma organização) / Aberta e participativa.
o Esses modelos de governança não são excludentes entre si, mas podem ser
combinados.

3 ARRANJOS INSTITUCIONAIS DE IMPLEMENTAÇÃO

 Formular políticas consistentes requer um estudo prévio de como articular os
atores que mais influem sobre a busca de soluções.
 Os arranjos institucionais de implementação são a combinação de regras,
mecanismos e processos com os quais uma política conta para garantir os insumos
necessários e propiciar a interação coordenada de diversos atores, sejam eles os
copartícipes na decisão, parceiros de implementação, beneficiários, ou
interessados na transparência e na avaliação.
 A articulação implica uma oferta de incentivos à cooperação, por parte de quem
propõe, como forma de induzir ações coordenadas. A modulação a ser encontrada
entre incentivos e limites é o cerne do que se denomina pactuação. O pacto em
torno da política é firmado quando as ofertas e expectativas do propositor se
ajustam às capacidades, aos interesses e às ideias dos parceiros de implementação
e avaliação.

4 INSTRUMENTOS NORMATIVOS
 Importância da apresentação da base legal
 Implementação de forma direta:
o Ação orçamentária executada diretamente pela unidade responsável
 Implementação de forma indireta:
o Descentralizada/delegada: competência da União, executado por outro
ente da Federação com recursos repassados pela União
o Transferência:
 Obrigatória: operação especial que transfere recursos da União,
por determinação constitucional, a outro ente federado.
 Outras: transferência de recursos a entidades públicas ou privadas
sem fins lucrativos, organizações não governamentais e outras
instituições, que não decorram de determinação constitucional ou
legal
o Linha de crédito: empréstimo de recursos aos beneficiários
da operação, seja ente público ou privado
5 PLANO DE COMUNICAÇÃO
 Executado durante todas as etapas da política
 Contemplam minimamente uma matriz de comunicação que utilize a ferramenta
“5W2H” e um detalhamento do processo de comunicação.
 Bem como todos os demais planos de estruturação das políticas públicas, não deve
ser um documento estático. Ao contrário, o referido plano deve ser passível de
atualizações e implementações a serem realizadas pelos gestores envolvidos
ao longo da condução da política pública.

6 GESTÃO DE RISCOS
 Devem ser fornecidas informações quanto aos principais riscos envolvidos na
implementação da política pública, bem como dos meios a serem utilizados
para o seu tratamento.
 Internos e externos à instituição.
o Pode-se escolher evitar o risco, agindo preventivamente para
eliminar sua fonte;
o Mitigá-lo, tanto por meio da redução da probabilidade de sua ocorrência;
o Assumi-lo, aceitando suas consequências ativamente (com um plano de
contingência) ou passivamente (com inação).
o Transferir o risco para terceiros, levando em consideração os trade-offs
associados a essa transferência.
 É preciso salientar que podem existir riscos com resultados positivos sobre os
objetivos, também chamados de oportunidades, que podem ou não ser incluídos
na gestão de riscos.
 Etapas do processo de gestão de riscos:
o O contexto pode ser definido como a soma dos ambientes interno e externo
nos quais ela estará inserida.
o Identificação de risco: gerar uma lista abrangente de riscos, através de:
 Brainstorming;
 Entrevistas;
 Análise de listas de verificação de riscos: verificar as listas de
riscos previamente identificadas pelo gestor sobre processos ou
programas similares;
 Técnica Delphi: questionário; especialistas em riscos; respostas
são resumidas; respostas são resumidas; anonimato; consenso;
 Aproveitamento da utilização da matriz Swot.
o Análise de riscos:
  Desenvolver sua compreensão, servindo de insumo para sua
avaliação e a consequente decisão sobre a necessidade ou não de
tratamento;
 Identificar as causas e as fontes de riscos, internos e externos, suas
consequências positivas e negativas, e a probabilidade de que essas
consequências possam ocorrer;
 Matriz de Probabilidade x Impacto: probabilidade (P) de
ocorrência do risco e do impacto (I) (consequência) na política
pública, caso o risco se concretize (grau do risco equivale a PxI);
 Matriz GUT – Gravidade, Urgência e Tendência, a partir dos riscos
oriundos das ameaças e fraquezas constantes na matriz Swot.
o Tratamento de riscos: seleção de uma ou mais opções para atuar em suas
causas ou consequências e a implementação dessas opções.
o A escolha da resposta adequada para cada risco depende do apetite ao
risco da entidade pública, que é um aspecto que deve, preferencialmente,
ser decidido pelos responsáveis pela governança da organização. Ao
defini-lo, a organização poderá mostrar em seu diagrama de risco qual a
zona de aceitação ou não aos riscos de implementação.
 Após o tratamento dado ao risco, tem-se o risco residual, que é aquele que
continua a existir mesmo após as respostas ao risco terem sido implementadas.

7 ESTRATÉGIA DE CONSTRUÇÃO DE CONFIANÇA E SUPORTE

1 INTRODUÇÃO
 Relação direta entre alto grau de confiança de uma política e suas chances de
sucesso: no plano da população como um todo; entre as partes diretamente
interessadas; e entre as lideranças políticas. Todas essas três partes podem afetar
positiva e negativamente para a política pública.
2 CONFIANÇA E SUPORTE
 Em alguns casos, alta confiança e alto suporte podem compensar um desenho ou
uma implementação não perfeitos. Da mesma forma, deficiências de confiança e
suporte podem comprometer o impacto de uma política bem desenhada e bem
implementada. Em certas ocasiões, existe um trade-off entre o desenho ideal, do
ponto de vista teórico, e o desenho subótimo, mas que tem maior aceitação da
população.

3 AVALIANDO CONFIANÇA E SUPORTE

4 SOLUÇÕES PARA FALTA DE CONFIANÇA E SUPORTE
 Consultas públicas: incorpore contribuições na formulação de políticas,
demonstra que o governo está comprometido em acessar qualquer informação que
possa guiar suas políticas e também aberto à apreciação do público.
 Comunicação e dados abertos: contribui muito para a confiança da população.
Melhoram a efetividade e accountability do governo.
  Colaboração coletiva: permitir que cidadãos influenciem polí-
ticas públicas ao compartilhar ideias e opiniões.

5 FAZENDO UM PLANO DE AÇÃO PARA CONSTRUIR LEGITIMIDADE

 elencar os três elementos de pior desempenho na autoavaliação e detalhar ações
que podem ser tomadas para superar fraquezas e manter pontos fortes.

6 ANÁLISE DA CONFIANÇA E DO SUPORTE

 Uma estratégia de confiança e suporte robusta deve endereçar os anseios e os
interesses de cada um dos grupos identificados como relevantes: a população
como um todo; os agentes diretamente interessados; e a liderança política.

8 ESTRATÉGIA DE MONITORAMENTO, AVALIAÇÃO E CONTROLE

1 INTRODUÇÃO
 Permite realizar ajustes ao longo de sua execução.
 a avaliação e o monitoramento são atividades contínuas e integradas, de forma a:
i) medir continuadamente; ii) comparar o resultado obtido e o previsto; e iii) tomar
decisões sobre medidas corretivas que reduzam falhas e elevem a eficiência.
 O controle se refere aos mecanismos implantados para verificar se a realização
das ações de uma determinada política não se desvia dos objetivos ou das normas
e princípios que a regem.

2 MONITORAMENTO
 Desenvolvido a partir do modelo lógico.
 Estudos: podem ser preliminares, para estabelecer comparações e determinar
marcos para o monitoramento, ou avaliativos, para verificar a efetividade da
política.
 Pesquisas de opinião

3 CONTROLE SOCIAL
 Participação social
 Transparência/governo eletrônico

4 FORTALECIMENTO DA REGULAÇÃO E SUPERVISÃO

5 ARTICULAÇÃO ENTRE PROGRAMAS SOCIAIS
6 AUDITORIA E FISCALIZAÇÃO
  Permitem a verificação desde a conformidade a normas até o desempenho das
políticas (a eficiência, a eficácia e a efetividade).
 As auditorias e as fiscalizações são realizadas pelas controladorias (controle
interno) e pelos tribunais de contas (controle externo).

9 MENSURAÇÃO DO RETORNO ECONÔMICO E SOCIAL

1 INTRODUÇÃO
 Demonstrar que do ponto de vista econômico e social, os benefícios superam os
custos. Por se tratar de uma análise ex ante, em que terá que fazer diversas
hipóteses, principalmente, para mensurar os benefícios.

2 CONTEXTO INSTITUCIONAL
 Restrições econômicas
 Restrições institucionais

3 ANÁLISE DE CUSTO-BENEFÍCIO
 Um determinado objetivo pode ser atingido a partir de variados desenhos.
 Em princípio, a regra é que um benefício deve ser valorado, a menos que isso seja
impraticável, e, neste caso, todos os benefícios, diretos ou indiretos, devem ser
considerados.
 Desconto temporal para a obtenção do valor presente.

análise ex post

APRESENTAÇÃO
 Ferramenta fundamental para orientar a tomada de decisão durante – ou após – a
execução de uma política pública.
 Diretrizes de governança pública:
o avaliar as propostas de criação, expansão ou aperfeiçoamento de políticas
públicas e de concessão de incentivos fiscais e aferir, sempre que possível,
seus custos e benefícios;
o manter processo decisório orientado pelas evidências, pela conformidade
legal, pela qualidade regulatória, pela desburocratização e pelo apoio à
participação da sociedade.
 Por ter esta obra caráter orientativo, as avaliações apresentadas não são
vinculantes.
PREFÁCIO
 Propor aprimoramentos ou mesmo dizer se tal política deve ser suspensa ou
substituída.

1 O PAPEL DA AVALIAÇÃO DE POLÍTICAS PÚBLICAS NO GOVERNO

FEDERAL
1 INTRODUÇÃO
 Enquanto a análise ex ante objetiva promover uma reflexão em nível mais elevado
quando da criação, expansão ou aperfeiçoamento de políticas públicas, a avaliação
ex post é um instrumento relevante para a tomada de decisões ao longo da
execução da política.

2 AVALIAÇÃO DE POLÍTICA PÚBLICA

 Avaliações formativas: são “geralmente adotadas durante a implementação de um
programa como meio de se adquirir mais conhecimento quanto a um
processo de aprendizagem para o qual se deseja contribuir" e tem como propósito
"apoiar e melhorar a gestão, a implementação e o desenvolvimento do
programa”.
 Avaliações somativas: são "conduzidas frequentemente quando o programa já está
implementado há algum tempo (avaliação ex post) para o estudo de
sua eficácia e o julgamento de seu valor geral" e são "tipicamente utilizadas como
meio de assistir à alocação de recursos ou na promoção de mais responsabilidade".
 A avaliação deve ser conduzida preferencialmente por outros órgãos
independentes, não diretamente responsáveis pela execução da política pública.

3 EXPERIÊNCIAS DO GOVERNO FEDERAL EM AVALIAÇÃO

4 APRIMORAMENTO DO SISTEMA DE AVALIAÇÃO DE POLÍTICAS
PÚBLICAS
 Comitê Interministerial de Governança (CIG): papel de liderança e de instância
estratégica na coordenação e coerências das ações do governo, por meio das
diretrizes e recomendações à administração pública federal direta, autárquica e
fundacional.
 Comitê de Monitoramento e Avaliação de Políticas Públicas Federais (Cmap):
responsável pela coordenação do monitoramento e avaliação de políticas públicas
financiadas por gastos diretos da União.
 Comitê de Monitoramento e Avaliação dos Subsídios da União (Cmas): monitorar
e avaliar, de forma contínua, as políticas públicas financiadas por Subsídios da
União.

 As avaliações são executadas também por organizações da sociedade civil, como

universidades e centros de pesquisas. Quanto mais avaliações disponíveis, melhor
será a qualidade do debate e das propostas de aprimoramento das políticas
públicas.
 A avaliação não pode ser um fim em si mesmo, mas um processo de melhoria da
política pública.
 Administração pública federal adotou o ePing com padrão de interoperabilidade
de tecnologia de compartilhamento da informação e da comunicação. A ideia é
que os vários órgãos do governo funcionem como uma única organização sob o
ponto de vista dos fluxos de informação, facilitando o controle de políticas.

5 LINHAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS

 Avaliação executiva: porta de entrada para outras avaliações. Permite, de forma
prática e rápida, identificar em qual elemento ou em qual processo da cadeia de
valor da política há maior chance de ocorrerem aprimoramentos.
2 INFLUÊNCIA DAS AVALIAÇÕES NO ORÇAMENTO
1 INTRODUÇÃO
2 O QUE SÃO AS LEIS ORÇAMENTÁRIAS?
3 EFICIÊNCIA ALOCATIVA, EFICIÊNCIA OPERACIONAL E ECONOMICIDADE
 A economicidade é alcançada quando o custo é o menor possível.

4 RESPOSTAS QUE INTERESSAM AO ORÇAMENTO PÚBLICO

5 COMO USAR OS RESULTADOS DAS AVALIAÇÕES NO ORÇAMENTO?
 Mesmo nos casos das despesas obrigatórias, existe uma margem para que
o Poder Executivo implemente administrativamente os resultados das avaliações
sem a necessidade de alteração da legislação. Ex.: uma avaliação
dessa política pública pode constatar que certos beneficiários deixaram de ser
elegíveis.

6 AVALIAÇÃO E INTERAÇÕES POLÍTICAS NA RETROALIMENTAÇÃO DO

ORÇAMENTO
 A vinculação entre os resultados da avaliação e o orçamento, em regra, não
é imediata, necessitando do “convencimento” dos tomadores de decisão, o que
pode levar algum tempo.
 Rupturas abruptas da política pública, em especial aquelas que impactam
diretamente a vida dos cidadãos, não são bem recebidas pelos tomadores de
decisão. Nesse sentido, torna-se uma prática buscar prever transições.

7 VALIDAÇÃO ESTRATÉGICA DAS AVALIAÇÕES: O PAPEL DO CIG

AVALIAÇÃO EXECUTIVA
3 AVALIAÇÃO EXECUTIVA
1 INTRODUÇÃO
 Panorama geral acerca de determinada política pública. Para incidir
tempestivamente é uma abordagem mais rápida, realizada em um período de
quatro a seis meses.
 Espera-se que seja possível identificar fragilidades relacionadas ao seu desenho,
à sua gestão e implementação.
 Nem tudo pode ser avaliado, devido ao tempo e aos custos. A avaliação executiva
permite selecionar a abordagem de análise aprofundada mais adequada e
pertinente à situação corrente da política pública.

2 PASSO A PASSO PARA A REALIZAÇÃO DA AVALIAÇÃO EXECUTIVA

1. Descrição geral: histórico, normas, instituições envolvidas;
2. Análise/diagnóstico do problema e das suas causas-alvo da intervenção da
política pública. Investigar se a identificação anterior foi correta, se a estrutura
lógica formulada na etapa ex ante da política ainda é válida, se a população afetada
e a sua distribuição geográfica continuam as mesmas;
3. Desenho da política: modelo lógico, incentivos existentes e forma de acesso à
política. Na avaliação ex post, o modelo lógico permite comparar o que era
esperado da política com o que se realizou com a sua execução até o momento
atual;
4. Implementação: descrição de como foi a implementação da política;
5. Governança: checar se a política possui mecanismos de liderança, estratégia e
controle que permitam avaliar, direcionar e monitorar a gestão;
6. Resultados: espera-se que o exame dos indicadores qualitativos e da análise
observacional dos indicadores quantitativos de resultados funcionem como
parâmetros de acompanhamento da intervenção;
7. Impactos: analisa se há evidências de que ela cumpre os seus objetivos conforme
indicadores quantitativos do modelo lógico;
8. Execução das despesas orçamentárias e dos subsídios da União;
9. Insights sobre eficiência e economicidade do gasto: devem seguir aquilo que foi
originalmente especificado no modelo lógico. Analisados dentro de um contexto,
levando-se em conta eventos externos à política.
10. Recomendações: o objetivo é estudar a política e traçar conclusões sobre o seu
desempenho global, com recomendações de aprimoramento de rápida
identificação.

AVALIAÇÕES ESPECÍFICAS
4 ANÁLISE DE DIAGNÓSTICO DO PROBLEMA
1 INTRODUÇÃO
 Tem como finalidade assegurar que o diagnóstico que ensejou a criação dessa
política estava correto e verificar se tal percepção se mantém atual.
 Avançar com a primeira verificação desenvolvida na avaliação executiva.
2 PASSO A PASSO PARA A ANÁLISE DO DIAGNÓSTICO DO PROBLEMA
 Atualização da descrição do problema.
o Árvore do problema: a meta é estudar as raízes do problema e os seus
efeitos gerados.
o Árvore do objetivo: formulação de soluções com o intuito de visualizar
alternativas que mitiguem o problema em foco. Auxilia na identificação
de políticas alternativas

 Fundamentação das relações de causa-problema-efeito.

o Analisar se há estudos e evidências que mostram essa relação causa-
problema-efeito. Nos diagramas vistos anteriormente, apenas
estabeleceram-se hipóteses, que podem ser ou não comprovadas
pela literatura empírica.
o Realizado através de revisão sistemática e meta-síntese (ambos sintetisam
estudos sobre a área do problema).
 Dados e indicadores do problema.
o Específicos, mensuráveis, atribuíveis, relevantes e temporalmente
regulares – SMART.
 Público-alvo.
o Verificar se está corretamente atendido de se se mantém o mesmo.
 Alinhamento com metas e compromissos nacionais e internacionais.
 Abordagem integrada de intervenção
o Método FSD (fragmentação, sobreposição, duplicidade e lacunas).
 Problema atacado em várias frentes diferentes.
 Geram efeitos positivos e negativos.
 Soluções encontradas para o problema nas experiências internacionais.
 Recomendações.

5 AVALIAÇÃO DE DESENHO
1 INTRODUÇÃO
 Revisitar o desenho estabelecido na formulação da política, analisando os
pressupostos assumidos anteriormente, as evidências mais recentes – tanto
 para a performance do desenho atual quanto para desenhos alternativos
experimentados em políticas similares –, os incentivos gerados, a população a ser
focalizada e priorizada.
 A avaliação de desenho engloba a análise da teoria do programa, verificando a sua
consistência e lógica, ou coerência interna.

2 PASSO A PASSO PARA A AVALIAÇÃO DE DESENHO

 Revisão do modelo lógico

o Permite examinar o nexo causal entre as distintas etapas.
o Está implícita a teoria do programa por meio da sequência dos seus
componentes
 Indicadores relacionados ao modelo lógico
o Deve haver um conjunto de indicadores disponível para cada estágio da
política idealmente fixado já na etapa ex ante de avaliação
 Análise da teoria do programa
o A teoria do programa contempla outros elementos, que vão além do
modelo lógico, como as premissas ou as hipóteses, os mecanismos de
mudanças, os riscos envolvidos, o contexto em que ocorre a intervenção e
eventuais fatores externos que podem interferir no andamento da política.
o É a clareza dessa teoria que deve expor de forma objetiva como os insumos
e os processos utilizados podem ser responsáveis diretos pelos produtos,
resultados e impactos planejados.
o “se [atividades] geram [produtos], isto deveria levar a [resultados
intermediários] que ao final melhorarão [resultados finais], contribuindo
para o [propósito/impacto]”
 Identificação de fatores relevantes de contexto
o O grau de confiança de uma teoria do programa não depende apenas da
sua consistência lógica, mas também de fatores externos que devem ser
cumpridos para que a cadeia causal estabelecida seja válida.
 Identificação de falhas e erros no desenho da política
 Peso morto: a política tende a gerar resultados que ocorreriam de
qualquer maneira;
 Vazamento: Benefícios da política entregues a outros que não
sejam o público-alvo;
 Substituição: o efeito da política favorece um grupo em prejuízo
de outro;
 Deslocamento: resultados positivos são contrabalanceados por
resultados negativos da mesma política em outros grupos ou locais;
o Definição e identificação da população elegível: verificar se estão sendo
atendidas as populações alvo e se estão sendo gerados desincentivos.
 o Ambiente institucional: desenho organizacional e institucional
da política, como o relacionamento entre os atores responsáveis pela sua
execução, naturalmente determinam os produtos, os resultados e os
impactos da intervenção. Coalizões e grupos de interesse.
o Controle: desenho da política deve prever mecanismo de controle;
 Accountability:
 Enforcement: é a previsão, no desenho da política, de
mecanismos de sanção no caso de descumprimento do que
foi acordado na regulamentação e nas regras da política;
 Responsividade: abarca os mecanismos de
prestação de contas da política;
 Transparência: portais de consulta para a sociedade e
postura de dados abertos
o Incentivos
 Para cada stakeholder (executores e os beneficiários) da política
em questão, deve ser avaliado qual é o incentivo existente para
a sua atuação na intervenção.
 Recomendações

6 AVALIAÇÃO DE IMPLEMENTAÇÃO
1 INTRODUÇÃO
 Tem como objetivo avaliar se a política é executada conforme o seu desenho
identificando se os elos entre os insumos, os processos e os produtos estão
condizentes com o esperado, ou mesmo se podem ser aprimorados ou deve ser
rediscutido o desenho.
 A execução da avaliação de implementação, em muitos casos, antecede a
realização da avaliação de impacto, pois isso mitiga a possibilidade de se
despender recursos e esforços para mensurar os impactos de uma política que pode
estar com falhas graves na sua implementação.

2 PASSO A PASSO DA AVALIAÇÃO DE IMPLEMENTAÇÃO

 Definição do objetivo da avaliação: identificação e avaliação dos riscos da política
e estruturação das questões de avaliação.
o De forma a evitar avaliações muito extensas, sugere-se selecionar apenas
uma dimensão de performance (economicidade, eficiência ou
eficácia).
o Definida a dimensão de performance, identificados os riscos de maior
relevância e feita a avaliação preliminar dos respectivos controles, devem-
se definir os objetivos da avaliação. Esses objetivos devem ser escritos em
forma de questões avaliativas, isto é, que exijam dos avaliadores
conclusões acerca dos fatos verificados em comparação com o critério.
 Definição de critérios de performance: o estado desejado (“o que deve ser”)
  Definição de escopo e avaliação da necessidade de amostragem
o Amostragem probabilística: nível de confiança e erro conhecido.
Resultados podem ser generalizados.
o Amostras não probabilísticas: critérios subjetivos. Resultados não podem
ser generalizados.
o Com relação ao período de cobertura da política, último item do escopo, é
importante selecionar um período que abranja pelo menos um ciclo de
execução da política pública, no caso de políticas continuadas. Ideal é
trabalhar com períodos mais recentes.
 Definição de técnicas e instrumentos de avaliação:
o Podem ser utilizados técnicas e instrumentos como entrevista (em grupo
ou individual), inspeção, observação, coleta de dados quantitativos e
qualitativos, análise de documentos, utilização de bases de dados e análise
estatística de dados quantitativos.
o Caso a avaliação demande coleta de dados em diversos lugares ou por
equipes diferentes, é recomendável a realização de avaliação-piloto.
 Execução da avaliação:
o Se não estiver sendo eficaz, o avaliador pode considerar alterar as técnicas
e os instrumentos de evidenciação, coletar mais evidências ou até mesmo
rever o objetivo inicial do trabalho, o escopo ou o critério de performance.
o Encerrada a fase de coleta de dados e após a conclusão de que as
evidências são suficientes e apropriadas, deve-se comparar a situação
encontrada (evidência: “o que é”) com a situação idealizada (critério de
performance: “o que deve ser”).
 Recomendações

7 AVALIAÇÃO DE GOVERNANÇA DA POLÍTICA PÚBLICA

1 INTRODUÇÃO
 Mecanismos de liderança, estratégia e controle
 Definição de papéis e responsabilidades na estrutura de gestão

2 PASSO A PASSO PARA A AVALIAÇÃO DE GOVERNANÇA

 Estruturação da governança
o Identificação do objetivo
o Definição dos elementos de avaliação e dos pontos de vista dos decisores
da política
o Definição dos descritores
 Descritores: descrições dos níveis de desempenho dos critérios da
política que sejam considerados essenciais pelos decisores dessa
política – em seus pontos de vista fundamentais e elementares.
  Execução
o Definição dos níveis bom, neutro e não atrativo
 os participantes apontam se aquele descritor se encontra em um
nível bom, neutro ou não atrativo
o Construção da função de valor dos descritores
o Aplicação do modelo
 Após o desenvolvimento do modelo de avaliação da governança e
dadefinição dos pesos para cada descritor utilizado na descrição
dos critérios da política, começa a captação da opinião (sobre esses
critérios e esses descritores) do conjunto de atores envolvidos com
a política além dos decisores, o que ocorre de forma presencial ou
eletrônica. O importante nesta fase é envolver o máximo de
pessoas possível, ampliando a participação e eliminando a
influência de eventuais vieses de seleção.
 Recomendações
o A metodologia proposta permite constatar quais são os pontos fortes da
governança, a partir dos critérios que estiverem com nota no nível bom.
Os critérios com nota entre os níveis bom e neutro precisam ser avaliados
caso a caso, verificando quais são aqueles que demandam maior atenção.
E há alguns critérios abaixo do nível neutro, considerados os pontos fracos
da governança da política, que demandariam as primeiras medidas de
melhoria.

8 AVALIAÇÃO DE RESULTADOS
1 INTRODUÇÃO
 Em alguns aspectos, a avaliação de resultados se assemelha às atividades de
monitoramento. A diferença consiste em que o monitoramento se restringe aos
indicadores diretamente relacionados à execução da política pública, enquanto a
avaliação de resultados é mais ampla, permitindo analisar a população
beneficiária sob as mais diferentes dimensões, inclusive por meio de indicadores
indiretamente ligados à política.

2 PASSO A PASSO PARA A AVALIAÇÃO DE RESULTADOS

 Identificação dos resultados esperados da política:
o O modelo lógico demonstra como os insumos e os processos geram
produtos, resultados e seus respectivos impactos. Os insumos, os
processos e os produtos compõem a fase de implementação, que está sob
o controle e a responsabilidade direta dos gestores da política. As
realizações consistem nos resultados e impactos que, embora sejam de
responsabilidade dos gestores, não estão sob seu controle direto, uma vez
que estão sujeitos às variações comportamentais dos beneficiários, do
ambiente e da interação dos agentes.
 o A partir da teoria do programa é possível visualizar uma cadeia de
resultados esperados pela implementação da política. Porém, esses
resultados estarão contaminados por diversos fatores, e, por isso, é
importante ter clareza de que o produto dessa avaliação não é causal.
 Planejamento da avaliação de resultados
o O modelo Smart auxilia no processo de escolha de indicadores;
o Após definição das perguntas, segue com a definição de benchmarks
(referências):
 tempo – benchmarks que comparam a mesma política ao longo do
tempo;
 espaço – benchmarks que comparam a mesma política em
diferentes locais; e
 unidade – benchmarks que comparam a política com outras
semelhantes.
 Definição da coleta de informações
o Observações naturais
o Estudos de caso
 difícil obter uma amostra representativa da população; a
generalização dos resultados não é importante; são necessárias
informações aprofundadas, geralmente descritivas; ou os casos a
serem estudados são extremamente complexos.
o Pesquisas
 Se utilizar a técnica de amostragem probabilística pode ter
resultados generalizados.
 pesquisas transversais (cross-sectional) – informações
coletadas em um único ponto no tempo.
 pesquisas de painel – informações coletadas em dois ou
mais pontos no tempo.
 Definição de métodos de avaliação:
o Métodos quantitativos e qualitativos
 Análise dos resultados
o mesmo que os resultados tenham sido satisfatórios, também é necessário
buscar explicações, uma vez que uma multiplicidade de fatores não
planejados e exógenos pode ter influenciado a trajetória de implementação
da política
o deve focar em questões que complementam as avaliações de impacto,
como as percepções dos usuários diretos da política pública.
o a avaliação de resultados lida somente com dados observáveis,
estabelecendo hipóteses e correlações, enquanto apenas a avaliação de
impacto é capaz de estabelecer relação causal.
 Recomendações
o Um ponto a ser lembrado é que avaliações de resultados não têm como
objetivo examinar se as metas alcançadas impactaram o público-alvo ou a
situação-alvo e de que forma (algo feito por avaliações de impacto), mas,
sim, analisar se as metas alcançadas estão de acordo com o que foi
planejado para aquela política.
9 AVALIAÇÃO DE IMPACTO
1 INTRODUÇÃO
 Busca quantificar os efeitos causais da política. Uma vez quantificados
os resultados causais de uma política, é importante utilizá-los para realizar uma
análise de custo-benefício, ou um dos outros indicadores de sua viabilidade
econômica, para ter a resposta sobre se vale a pena executar a política.
 A avaliação de impacto pode ser executada em projetos piloto antes da expansão
da política pública, o que permite inclusive testar desenhos diferentes da política
e evitar desperdício de recursos com políticas que não gerem os resultados e os
impactos propostos.

2 CAUSALIDADE EM AVALIAÇÃO DE IMPACTO

 A avaliação de impacto se baseia num conceito particular de causalidade. Para A
causar B, é necessário que todos os outros efeitos causadores de B estejam
devidamente controlados, para que apenas A reste como o inequívoco causador do
fenômeno.
 Correlação não é causalidade: constatar que a variável Y tende a
se elevar quando a variável X aumenta (ou diminui) é bastante diferente de
verificar que a variável X causa a variável Y.
 O papel da avaliação de impacto será o de isolar o resultado
que é devido à política sob análise daquilo que é consequência de eventos
simultâneos.
 Viés de seleção: a avaliação de impacto deve separar quanto do resultado se deve
ao efeito da política em questão e quanto se deve às características dos
beneficiários selecionados.
 A validade interna de uma avaliação de impacto se refere à sua capacidade em
estimar uma relação causal.
 A validade externa está relacionada à possibilidade de o resultado de uma
avaliação de impacto ser generalizado para uma população de interesse, que
extrapole o grupo de participantes utilizado na avaliação.

3 OS MÉTODOS DE AVALIAÇÃO DE IMPACTO

 Método experimental: seleção aleatorizada
o Selecionar um grupo contrafactual aleatoriamente entre a população alvo
e comparar com os beneficiados pela política pública
 Métodos não experimentais: faz uso de hipóteses para construir um grupo de
controle que represente o contrafactual desejado
o Diferença em diferenças: a primeira corresponde à subtração
da média do indicador de resultado entre os períodos pré e pós-política
para os grupos de tratamento e controle, e a segunda, à subtração dessas
primeiras diferenças entre os dois grupos.
o Controle sintético: o método procura “sintetizar” um grupo
de controle que é obtido pela combinação de um conjunto de unidades não
 afetadas pela intervenção, de forma que a trajetória do indicador de
resultado desse grupo sintetizado se assemelhe à trajetória da unidade
tratada nos períodos anteriores à intervenção (ceteris paribus).
o Seleção aleatorizada parcialmente cumprida: sorteados que desistem e não
sorteados penetras.

4 CRITÉRIOS MÍNIMOS PARA A AVALIAÇÃO DE IMPACTO

 Descrição da política e seus diversos componentes
 Especificar variáveis de resultados que serão avaliadas
 Determinar como será isolado o efeito da política
 Determinar sobre quem o impacto será estimado
 Determinar quando o impacto será estimado
 Estimar magnitude e precisão do impacto
 Apresentar orçamento factível e razoável
 Testes de mecanismos

10 AVALIAÇÃO ECONÔMICA OU RETORNO ECONÔMICO E SOCIAL

1 INTRODUÇÃO
 Valeu a pena?

2 CUSTOS E BENEFÍCIOS DOS PROJETOS

 Tudo precisa ser valorado por algum critério, até a vida, para que se possa
comparar custos e benefícios;
 Custos = custo contábil e de oportunidade (o que deixou de ser feito para se
fazer isso);

3 COMO COMPARAR OS PROJETOS?

4 IMPORTÂNCIA DO TEMPO NA AVALIAÇÃO DE PROJETOS
 Como os benefícios ocorrem em momentos diferentes da intervenção, é
necessário torná-los comparáveis ao longo do tempo. Benefícios mais próximos
no tempo são mais desejáveis do que no futuro remoto.

5 COMO COMPARAR CUSTOS E BENEFÍCIOS?

11 ANÁLISE DE EFICIÊNCIA
1 INTRODUÇÃO
2 PRINCIPAIS CONCEITOS
 Escassez: necessidades ilimitadas x recursos limitados
 Produção: combinação e transformação de insumos ou fatores de produção em
produtos ou serviços
o Fronteira de produção: delimitada por aquelas unidades que, dado
determinado nível de insumos, maximiza a quantidade de produtos;
o Eficiência: quanto mais próximo à fronteira de eficiência, mais eficiente;
 Alocativa: alocar seus recursos de maneira a minimizar os seus
custos totais;
 Técnica: capaz de produzir sem desperdícios.
o Produtividade: razão entre o volume de produtos e o volume de insumos
utilizados;
 a produtividade representa um valor absoluto, enquanto a
eficiência é uma medida relativa ou comparativa.

3 EFICIÊNCIA NO SETOR PÚBLICO

4 COMO MEDIR A EFICIÊNCIA?
5 PASSO A PASSO PARA ANÁLISE DE EFICIÊNCIA
 Identificação das unidades produtivas
 Definição dos insumos principais
 Definição dos produtos
 Definição dos métodos
 Variáveis ambientais e não discricionárias