CAPÍTULO VII

OS MODELOS DE ANÁLISE E AVALIAÇÃO DE POLÍTICAS PÚBLICAS

1. Análise
Segundo Maria das Graças Rua (2009) a análise da política públicas pode ter por objetivo tanto
melhorar o entendimento acerca daquela política e do seu processo, como apresentar propostas
para o seu aperfeiçoamento.

Maria Eliana Labra (1999), faz notar que a análise da política pública é um campo complexo,
dinâmico e mutante, exigindo do estudioso um cabedal de conhecimentos teóricos e de dados
empíricos suficientes para que possa entender e explicar o que fazem os governos, como e por
que o fazem.

Esse tema, que está no âmago da ciência política e da análise das políticas, tem a ver com a
capacidade do sistema político para tomar decisões que resolvam os inúmeros e contraditórios
problemas colocados pela sociedade.

2. Avaliação
O termo “avaliação” é amplamente usado em muitos e diversos contextos, sempre referindo-se a
julgamentos.

Por exemplo, se assistimos a um jogo de futebol, formamos opinião sobre as habilidades dos
jogadores. Este é um julgamento informal que efetuamos quotidianamente sobre todos os
aspectos das nossas vidas.

Porém, há avaliações muito mais rigorosas e formais, envolvendo julgamentos detalhados e

criteriosos, sobre a consecução de metas, por exemplo, em programas de redução da exclusão
social, melhoria da saúde dos idosos, prevenção da delinquência juvenil ou diminuição de
infecções hospitalares.

Para isso adota-se a avaliação formal, que é o exame sistemático de certos objetos, baseado em
procedimentos científicos de recolha e análise de informação sobre o conteúdo, estrutura,
processo, resultados e/ou impactos de políticas, programas, projetos ou quaisquer intervenções
planeadas na realidade.

Sendo assim, é possível reconhecer que a avaliação contém duas dimensões.

A primeira é técnica, e caracteriza-se por produzir ou recolher, segundo procedimentos

reconhecidos, informações que poderão ser utilizadas nas decisões relativas a qualquer política,
programa ou projeto.

A segunda é valorativa, consistindo na ponderação das informações obtidas com a finalidade de

extrair conclusões acerca do valor da política, programa ou projeto.

Portanto, a finalidade da avaliação não é necessariamente distinguir as intervenções de qualquer

natureza segundo sejam “boas” ou “más”, “triunfantes” ou “fracassadas”.
Muito mais importante e proveitoso é apropriar-se da avaliação como um processo de apoio a um
aprendizado contínuo, de busca de melhores decisões e de amadurecimento da gestão.

A avaliação da política pública é a fase em que o processo de implementação e o desempenho da

política pública são examinados com o intuito de conhecer melhor o estado presente da política e
o nível da consecução dos objectivos que estiveram na base da sua concepção.

É o momento-chave para a produção de feedback sobre as fases antecedentes.

A avaliação compreende a definição de critérios, indicadores e padrões (performances standards).

A avaliação formal permite julgar processos e produtos de vários modos:

 Primeiro, levantando questões básicas tais como os motivos de certos fenômenos (por
exemplo: o que causa os elevados índices de morte nas estradas moçambicanas?). Este
tipo de avaliação pode focalizar nas relações de causa e efeito com a finalidade de
recomendar medidas para lidar com o problema.

 Em segundo lugar, a avaliação formal pode ser usada como instrumento de

acompanhamento de políticas ou programas de longo prazo.

Nesses casos são realizadas várias avaliações em estágios-chave da política em causa, a fim
de prover dados confiáveis sobre os seus impactos e sobre como podem ser estes
mitigados ou melhorados.

 Em terceiro lugar, ao final de um programa ou projeto a avaliação pode indicar o seu

sucesso na consecução dos seus objetivos e permitir avaliar a sua sustentabilidade, ou seja,
a possibilidade da sua continuidade através do tempo.

A avaliação formal pode contribuir para aperfeiçoar a formulação de políticas e projetos

especialmente tornando mais responsável a formulação de metas, e apontar em que medida os
governos se mostram responsivos frente às necessidades dos cidadãos.

Pode mostrar se as políticas e programas estão sendo concebidos de modo coordenado ou

articulado; e em que medida estão sendo adotadas abordagens inovadoras na resolução de
problemas que antes pareciam intratáveis.

Pode indicar como vão sendo construídas as parcerias entre governo central e local, entre os
sectores público, privado e terceiro sector, identificar as condições de sucesso ou fracasso dessas
parcerias e apontar como podem ser aperfeiçoadas a fim de ganharem abrangência e se tornarem
estratégias nacionais das políticas de desenvolvimento.

2.1 Tipologias da Avaliação

Desde a década de 1980 foram feitos significativos avanços na área de avaliação, tornando-se os
conceitos mais precisos, as estratégias e as técnicas mais adequadas e os instrumentos de coleta
mais acurados.
Além disso passou-se a distinguir os diversos tipos de avaliação que se pode efetuar. Hoje é
possível discriminar as avaliações segundo o foco ou objeto, a lógica que orienta a sua concepção,
a ênfase metodológica, etc.

1. Segundo o foco ou objeto, as avaliações podem ser:

 Avaliação Jurídica ou Avaliação de Conformidade – corresponde ao exame da
conformidade dos atos do gestor em relação à lei, na condução da política pública,
programa ou projeto.

 Avaliação de Desempenho - refere-se ao que se faz com relação a uma política, programa
ou projeto. Compreende dois subtipos:

- Desempenho institucional - tem como finalidade apreciar em que medida uma

instituição realiza a missão que lhe foi atribuída, mediante a consecução dos seus
objetivos e o cumprimento de suas metas.

- Desempenho pessoal - destina-se a averiguar em que medida cada indivíduo numa

instituição cumpre suas atribuições e contribui para o alcance dos objetivos e metas da
instituição. Também focaliza a produtividade do desempenho pessoal e a qualidade dos
serviços prestados.

 Avaliação de Processo – destina-se a averiguar o conjunto de ações destinadas a produzir

um bem ou serviço ou a desencadear alguma mudança numa dada realidade.

Este tipo de avaliação se subdivide em:

- Monitoramento ou avaliação em processo – trata-se da utilização de um conjunto de
estratégias destinadas a realizar o “acompanhamento” de uma política, programa ou
projeto, de modo a identificar de maneira oportuna e tempestivamente as vantagens e
pontos frágeis na sua execução, a fim de efetuar os ajustes e correções necessários à
maximização dos seus resultados e impactos.

O monitoramento orienta-se para a busca de respostas às seguintes indagações:

a) Em que medida são cumpridas as atividades especificadas na programação?

b) Em que medida estão presentes os recursos necessários?

c) Com que grau de tempestividade?

d) Em que medida está sendo observada a sequência das ações?

e) Qual o grau de proximidade observado entre a quantidade e qualidade das ações,

serviços ou produtos planejados e os que estão sendo executados?

f) Em que medida a intervenção vem atingindo a população-alvo?

g) Que manifestações de insatisfação ou satisfação ocorrem entre os diversos atores

envolvidos na execução da política, programa?
 h) Onde podem ser identificados pontos de estrangulamento na produção de bens ou
serviços?

i) Que recursos vem se mostrando subutilizados?

j) Que oportunidades existem para otimizar a exploração do recurso X?

- Avaliação de processo ou avaliação “a posteriori” - trata-se do exame das estratégias,

procedimentos e arranjos (inclusive institucionais) adotados na implementação de uma
política, programa ou projeto, com a finalidade de identificar os pontos onde podem
ser obtidos ganhos de eficiência e eficácia.

Tem por hipótese central a ideia de que os meios adotados afetam os resultados.
Portanto, o seu objeto de análise é o “como” uma ação foi executada, ou seja, a cadeia
de passos adotados desde a formulação da política ou programa até a obtenção do seu
produto final.

 Avaliação de Produto – é toda avaliação cujo foco recai sobre os produtos de uma política,
programa ou projeto, em suas várias dimensões, as quais dão origem a diferentes
modalidades:

- Avaliação de Resultados: Tem por objeto os resultados, também chamados de

“outputs”, significando bens ou serviços de um programa ou projeto que são
necessários para que seus objetivos finais sejam alcançados.

Por exemplo, os serviços de extensão agrícola proporcionados aos agricultores para

que produzam uma cultura “x” ou para que aumentem a sua produtividade.

Mas também pode focalizar os resultados obtidos com uma política, programa ou
projeto, indicados como seus objetivos de curto prazo ou intermediários, chamados de
“outcomes”. Ex: aumento da área cultivada com a cultura “x” ou aumento da produção
por hectare ou aumento da venda dos agricultores.

- Avaliação de Impactos: trata-se de avaliação de um ou mais resultados de médio ou

longo prazo, definidos como “impactos”, ou seja, consequências dos resultados
imediatos.

Ex: elevação da qualidade de vida no meio rural, melhoria do abastecimento dos

centros urbanos, aumento da poupança devido à redução das importações, etc.

- Avaliação de Qualidade: o produto pode ser avaliado, também, quanto à sua qualidade.
Ou seja, a capacidade de um bem ou serviço atender às expectativas do seu público-
alvo.

Nesta dimensão se incluem, por exemplo, as avaliações de satisfação dos usuários de

um serviço.
A avaliação pode variar, também, conforme a lógica que orienta a sua concepção. Nesse caso,
pode-se falar de avaliação ex-ante e de avaliação ex-post.

- A avaliação ex-ante expressa uma concepção holística, interativa e iterativa, segundo a

qual a avaliação se inicia desde o momento em que se define o problema ou
necessidade que justifica a política, programa ou projeto.

Integra as discussões em torno da formulação das alternativas, envolve a tomada de

decisão, e acompanha o processo de gestão, informando-o sobre os seus avanços,
riscos e limitações, desvios a corrigir, vantagens a maximizar, etc.

Esta acepção corresponde, especificamente, ao cálculo de custos de cada alternativa.

Numa outra acepção, mais restrita, a avaliação ex-ante consiste na análise de eficiência
e na análise de impacto.

Essa modalidade de avaliação ex-ante envolve a construção de uma matriz de custos,

que contém todos os custos que se espera que uma intervenção requeira em cada
período de execução, divididos entre as diversas categorias acima mencionadas.

Em ambos os casos, a matriz de custos é usada para a tomada de decisão,

monitoramento e avaliação.

- Com a avaliação ex-post refere-se à avaliação que é concebida sem relação com
planeamento e nem mesmo com o processo de implementação, sendo desenhada
quando a política pública já se encontra consolidado ou em fase final.

- O foco, nesse caso recai sobre o que é calculado: o custo efetivo de cada alternativa,
pelo mesmo processo de análise de custos da avaliação ex-ante, porém tendo como
referência os valores efetivamente despendidos.

As avaliações também podem se distinguir segundo suas finalidades. Nesta perspectiva há dois
tipos:

1. A avaliação de matriz, de estrutura, ou de modelo destina-se a identificar os pontos fortes

e as fraquezas de uma intervenção.

A informação recolhida refere-se ao desenho e implementação da política pública em

questão, de modo a julgar a sua eficácia.

O objetivo é verificar se alguma mudança é necessária a fim de aperfeiçoar a política

visada. Pode ser realizada como monitoramento ou a posteriori, periodicamente.

As questões típicas deste tipo de avaliação são:

a) Os objetivos da política visada estão claramente formulados em termos de

resultados a serem obtidos?
 b) Existe uma compreensão compartilhada dos significados dos objetivos e um
compromisso dos envolvidos para com a implementação dos objetivos?

c) A política foi implementada conforme o pretendido?

d) Há alguma evidência de desempenho sub- ótimo requerendo redesenho da

implementação ou ações de correção?

e) Se o desempenho é sub-ótimo, quais as suas causas e como podem ser tratadas?

f) A população alvo, os beneficiários ou as pessoas mais afetadas pela política em

causa estão satisfeitas com o serviço ou bens que recebem?

g) A política ou programa está sendo implementada de modo articulado com outras

ações, de forma a contribuir para os objetivos governamentais mais amplos?

2. A avaliação de substância ou de conteúdo, destina-se a informar os gestores para que

decidam se uma política ou programa deve continuar, ser interrompida ou mudada.

O foco recai sobre os resultados (eficácia) e impactos (efetividade).

As questões típicas desse tipo de avaliação são:

a) A política ou programa tem produzido os outputs, resultados e impactos
pretendidos? Em que medida?

b) Esses resultados mostram-se sustentáveis pelo período pretendido?

c) Os pretendidos beneficiários estão de fato se beneficiando?

d) Há algum grau de exclusão social ou geográfica não pretendida? Há algum efeito

negativo para o qual os resultados tenham contribuído? Ou que deveria ter sido
evitado? Ou para o qual será necessária alguma ação de mitigação?

e) A política em questão é condição para, ou é complementar a políticas mais amplas?

f) Que lições podem ser extraídas, que possam contribuir para aperfeiçoar a busca de
resultados em programas futuros?

3. O Processo de Avaliação
A definição, desenho e manejo da avaliação requerem o conhecimento de três elementos:
1. O marco conceitual que define o que a política em questão deve realizar. Ou seja: os
objetivos máximos, as metas, as estratégias ou atividades (ações) selecionadas para atingir
objetivos e metas e as relações supostamente existentes entre os objetivos estabelecidos e
as ações propostas.

2. Os stakeholders, ou seja todos os atores que tenham algum tipo de interesse na política
visada: os gestores, as populações-alvo, os fornecedores de insumos, os financiadores
 (inclusive os contribuintes), os excluídos e os diferentes segmentos da sociedade civil
envolvidos direta ou indiretamente.

3. Os critérios que serão usados para avaliar a política em questão. Esses critérios
estabelecem quais as características esperadas dos processos (ações) e/ou dos resultados
(outputs/outcomes/impactos).

Em geral são cinco os critérios adotados nas avaliações de política públicas:

 Eficácia – a capacidade de produzir os resultados esperados/desejados;

 Eficiência – a capacidade de produzir os resultados desejados com o menor dispêndio de

recursos (humanos, materiais e financeiros);

 Efectividade – a capacidade de produzir resultados permanentes, diretos e indiretos,

usualmente definidos como impactos, ou seja, as consequências maiores de um resultado;
e de produzir o número possível de efeitos colaterais ou externalidades negativas;

 Equidade – a capacidade de contribuir para a redução das desigualdades e da exclusão

social;

 Sustentabilidade – a capacidade de desencadear mudanças sociais permanentes, que

alteram o perfil da própria demanda por políticas sociais e que retroalimentam o sistema
de políticas sociais.

A tarefa de avaliação de políticas públicas pode ser facilitada quando são observados alguns
passos essenciais:

1. Identificação e caracterização dos stakeholders, ou seja os atores individuais e/ou coletivos

e as agências governamentais e organizações privadas que têm seus interesses afetados
pela política em avaliação.

2. Identificação dos usuários do processo de avaliação e demais interessados no mesmo e sua

incorporação ao desenho e manejo do processo.

3. Identificação do marco conceitual da política visada, com a definição dos objetivos,

recursos necessários, ações ou estratégias e seus responsáveis ou encarregados e dos
resultados esperados.

4. Definição das questões de avaliação: perguntas que os interessados pretendem responder

mediante o processo avaliativo e dos critérios a serem usados na avaliação.

5. Identificação das informações necessárias e das fontes de informação. Seleção dos

indicadores.

6. Seleção, elaboração e teste das estratégias, técnicas e instrumentos de recolha de dados.

7. Definição dos métodos de análise dos dados obtidos.

8. Coleta e sistematização dos dados.

9. Análise dos dados e elaboração de conclusões.

10. Estratégias para disseminação dos resultados da avaliação e para aperfeiçoamento do

processo avaliativo.
 CAPÍTULO VIII
VANTAGENS DA AVALIAÇÃO INTERNA E EXTERNA DE POLÍTICAS PÚBLICAS
Nas ultimas décadas a avaliação de politicas e programas governamentais assumiu grande
relevância para as funções de planeamento e gestão governamentais.

A despeito da existência de experiencias anteriores, o interesse pela avaliação tomou grande

impulso com a modernização da Administração Publica.

Em vários países, este movimento foi seguido pela adoção dos princípios da gestão publica
empreendedora e por transformações das relações entre Estado e sociedade.

A avaliação pode subsidiar as seguintes ações:

- planeamento e formulação das intervenções governamentais;
- acompanhamento da sua implementação, suas reformulações e ajustes;
- decisões sobre a manutenção ou interrupção das ações.

É um instrumento importante para a melhoria da eficiência do gasto público, da qualidade da

gestão e do controle sobre a efetividade da ação do Estado, bem como para a divulgação de
resultados de governo.

Além do carácter de mensuração objetiva de resultados, a avaliação possui também aspectos

qualitativos, constituindo-se em um julgamento sobre o valor das intervenções governamentais
por parte dos avaliadores internos ou externos, bem como por parte dos usuários ou beneficiários.

A decisão de aplicar recursos públicos em uma ação pressupõe a atribuição de valor e legitimidade
aos seus objetivos, e a avaliação deve verificar o cumprimento das metas estabelecidas.

1. Utilidade da Avaliação de Politicas e Programas Públicos

Hoje há́ quase um consenso na literatura de que os motivos para realizar estudos de avaliação de
politicas e programas públicos estão relacionados à transformação da Administração Publica em
uma administração mais moderna e eficiente, mesmo que em alguns países isto ainda seja apenas
um desejo.

Nos anos 80 e 90, o mundo foi varrido por uma onda de ideologia neoliberal que pregou o “Estado
Mínimo” e cuja aceitação talvez tenha sido um reflexo do colapso do Estado comunista.

A despeito do entusiasmo inicial, a possibilidade de existência do “Estado mínimo” mostrou-se

irrealista, principalmente para os países em desenvolvimento, onde as politicas publicas
desempenham um papel estratégico para aliviar a pobreza e torná-los mais compatíveis com uma
economia de mercado.

Na impossibilidade de substituir o Estado pelo mercado, a crise deste período acabou produzindo
uma reforma deste Estado na maioria dos países ocidentais.

Segundo Bresser Pereira (1996) “No lugar da velha administração publica burocrática, emergiu
uma nova forma de administração – a administração publica gerencial -, que tomou por
emprestado do sector privado os imensos avanços práticos e teóricos ocorridos no século XX na
administração de empresas, sem, contudo perder sua característica especifica: a de ser uma
administração que não está orientada para o lucro, mas para o atendimento do interesse
publico”(p.9).

As características básicas da administração publica gerencial são a orientação para o cidadão e

para a obtenção de resultados, contrariamente à administração burocrática, que se concentra nos
processos, sem considerar a questão da eficiência.

O crescente interesse nos estudos de avaliação está relacionado às questões de efetividade,

eficiência, accountability e desempenho da gestão pública, já que estes estudos constituem-se em
ferramenta para gestores, formuladores e implementadores de programas e politicas publicas.

As avaliações de politicas e programas permitem que formuladores e implementadores tomem

suas decisões com maior conhecimento, maximizando o resultado do gasto publico, identificando
êxitos e superando pontos de estrangulamento.

Portanto, a avaliação de politicas publicas tem finalidades precisas:

1. accountability, ou seja, estabelecer elementos para julgar e aprovar decisões, ações e seus
resultado.

2. desenvolver e melhorar estratégias de intervenção na realidade, ou seja, a avaliação tem

que ser capaz de propor algo a respeito da política que está sendo avaliada;

3. empoderamento, promoção social e desenvolvimento institucional, significando que a

avaliação deve ser capaz de abrir espaço para a democratização da atividade pública, para
a incorporação de grupos sociais excluídos e para o aprendizado institucional e
fortalecimento das instituições envolvidas.