Você está na página 1de 67

Secretaria de Estado do Meio Ambiente SEMA-MT

- Em defesa da meio ambiente


Instituto Brasileiro de Administrao para o
Desenvolvimento IBRAD
Curso de Avaliao e Monitoramento de Polticas
Pblicas
01-12/12/2008 Cuiab - MT

Monitoramento de Polticas Pblicas

A civilizao de um povo medida pela forma como este trata suas fontes
de vida: a terra, a gua e o ar
Elias Arajo

Planejamento, Monitoramento e
Avaliao de Polticas Pblicas
Ferramentas e Metodologia:
O Planejamento Situacional: Carlo Matus
Conceito: uma iniciativa e atribuio de quem governa
(gerencia) que busca organizar as aes, de forma lgica e
sistmica, orientada por e para uma viso de futuro.

Premissa:
a) Considera as mudanas: O planejamento um processo
dinmico de mediao entre o conhecimento e a ao, e deve
ser continuamente reconstrudo, de modo a responder s
mudanas da realidade, sem perder o foco no futuro desejado,
pelo uso permanente dos mecanismos de acompanhamento e
controle.

Planejamento Pblico
Planejamento Situacional Carlos Matus
Premissas:
b) Incorpora dimenso poltica: o planejamento situacional
prope que, entre as condies para se mudar uma
realidade, alm dos recursos tcnicos, financeiros,
materiais e institucionais, preciso considerar as
diferentes interesses especficos, vises da realidade e
perspectivas dos atores envolvidos, bem como os espaos
e relaes de poder, naquilo que possa representar
resistncia ou apoio s aes e construo do futuro.

Planejamento Pblico
Planejamento Situacional Carlos Matus
Momentos no seqenciais do Planejamento Matusiano:
Explicativo: foco no que , nas causas e origens de uma realidade para
identificar oportunidades e solues; (presso, estado)
 Normativo: foco no devir, pela definio formal dos problemas e das
aes que, considerando diferentes cenrios, possam promover as
mudanas desejadas da situao inicial situao-objetivo (estadoresposta)
 Estratgico: foco nos obstculos econmicos, polticos e
institucionais-orgnizacionais que precisam ser superados, de modo
que as mudanas se efetivem; (foras motrizes-presso-estadorespostas)
 Ttico-Operacional: foco na quantificao do que e do que se
pretende mudar, com o dimensionamento das aes , e da capacidade
de avaliar e corrigir continuamente a linha de atuao, bem como pelo
emprego dos recursos disponveis. (resposta-presso-estado-resposta)


Planejamento Pblico
Dificuldades no estabelecimento dos parmetros e
modelos de planejamento pblico:





Complexidade das questes envolvidas;


O grau de subjetividade, envolvendo valores, princpios,
crenas e culturas diferentes
A diversidade de atores sociais, econmicos e polticos
que interagem na implementao das polticas pblicas
O carter multidisciplinar das aes de polticas pblicas

Planejamento Pblico
Desafios do Planejamento Pblico:





Como avaliar diferentes programas, com diferentes


atores (pblicos e privados), com diferenciados
objetivos?
Como os gerentes de governo e a sociedade usurio
final podem avaliar o impacto dos programas?
Como preparar e motivar os servidores envolvidos no
planejamento e execuo para produzirem informaes
teis sobre o andamento dos programas?
Como selecionas as informaes que sirvam para avaliar
e mudar a realidade?

Evoluo Histrica da Avaliao


PERIODO

OCORRNCIA/FOCO

1950/1960 Sucia e Alemanha avaliao


voltada ao planejamento e
programao

INSTRUMENTO/
PROCESSOS

INSTITUCIONALI
DADE

Avaliaes prvias ad hoc,


Relatrios

Governo: Comisses,
rgos de pesquisa e
agncias

1970/1980 Noruega, Holanda, Reino Unido, Avaliao/processo


Sucia foco na distribuio
dos recursos e nos resultados,
sem nfase nos impactos

1980/1990 Holanda Finlndia: foco em


processos e resultados e
reformas do setor pblico
Unio Europia difuso dos
instrumentos , foco no
oramento, e resultados
(desempenho)

1990/2000 Inglaterra, OCDE foco


gerencial em produtos e
resultados, reformas da
administrao pblica

oramentrio/ relatrio anual


de desempenho e resultado/
reviso

Governos e
Parlamentos

Avaliaes ex ante,
intermedirias e ex-post,
internas e externas , no nvel
dos ministrios

Ministrio da Fazenda
e Tribunal de Contas

Avaliaes ex-ante, ex-post .


Plano anual de avaliao,
Demonstrativos financeiros e
avaliativos, manuais, Structural
Funds, peridicas plurianuais

Ministrios, gerncias,
rgos executores
rgo de controle e
avaliao interna e
externa

Taylorismo, toyotismo e
Balanced Scorecad, Planos,
relatrios.

Ministrios, agncias,
gerncias equipes

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao
Pblica Gerencial
Contexto: Desmoronamento do Bloco Sovitico, Fim da Guerra Fria,

crise do Welfare State, revoluo tecnolgica (informatizao/robotizao),


nova era de globalizao, marcada pela transnacionalizao dos capitais e
empresas, e pela virtualizao da comunicao em escala planetria (aldeia
global).
Precedentes: Thatcherismo Inglaterra
Paradigma: Estado Mnimo (regulao e controle), neoliberalismo e
fundamentalismo de mercado
Pressupostos: reforma do Estado, privatizao, agencificao, clientelizao
dos cidados; reduo dos direitos bens e servios; separao (fsico e
funcional) entre poltica e administrao, entre processo de tomada de
deciso (ministrios) e execuo administrativa das decises (agncias no
subordinadas a ministrios e terceirizao). O estado no mais o
garantidor de direitos (que se flexibilizam e precarizam),porm um
prestador de servios que o mercado no tiver interesse em ofertar.

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao
Pblica Gerencial
Reforma da Administrao Pblica
Modelo Westminster de reformas: Inglaterra (Reino Unido,
Canad, Nova Zelndia e Austrlia)
Inglaterra (Tatcherismo), principais dimenses:
 reduo do poder do servio pblico civil para que o aparato estatal

responda mais rapidamente s decises polticas;


 adoo das prtica gerenciais do setor privado para promover a
economia e a eficincia no governo;
 cidados, como clientes, passam a ter mais liberdade quanto a entrega
dos servios pblicos, em contraposio ao controle e dominao do
Estado (oramento participativo)
 substituio do modelo burocrtico (hierarquia, controle, cautela e
normatizao), pelo modelo ps-burocrtico (inovao, flexibilidade,
menos controle estatal, competio, aprendizagem contnua, qualidade de
servios e orientao para os resultados

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao
Pblica Gerencial
Modelo Westminster de reformas: Nova Zelndia (Reino
Unido, Canad e Austrlia)
Estgios:
1.
2.
3.

4.

(1978/1985) introduo das prticas gerenciais privadas na


administrao pblica;
(1986/1991) abordagem de livre mercado gerncia do governo:
contratualizao, competio e estmulo a interesses individuais);
(1992/1996) adoo de abordagem estratgica, para promover a
viso ampla dos programas e fazer face a fragmentao advinda da
etapa anterior;
(1997/........) prioridade em desenvolver potencialidades, em especial
dos recursos humanos.

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao
Pblica Gerencial
Modelo Westminster de reformas: Austrlia (Canad,
Reino Unido e Nova Zelndia)
Principais caractersticas:








(1980 1990) - a estratgia de avaliao integrada gesto e o


planejamento das organizaes e programas foram integrados
reforma da administrao pblica;
Avaliao dos programas a cada 3 ou cinco anos;
Avaliaes conduzidas pelo prprios gerentes de programas, orientadas
gesto de desempenho, e sob a coordenao dos pelos responsveis
pela alocao dos recursos;
Avaliao associado ao processo oramentrio, sendo eficcia dos
programas o critrio para a alocao dos recursos;
Ministrio da Fazenda coordena os rgos de governo no processo de
avaliao e Auditoria Geral interfere nas atividades.

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao
Pblica Gerencial
Modelo Westminster de reformas: Austrlia (Canad,
Reino Unido e Nova Zelndia)
Razes do sucesso da avaliao:
 Reformas no setor pblico voltada aos resultados finais;
 Exigncia de avaliao adotada pelo primeiro escalo;
 Apoio de ministrios-chave;
 Redes de avaliadores e unidades centrais de avaliadores
nos ministrios; e
 Planejamento, coordenao, qualidade e bons sistemas
de informao sobre o desempenho.

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao Pblica
Gerencial

Experincia dos Estados Unidos:


Governo implementa e Congresso legisla sobre a realizao de avaliao em
larga escala
General Accounting Office (GAO): rgo assessor do Congresso, realiza
auditorias de desempenho e avaliaes de programas
Government Performance and Results Act (GPRA,1993): planejamento
estratgico e mediao de desempenho nfase nos resultados e no nos
impactos, tendendo a avaliar instituies ao invs dos programas planos
anuais e plurianuais.
National Performance Review (NPR): ato do governo, visando o melhor
funcionamento da mquina pblica, visando um menor custo, focado mais no
comportamento da burocracia, do que nas mudanas de estrutura e
processos
Best Practices in Performance Measurement: princpios de avaliao
utilidade no processo decisrio; tempestividade, relevncia e conciso.

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao Pblica Gerencial

Experincia Latino-Americana
Colmbia (1991): Sistema Nacional de Avaliao da Gesto e Resultados
(SINERGIA) acompanhamento e avaliao de planos nacionais de
desenvolvimento
Argentina (1995): Sistema de Informao, Avaliao e Monitoramento de
Programas Sociais (SIEMPRO) avalia gastos relativamente altos na rea
social, porm com baixa eficincia e efetividade
Chile (1997): Programa de Avaliao de Projetos Governamentais (PAPG),
originado em funo de demanda do Congresso, conduzido pelo
Ministrio do Planejamento e Secretaria Geral da Presidncia da Repblica

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao Pblica Gerencial

A experincia brasileira:
Antecedentes:


Decreto-Lei 579/1938 - DASP - Departamento Administrativo do


Servio Pblico (1938) primeiro processo de planejamento da
reforma administrativa no Brasil, baseado nos princpios da
Administrao Cientfica (Taylor, Gant, Ford) e no modelo Weberiano
de burocracia.
Decreto-Lei 200, de 25 de fevereiro de 1967 - Estatuto da Reforma
Administrativa define a administrao pblica direta e indireta; cria
o conceito de empresa pblica; autoriza a instituio do IPEA;
estabelece os princpios da administrao pblica: 1) Planejamento; II)
Coordenao; III) Descentralizao; IV) Delegao de competncia; e
V) Controle; e distingue os nveis de direo e execuo.
Lei 8.031, de 12 de abril de 1990 Institui o Programa Nacional de
Desestatizao PND: autoriza a privatizao de empresa de modo a
permitir que a administrao pblica concentre seus esforos nas
atividades em que a presena do Estado seja fundamental para a
consecuo das prioridades nacionais.

Evoluo Histrica da Avaliao


Nova Administrao Pblica ou Administrao Pblica Gerencial

A experincia brasileira:
Constituio Federal de 1988:
A administrao pblica direta e indireta de qualquer dos Poderes da Unio, dos
Estados, do Distrito Federal e dos Municpios obedecer aos princpios de legalidade,
impessoalidade, moralidade, publicidade e eficincia... (Art.37)
- assegura:
- O controle externo, a cargo do Congresso Nacional, ser exercido com o auxlio
do Tribunal de Contas da Unio (Art. 71)
- a manuteno de servios de atendimento ao usurio e a avaliao peridica,
externa e interna, da qualidade dos servio. (Art. 37, XXI, 3.)
- A autonomia gerencial, oramentria e financeira dos rgos e entidades da
administrao direta e indireta poder ser ampliada mediante contrato, a ser
firmado entre seus administradores e o poder pblico, que tenha por objeto a
fixao de metas de desempenho para o rgo ou entidade (Art. 37, XXI, 8.)
Leis de iniciativa do Poder Executivo estabelecero:
I - o plano plurianual;
II - as diretrizes oramentrias;
III - os oramentos anuais. (Art. 165)

Nova Administrao Pblica


Experincia Brasileira
Ministrio da Administrao Federal e Reforma do Estado
MARE
- Plano Diretor da Reforma do Estado - PDRAE(1995)










a)"orientao do Estado para o cidado usurio ou cidado-cliente;


b)nfase no controle dos resultados, atravs de contratos de gesto (ao invs de
controle de procedimentos);
c)fortalecimento e aumento da autonomia da burocracia estatal, organizada em carreiras
ou "corpos" de Estado, e valorizao de seu trabalho tcnico e poltico de participar,
juntamente com os polticos e a sociedade, da formulao das polticas pblicas;
d)separao entre as secretarias formuladoras de polticas pblicas, de carter
centralizado, e as unidades descentralizadas, executoras dessas polticas;
e)distino entre dois tipos de unidades descentralizadas: as agncias executivas, que
realizam atividades exclusivas do Estado, por definio monopolistas, e os servios sociais
e cientficos de carter competitivo, em que o poder do Estado no est envolvido;
f)transferncia para o setor pblico no-estatal dos servios sociais e cientficos
competitivos;
g)adoo cumulativa, para controlar as unidades descentralizadas, dos mecanismos (1) de
controle social direto, (2) do contrato de gesto em que os indicadores de desempenho
sejam claramente definidos e os resultados medidos, e (3) da formao de quasemercados em que ocorre a competio administrativa;
h)terceirizao das atividades auxiliares ou de apoio, que passam a ser licitadas
competitivamente no mercado".

Nova Administrao Pblica


Experincia Brasileira
Lei de Responsabilidade Fiscal (Lei Complementar n. 101 de 04.05.2000)
Art. 1o Esta Lei Complementar estabelece normas de finanas pblicas
voltadas para a responsabilidade na gesto fiscal, com amparo no
Captulo II do Ttulo VI da Constituio.
1o A responsabilidade na gesto fiscal pressupe a ao planejada e
transparente, em que se previnem riscos e corrigem desvios capazes de
afetar o equilbrio das contas pblicas, mediante o cumprimento de
metas de resultados entre receitas e despesas e a obedincia a limites e
condies no que tange a renncia de receita, gerao de despesas com
pessoal, da seguridade social e outras, dvidas consolidada e mobiliria,
operaes de crdito, inclusive por antecipao de receita, concesso de
garantia e inscrio em Restos a Pagar.

Nova Administrao Pblica


Experincia Brasileira
PPA 2000/2003 Avana Brasil:
Diretrizes Estratgicas da Presidncia da Repblica;
 Plano Plurianual
 Oramento Geral da Unio
Programas Unidade de Gesto:
 Objetivos
 Pblico-alvo
 Valores
 Prazos
 Metas fsicas
 Indicadores
SIGPLAN Sistema de Informaes Gerenciais e de Planejamento


Nova Administrao Pblica


Experincia Brasileira
PPA 2000/2003 Avana Brasil
Etapas de avaliao:
1 identificao dos resultados junto sociedade; anlise do
desempenho fsico/financeiro; adequao da concepo/execuo aos
objetivos do programa nvel gerencial
II anlise dos resultados dos programas luz das Diretrizes Estratgicas
ministrios: responsveis pelo planejamento e gesto das polticas
setoriais
III - anlise do conjuntos dos programas luz das Diretrizes Estratgicas,
a cargo da coordenao do MPOG

Administrao Pblica Profissional e


a Servio do Cidado - GESPBLICA
Decreto 5.378, de 23/02/2005 institui o Programa Nacional de Gesto Pblica e
Desburocratizao GESPBLICA, com a finalidade de contribuir para a melhoria da qualidade
dos servios pblicos prestados aos cidados e para o aumento da competitividade do Pas.

Os instrumentos e abordagens devem:


I - eliminar o dficit institucional, visando ao integral atendimento das competncias constitucionais do
Poder Executivo Federal;
II - promover a governana, aumentando a capacidade de formulao, implementao e avaliao das
polticas pblicas;
III - promover a eficincia, por meio de melhor aproveitamento dos recursos, relativamente aos
resultados da ao pblica;
IV - assegurar a eficcia e efetividade da ao governamental, promovendo a adequao entre meios,
aes, impactos e resultados; e
V - promover a gesto democrtica, participativa, transparente e tica.
Art. 3o Para consecuo do disposto nos arts. 1o e 2o, o GESPBLICA, por meio do Comit Gestor de
que trata o art. 7o, dever:
I - mobilizar os rgos e entidades da administrao pblica para a melhoria da gesto e para a
desburocratizao;
II - apoiar tecnicamente os rgos e entidades da administrao pblica na melhoria do atendimento ao
cidado e na simplificao de procedimentos e normas;
III - orientar e capacitar os rgos e entidades da administrao publica para a implantao de ciclos
contnuos de avaliao e de melhoria da gesto; e
IV - desenvolver modelo de excelncia em gesto pblica, fixando parmetros e critrios para a
avaliao e melhoria da qualidade da gesto pblica, da capacidade de atendimento ao cidado e da
eficincia e eficcia dos atos da administrao pblica federal.

Administrao Pblica Profissional e


a Servio do Cidado - GESPBLICA
PPA 2004/2007 Decreto 5.233 de 06/10/2004. Foram mantidos o
modelos de gesto, a organizao dos programas, as instncias e o
sistema de informaes, acrescido de:
 Estratgia participativa na formulao do plano: consultas pblicas e
Validao pelos 26 Estados e Distrito Federal.
 O titular da Unidade Administrativa qual se vincula o programa
tornou-se o seu gerente, e o titular da unidade a que se vinculam a
ao tornou-se seu coordenador
 Criao do Sistema de Monitoramento e Avaliao do Plano Plurianual
(SMA), com estrutura integrada ao modelo de gesto:
 Comisso de Monitoramento e Avaliao (UMA), em cada
ministrio e secretaria especial, com o papel de integrar as vrias
iniciativas de avaliao, inclusive externa, o sistema de
monitoramento.
 PPA 2008/2011 Decreto 11.623, de 07/04/2008, Decreto 6.60, de
10/10/2008 (Gesto

Administrao Pblica Profissional e


a Servio do Cidado - GESPBLICA
Princpios Bsicos da Gesto Governamental
Plano Diagrama 1:
Situao Problema - Sp

Situao Objetivo - So

Interveno do Estado
IE = Sp < So
Onde a Situao Objetivo (So) final dever ser melhor
que a Situao Problema inicial (Sp), antes da
interveno estatal (IE)

Administrao Pblica - MT
Princpios Bsicos da Gesto Governamental
Quadro 1
Relao entre Plano,
Programas e Aes

Plano

Programa 1

Programa n

Ao n.m

Ao 1.1

Ao 1.n

Ao n.1

Ao n.1

Administrao Pblica - MT
Quadro 2
Relao entre os
beneficirios

Populao de Referncia

Populao afetada por


um problema especfico

Pblico Alvo

Populao no
afetada

Populao beneficiria
postergada

Administrao Pblica - MT
Definies das Unidades de Planejamento e Avaliao
Poltica: estgio onde as propostas ganham forma e estatuto, com a
definio de metas, objetivos e recursos. Se transforma em programa
quando a autoridade define uma estratgia de implementao, bem como as
condies iniciais desta.

Plano: Conjunto de programas que buscam objetivos gerais comuns,


ordenando-os e desagregando-os em objetivos especficos, que sero, por
sua vez objetivos gerais ou estratgicos para os programas. O Plano
organiza as aes programticas em uma seqncia temporal, de acordo
com a racionalidades tcnica e as prioridades de atendimento.

Administrao Pblica - MT
Definies das Unidades de Planejamento e Avaliao
Programa: um instrumento de organizao da ao governamental
que articula um conjunto de aes que concorrem para um objetivo
comum pr-estabelecido, mensurado por indicadores, visando a soluo de
um problema ou o atendimento a uma necessidade ou demanda da
sociedade, ou ainda da prpria manuteno das atividades do gesto e
execuo do Estado (programas finalsticos, programas de gesto de
polticas pblicas e programas de apoio administrativo).

Administrao Pblica - MT
Definies das Unidades de Planejamento e Avaliao
Aes: instrumento de programao que contribui para atender ao
objetivo de um programa, podendo ser oramentria ou no-oramentria,
sendo a oramentria classificada, conforme a sua natureza, em:
a) Projeto: instrumento de programao para alcanar o objetivo de um
programa, envolvendo um conjunto de operaes, limitadas no tempo,
das quais resulta um produto que concorre para a expanso ou
aperfeioamento da ao de governo;
b) Atividade: instrumento de programao para alcanar o objetivo de um
programa, envolvendo um conjunto de operaes que se realizam de
modo contnuo e permanente, das quais resulta um produto necessrio
manuteno da ao de governo;
c) Operao Especial: despesas que no contribuem para a manuteno,
expanso ou aperfeioamento das aes do governo federal, das quais
no resulta um produto, e no gera contraprestao direta sob a forma
de bens ou servios.

Administrao Pblica - MT
Definies das Unidades de Planejamento e Avaliao
Meta: a dimenso quantitativa, temporal e especial do
objetivo, aquilo que efetivamente se quer alcanar com a
realizao das aes previstas.
Produto: o resultado concreto das atividades
desenvolvidas pelo programa, podendo ser tanto bens quanto
servios.
Efeito: o que decorre da influncia do programa, estando
localizado temporalmente antes do incio do programa. Os
efeitos so resultados das aes do programa, e podem ser
intermedirios, ocorrendo durante o programa, ou finais, que
so os que perduram aps o programa.

Administrao Pblica - MT
Definies das Unidades de Planejamento e Avaliao
Impacto: o resultado do programa, que pode ser atribudo
exclusivamente s suas aes, aps a eliminao dos efeitos
externos. o resultado lquido do programa.
Avaliao: o processo pelo qual se examina, de forma sistemtica e
objetiva, o programa ou projeto finalizado ou em curso, quanto a sua
implementao, desempenho e resultados, com vistas a determinar sua
eficincia e eficcia, efetividade (impacto), sustentabilidade e relevncia,
considerando critrios previamente estabelecidos, e cujas concluses e
recomendaes possam servir prestao de contas junto aos poderes
pblicos e sociedade, contribuindo para a melhoria da interveno do
Estado.

Administrao Pblica - MT
Avaliao Critrios:
Eficincia: termo originado nas cincias econmicas, que significa a menor relao
custo/benefcio para o alcance dos objetivos estabelecidos no programa ou projeto
Eficcia: medida do grau em que o programa ou projeto atinge os objetivos e
metas estabelecidos
Impacto: indica se o programa ou projeto tem efeitos (positivos) no ambiente
externo em que interveio, em termos tcnico, econmicos, socioculturais,
institucionais e ambientais;
Anlise custo/efetividade: similar anlise de custo de oportunidade e ao
conceito de pertinncia: feita a comparao de formas alternativas para a
obteno de determinados impactos, para ser selecionada aquela que atenda aos
objetivos com menor custo.
Satisfao do beneficirio: avalia a atitude do usurio em relao qualidade do
atendimento que est obtendo do programa ou projeto.
Equidade: procura avaliar o grau em que os benefcios de um programa esto
sendo distribudos de maneira justa e compatvel com as necessidades do usurios

Administrao Pblica - MT
Avaliao padres de referncia:
Absolutos: quando as metas estabelecidas por um programa so
consideradas como um padro a ser alcanado e os desvios so
registrados e analisados;
Histricos: quando se comparam os resultados de um perodo com o os
obtidos em perodos anteriores;
Normativos quando feita comparao de um programa com outros
similares ou com programas semelhantes realizados em outros nveis de
governo, regio ou no exterior;
Tericos: so os estabelecidos na prpria elaborao do programa, sob
hiptese dos resultados esperados, dado os recursos disponveis
Negociados: ou de compromisso, so aqueles que se baseiam em
procedimento especfico para sua fixao, geralmente decorrendo de
acordo entre as partes envolvidas na gesto do programa.

Administrao Pblica - MT
Avaliao metodologia:
Avaliao de impacto: procura identificar os efeitos produzidos
sobre os beneficirios de um programa ou projeto.
Avaliao de metas: (realizao de produo ou produto) tem
como propsito avaliar o xito de um programa ou projeto em
relao ao alcance e desempenho de metas previamente
estabelecidas;
Avaliao de processos: uma modalidade que investiga de forma
sistemtica o desenvolvimento do programa, com o propsito de
medir a sua cobertura estabelecer o grau em que est alcanando os
beneficirios e, principalmente, acompanhar os seus processo
internos.

Administrao Pblica - MT
Avaliao:
Quanto ao tempo: somativa (resultados e impactos expost), formativa (processos - durante) e de marco zero
(referncia ex-ante);
Quanto iniciativa ou personalidade quem avalia: interna,
externa mista;
Quanto ao envolvimento do pblico: participativas,
particularmente para pequenos projetos, nos quais se
prev a participao dos beneficirios em todas as etapas
do programa, que tm, entre outros objetivos, o
empoderamento da comunidade.

Administrao Pblica - MT
Conceitos
Monitoramento: um processo contnuo de acompanhamento de
variveis selecionadas para avaliar se o programa est sendo executado
como planejado.
 Est focado nos resultados e implica no acompanhamento dos avanos, com

vistas a consecuo das metas.


muitas vezes realizada em tempo real, contando com ferramentas
computacionais que permitam a coleta e a anlise dos indicadores, ou apoiado
por entidades externas.

Sua viso essencialmente operacional, devendo contribuir para a construo


de indicadores tticos e estratgicos, normalmente visualizados no decorrer do
programa e suas aes, que dependem da construo de um base estatstica
confivel.

Reviso: feita ocasionalmente, para verificar se as aes, medidas e tarefas de


um programa contribuem para a sua execuo de forma encadeada, com vista
correo de rumos e ajustes de recursos.

Administrao Pblica - MT
Monitoramento

Reviso

Avaliao

Quando
feita?

Continuamente, durante
execuo

Ocasionalmente,

Ocasionalmente. Na

prevista (millestones) ou
indicada pelo monitoramento

elaborao, de forma
peridica, ou aps a
cloncluso

O que
medido?

Eficincia: uso dos recursos,

Eficcia, relevncia e
impacto imediato

Impacto de longo
prazo (sutentabilidade)

atividades, resultados e prazos

Alcance de propsito

Pessoal
envolvido

Servidores da organizao
executora

Servidores de
organizaes
Consultores

Servidores externos

Fontes de
informao

Documentos internos
informaes e dados gerenciais,
relatrios mensais, registros de
viagem, atas de reunio

Documento internos
e externos

Documentos internos
e externos

Usurio do
resultado

Gestores, Gerentes,
supervisores

Gestores, Gerentes e
beneficirios

Gestores, gerentes,
pblico, fiscalizadores

Uso dos
resultados

Pequenas mudanas no
programa

Mudanas de rumo

Alterao nas
polticas pblicas

unidade executora ou
pessoas externas ao
governo

Administrao Pblica - MT
O processo de avaliao rvore de Problemas
1 Conhecendo os problemas

Descentralizao do
licenciamento ambiental
Aferio deficiente do impacto das
atividades poluidoras

Pouca efetividade do licenciamento,


monitoramento e fiscalizao
Maioria dos
municpios no
habilitados para
licenciar

Dficit no
licenciamento e
monitoramento de
empreendimentos

Recurso Humanos Insuficientes

Baixa capacidade
de atendimento de
emergncias com
produtos perigosos

Quadro
permanente sem
capacitao
continuada

Administrao Pblica - MT
A&M Passo a Passo
Metodologia do Planejamento de Projetos por
Objetivos - MPPO

Passo 1- Definindo o problema-chave ou a


Situao-Problema que se quer mudar
Princpio de Pareto: 80% dos fenmenos se originam em
20% das causas, enquanto que as outras causas restantes
geram apenas 20% dos fenmenos.
O problema dado pelo ponto de convergncia onde
20% das causas se concentram e voltam a ser dispersar
em 80% de efeitos.

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 1- Caracterizao e Hierarquia dos das
causas e seus efeitos
Brainstorm  Princpio de Pareto  rvore de
problemas  hierarquizao, classificao e
encadeamento dos problemas diagrama de
Ishikawa  seleo do problema central

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 2 Definindo o objetivo e pblico alvo
Brainstormrvore de Problemas Problema central 
identificao, classificao e ordenamento hierrquico dos
efeitos  diagrama de Ishikawa  formulao de hiptese
 fluxograma/Pareto  definio do objetivo  rvore de
Objetivos  pblico relevante.

Administrao Pblica - MT
A&M MPPO: Passo a Passo rvore de Problemas
Efeitos

Baixo nvel de
renda

Baixo nvel de
produtividade

Altos ndices de
delinqncia

Baixa insero no
mercado de trabalho

Insuficincia do Sistema
Educacional
Professores
mal
preparados

Alta incidncia no
uso de drogas

Baixo nvel educacional


dos jovens

Problema central

Causas

Desagregao
familiar

Baixa oferta
de vagas

Ambiente Familiar no
incentivador ao Estudo
Currculo
Inadequado

Pouca
importncia dada
Educao

Necessidade de
trabalhar
precocemente

rvore de Objetivo

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 4 Definindo e Organizando a ao
Programa: 0177 - CONTROLE DE ATIVIDADES POLUIDORAS
PPA-MT 2008/2011
Ferramenta: 5W1H Diagrama de Gantt
O qu?

Por qu ?

Quem?

Como?

Onde?

Quando?

Quanto?

1528 -

Forte
centralizao
das aes de
licenciamento,
todas
realizadas na
sede da sema
(problema)

Municpios/
Prefeituras
(pblico)

Ampliar a
capacidade de
gesto ambiental
dos municpios,
partir da
descentralizao
das atividades
poluidoras de
pequeno porte
(objetivo
especfico da
ao), via
consrcios

Regio VII
Sudoeste
(beneficiri
o direto)

2009?
2010?
2011?

150.000

Descentralizaco
do licenciamento
ambiental de
atividades
poluidoras
(ao)

(cronograma)

(recursos
disponveis)

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 5 Definindo e planejando o monitoramento
Conceito:
Indicadores de resultado: definem o sentido e o alcance de um
programa (avaliao ex-ante) e medem o sucesso dos objetivos de cada
uma de suas etapas (avaliao somativa ex-post)
Indicadores de processo: possibilitam o acompanhamento do
desenrolar dos programas e projetos, concentrado no como fazer, visando
garantir a eficcia das aes (avaliao formativa durante)
Indicadores de monitoramento: se relacionam com o cumprimento
das medidas e tarefas das aes, assumindo uma postura mais operacional

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 5 Definindo e planejando o monitoramento
Exemplos:
Indicadores de resultado: % de licenciamentos realizados pelos
consrcios, em relao ao realizado pelo estado, por ano, considerando
como referncia, os licenciamentos de atividades de pequeno porte
realizadas em 2007.
Indicadores de processo: % licenciamentos anual feito pelo consrcio,
em relao, s realizadas pelo estado, no mesmo ano.
Indicadores de monitoramento: nmero de protocolos e termos de
cooperao efetivados e com assistncia em curso pela SEMA, por ano.

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 5 Definindo e planejando o monitoramento
Atribuies dos indicadores
Confiabilidade: distintos avaliadores devem obter os
mesmos resultados ao analisar o mesmo programa com os
indicadores propostos
Validade: para medir precisamente aquilo que se deseja
medir
Adequao: mensurar mudanas quer possam ser atribudas
aos resultados da execuo das aes e do programa
Clareza: suficientemente simples e utilizveis pelos diversos
atores

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 5 Definindo e organizando os indicadores
Descrio: denominao do indicador selecionado
Unidade de medida: padro escolhido pra mensurar a quantidade ou relao
adotada
ndice: valor da apurao de um indicador em determinado momento
Data de apurao: data mais recente ou relacionada ao ndice
ndice (meta) desejado ao trmino: valor que se deseja atingir com a
execuo do programa ou projeto, expresso pelo indicador, ao final do perodo
Fonte de apurao: setor ou instituio responsvel pela apurao e
acompanhamento do indicador escolhido
Base geogrfica de apurao: menor nvel de agregao geogrfica de
apurao do ndice
Periodicidade: frequncia com que o ndice apurado e divulgado
Frmula de clculo: frmula matemtica e outros esclarecimentos necessrios

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 6 Definindo e organizando os indicadores
Produto: o bem ou servio que resulta da ao e se destina ao pblico alvo.
O produto de uma ao oramentria (projeto ou atividade) dever ser
desagregado em tantos produtos quantos sejam necessrios para um bom
gerenciamento .
Meta: a quantidade de produto que se pretende alcanar com realizao de
uma ao.


que produto ou servio ser entregue?

Quantos produtos ou servios sero entregues?

Quem ser beneficiado pelos produtos ou servios?

Meta fsica: a quantidade do produto que se deseja obter em um determinado


horizonte temporal (cronograma) , expressa na unidade de medida absoluta

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Passo 6 Definindo e organizando os indicadores
Programa: 0177 - CONTROLE DE ATIVIDADES POLUIDORAS
Objetivo: Realizar o monitoramento e o ordenamento do espao,
licenciando, vistoriando e fiscalizando os empreendimentos com potencial
poluidor.
Objetivo Estratgico: conservao do meio ambiente e da biodiversidade
com o uso e manejo sustentvel dos recursos naturais e com diminuio das
presses antrpicas, especialmente sobre a floresta.
Indicador do Programa: 246 - Municpios atendidos pelo licenciamento
Ao: 1528 - Descentralizao do licenciamento ambiental de atividades poluidoras
ndice Incio do PPA: 69

ndice Final do PPA: 139

Data de apurao (22/04/2005) Periodicidade: quadrimestral


Fonte: SUAD/SEPLAN-MT
Base Geogrfica:
Frmula de clculo

Administrao Pblica - MT
A&M MPPO: Passo a Passo
Ao: 1528 Descentralizao do licenciamento ambiental de atividades
poluidoras
Objetivo especfico: ampliar a capacidade de gesto ambiental dos
municpios ,a partir da descentralizao das atividades de licenciamentos
ambientais das atividades poluidoras de pequeno porte.
Responsvel pela ao: Sildemar Ziezkowski
Produtos/servio

Unidade de Medida

Consrcio habilitado (ao)

Unidade

Protocolo de intenes firmado


(medida)

Unidade

Projeto de descentralizao
apresentado aos consrcios (tarefa)

Reunies

Fonte: PTA 2008 FIPLAN/SEPLAN/MT

Meta Fsica

Administrao Pblica - MT
Passo 6 Definindo e organizando os indicadores
Conceitos:
Regionalizao das aes: critrio para atribuio das
metas focado nos beneficirios
No caso da Ao 1528 Descentralizao do licenciamento
ambiental de atividades poluidoras, a regio definida a
Regio VII Sudoeste. Ou seja, abrange os municpios e
consrcios desta Unidade de planejamento e gesto no
Estado de Mato Grosso.

Administrao Pblica - MT
Passo 7 O processo de avaliao
Conceitos:
Estimativa de custos: de um programa ou projeto consiste no clculo
das despesas em que se ir incorrer quando da execuo das aes e na
previso dos valores e datas dos aportes de recursos financeiros que
devero sustentar as despesas. Inclui todas as despesas diretas e
indiretas.
Anlise Custo X Benefcio: metodologia permite verificar a
pertinncia do programa, projeto ou ao, comparando-se os custos com
os benefcios econmicos e/ou socais gerados, considerando outros
programas, projetos ou aes similares. Pode ser feita ex-ante, para a
tomada de deciso, e ex-post, para compor a avaliao.

Administrao Pblica - MT
Passo 7 O processo de avaliao
Conceitos:
Estimativa de custo mnimo: essa metodologia compara os custos
monetrios com a possibilidade de alcance eficiente dos objetivos. No
avalias os aspectos qualitativos.Verifica apenas eficincia, sem avaliar a
eficcia (resultado ou impacto).
Anlise Custo X Efetividade (impacto): esta metodologia compara,
da mesma forma que a de a de Custo X Benefcio, os custos com a
possibilidade de alcance efetivo da ao, incluindo balano da eficincia e
eficcia no alcance do objetivo, incluindo os efeitos sobre o pblico-alvo.
adequada para o exame ex-ante e ex-post.

Administrao Pblica - MT
Passo 7 O processo de avaliao
Quadro 3 Comparao entre Anlise de Custo x Benefcio, Anlise de
Custo Mnimo e Anlise de Custo Efetividade
ACB

ACM

ACE

Termos de Comparao

Custos e benefcios
(unidades monetrias)

Custos (unidades
monetrias)

Custos do bem ou
servio e o impacto
produzido

Avaliao do Impacto

Sobre a sociedade em
seu conjunto

No considera

Sobre o pblico-alvo e
com os objtivos

Quando se aplica

ex-ante e ex-post

ex-ante

ex-ante e ex-post

Critrios de Deciso

Relao entre os custos


e os benefcios
financeiros

Custos do Programa Relao entre os


ou Projeto
custos e os impactos

Administrao Pblica - MT
Passo 7 O processo de avaliao Balancing Scorecard
O BSC estrutura a Organizao em quatro perspectivas:
1 Financeira trata da gesto dos custos, dos lucros e da
aplicao. No Setor Pblico a gesto do oramento.
2 Cliente identifica os segmentos de clientes onde quer
competir e avalia o nvel de atendimento e satisfao do cliente.
No Setor Pblico o atendimento ao cidado.
3 Processos Internos mapeia e prioriza os processos mais
importantes para atingir os objetivos e metas do cliente e
financeira.
4 Aprendizado e Crescimento desenvolve a estratgia para o
aprendizado e crescimento da equipe para que se possa cumprir os
objetivos das outras perspectivas.

Administrao Pblica - MT
Passo 8 O processo de avaliao
Matriz Lgica: este mtodo tem como propsito oferecer uma
estrutura lgica comum e possibilitar uma sntese das informaes sobre
os programas, de seus elementos centrais, e mostrando as relaes de
causa-efeito entre atividades e resultados. Objetiva, ainda, auxiliar os
gestores a definir com maior clareza os objetivos e parmetros
necessrios para monitorar e avaliar programas e projetos.
O uso deste mtodo visa:
Analisar a consistncia do Programa, pela verificao da lgica entres atividades
e objetivos;

Determinar alcance da responsabilidade dos gestores no caso de insucesso; e

Evitar falta de clareza na definio dos resultados, que dificulte a possibilidade de


comparao e avaliao.

Administrao Pblica - MT
Passo 8 O processo de avaliao
Matriz Lgica ou Marco Lgico: deve ser preenchida de
baixo para cima e da esquerda para direita:
Marco
Lgico

Descrio

Metas e
indicadores

Meios de
Verificao

Hipteses

Impacto

13

16

Resultados

12

Componentes

Atividades

Administrao Pblica - MT
Passo 8 O processo de avaliao
Matriz Lgica ou Marco Lgico:
A lgica vertical esclarece a razo pela qual se elabora o programa ou
projeto, enquanto a razo horizontal mostra o que ser alcanado e o
que deve ser feito para prever o alcance.
Objetivos
Finalidade
Objetivo
Componentes
Atividades

Indicadores

Meios de
Verificao

Hipteses

Administrao Pblica - MT
Passo 8 O processo de avaliao
Matriz Lgica ou Marco Lgico: Pressupostos
 Primeira hiptese: considera que no desenvolvimento desta
tcnica certas aes so desenvolvidas permitindo o alcance de um
objetivo especfico. Para a implementao das aes necessrio
estabelecer sua composio: tarefas que permitiro sua
implementao, assim como a disposio dos recursos necessrios
(custo e tempo) e a identificao de cada responsvel pela tarefa.


Segunda hiptese: se os objetivos especficos forem alcanados, as


mudanas tcnicas, econmicas, sociais ou ambientais sero
introduzidas e o objetivo do programa ser atingido.

Administrao Pblica - MT
Passo 9 O processo de avaliao
Matriz Lgica ou Marco Lgico: encadeando causas e efeitos
Hiptese

Elemento do
programa

Indicadores

Objetivo do Programa

Indicador de mensurao
o objetivo do programa

Objetivo especfico

Indicador do alcance do
objetivo especfico

Aes

Metas fsicas

Tarefas

Recursos humanos,
materiais, tempo

Se o objeto especfico,
ento o objetivo do
programa

Se aes, ento objetivos


especficos

Se tarefas, ento aes

Administrao Pblica - MT
Passo 9 O processo de avaliao
Matriz Lgica ou Marco Lgico: organizando o programa:
Programa
Elementos do
Programa
Objetivo do programa
Objetivo especfico 1
Ao 1
Tarefas da ao 1
Ao 2
Tarefa da ao 2
Ao n
Tarefa da ao n

Indicadores

Meios de
verificao

Condicionantes

Administrao Pblica - MT
Passo 10 Alinhando programa e plano
 Antes de dar incio execuo e proceder a avaliao ou o
monitoramento, conveniente verificar a aderncia ao plano
de governo e, mais uma vez, analisar a consistncia do
programa ou projeto, para se certificar que o melhor
caminho. Os procedimentos so:
Aderncia:

consiste em verificar o alinhamento do programa com as


orientaes estratgicas do governo, para definio da sua prioridade.
 Validao tcnico-cientfica: superadas todas essas etapas, em estando
confiante de que o programa ou projeto merece ser executado, os
avaliadores devem comear o processo de coleta e anlise das
informaes, para verificarem a confirmao do que foi planejado.

IBRAD Instituto Brasileiro de


Administrao para o desenvolvimento
Presidente: Newton Lima Braga
Diretora Tcnica: Mariza Soares
Elaborao: Elias Arajo
Texto de referncia:
Monitoramento e avaliao. FIGUEIREDO, Paulo, Ibrad, Braslia, 2007
Documentos de apoio
Plano Plurianual 2008-2011. SEPLAN, Governo do Estado do
Matogrosso, Cuiab, 2007.
Avaliao, Monitoramento e Construo de Indicadores. Oswaldo
Noman. ENAD, Braslia, 20008
MPPO Metodologia de Planejamento de Projeto orienta a Objetivo. Rui
Pena e Bee-Consulting. www.arvore de problemas.com, 2004
Contatos: IBRAD SCS, QD. 01, BL. D, n. 28, SL 22, Ed. JK, 61- 3226 1084 e
3225 2780. CEP 70.306-900 Braslia DF, www.ibrad.org.br

IBRAD Instituto Brasileiro de


Administrao para o desenvolvimento
Agradecimentos:
Superintendncia de Planejamento SEMA- MT
 Participantes do Curso de Avaliao e
Monitoramento dezembro/2008


Edio e arte: Elias Arajo


Contatos: eparaujo@hotmail.com, ibeg@ibeg.org.br

Por que avaliar e monitorar?


O que vemos depende
principalmente
do que estamos
procurando
Jonh Lubbock

IBRAD Instituto Brasileiro de


Administrao para o desenvolvimento

Obrigado!