Você está na página 1de 64

1

Repblica Federativa do Brasil


Ministrio do Planejamento, Oramento e Gesto

Indicadores
Orientaes Bsicas
Aplicadas Gesto Pblica

1 Edio
Braslia/DF setembro de 2012
3

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO


SECRETARIA DE PLANEJAMENTO E INVESTIMENTOS ESTRATGICOS
ESPLANADA DOS MINISTRIOS, BLOCO K - 3 andar
TELEFONE: 55 (61) 2020-4080
FAX: 55 (61) 2020-4498
Site: www.planejamento.gov.br
CEP: 70040-906 Braslia DF

Brasil. Ministrio do Planejamento, Oramento e Gesto. Secretaria de


Oramento Federal. Secretaria de Planejamento e Investimentos
Estratgicos.
Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica /
Ministrio do Planejamento, Oramento e Gesto.
Coordenao de Documentao e Informao Braslia: MP, 2012.
64 p.: il. color.
1.Estado e Planejamento 2.Administrao Poltica 3.Polticas Pblicas
4.Plano Plurianual 5.Monitoramento 6.Indicadores I.Ttulo.
CDU 338.26 2012-2015

Repblica Federativa do Brasil


Ministrio do Planejamento, Oramento e Gesto

Indicadores
Orientaes Bsicas
Aplicadas Gesto Pblica

1 Edio
Braslia/DF setembro de 2012
5

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Repblica Federativa do Brasil


Ministrio do Planejamento, Oramento e Gesto

Superviso e reviso tcnica desta edio

Presidenta da Repblica
Dilma Vana Rousseff
Ministra de Estado do Planejamento, Oramento e Gesto
Miriam Belchior
Secretria Executiva
Eva Maria Cella Dal Chiavon
Secretria de Planejamento e Investimentos Estratgicos
Esther Bemerguy de Albuquerque
Diretor do Departamento de Gesto do Ciclo de Planejamento
Jos Celso Pereira Cardoso Jnior
Equipe Tcnica
Elton Bernardo Bandeira de Melo
Eugnio Andrade Vilela dos Santos
Fernando Daniel Franke
Rafael Martins Neto

Apresentao

As escolhas e os arranjos construdos para retomar o desenvolvimento


e orient-lo para a reduo das desigualdades suscitaram a necessidade de
aperfeioamentos nos instrumentos de planejamento, oramento e gesto. Com
isso, a estrutura e a linguagem dos instrumentos de suporte aos gestores pblicos
esto sendo reformulados para que expressem, de fato, aspectos centrais das
polticas pblicas, com vistas a viabilizar a sua implementao. Como exemplo
desta renovao na Administrao Pblica brasileira, o Plano Plurianual passou
por significativas reformulaes, ensejando tambm uma renovao profunda nas
estratgias de gesto das polticas ali contidas.
Se o Estado deve se orientar para as entregas (de bens e servios) sociedade,
para a comunicao com a populao e o dilogo federativo, ento os instrumentos
de planejamento, oramento e gesto pblica devem seguir o mesmo caminho. Isto
requer permanente autocrtica sobre a utilidade dos processos j desenvolvidos e
flexibilidade para que sejam deixados de lado rotinas meramente burocrticas.
Um novo significado para o conceito de gesto dialoga com esse esprito
transformador que permeia o recente ciclo do desenvolvimento brasileiro. Nesses
termos, entende-se a gesto no apenas como um conjunto de processos que devem
ser utilizados para organizar a ao pblica. O conceito adequado deve ir alm da
dimenso da organizao visto que esse significado traz consigo o risco de que a
gesto torne-se um fim em si mesma, desconectada dos resultados que produz.
Com vistas a subsidiar todo este desafiante trabalho, o Ministrio do
Planejamento tem envidado esforos no sentido de alinhar e capacitar suas diversas
Secretarias e respectivos quadros tcnicos com o intuito de institucionalizar - por
meio de aperfeioamentos normativos e disponibilizao de sistemas de apoio e
documentos tcnicos - alguns dos mais importantes atributos indissociveis do
planejamento governamental, como o sejam as atividades de monitoramento e
avaliao das polticas e programas do PPA, e de articulao interinstitucional e
coordenao geral de polticas pblicas, dentre outros.
7

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

No que tange Estratgia de Monitoramento e Avaliao do PPA,


h orientao para que esteja centrada no alcance das metas prioritrias da
Administrao Pblica Federal. Deve acompanhar a execuo de cada programa,
tendo, portanto, flexibilidade para se adequar s suas especificidades, respeitando
a forma de organizao e a disponibilidade de informaes em cada caso. A prtica
da gesto do Plano implicar a adoo de mecanismos de estmulo cooperao
federativa, particularmente o intercmbio e a disseminao de informaes, e
participao da sociedade civil.
Da se extraem alguns elementos centrais ao monitoramento do Plano: (1)
flexibilidade para dialogar com a estratgia de implementao de cada programa
temtico; (2) nfase nas metas prioritrias; (3) responsabilidade compartilhada da
Administrao Pblica Federal; (4) articulao federativa e (5) participao social.
Os objetivos estratgicos acima explicitados conferem sentido diferenciado ao
entendimento comum que em geral se tem acerca da atividade de monitoramento.
Em outras palavras, parte-se aqui da premissa segundo a qual monitoramento no
fim em si mesmo, nem tampouco se confunde seja com atividades de cobrana por
execuo fsica e financeira das aes de governo, ou com atividades de controle
procedimental dessas aes, ou ainda com a prestao de contas ex post das aes
governamentais, ainda que tais atividades possam derivar da funo-monitoramento
tal como aqui desenhada.
Ao contrrio, a atividade de monitoramento buscada pelo Ministrio do
Planejamento inspira-se na compreenso de que monitoramento , antes de tudo,
fonte de aprendizado sobre a realidade de implementao e execuo das polticas
pblicas, que visa - por suposto - a produo de informaes tempestivas para o
processo complexo de tomada de decises por parte das instncias deliberativas de
governo. Tido como mito dos manuais, a assertiva anterior se mostra factvel se a
atividade de monitoramento, uma vez institucionalizada como atributo indissocivel
da prtica cotidiana de planejamento governamental, for capaz de realizar-se de
modo dinmico, sistmico, abrangente e multi-inter-trans dimensional.
Sendo o monitoramento uma atividade que diz respeito ao processo de
implementao, execuo e gesto das aes de governo, necessita ser prtica de
natureza contnua, cumulativa e coletiva para viabilizar-se como atividade que agrega
8

valor ao campo de compreenso das polticas pblicas, respeitadas suas dinmicas


e especificidades.
Com tais elementos em mente, pode-se conceber o monitoramento como
atividade regular de Estado, capaz de produzir:
i) conhecimentos densos e aprofundados das realidades, com nfase s
dimenses estratgicas e crticas da implementao e gesto cotidianas
das polticas pblicas, e
ii) informaes harmonizadas e indicadores teis ao gerenciamento
tempestivo das aes de governo, este o sonho e a meta de toda e qualquer
estratgia ou sistema de monitoramento j pensado ou implementado.
Nesse contexto, a produo e o tratamento de informaes permitem a
ampliao do conhecimento sobre as polticas pblicas. Isto ganha destaque em um
momento que o Estado busca ampliar sua capacidade de fazer e entregar bens e
servios a sociedade, reforando o processo de aprendizado necessrio para viabilizar
a implementao das polticas.
Dessa forma,os indicadores so ferramentas teis para a gesto pblica,
tanto para revelar a situao atual das polticas, bem como para produzir subsdios
que permitam acompanhar sua evoluo. Por isso, o Ministrio do Planejamento,
Oramento e Gesto MP, por meio da Secretaria de Planejamento e Investimentos
Estratgicos SPI, apresentou o Guia Metodolgico - Indicadores de Programas, que
sugeriu aos rgos e demais interessados uma sntese conceitual e uma metodologia
de construo de indicadores de desempenho de Programas.
No entanto, a construo de indicadores efetivos no subsdio a tomada de
deciso no podem estar descolada da realidade das polticas pblicas, sendo que
h uma gama de fatores que necessitam ser considerados durante sua construo e
utilizao. A partir desta constatao a SPI oferece essas novas Orientaes Bsicas
Aplicadas Gesto Pblica para a construo de Indicadores , instrumento que
procura retratar a complexidade que envolve essa temtica e apontar caminhos e
possibilidades para qualificao do processo de produo das informaes.
Esta iniciativa procura aproximar a metodologia de construo de indicadores
do dia a dia dos gestores pblicos, expondo os desafios que esto envoltos nesse
processo e o risco de apropriao incorreta desta ferramenta pela burocracia. Isto
auxiliar os gestores e cidados na compreenso dos instrumentos que de fato
contribuam para atingir e compreender os resultados esperados.
9

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Finalmente, destaca-se que o conhecimento da realidade brasileira e do


contexto de implementao de cada poltica pblica, seu contedo e seus desafios,
que fornecero as melhores condies para a construo e aplicao de mecanismos
gerenciais mais adequados a uma gesto pblica orientada para o fazer.
Assim, certos de contar com o engajamento ativo de todos os Ministrios
e Secretarias da Presidncia da Repblica neste processo, deixamos nossas efusivas
saudaes e colocamo-nos disposio para quaisquer sugestes ou esclarecimentos
adicionais que se fizerem necessrios atravs dos seguintes contatos: e-mail
salappa@planejamento.gov.br e tel. (61) 2020.4800.
Cordialmente,
Ministrio do Planejamento, Oramento e Gesto - MP
Secretaria de Planejamento e Investimentos Estratgicos - SPI

10

Sumrio

Lista de Quadros ........................................................................................... 12

1.Introduo .................................................................................................. 14
2.Objetivos .................................................................................................... 15
3.Referncia Conceitual ................................................................................ 16
3.1. Propriedades ................................................................................................17
3.2. Taxonomia ...................................................................................................20
3.3. Limitaes ....................................................................................................25

4.Indicadores no PPA .................................................................................... 28


5.Consideraes para Construo de Indicadores ..................................... 31
6. A utilizao de indicadores nas polticas pblicas. ................................. 34
7.Fontes de dados e de informaes estatsticas ....................................... 43
7.1. Fontes de dados estruturados.......................................................................43
7.2. Principais pesquisas do IBGE .........................................................................44
7.3. Outras pesquisas ..........................................................................................46
7.4. Registros administrativos ..............................................................................50
7.5. Publicaes ..................................................................................................51
7.6. Tecnologias ..................................................................................................54
7.7. Outras fontes ...............................................................................................56

8.Consideraes Finais .................................................................................. 58

11

Lista de Quadros

Referncias Bibliogrficas ................................................................................. 60


Lista de Quadros
Quadro 1 Elementos de um bom indicador ................................................... 15
Quadro 2 - Pincipais Instituies de Pesquisa e seus Princpios Produtos ............ 41

Lista de tabelas
Tabela 1 Domiclios particulares permanentes sem abastecimento de
gua por rede geral .... .................................................................................... 34
Tabela 2 - Indicadores de Programa no PPA 2008-2011 .................................... 35

Lista de figuras
Figura 1 Indicadores de gesto para um programa de ateno sade.......... 19
Figura 2 Pirmide da informao ................................................................... 20

Lista de grficos
Grfico 1 Evoluo da taxa de homicdios (p/100 mil habitantes) ................... 32
Grfico 2 Domiclios particulares permanentes sem abastecimento
de gua por rede geral..................................................................................... 34

13

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

1. Introduo

O desenvolvimento econmico e social ocorrido na ltima dcada apresentou


destacada atuao estatal, que conseguiu conciliar estabilidade macroeconmica,
desenvolvimento sustentvel e crescimento do emprego e da renda. A implementao
de polticas pblicas como PAC, PDE, Bolsa Famlia, entre outras, foram cruciais na
obteno dos avanos citados, sendo que o sucesso destas e de outras polticas
est diretamente relacionada a capacidade de gesto das mesmas. Nesse mbito a
medio sistemtica de aspectos da realidade que se deseja alterar fundamental
para uma adequada gesto, e os indicadores so uma ferramenta que podem
contribuir para a realizao de monitoramento e avaliao eficazes.
Dessa forma este guia visa contribuir para disseminao de boas prticas de
construo e implementao dos indicadores no mbito das polticas pblicas e est
dividido da seguinte forma:
Objetivos apresenta uma breve explanao sobre os objetivos do guia.
Referncia Conceitual traz uma referncia bsica acerca dos indicadores
no mbito da gesto pblica, facilitando a compreenso dos termos que
permearo os demais captulos desta obra.
Indicadores no PPA destaca o papel dos indicadores no mbito dos
Programas Temticos do PPA 2012-2015
Consideraes para construo de indicadores apresenta um conjunto de
observaes que podem contribuir na construo de indicadores.
A utilizao de indicadores nas polticas pblicas apresenta dois
exemplos bem sucedidos da utilizao de indicadores em polticas pblicas,
destacando seu papel no subsdio tomada de deciso. Tambm traz
um contra exemplo, onde um indicador criado dissociado da realidade
da implementao da poltica, situao que contribui para aumentar a
ineficincia da ao pblica.
Fontes de dados e de informaes estatsticas traz, resumidamente,
as principais fontes de dados e de informaes pblicas, bem como as
principais tecnologias disponveis para sua manipulao.
14

2. Objetivos

O presente guia visa contribuir para disseminar boas prticas de construo


e implementao de indicadores no mbito do Governo Federal, apresentando
tambm conceitos-chave aplicveis ao acompanhamento da ao estatal. Para
tanto, este documento tem como objetivos especficos:
apresentar uma breve referncia terica que possibilite uniformizar
conceitos, classificaes e nomenclaturas, a partir do entendimento da
literatura escolhida;
introduzir orientaes aplicveis s atividades de construo ou seleo de
indicadores;
estabelecer uma referncia rpida que auxilie os envolvidos e interessados
na construo de Indicadores;
apresentar exemplos prticos de Indicadores na Administrao Pblica
Federal, de onde se podem tirar lies quanto aplicao destas
ferramentas;
mapear registros e publicaes que sirvam de fontes de informaes
teis para a construo de indicadores aplicveis Administrao Pblica
Federal.
O aperfeioamento da gesto

das aes governamentais o principal

resultado esperado para este guia, considerando a importncia dos indicadores como
base instrumental para os processos de diagnstico, elaborao, implementao,
monitoramento e avaliao de Polticas Pblicas. Outras consequncias positivas
esperadas so:
aprimorar os resultados do Estado;
aprimorar o planejamento, a implementao, o monitoramento e a
avaliao de polticas;
uniformizar alguns conceitos, abordagens e diretrizes sobre indicadores;
melhorar a comunicao dos resultados das aes pblicas.
15

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

3. Referncia Conceitual

Este captulo tem o intuito de introduzir uma referncia conceitual mnima


acerca dos indicadores no mbito da gesto pblica, bem como favorecer a
compreenso dos termos que permearo os demais captulos deste volume. Todavia,
o leitor ou a leitora so convidados a aprofundar-se na vasta teoria dos indicadores a
partir das referncias bibliogrficas listadas no final deste documento.
Pode-se afirmar que o principal objetivo dos indicadores, no contexto
aqui analisado, o de assistir os gestores pblicos. Se possuem informaes
confiveis, precisas e tempestivas, eles podem abdicar de decises fundamentadas
exclusivamente na intuio, tradio, tino administrativo ou opinies pessoais.
Neste contexto, os indicadores permitem integrar subjetividade e objetividade a
partir de evidncias empricas, viabilizam comparaes e avaliaes consistentes, e,
principalmente, criam condies para esclarecer e fornecer suporte s decises.
Na gesto pblica, os indicadores so instrumentos que contribuem para
identificar e medir aspectos relacionados a um determinado fenmeno decorrente
da ao ou da omisso do Estado. A principal finalidade de um indicador traduzir,
de forma mensurvel, um aspecto da realidade dada (situao social) ou construda
(ao), de maneira a tornar operacional a sua observao e avaliao.
A literatura aponta diversas acepes acerca de indicadores, todas guardando
certa similaridade conceitual. Segundo Ferreira, Cassiolato e Gonzales (2009), por
exemplo:

O indicador uma medida, de ordem quantitativa ou qualitativa, dotada


de significado particular e utilizada para organizar e captar as informaes
relevantes dos elementos que compem o objeto da observao. um
recurso metodolgico que informa empiricamente sobre a evoluo do
aspecto observado.

16

Na viso de Rua (2004), os indicadores so medidas que expressam ou


quantificam um insumo, um resultado, uma caracterstica ou o desempenho de
um processo, servio, produto ou organizao. Para o IBGE (2008), os indicadores
so ferramentas constitudas de variveis que, associadas a partir de diferentes
configuraes, expressam significados mais amplos sobre os fenmenos a
que se referem. J segundo Magalhes (2004), so abstraes ou parmetros
representativos, concisos, fceis de interpretar e de serem obtidos, usados para ilustrar
as caractersticas principais de determinado objeto de anlise. Em linha semelhante,
o Plano Plurianual 2012-2015 concebe os indicadores como instrumentos que
possibilitam a identificao e aferio de aspectos de determinada poltica pblica e,
uma vez apurado periodicamente, auxiliam o monitoramento da evoluo de uma
determinada realidade, gerando subsdios para a avaliao (BRASIL, 2011b).
Em suma, indicadores so informaes que permitem descrever, classificar,
ordenar, comparar ou quantificar de maneira sistemtica aspectos de uma realidade
e que atendam s necessidades dos tomadores de decises.
Se um indicador no reflete a realidade que se deseja medir ou no
considerado nos diversos estgios da elaborao e implementao de polticas,
planos e programas, pode-se constatar um desperdcio de tempo e recursos pblicos.

3.1. Propriedades
Diante da grande quantidade de medidas disponveis, o processo de
seleo de indicadores deve buscar o maior grau possvel de aderncia a algumas
propriedades que caracterizam uma boa medida de desempenho. Na viso da OCDE
(2002 apud MAGALHES 2004), por exemplo, um bom indicador deve apresentar
as seguintes propriedades e elementos:

17

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Quadro 1 Elementos de um bom indicador


Propriedade

Elementos
Representatividade

Relevncia para
a formulao de
polticas

Simplicidade
Sensibilidade a mudanas
Possibilidade de comparaes em nvel internacional
Escopo abrangente
Disponibilidade de valores de referncia
Fundamentao cientfica

Adequao anlise

Base em padres internacionais e consenso sobre a sua validade


Aplicao em modelos econmicos, de previso e em sistemas de
informao
Viabilidade em termos de tempo e recursos

Mensurabilidade

Documentao adequada
Atualizao peridica

Fonte: Adaptado de OCDE (2002 apud MAGALHES 2004)

Considerando as abordagens de autores como Rua (2004), Jannuzzi (2005)


e Ferreira, Cassiolato e Gonzalez (2009), pode-se separar as propriedades dos
indicadores em dois grupos distintos:
Propriedades Essenciais: so aquelas que qualquer indicador deve
apresentar e sempre devem ser consideradas como critrios de escolha, independente
da fase do ciclo de gesto em que se encontra a poltica sob anlise (Planejamento,
Execuo, Avaliao etc.). So elas:
Utilidade: Deve suportar decises, sejam no nvel operacional, ttico ou
estratgico. Os indicadores devem, portanto, basear-se nas necessidades
dos decisores;
Validade: capacidade de representar, com a maior proximidade possvel,
a realidade que se deseja medir e modificar. Um indicador deve ser
significante ao que est sendo medido e manter essa significncia ao longo
do tempo;
Confiabilidade: indicadores devem ter origem em fontes confiveis,
que utilizem metodologias reconhecidas e transparentes de coleta,
processamento e divulgao;
18

Disponibilidade: os dados bsicos para seu cmputo devem ser de fcil


obteno.
Propriedades Complementares: so tambm muito importantes, mas
podem ser alvo de uma anlise de trade-off1 dependendo da avaliao particularizada
da situao. So elas:
Simplicidade: indicadores devem ser de fcil obteno, construo,
manuteno, comunicao e entendimento pelo pblico em geral, interno
ou externo.
Clareza: geralmente um indicador definido como uma diviso entre
duas variveis bsicas; formado, portanto, por um numerador e
um denominador, ambos compostos por dados de fcil obteno.
Eventualmente, porm, ele pode ser complexo na sua frmula,
envolvendo muitas variveis. Em todo caso, porm, imprescindvel que
seja claro, atenda necessidade do decisor e que esteja adequadamente
documentado.
Sensibilidade: capacidade que um indicador possui de refletir
tempestivamente as mudanas decorrentes das intervenes realizadas;
Desagregabilidade: capacidade de representao regionalizada de
grupos sociodemogrficos, considerando que a dimenso territorial se
apresenta como um componente essencial na implementao de polticas
pblicas;
Economicidade: capacidade do indicador de ser obtido a custos mdicos;
a relao entre os custos de obteno e os benefcios advindos deve ser
favorvel;
Estabilidade: capacidade de estabelecimento de sries histricas estveis
que permitam monitoramentos e comparaes das variveis de interesse,
com mnima interferncia causada por outras variveis;
Mensurabilidade: capacidade de alcance e mensurao quando
necessrio, na sua verso mais atual, com maior preciso possvel e sem
ambiguidade;

Expresso que denota uma situao em que h conflito de escolha.


19

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Auditabilidade: ou rastreabilidade, qualquer pessoa deve sentir-se apta


a verificar a boa aplicao das regras de uso dos indicadores (obteno,
tratamento, formatao, difuso, interpretao).
Alm dessas propriedades, importante que o processo de escolha de
indicadores considere os seguintes aspectos:
Publicidade: os indicadores devem ser pblicos, isto , conhecidos e
acessveis a todos os nveis da instituio, bem como sociedade e aos
demais entes da administrao pblica.
Temporalidade: a identificao dos indicadores de desempenho deve
considerar algumas questes temporais: em primeiro lugar o momento
em que deve comear a medio; em segundo lugar a disponibilidade de
obteno quando os diferentes resultados comearem a acontecer; e, por
fim, a possibilidade de que, por meio dessas medidas, seja possvel realizar
um acompanhamento peridico do desempenho do Programa.
Factibilidade: os dados necessrios para as medies se constituem em
informaes que fazem parte dos processos de gesto da instituio e,
portanto, obtidas atravs de instrumentos de coleta, seja por amostra
ou censo, estatsticas, aplicao de questionrios, observao etc.,
dependendo do aspecto a ser medido. Uma proposta de elaborao de
indicadores dever permitir dispor de indicadores de medio factvel,
em momentos adequados e com uma periodicidade que equilibre as
necessidades de informao com os recursos tcnicos e financeiros.

3.2. Taxonomia
A taxonomia existente na literatura aponta mais de uma dezena de formas e
critrios de classificao de indicadores. Porm, no intuito de evitar um emaranhado
conceitual, estas classificaes no sero detalhadas neste documento e podem ser
encontradas em Rua (2004), Jannuzzi (2005) e Santagada (2007). Contudo, apenas
para ilustrar estas classificaes seguem abaixo trs exemplos que dizem respeito aos
diferentes momentos do ciclo de gesto de polticas pblicas, aos tipos de avaliao
na aplicao dos recursos, e complexidade:

20

a) Indicadores de Gesto do Fluxo de Implementao de Polticas Pblicas


Essa classificao

permite separar os indicadores de acordo com a sua

aplicao nas diferentes fases do ciclo de gesto de uma poltica pblica, quais
sejam: antes, durante ou depois de sua implementao. Assim, na viso adaptada
de Bonnefoy (2005) e Jannuzzi (2005), os indicadores podem ser de:
Insumo (antes): so indicadores que tm relao direta com os recursos
a serem alocados, ou seja, com a disponibilidade dos recursos humanos,
materiais, financeiros e outros a serem utilizados pelas aes de governo.
So exemplos mdicos/mil habitantes e gasto per capita com educao;
Processo (durante): so medidas que traduzem o esforo empreendido na
obteno dos resultados, ou seja, medem o nvel de utilizao dos insumos
alocados como, por exemplo, o percentual de atendimento de um pblicoalvo e o percentual de liberao dos recursos financeiros;
Produto (depois): medem o alcance das metas fsicas2. So medidas
que expressam as entregas de produtos ou servios ao pblico-alvo. So
exemplos o percentual de quilmetros de estrada entregues, de armazns
construdos e de crianas vacinadas em relao s metas estabelecidas;
Resultado (depois): essas medidas expressam, direta ou indiretamente,
os benefcios no pblico-alvo decorrentes das aes empreendidas no
contexto de uma dada poltica e tm particular importncia no contexto de
gesto pblica orientada a resultados. So exemplos as taxas de morbidade
(doenas), taxa de reprovao escolar e de homicdios;
Impacto (depois): possuem natureza abrangente e multidimensional,
tm relao com a sociedade como um todo e medem os efeitos das
estratgias governamentais de mdio e longo prazos. Na maioria dos casos
esto associados aos objetivos setoriais e de governo (veja Figura 8). So
exemplos o ndice Gini de distribuio de renda e o PIB per capita.

Segundo Costa e Castanhar (2003) os padres de referncia para definio de metas podem ser:

absolutos, quando estabelecido um valor a ser alcanado; histricos, quando h comparao com
perodos anteriores; normativos, quando h comparao com programas similares; tericos, quando
estabelece uma relao hipottica de causa e feito entre os recursos alocados e os resultados esperados; e
negociados, quando os compromissos so conversados e fixados entre partes.

21

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

A Figura 1 a seguir apresenta uma ilustrao dessa classificao para uma


poltica pblica, cujo objetivo diminuir a incidncia de doenas sexualmente
transmissveis em determinado pblico-alvo.
Figura 1 - Indicadores de gesto para um Programa de ateno sade

Fonte: Ministrio do Planejamento

b) Indicadores de Avaliao de Desempenho


Essa classificao possui foco maior na avaliao dos recursos alocados e dos
resultados alcanados. Segundo essa tica, os indicadores podem ser de (TCU, 2000):
Economicidade: medem os gastos envolvidos na obteno dos insumos
(materiais, humanos, financeiros etc.) necessrios s aes que produziro
os resultados planejados. Visa a minimizar custos sem comprometer os
padres de qualidade estabelecidos e requer um sistema que estabelea
referenciais de comparao e negociao;
Eficincia: essa medida possui estreita relao com produtividade, ou seja,
o quanto se consegue produzir com os meios disponibilizados. Assim, a
partir de um padro ou referencial, a eficincia de um processo ser tanto
maior quanto mais produtos forem entregues com a mesma quantidade
de insumos, ou os mesmos produtos e/ou servios sejam obtidos com
menor quantidade de recursos;
Eficcia: aponta o grau com que um Programa atinge as metas e objetivos
planejados, ou seja, uma vez estabelecido o referencial (linha de base) e as
metas a serem alcanadas, utiliza-se indicadores de resultado para avaliar
se estas foram atingidas ou superadas;
Efetividade: mede os efeitos positivos ou negativos na realidade que
sofreu a interveno, ou seja, aponta se houve mudanas socioeconmicas,
ambientais ou institucionais decorrentes dos resultados obtidos pela
poltica, plano ou programa. o que realmente importa para efeitos de
transformao social.
22

c) Complexidade
Essa classificao permite compreender que indicadores simples podem ser
combinados de forma a obter uma viso ponderada e multidimensional da realidade.
Segundo a tica de complexidade, representada na Figura 2, os indicadores podem ser:
Analticos: so aqueles que retratam dimenses sociais especficas. Podese citar como exemplos a taxa de evaso escolar e a taxa de desemprego;
Sintticos: tambm chamados de ndices, sintetizam diferentes conceitos
da realidade emprica, ou seja, derivam de operaes realizadas com
indicadores analticos e tendem a retratar o comportamento mdio das
dimenses consideradas. Diversas instituies nacionais e internacionais
divulgam indicadores sintticos, sendo exemplos o PIB, IDEB, IPC e o IDH.
No que diz respeito escolha do grau de complexidade dos indicadores,
pode-se dizer que se a realidade que se pretende alterar com uma determinada
poltica complexa, sua gesto no deve se restringir simples apreciao de um
indicador sinttico. O IDH, por exemplo, resultado da ponderao de trs temas
distintos (economia, sade e educao), busca melhor representar o nvel de
desenvolvimento socioeconmico de um pas; porm a sua composio mistura um
conceito mais sensvel s variaes conjunturais e de prazo mais curto (PIB per capita)
com conceitos estruturais menos sensveis e de prazo mais longo de evoluo (sade
e educao). Assim, uma variao anual positiva do IDH decorrente do aumento do
PIB per capita pode, por exemplo, camuflar uma estagnao ou at um retrocesso
nas outras dimenses estruturais do ndice (sade e educao).

23

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Figura 2 Pirmide da informao

Fonte: Ministrio do Planejamento

Alm de se prestarem de forma limitada para o processo de avaliao das


polticas pblicas, os indicadores sintticos podem revelar problemas quando da sua
utilizao indiscriminada como critrio de elegibilidade de municpios para serem
contemplados com polticas pblicas especficas. O mais recente IDH-M (ndice de
Desenvolvimento Humano Municipal), se utilizado eventualmente como critrio de
seleo dos municpios para uma dada poltica pblica voltada para a melhoria das
condies nutricionais e de vida das crianas de zero a seis anos, mais vulnerveis
socialmente, poderia apontar um conjunto de municpios bastante distinto do que
seria apontado com a aplicao de um conjunto mais apropriado e refinado de
indicadores analticos para contemplar com maior preciso o pblico-alvo da poltica.
Considerando-se, por exemplo, o indicador Proporo de crianas na primeira
infncia (de zero a seis anos) residentes em domiclios particulares permanentes, cujo
responsvel aufere renda at dois salrios mnimos mensais, algumas constataes
saltam aos olhos. Em primeiro lugar, com base nesse indicador apenas 26 municpios
(menos de um tero) do grupo de cem municpios selecionados pelo IDH-M
continuariam a fazer parte daqueles que seriam contemplados pela poltica pblica.
Alm disso, observam-se discrepncias entre alguns municpios que seriam ou no
contemplados pela poltica pblica em razo do seu IDH-M e, consequentemente, de

24

sua posio no ranking, vis--vis sua efetiva situao com base no indicador analtico
proposto. Tal problemtica do uso do IDH-M se faz presente quando se confronta
esse critrio de elegibilidade de municpios com diversos outros indicadores mais
refinados para atender aos mais variados fins de polticas pblicas, inclusive no
mbito das unidades da federao3.

3.3. Limitaes
Durante a construo e utilizao de indicadores importante estar ciente
que estes apresentam algumas limitaes, que precisam ser consideradas para uma
adequada utilizao dos mesmos. A seguir so apresentadas as principais limitaes
identificadas:
A medio interfere na realidade a ser medida A coleta de
informaes que subsidiaro decises superiores altera o contexto no qual
as informaes so coletadas, interferindo nos resultados obtidos. H de
se ter em mente que a gesto e cmputo dos indicadores advm direta
ou indiretamente de procedimentos executados por pessoas que possuem
interesses, sofrem e geram presses, e que no podem ser consideradas
plenamente isentas. Assim, ao se conceberem indicadores, preciso que
os gestores tenham clareza da necessidade, pertinncia e convenincia
de quais informaes sero coletadas e de como sero coletadas, o que
envolve conhecimento dos meios, do ambiente e das pessoas envolvidas
neste processo;
Parcimnia e confiana so necessrias Deve-se buscar uma
maior aproximao entre a fonte primria de informaes (por exemplo,
professores, policiais, assistentes sociais e bancrios) e as instncias
decisrias superiores, para que o processo de aferio seja confivel,
subsidiando efetivamente os ltimos sem sobrecarregar os primeiros,
numa relao de parcimnia e confiana. Para tal, deve ser dada nfase em

Para mais informaes sobre a problemtica de uso de indicadores sintticos em polticas pblicas ver

Guimares e Jannuzzi (2005).

25

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

uma ampla comunicao e busca pela compreenso e comprometimento


mtuos, o que requer tambm uma boa dose de humildade da rea meio,
que deve agir de modo a facilitar e coordenar este processo;
No se deve subestimar o custo da medio Medies efetivas
envolvem significativos custos, principalmente pelo tempo requerido dos
atores envolvidos na concepo, planejamento e implementao dos
indicadores. Deve-se considerar com a mxima antecedncia os custos
associados intensa comunicao e negociao requerida entre as reas
fim e as instncias decisrias. Por fim, h de se buscar a construo de
instrumentos, tais como os sistemas de informao, que sejam amigveis
a todos os envolvidos, de modo que estes no se tornem fardos coleta,
tratamento e apresentao das informaes, bem como no induzam
o descomprometimento na prestao ou utilizao das informaes. A
considerao destes custos tende a induzir escolhas mais cuidadosas e
parcimoniosas dos indicadores, conferindo-lhes maiores chances de sucesso;
A medio no constitui um fim em si mesmo Indicadores adequados,
confiveis e disponveis tempestivamente so excelentes ferramentas
de suporte deciso. Considerados, contudo, seus custos e intrnseca
incompletude, h de se tomar o cuidado para que estes no interfiram
negativamente no desempenho da organizao (governo), seja pelo
volume de recursos envolvidos nas reas fins, seja pela supervalorizao dos
indicadores por parte das instncias decisrias. Estas ltimas, por um lado,
devem ter em mente que qualquer conjunto de indicadores uma reduo
da realidade aferida, e que outras formas de aquisio de informaes
acerca do desempenho organizacional, tais como a troca de experincias
e impresses interpessoais, no podem ser desprezados. Por outro lado,
as reas meio devem se certificar de que suas ferramentas e processos
no sirvam apenas a si prprios. Quaisquer indicadores implementados no
setor pblico devem servir, em ltima instncia, ampliao da capacidade
do Estado de ofertar bens e servios de qualidade.
Indicadores so representaes imperfeitas e transitrias - No
se deve confiar cega e permanentemente nas medidas, o que significa
dizer que o gestor de uma poltica pblica deve, periodicamente,
realizar uma avaliao crtica acerca da pertinncia dos indicadores
selecionados, considerando ainda que, a todo tempo, surgem modelos
aperfeioados baseados em novas teorias. Deve-se, portanto, confiar nas
escolhas realizadas enquanto no surgirem alternativas melhores, mais
vlidas e aprimoradas, desenvolvidas a partir de pesquisas e trabalhos
metodologicamente confiveis (MAGALHES, 2004);
26

O indicador e a dimenso de interesse no se confundem - Deve-se


atentar que o indicador apenas aponta, assinala, indica como o prprio
nome revela. Contudo, comum casos em que o foco das aes seja
deslocado da realidade com que se deseja trabalhar para o indicador
escolhido para represent-la. H casos at em que primeiro se escolhe
o indicador para depois associ-lo a um dilema. De fato em algumas
situaes existe forte identificao entre o conceito e o indicador como,
por exemplo, mortalidade ou morbidade por causas diversas; porm em
geral essa no a regra, principalmente para conceitos multidimensionais
como desenvolvimento humano e qualidade de vida.
Por fim, importante considerar, tambm, uma espcie de custo de
oportunidade que est associado disseminao de procedimentos que terminam
deslocando o foco da implementao das aes para a estruturao de processos
ideais com vistas a coleta de informaes. Ou o custo que se incorre quando se
transmite a ideia de que tudo passvel de mensurao por meio de indicadores.
Trata-se de um custo invisvel que o Estado incorre ao legitimar uma representao
da realidade (admitida como universal) de algo que pode atrapalhar mais do que
contribuir para que o Estado supere os desafios. Portanto, crvel a considerao de
todas essas limitaes e custos que envolvem a produo e disseminao de mtodos,
modelos e processos que se dissociados do objetivo de viabilizar a implementao
das polticas, podem se tornarem rotinas autocentradas, que drenam energia da
Administrao Pblica e fomentam a entropia organizacional.

27

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

4. Indicadores do PPA

Para compreender como os indicadores esto inseridos no PPA 2012-2015


preciso entender os motivos que levaram a mudana na metodologia de elaborao
do Plano e as mudanas que ocorreram na concepo dos programas. No PPA 20082011 os problemas na conformao dos programas eram um produto da tenso entre
estrutura organizacional, problematizao da realidade e disputa por oramento,
fato que produziu estruturas que no conseguiram revelar os recortes legtimos
de polticas pblicas, motivo pelo qual tornaram-se, via de regra, um classificador
de aes. Por isso, os programas do novo PPA tem recortes baseados nos temas
de polticas pblicas, so mais agregados e em menor quantidade, minimizando
os programas associados s unidades administrativas, fato que comprometia a
consistncia dos programas atuais e, consequentemente, de seus indicadores. Com
a aproximao natural entre polticas e programas, fica mais simples criar medidas de
resultado associado s polticas, especialmente porque vrias delas j existem. Difcil
associar uma medida a um programa que no tinha racionalidade4. Isso explica, em
parte, as inconsistncias nos indicadores dos programas do PPA 2008-2011.
No PPA os indicadores constituem um dos atributos dos Programas Temticos.
Complementando as informaes presentes na contextualizao, os indicadores
permitem identificar e aferir aspectos relacionados ao tema, auxiliando o monitoramento
da evoluo de uma determinada realidade. So atributos dos Indicadores:
Denominao: forma pela qual o indicador ser apresentado sociedade;

La exigencia del diseo del proyecto conforme al metodo del marco logico tampoco ayuda suficientemente

a acompaar processos que, por su propria naturaleza, son abierto, sujectos a un margen importante de
incertidumbre y que exigen una extraordinaria flexibilidad adaptativa para poder producir resultados Joan
Prats i Catal. De la burocracia al management, del management a la governanza. INAP, Madrid, 2005 pg. 92.

28

Fonte: rgo responsvel pelo registro ou produo das informaes


necessrias para a apurao do Indicador e sua divulgao peridica
Unidade de Medida: padro escolhido para mensurao da relao
adotada como indicador;
ndice de Referncia: situao mais recente da poltica e sua respectiva
data de apurao. Consiste na aferio de um indicador em um dado
momento, mensurado com a unidade de medida escolhida.
Contudo, no monitoramento e avaliao do PPA, pode ocorrer de alguns
indicadores enunciados se mostrarem inadequados para o acompanhamento e
efetivao das polticas, seja porque um indicador complexo, dependente de uma
srie de polticas, e assim, pouco sensvel a eficcia de uma poltica isolada (IDH, por
exemplo), seja porque apresenta dificuldades ao acompanhamento tempestivo para
a correo de rumos de uma dada poltica (por exemplo aqueles que dependem do
censo). Da mesma forma, natural que surjam outros indicadores que se mostrem mais
pertinentes para assistir as decises do governo. Isso ocorre porque os indicadores,
no momento da elaborao do PPA, tambm so utilizados como referncia na
mensurao dos desafios a serem perseguidos pelo Programa, desta forma optou-se
por flexibilizar a anlise das propriedades essenciais de cada indicador.
Cabe ressaltar ainda que muitas das metas contidas no plano apresentamse na forma de indicadores, por exemplo, o percentual da populao de classe D e
E fazendo uso da Internet (acesso banda larga ou discado). Assim, natural que o
monitoramento deste programa acompanhe este indicador.
Resta claro, portanto, que a escolha dos indicadores para as atividades de
acompanhamento do PPA depende de uma criteriosa anlise, luz conhecimento
da realidade de implementao e dos limites e possibilidades das informaes
disponveis em cada contexto e das necessidades do governo e sociedade, tendo-se
sempre em vista que o sucesso do plano depende do sucesso da implementao e
que a que reside a razo precpua das atividades de gesto.
possvel, entretanto, destacar alguns outros aspectos relevantes observados
na construo e utilizao de indicadores no PPA, dentre os quais:
Qualidade de um indicador: aspecto relacionado validade e
pertinncia. O gestor pblico deve ter em mente que o que se pretende
29

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

com a utilizao de indicadores de desempenho no produzir nmeros,


mas aferir resultados ou aspectos da poltica que subsidiem decises,
ampliando a capacidade do Estado de entregar produtos e servios
sociedade. A avaliao de pertinncia de um indicador tambm deve
considerar os custos (tempo, recursos e capital poltico) para que sua
implantao seja bem sucedida.
Dimenso Territorial: o conhecimento e o tratamento da dimenso
territorial por meio da seleo de indicadores socioespaciais permite no
apenas tratar os dilemas e desafios presentes na sociedade, mas tambm
aproveitar as potencialidades locais. Assim, uma classificao de unidades
territoriais segundo indicadores especficos nortear melhor a definio
de objetivos e prioridades, contribuindo para a efetividade das aes de
governo.
Transversalidade: uma forma de atuao horizontal, no hierrquica,
que busca construir polticas pblicas integradas por meio de aes
articuladas. No mbito do Governo Federal, as aes governamentais tm
de ser formuladas e desenvolvidas a partir da compreenso de que algumas
temticas como, por exemplo, gnero, raa, direitos humanos, informao,
conhecimento e sustentabilidade, que estruturam diversas dimenses da
vida humana e correspondem a questes importantes para a sociedade.
Um tema de natureza transversal transcende as estruturas comumente
utilizadas na gesto de polticas pblicas, desta forma construir indicadores
para medir e acompanhar temas transversais um enorme desafio devido
tendncia comum na gesto pblica de pensar de maneira segmentada.
Fontes: um aspecto importante na seleo de indicadores que se deve
evitar reinventar a roda, pois existe uma grande variedade de indicadores
disponveis para uso. Somente depois de confirmada a indisponibilidade de
medidas confiveis que o gestor deve constru-las.

30

5. Consideraes para Construo de Indicadores

Neste captulo ser apresentado um conjunto de observaes que podem


contribuir na construo de indicadores de Polticas Pblicas:
i. Entender o contedo e a forma de operao da poltica: o ponto
de partida para a construo de indicadores de resultado est na
compreenso sobre os fatores que influenciam ou determinam o estgio
atual da poltica, alm de aspectos como a relao de fora entre os atores,
os beneficirios indiretos, entre outros. a partir do conhecimento sobre
o diagnstico afeto quela poltica, inclusive sobre a forma de operao
do Estado no caso concreto e a consequente estrutura de informaes
associadas poltica pblica que se consegue avaliar adequadamente os
limites e possibilidades de informaes.
ii. Observar as necessidades dos decisores e possibilidades dos
executores: as informaes coletadas e convertidas em indicadores
devem atender s necessidades dos decisores, com vistas ampliao da
capacidade do Estado cumprir com seus objetivos. Isto implica, tambm,
em respeitar as restries concernentes disponibilidade de informaes
em determinada poltica, evitando que os recursos originalmente alocados
para atendimento populao tenham que ser deslocados para o
preenchimento de sistemas, formulrios e relatrios;
iii. Identificar outros interesses: Alm do entendimento claro da finalidade
das polticas e da necessidade dos decisores, necessrio compreender que
os indicadores podem servir no apenas para o ciclo de gesto da poltica
(formulao, planejamento, execuo, monitoramento e avaliao), mas
tambm para suprir outros rgos dentro e fora da Administrao: os
envolvidos em temas transversais, os administradores da agenda prioritria
de governo, o pblico-alvo das polticas, outros Poderes, as instituies
privadas e do terceiro setor, rgos de controle, etc. Assim, cabe avaliar
como estes indicadores poderiam ser aplicados por cada um destes
possveis usurios e seus efeitos, atentando convenincia de atender
necessidades especficas de informao destes, e como estas podem
interferir no processo de medio ou no processo decisrio no qual a
poltica est imersa, inclusive em seus aspectos polticos;
31

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

iv. Mapear indicadores candidatos: interessante mapear os indicadores


candidatos, luz das informaes necessrias decises bem assistidas, s
possibilidades da informao disponvel, do custo de coleta e tratamento
destas informaes, e das potencialidades de uso para qualificao da
capacidade do Estado em suas intervenes;
v. Realizar anlise de trade-off: A expresso trade-off denota um conflito
de escolha dentre diversas opes, ou seja, ganha-se com a escolha de
um indicador candidato mas perde-se com a no escolha de outro. Como
selecionar um conjunto apropriado de indicadores? A resposta est em
realizar anlises quantitativas e qualitativas, com o envolvimento dos
afetados por estas escolhas e atentando-se s propriedades verificadas
para cada conjunto de indicadores, seu potencial de subsidiar efetivamente
decises e esclarecer aspectos da realidade de implementao das polticas;
vi. Aproximar preciso: nem sempre as informaes desejadas pelos
decisores esto disponveis, nesses casos a adoo de medidas que
apresentem proximidade com as dimenses de interesse justificvel e
muitas vezes necessria;
vii. Validar os indicadores selecionados: Considerando os indicadores
inicialmente selecionados, cabe uma verificao final de conformidade e
pertinncia luz das respostas s questes abaixo:
1. As pessoas que definiram os indicadores conhecem a realidade daquela
poltica, em especial as formas de implementao?
2. Os indicadores escolhidos esto de acordo com as necessidades dos
decisores e as possibilidades dos executores das polticas?
3. Os custos de implementao dos indicadores, incluindo o processo de
comunicao e busca do comprometimento com todos os envolvidos desde
a seleo, produo, coleta e tratamento das informaes, apresentao e
subsdio s decises, so compatveis com os recursos disponveis?
4. Os indicadores escolhidos so vlidos para expressar resultados?
5. Tm relao direta com os objetivos da Poltica?
6. So oriundos de fontes confiveis?
7. So mensurveis?
8. As pessoas que fornecem, coletam, tratam, analisam e utilizam as
informaes esto cientes de suas misses e comprometidas com a
qualidade dos indicadores que constroem?
32

9. So em quantidade suficiente para expressar as dimenses envolvidas?


10. Consideram a dimenso territorial, quando necessria?
11. Expressam questes transversais, quando existirem?
12. As limitaes inerentes aos indicadores foram consideradas?
13. So estveis em relao a outras variveis que no as de interesse?
A lista de perguntas acima pode ser aplicada total ou parcialmente, e pode
ser completada de acordo com as necessidades e capacidades dos gestores.

33

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

6. A Utilizao de Indicadores nas Polticas Pblicas

O uso de indicadores nas polticas pblicas tradicionalmente vinculado s


etapas de monitoramento e avaliao, no entanto, estes so de grande utilidade
durante todo o seu ciclo de vida, a comear pela concepo.
As informaes demandadas e os indicadores utilizados precisam estar
adequados diferentes fases e tipos de cada poltica, como tambm aos diferentes
atores que interagem com a mesma (executores, formuladores, rgos de controle,
sociedade, entre outros).
Essa grande variedade de informaes possveis tende a influenciar os
gestores pblicos a acreditarem que preciso desenvolver inmeros indicadores,
que apesar de serem metodologicamente precisos, muitas vezes no dialogam entre
si e apenas aumentam a complexidade dos procedimentos e sistemas utilizados.
Neste momento, deve-se ter claro que a produo de informaes para concepo
de indicadores carece da criao de regras, rotinas, sistemas, obrigaes, campos
de preenchimento e fluxos de informao que podem acabar apresentando um
custo maior do que eventuais benefcios que esta informao proporciona para a
tomada de deciso.
Outro risco de que os processos de mensurao e anlise dos indicadores
tornem-se um fim em si mesmos. Isto acontece quando a informao produzida
relevante apenas para eventuais reas meios, que no esto envolvidas
diretamente na implementao das polticas.
Por isso, antes de desenvolver mtodos de coleta e tratamento de dados
recomenda-se avaliar a utilizao de processos, rotinas e informaes j estruturados
e internalizados pelos executores das polticas pblicas ou disponibilizadas por
agncias pblicas de informao tal como o IBGE.
A utilizao de informaes e indicadores durante a concepo de polticas
pblicas importante para a construo de diagnsticos consistentes com a realidade
34

que se pretende intervir, fornecendo assim informaes que subsidiaro no s a


construo de uma poltica, como tambm a sua incluso na agenda governamental.
Um exemplo a construo de uma poltica nacional de reduo de
homicdios na juventude negra. O DATASUS, banco de dados do Ministrio da Sade
que apresenta informaes sobre mortalidade e sobrevivncia, doenas infecciosas,
indicadores de sade, assistncia sade, demogrficas e socioeconmicas, publiciza
o nmero de bitos por causas externas. Devido a inconsistncias dos dados
disponveis pelas instituies de segurana pblica, esta informao do DATASUS
ganhou notoriedade como a melhor fonte sobre o nmero de homicdios5
ocorridos no pas. Uma grande vantagem desse banco de dados que ele fornece
recortes etrios, de raa, sexo e georreferenciados a nvel municipal informaes
crticas para a elaborao de um adequado diagnstico nessa temtica.
Ao se pensar estratgias para a reduo do nmero de homicdios (48.942
em 2009), parece lgico definir a utilizao da taxa de homicdio (homicdio/100
mil habitantes) como o melhor indicador para o monitoramento e avaliao. No
entanto, esta informao parece ser mais relevante para uma adequada concepo
e focalizao da poltica de segurana. Isto ocorre porque este indicador sofre
influncia de inmeros elementos que escapam do mbito de uma poltica de
segurana pblica, como crescimento econmico e m distribuio da renda,
grandes investimentos no setor produtivo que no so acompanhados de polticas
sociais, cultura local, oferta e escassez de emprego, efetividade do Poder Judicirio,
entre outros. Portanto, esse indicador permite anlises mais consistentes no mdio
e longo prazo. No curto prazo, o monitoramento da poltica pode ser realizado por
meio de suas metas e entregas previstas. Como por exemplo: Implantar 12 Sistemas
de Comunicao Integrados de Fronteira; Implantar 66 monitoramentos eletrnicos
(OCR) Sistema Alerta Brasil; entre outras.

Nesse caso, as mortes por causas externas so tidas como homicdio, apesar dos resultados no serem

confrontados com decises judiciais (s a deciso judicial arbitra se foi ou no homicdio). Portanto, o exemplo
ir utilizar as mortes por causas externas (bitos por causas externas Grande Grupo CID 10 X85-Y09
Agresses).

35

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

J na fase de concepo da poltica, o estudo georreferenciado dos ndices de


homicdios possibilita chegar a concluses preliminares, que podem ser equivocadas.
Tomemos como exemplo o caso dos homicdios, a seguir: Em 2009, 13% dos
municpios concentraram 78,5% dos homicdios; a regio sudeste apresentou
reduo em suas taxas, que foram contrapostas pelo crescimento da regio
nordeste, puxado por suas capitais. Devido reduo das taxas de So Paulo, a taxa
de homicdio apresentou uma tendncia de reduo nas capitais, que por sua vez
vem crescendo acima da mdia nas cidades mdias. Essa anlise tambm permite
identificar pequenos municpios que apresentam nmeros absolutos de homicdios
que os colocariam entre os 10% com os maiores nmeros de homicdios.

Grfico 1 - Evoluo da taxa de homicdio (p/ 100 mil habitantes)

Fonte: DATASUS Elaborao SPI/MP

Essa anlise, a partir de informaes disponveis e fornecidas por instituies


que no atuam diretamente na rea de segurana pblica (Ministrio da Sade e
IBGE), pode permitir uma melhor focalizao das aes destinadas reduo dos
homicdios, ampliando assim o impacto da poltica. No entanto, isto no significa que
os gestores possam olhar friamente para os dados e tirar concluses. Primeiramente,
preciso conhecer que as fontes de informaes, mesmo sendo a melhor disponvel
no momento, possuem limitaes ou vcios que precisam ser considerados. Nesse caso
36

especfico, o crescimento dos homicdios (bitos por causas externas - agresses) na


regio nordeste acompanhou uma processo realizado pelo Ministrio da Sade que
aprimorou a qualidade dos registros de bitos. Portanto, o crescimento do nmero
de homicdios na regio Nordeste pode ser explicado, ainda que parcialmente, pela
melhoria na qualidade do registro da informao.
importante frisar que para a escolha de quais informaes devem ser utilizadas
e a considerao de como estas se relacionam entre si e com a realidade que desejamos
intervir tem seus alicerces no conhecimento emprico que os gestores possuem.
Para um melhor diagnstico e monitoramento da poltica, pode-se cruzar
o ndice de homicdios com a taxa de crescimento econmico municipal, grandes
investimentos que alteram a dinmica da economia local (PAC, Petrobras, Minha
Casa Minha Vida) e a relao com outras polticas de segurana pblica (Pronasci,
Territrios da Paz, UPPs).
Por ltimo, durante a concepo e monitoramento de uma poltica pblica
deve-se considerar que os tomadores de deciso no nvel estratgico possuem um
conhecimento majoritariamente generalista e tem o tempo como um recurso muito
escasso. Sendo assim, a sintetizao das anlises feitas em indicadores simples, de
fcil compreenso e aceitao, fundamental para agilizar o processo de validao
e pactuao necessrio.
Outro exemplo da utilizao de indicadores na formulao e monitoramento
das polticas pblicas pode ser extrado da temtica de saneamento bsico. Esse
campo, que receber mais de R$ 40 bilhes durante o PPA 2012-15, abrange o
conjunto de servios, infraestruturas e instalaes operacionais de: abastecimento
de gua potvel; esgotamento sanitrio; limpeza urbana e manejo de resduos
slidos; e, drenagem e manejo de guas pluviais urbanas.
Devido a sua magnitude e relao direta com a qualidade de vida da
populao brasileira, o saneamento bsico alvo de pesquisa de inmeras
instituies, destacando-se o IBGE, que disponibiliza informaes peridicas a nvel
estadual e municipal.
Essa temtica tambm integra o Plano de Acelerao do Crescimento,
passando assim por um monitoramento rigoroso de sua execuo. Para isto, so
37

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

utilizados indicadores como % de obra concluda e % de recurso desbloqueado6,


que somados ao ambiente de permanente troca de informaes entre os diversos
atores integrantes da poltica, possibilitam um monitoramento consistente e
oferecem grande suporte a tomada de deciso.
Indicadores relacionados qualidade da prestao do servio e da gesto das
empresas de saneamento veem ganhando notoriedade na temtica, destacandose os ndices de perdas de gua e intermitncia no fornecimento do servio. Esses
indicadores foram importantes para incluir na agenda pblica preocupaes que
perpassam os tradicionais ndices de cobertura (foco das atenes dos gestores),
possibilitando a elaborao de diagnsticos mais consistentes e por consequncia
uma interveno pblica mais eficaz.
A escolha e leitura dos indicadores pode ter grande influncia nos rumos da
poltica pblica, um exemplo a anlise do indicador de dficit de cobertura na rea
de saneamento bsico. A escolha entre o dficit absoluto ou relativo pode induzir a
decises diferentes.
Como mostra a tabela a seguir, a regio norte possui o maior dficit relativo,
com 41,4 pontos pencentual (p.p.) dos domiclios sem abastecimento de gua por
rede geral. Ao ser comparado com as outras regies, percebe-se como crtica a
situao nesta, cuja diferena de atendimento para a segunda pior de 19,4 p.p.
e em comparao ao sudeste de 33,4 p.p.. Por essa tica a regio norte seria
prioridade absoluta em qualquer poltica que vise reduo do dficit. No entanto,
quando se analisa o dficit absoluto a regio norte cai para terceira, sendo superada
inclusive pela regio sudeste. Portanto, o diagnstico e monitoramento dessa
temtica devem considerar os dois indicadores e objetivar tanto a reduo do dficit
absoluto como da desigualdade existente entre as regies brasileiras.

A caracterstica descentralizada da poltica de saneamento envolve o repasse de recursos federais aos entes

responsveis pela execuo dos empreendimentos, sendo que grande parte desses recursos realizada por
meio da Caixa Econmica Federal que realiza o monitoramento fsico da obra. O recurso considerado
desbloqueado no momento em que a Caixa efetua a transferncia dos recursos ao ente federado executor.

38

Tabela 1 - Domiclios particulares permanentes sem abastecimento


de gua por rede geral
Regio

Absoluto

Norte

1.703.044

41,4%

Nordeste

3.375.181

22,0%

Sudeste

1.974.753

7,7%

Sul

1.332.296

14,7%

Centro-Oeste

737.550

17,0%

Brasil

9.122.824

15,6%

Fonte: PNAD 2009. Elaborao SPI/MP

O grfico 2 ilustra a discrepncia existente entre os dados relativos e


absolutos e exemplifica como os indicadores so muito teis para revelar aspectos
de uma poltica e no para explicar a realidade. Ter conscincia das limitaes que
os indicadores escolhidos possuem crvel no processo de tomada de deciso, o
que refora a importncia daqueles que iro desenvolver e escolher os indicadores
possurem elevado conhecimento sobre a poltica pblica em anlise.
Grfico 2 Domiclios Particulares Permanentes sem
abastecimento de gua por rede geral

Fonte: PNAD 2009. Elaborao SPI/MP

39

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Outra faceta da poltica que o indicador no representa a discrepncia entre


o dficit e os investimentos realizados no setor. Mesmo que haja priorizao dos
estados e municpios com os maiores dficits nas polticas de saneamento bsico,
fatores como a capacidade institucional de estados e municpios elaborem projetos,
obterem as licenas ambientais necessrias, comprovarem a posse do terreno,
efetuarem a contrapartida requerida e fiscalizarem a obra; a falta de interesse das
empresas privadas por projetos de menor vulto; a dificuldade de concluso do
processo licitatrio, entre outros, contribuem para que a alocao dos recursos no
possua uma relao direta com o dficit do setor. Outros fatores que influenciam
diretamente na capacidade dos rgos federados captarem recursos a capacidade
de endividamento, pois boa parte dos investimentos realizados so provenientes de
linhas de financiamento do FGTS.
Durante a gesto do PAC, mesmo com a garantia dos recursos financeiros,
verificou-se que sem a minimizao dos entraves apresentados a execuo da
poltica ficaria comprometida. Sendo assim, inmeras aes veem sendo realizadas,
como a destinao de recursos para a concepo de projetos ou a elaborao destes
pelos rgos federais, flexibilidade na comprovao dos documentos necessrios
para captao dos recursos e a adoo de licitao por valor global.
Por fim vamos apresentar um contra exemplo da utilizao de indicadores
no monitoramento das polticas pblicas. Trata-se da apurao e utilizao de
indicadores no PPA 2008-2011 que se mostrou inadequado e no conseguiu
subsidiar o monitoramento e o processo de tomada de deciso.
A tabela a seguir apresenta um retrato registro e apurao dos indicadores
no PPA em cada ano de sua vigncia.

40

Tabela 2 Indicadores de Programa no PPA 2008-2011


2008

2009

2010

2011

Nmero total de indicadores

719

718

691

689

Nmero total de indicadores apurados

525

503

504

278

Nmero total de programas com todos os


ndices dos indicadores apurados

145

140

151

80

Nmero total de programs sem indicador

11

Nmero total de programas sem nenhum


indicador apurado

37

43

43

111

Fonte: SIGPLAN . Elaborao SPI/MP

A tabela demonstra que o PPA se utilizou amplamente de indicadores, 95%


dos Programas possuem indicadores, que segundo o Manual de Elaborao do Plano
Plurianual 2008-2011 tem como finalidade medir o desempenho do programa,
permitindo, conforme o caso, mensurar a efetividade, eficcia e eficincia alcanada
com a execuo do programa.
A mdia de apurao dos indicadores, desconsiderando 2011 cujo
muitos indicadores ainda esto em apurao, foi de 72%. Se considerarmos
toda a dificuldade destacada anteriormente que esto presentes na elaborao e
mensurao dos indicadores, estes dois ndices podem ser considerados positivos.
No entanto, ele pouco diz a respeito da utilidade desses indicadores. No adianta
todos os Programas possuerem indicadores e apresentarmos um ndice de 100%
de apurao, se estes no subsidiam a tomada de deciso, se no dialogam com a
realidade das polticas ou no foram pactuados com os seus gestores.
Como j destacado, o rigor metodolgico na elaborao de indicadores e
sua aferio, muitas vezes de qualidade questionvel, no determina o sucesso ou
fracasso de uma poltica. Todavia os indicadores so importantes ferramentas de
gesto que auxiliam o processo de avaliao e tomada de deciso. O Tribunal de
Contas da Unio exalta esse descasamento entre a existncia de indicadores e sua
real utilidade para a poltica pblica.
Mesmo assim, foi bastante alta a taxa de correo dos diversos indicadores
utilizados no PPA de 2008/2011: cerca de 97,7% desses indicadores esto
adequados de acordo com a equipe de auditoria. Trata-se de marca extremamente
alvissareira, embora nas entrevistas realizadas pela equipe em alguns ministrios,
41

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

os prprios gestores reconheam a existncia de alguns problemas, como o excesso


de formalismo, a falta de rigor na coleta dos dados e apurao dos ndices e a
inutilidade de tais ndices em afetar a poltica subsequente e acarretar punies ou
premiaes para os gerentes dos programas. So problemas que j foram detectados
em trabalhos anteriores, inclusive deste Tribunal e que j vm se arrastando h algum
tempo Pg. 35, ACRDO N 102/2009 - TCU Plenrio
Analisando o caderno de avaliao do PPA 2008-2011, percebe-se que os
indicadores no cumpriram sua finalidade, sendo muito mais um registro cartorial
do que um instrumento de subsdio a tomada de deciso ou de publicizao dos
resultados da ao do governo.
Isso ocorreu porque tanto os Programas como seus indicadores foram
elaborados sem que houvesse uma pactuao adequada entre os principais atores
da poltica, o que deixou carentes de legitimidade dentro da Administrao Pblica.
Isto, por si s, j comprometeria a eficcia do modelo, contudo tambm deixaram
de ser considerados aspectos como: a realidade de cada poltica, como se d sua
implementao, como est estruturado o processo decisrio, quais informaes so
relevantes tomada de deciso e qual era a disponibilidade de recursos e condies
tcnicas e institucionais de cada rgo executor para o levantamento das informaes.
Notadamente, houve uma preocupao maior com a representatividade do indicador
e com a adequao metodolgica do seu processo de construo, em detrimento da
viabilidade prtica de sua aferio. Tudo isso concorreu para distanciar os indicadores
do processo decisrio, minguando sua capacidade de alterar a realidade da poltica.
Na elaborao do PPA 2012-2015, para evitar os problemas acima, os
indicadores foram pactuados com todos os atores envolvidos com os programas,
por meio de oficinas. E, nesse processo, foram priorizados indicadores j existentes,
gerados por instituies independentes, que so divulgados com uma periodicidade
definida e que em geral possuem um nvel de agregao maior. Alm de evitar os
problemas ocorridos no PPA anterior, isso possibilitou a economia dos recursos, pois
no foi necessria a contratao de consultorias para elaborao de indicadores e a
de servios de coleta e processamento de dados para os indicadores elaborados. Vale
lembrar que os indicadores so apenas um dos elementos que integram o amplo
conjunto de informaes utilizadas na gesto dos programas. Assim, em diversos
casos, prefervel utilizar indicadores mais agregados do que indicadores ideais,
que no futuro se mostrem inviveis de aferio e monitoramento.

42

7. Fontes de Dados e de Informaes Estatsticas

Existe no Brasil uma grande diversidade de fontes que produzem e disseminam


estatsticas, taxas, propores, ndices e outros tipos de indicadores, tanto na rea
estatal quanto na no estatal. No entanto, muitas delas ainda so desconhecidas
pelos tomadores de deciso e pelos formuladores de polticas pblicas. Em funo
disso, so apresentadas neste captulo informaes sobre algumas das principais
fontes de dados e de informaes estatsticas existentes.

7.1. Fontes de dados estruturados


O Brasil possui um sistema de estatsticas pblicas formalmente constitudo.
Trata-se do Sistema Estatstico e Cartogrfico Nacional - SEN, criado pela Lei
n 6.183/74. Esse Sistema foi desenvolvido com o objetivo de possibilitar o
conhecimento da realidade fsica, econmica e social do Pas, visando especialmente
ao planejamento econmico e social e segurana nacional. Para tanto, abrange as
estatsticas primrias (contnuas e censitrias); as estatsticas derivadas (indicadores
econmicos e sociais, sistemas de contabilidade social e outros sistemas de estatsticas
derivadas); e a sistematizao de dados sobre meio ambiente e recursos naturais
com referncia sua ocorrncia, distribuio e frequncia.
Na viso de Guimares (1990 apud FEIJ e VALENTE 2005), o conceito de
Sistema Estatstico Nacional est relacionado a duas dimenses distintas: (1) ao
conjunto de informaes estatsticas estruturadas de acordo com regulamentos
e procedimentos especficos que expressam as realidades social, ambiental e
econmica de um pas; e (2) atuao coordenada e eficiente das instituies
nacionais e subnacionais que produzem e disseminam estatsticas pblicas. Integram
o SEN todos os rgos e entidades da Administrao Pblica direta e indireta, das
trs esferas governamentais, alm das entidades privadas que recebem subveno
ou auxlio dos cofres pblicos para o exerccio de atividades estatsticas alinhadas com
43

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

os objetivos do SEN. O IBGE o rgo que coordena o SEN por meio da integrao
dos subsistemas e da padronizao de procedimentos, conceitos e classificaes.
Alm disso, ele o principal provedor de estatsticas e indicadores para os mais
diferentes segmentos da sociedade. Suas pesquisas abrangem desde estatsticas
sociais, demogrficas e econmicas (agropecuria, comrcio, indstria, construo
civil e servios) at levantamentos relacionados a preos, custos e contas nacionais.

7.2. Principais pesquisas do IBGE


Censo Demogrfico: trata-se de um extenso diagnstico da realidade
social realizado a cada 10 anos pelo IBGE. Fornece informaes de amplo escopo
temtico, alta desagregabilidade populacional e territorial, cobertura nacional e
comparabilidade interregional.
PNAD: a Pesquisa Nacional por Amostra de Domiclios realizada anualmente
nos perodos intercensitrios e, com base em amostra estratificada, investiga temas
como fecundidade, anticoncepo, migrao, mobilidade social, educao, sade,
associativismo, participao poltica, bens de consumo, consumo de energia,
trabalho, trabalho infantil, previdncia, segurana alimentar, merenda escolar e
acesso a programas de transferncia de renda. Apresenta resultados para o Brasil,
Grandes Regies, Unidades da Federao e principais Regies Metropolitanas.
PME: a Pesquisa Mensal de Emprego permite avaliar as flutuaes e a
tendncia, a mdio e a longo prazos, do mercado de trabalho e abrange informaes
referentes condio de atividade e de ocupao, rendimento mdio nominal e real,
posse de carteira de trabalho assinada e outras, tendo como unidade de coleta os
domiclios. Abrange as regies metropolitanas de Recife, Salvador, Belo Horizonte,
Rio de Janeiro, So Paulo e Porto Alegre.
POF: a Pesquisa de Oramentos Familiares direcionada principalmente para
mensurar as estruturas de consumo das famlias e possibilita traar um perfil das
condies de vida da populao a partir da anlise de seus oramentos domsticos.
Para reas urbanas, os resultados so produzidos nos nveis Nacional, Grandes
Regies, Unidades da Federao, Regies Metropolitanas e todas as capitais.

44

PMC: a Pesquisa Mensal do Comrcio realizada nas unidades da federao


e produz indicadores que permitem acompanhar o comportamento conjuntural do
comrcio varejista.
PIM/PF: a Pesquisa Industrial Mensal de Produo Fsica acompanha a
evoluo do produto real da indstria no curto prazo, por meio do levantamento
do volume fsico de produtos selecionados representativos de diferentes atividades
industriais.
PAS: a Pesquisa Anual de Servios avalia a estrutura dos servios empresariais
no financeiros, detalhando a sua distribuio e configurao regional.
MUNIC: a Pesquisa de Informaes Bsicas Municipais investiga, na esfera
municipal, temas como estrutura administrativa, participao e formas de controle
social, planejamento municipal, justia, segurana, cultura e lazer.
AMS: a Pesquisa Nacional de Assistncia Mdico-Sanitria realiza um
censo dos estabelecimentos de sade no pas; volume e qualificao de pessoal;
e equipamentos e recursos disponveis para o atendimento mdico-sanitrio da
populao.
PNSB: a Pesquisa Nacional de Saneamento Bsico prov informaes em
nvel municipal sobre abastecimento de gua, esgotamento sanitrio, limpeza
urbana e sistema de drenagem urbana.
Sistema de Contas Nacionais: apresenta, trimestralmente, os valores
correntes e os ndices de volume para o PIB, impostos sobre produtos, valor
adicionado a preos bsicos, consumo das pessoas e do governo, formao bruta
de capital fixo, variao de estoques, exportaes e importaes de bens e servios,
permitindo uma viso de conjunto da nossa economia.
Pesquisas de ndices de preos ao consumidor: por meio do Sistema
Nacional de ndices de Preos ao Consumidor efetua mensalmente a produo
contnua e sistemtica de ndices de preos ao consumidor: INPC, IPCA e seus
indexadores com objetivos especficos.

45

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Importante: Ao longo dos ltimos anos, o IBGE vem desenvolvendo o Sistema


Integrado de Pesquisas Domiciliares (SIPD), onde cada tema investigado
ser parte de um sistema integrado de indicadores socioeconmicos e
demogrficos. O ncleo temtico deste sistema ser formado pela PNAD
Contnua, pesquisa que integrar a PNAD e a PME, e o esquema de POFs
Contnuas, composto pela POF completa (realizada a cada 5 anos) e a POF
Simplificada (que ser contnua).

Todo o conjunto de resultados dessas pesquisas pode ser consultado por


meio do portal o IBGE na Internet: http://www.ibge.gov.br.
Para conhecer o conjunto de todas as pesquisas realizadas pelo IBGE,
sua metodologia, periodicidade, abrangncia geogrfica e outras informaes
estratgicas acesse o Banco de Metadados7 disponvel em http://www.metadados.
ibge.gov.br.

7.3. Outras Pesquisas


Alm do IBGE, h diversas instituies pblicas e privadas, integrantes ou no
do SEN, que geram e disponibilizam dados, estatsticas e indicadores estruturados,
relacionados a diversos temas de interesse para os formuladores de polticas pblicas.
O quadro abaixo lista as instituies de maior relevncia, divididas a partir de suas
reas temticas de atuao:

Metadados podem ser definidos como dados que descrevem os dados, so informaes teis para

identificar, localizar, compreender e gerenciar os dados.

46

Quadro 2 Principais Instituies de Pesquisa e seus Principais Produtos

Educao

Tema

Endereo Internet

INEP

www.inep.gov.br

Cincia e

Tecnologia
Econmico
social
Humanos

Direitos

Economia
Meio Ambiente
Previdncia

equipamentos; docentes;
desempenho escolar.

MCT

www.mct.gov.br

CNPQ

www.cnpq.br

Produo cientfica; recursos


aplicados; patentes.

Estatsticas do comrcio; de
MDIC

www.desenvolvimento.gov.br

comrcio exterior; servios; da


produo.

www.mds.gov.br

Sade

Produtos
Dados educacionais;

Desenvolvimento
Desenvolvimento

Fonte

Ministrio do Desenvolvimento Social e


www.cidades.gov.br
Ministrio das Cidades

Indicadores de pobreza;
indigncia; transferncia de
renda, habitao; saneamento;
condies urbanas.
Promoo de direitos
humanos; pessoa com

Secretaria Especial de Direitos Humanos

www.sedh.gov.br

Ministrio da Fazenda

www.fazenda.gov.br

STN

www.tesouro.fazenda.gov.br

Banco Central do Brasil

www.bacen.gov.br

Estatsticas econmicas em

IPEA

www.ipea.gov.br

geral.

FIPE

www.fipe.org.br

FGV

www.fgv.com.br

Ministrio do Meio Ambiente;

www.mma.gov.br

IBGE

www.ibge.gov.br

Ministrio da Previdncia Social

www.previdencia.gov.br

Ministrio da Sade

www.datasus.gov.br

deficincia; pessoa idosa;


criana e adolescente.

Indicadores de
desenvolvimento sustentvel.

Benefcios; penses;
aposentadorias; auxlios;
acidentes de trabalho.

Estatsticas da sade;
mortalidade; morbidade;
atendimentos; vacinaes.

47

Trabalho

Ministrio do Trabalho e Emprego

Transporte

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Ministrio dos Transportes

www.mte.gov.br

CAGED; RAIS; Cadastro de


empresas; Estatsticas do

www.rais.gov.br

trabalho.
Plano Nacional de Logstica e

www.transportes.gov.br

Transportes - Base de Dados


Georreferenciada.

Censo Demogrfico;

Gerais

PNAD; PME, PMC; MUNIC;


Sntese dos Indicadores
Sociais; Indicadores de
IBGE

www.ibge.gov.br

Desenvolvimento Sustentvel;
Estatsticas de Registro
Civil; Pesquisa Nacional de
Assistncia Mdico-Sanitria;

www.ipea.gov.br

DIEESE

www.dieese.org.br

PNUD Brasil

www.pnud.org.br

Humano

Gerais

www.inde.gov.br

IPEA

Desenvolvimento

48

INDE

Gerais

Gerais

Pesq. Saneamento Bsico.

Conjunto de dados
geoespaciais de origem
federal, estadual, distrital e
municipal.
Estudos e pesquisas
relacionados, dentre outros,
aos temas social, econmico,
ambiental e regional.
Estatsticas sobre mercado
de trabalho, renda, preos e
custo de vida.

Estatsticas de
desenvolvimento humano.

ANIPES
IBGE
Fundao Joo Pinheiro (MG)
Fundao SEADE (SP)
Fundao de Economia e Estatstica
(RS)
Agncia Estadual de Planejamento e
Pesquisas de Pernambuco
www.anipes.org.br
Superintendncia de Estatsticas,
www.ibge.gov.br
Pesquisa e Informaes
www.fjp.gov.br
Socioeconmicas (GO)
www.seade.gov.br
Superintendncia de Estudos
www.fee.tche.br
Econmicos e Sociais da Bahia
www.condepefidem.pe.gov.br
Estados e Municpios

Instituto de Pesquisa e Estratgia


www.seplan.go.gov.br/sepin
Econmica do Cear
www.sei.ba.gov.br
Fundao Centro de Pesquisas
www.ipece.ce.gov.br
Econmicas e Sociais do Piau

Estatsticas gerais em nvel


estadual e municipal.

www.cepro.pi.gov.br
Instituto Paranaense de
www.ipardes.gov.br
Desenvolvimento Econmico e Social
www.idesp.pa.gov.br
Instituto de Desenvolvimento
www.fesp.rj.gov.br
Econmico, Social e Ambiental do
www.imesc.ma.gov.br
Par
www.ijsn.es.gov.br
Fundao Centro Estadual de
www.ideme.pb.gov.br
Estatsticas, Pesquisas e Formao de
www.codeplan.df.gov.br
Servidores Pblicos do Rio de Janeiro
Instituto Maranhense de Estudos
Socioeconmicos e Cartogrficos
Instituto Jones dos Santos Neves (ES)
Instituto de Desenvolvimento
Municipal e Estadual (PB)
Companhia de Planejamento do
Distrito Federal

49

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Organismos
internacionais

BANCO MUNDIAL
CEPAL
NAES UNIDAS
OCDE
PNUD

www.worldbank.org
www.cepal.cl
www.un.org/en/databases

Estatsticas gerais em nvel

data.un.org

mundial.

www.ocde.org
www.undp.org

Fonte: SPI Ministrio do Planejamento

7.4. Registros Administrativos


Os registros administrativos constituem uma fonte rica de dados que, no
Brasil, ainda pouco explorada. Dentre os mais importantes, merecem destaque:
Estatsticas do Registro Civil: conjunto de informaes disponibilizado
pelo IBGE em seu portal na Internet que rene os registros de nascidos vivos, bitos
e bitos fetais, casamentos, separaes judiciais e divrcios.
RAIS: a Relao Anual de Informaes Sociais prov um amplo conjunto
de dados para elaborao de estatsticas do trabalho, disponibiliza informaes do
mercado de trabalho formal s entidades governamentais e subsidia o controle da
atividade trabalhista no Pas.
CAGED: o Cadastro Geral de Empregados e Desempregados demonstra a
evoluo mensal do emprego formal do pas, prov informaes para o sistema
pblico de emprego e serve como base para a elaborao de estudos, pesquisas,
projetos e programas ligados ao mercado de trabalho.
CENSO ESCOLAR: levantamento de dados estatstico-educacionais de
mbito nacional realizado anualmente e coordenado pelo Inep/MEC. Abarca
todas as escolas pblicas e privadas do pas e fornece informaes da educao
bsica, que abrange as suas diferentes etapas e modalidades.

Fornece dados de

estabelecimentos, matrculas, funes docentes, movimento e rendimento escolar.

50

7.5. Publicaes
Muitas instituies que promovem pesquisas e levantamentos estatsticos
disponibilizam, por meio de seus portais na Internet, publicaes, boletins e estudos
relacionadas a essas estatsticas. Dentre essas diversas fontes de informaes,
merecem destaque as seguintes: Sntese de Indicadores Sociais Uma anlise
das condies de vida da populao brasileira8: editada anualmente pelo IBGE,
essa publicao rene um grande nmero de indicadores dos tipos:

Demogrficos;

Educao;
Domiclios;
Famlias;
Casamentos, separaes e divrcios;
Crianas, adolescentes e jovens;
Cor ou raa;
Mulheres;
Idosos.

Censo Demogrfico 2010 - Caractersticas da populao e dos


domiclio: resultados do universo9: apresenta os resultados do universo do
censo demogrfico de 2010, compreendendo um conjunto de caractersticas dos
domiclios e das pessoas, tais como sexo, idade, emigrao internacional, ocorrncia
de bitos, cor ou raa, registro de nascimento, alfabetizao e rendimento, para a
totalidade da populao, bem como informaes sobre composio e caractersticas
dos domiclios.

http://www.ibge.gov.br/home/estatistica/populacao/condicaodevida/indicadoresminimos/

sinteseindicsociais2010/SIS_2010.pdf
9

http://www.ibge.gov.br/home/estatistica/populacao/censo2010/caracteristicas_da_populacao/resultados_

do_universo.pdf

51

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Indicadores Sociais Municipais: Uma anlise dos resultados do


universo do censo demogrfico de 201010: publicao elaborada pelo IBGE que,
baseada nos resultados do censo demogrfico 2010, disponibiliza um conjunto de
indicadores sociais da populao e dos domiclios brasileiros, fornecendo elementos
que permitem conhecer importantes aspectos sociodemograficos das condies de
vida da nossa populao.
Indicadores de Desenvolvimento Sustentvel11: editada anualmente
pelo IBGE, rene um amplo conjunto de informaes sobre a realidade brasileira nas
quatro dimenses do desenvolvimento sustentvel:
1. Ambiental: atmosfera; terra; gua doce; oceanos, mares e reas costeiras;
biodiversidade; saneamento.
2. Social: populao; trabalho e rendimento; sade; educao; habitao;
segurana.
3. Econmica: quadro econmico; padres de produo e consumo.
4. Institucional: quadro institucional; capacidade institucional
Indicadores Bsicos de Sade12: publicao do Ministrio da Sade que
rene um grande nmero de indicadores, a partir dos seguintes agrupamentos:
5. Demogrficos
6. Socioeconmicos
7. Mortalidade
8. Morbidade e fatores de risco
9. Recursos alocados sade
10. Cobertura

10

http://www.ibge.gov.br/home/estatistica/populacao/censo2010/indicadores_sociais_municipais/

indicadores_sociais_municipais.pdf
11

http://www.ibge.gov.br/home/geociencias/recursosnaturais/ids/ids2010.pdf

12

http://tabnet.datasus.gov.br/tabdata/livroidb/2ed/indicadores.pdf

52

Economia Brasileira em Perspectiva13: relatrio publicado bimestralmente


pelo Ministrio da Fazenda que consolida as principais variveis econmicas do Pas.
Boletins de acompanhamento e anlise de polticas e da conjuntura
econmica e social: anlises desenvolvidas pelo IPEA sobre a realidade
socioeconmica do pas e sobre a evoluo das polticas pblicas, dentre os quais
destacam-se:
11. Boletim de Polticas Sociais
12. Boletim Mercado de Trabalho
13. Boletim Regional, Urbano e Ambiental
14. Boletim Conjuntura em Foco
Sistema de Indicadores de Percepo Social SIPS: conjunto de pesquisas
realizadas pelo IPEA junto s famlias brasileiras com a finalidade de conhecer as suas
percepes sobre servios de utilidade pblica oferecidos ou postos disposio pelo
Estado em diversas reas, como a justia, a segurana pblica, educao, sade e
cultura, entre outros, e o grau de importncia deles para a sociedade.
Sensor Econmico do Ipea: levantamento bimestral que expressa as
perspectivas dos principais indicadores macroeconmicos para o ano, conforme
previses ou projees feitas por um grupo seleto de entidades associativas do setor
produtivo.
ndice de Qualidade do Desenvolvimento: pesquisa mensal do IPEA que
avalia se o desenvolvimento vivido pelo pas, contempla os requisitos de crescimento
econmico com distribuio dos frutos do progresso e, tambm, aponta se esse
movimento tende a sustentar-se no tempo.
Todas as publicaes do IPEA podem ser consultadas por meio de seu portal
na Internet: http://www.ipea.gov.br.

13

http://www.fazenda.gov.br/portugues/docs/perspectiva-economia-brasileira/link.htm

53

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

7.6

Tecnologias
A maioria das fontes de indicadores dispe de bancos de dados que

permitem, alm de acessos regulares, cruzamentos e filtros por diferentes campos


como tipo, periodicidade, localizao, gnero, raa, faixa etria e outros. Dentre as
principais tecnologias de armazenamento e recuperao de informao disponveis,
destacam-se:
15. SIDRA14: o Sistema IBGE de Recuperao Automtica SIDRA uma
poderosa ferramenta do IBGE para recuperao de um amplo espectro
de informaes territoriais e por reas temticas como agropecuria,
comrcio, contas nacionais, economia, indstria, meio ambiente,
oramento familiar, populao, preos, saneamento bsico, sade,
servios, trabalho e renda.
16. BME15: o Banco Multidimensional de Estatsticas do IBGE BME permite
ao usurio - credenciado ou que adquiriu o servio - escolher livremente
as variveis de seu interesse, o espao geogrfico e o perodo de tempo
de referncia das informaes.
17. Sries Estatsticas & Sries Histricas16: contempla um acervo de
informaes sobre a realidade brasileira em suas dimenses social,
demogrfica e econmica que, sem excluir dados de perodos recentes,
cobrem longos perodos histricos.
18. Cidades@17, Estados@18, Paises@19: bancos de dados com informaes
- principalmente de ordem demogrfica, social e econmica sobre,
municpios, estados e pases, que compem a maior base de dados
estatsticos da Amrica Latina.

14

http://www.sidra.ibge.gov.br

15

http://www.bme.ibge.gov.br

16

http://seriesestatisticas.ibge.gov.br

17

http://www.ibge.gov.br/cidadesat

18

http://www.ibge.gov.br/estadosat

19

http://www.ibge.gov.br/paisesat

54

19. WebCart20: ferramenta do IBGE para criao de cartogramas a partir dos


dados contidos no canal Cidades@.
20. MUNIC21: conjunto detalhado de informaes sobre a estrutura, a
dinmica e o funcionamento das instituies pblicas municipais, alm
das diferentes polticas e setores que envolvem os governos municipais,
retratando o perfil dos municpios brasileiros.
21. Ipeadata22: banco de dados disponibilizado pelo IPEA que apresenta uma
ampla gama de informaes e indicadores macroeconmicos, regionais e
sociais oriundas de mltiplas fontes.
22. IpeaGeo23: software de anlises estatsticas e espaciais disponibilizado
pelo IPEA.
23. IpeaMapas24: sistema interativo de gerao de mapas com base em
dados de infraestrutura, assistncia social, sade, educao, entre outros.
24. Edudatabrasil25: banco de dados disponibilizado pelo INEP que permite
acesso ao sistema de estatsticas educacionais.
25. Datasus26: banco de dados disponvel na pgina do Ministrio da
Sade na Internet para acesso ao anurio e s informaes bsicas e
complementares de sade.
26. Dataprev27: banco de dados disponvel na pgina da Previdncia Social
na Internet para acesso ao anurio, boletim estatstico, benefcios,
segurana e sade ocupacional.

20

http://www.ibge.gov.br/webcart

21

http://www.ibge.gov.br/home/estatistica/economia/perfilmunic

22

http://www.ipeadata.gov.br

23

http://www.ipea.gov.br/ipeageo

24

http://mapas.ipea.gov.br

25

http://www.edudatabrasil.inep.gov.br

26

http://www.datasus.gov.br

27

http://portal.dataprev.gov.br

55

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

27. Matriz de Informao Social28: banco de dados disponibilizado pelo


Ministrio do Desenvolvimento Social e Combate Fome para acesso
a informaes e indicadores sociais, nos mais diversos nveis territoriais
(inclusive municpios), dos principais programas e benefcios, a exemplo
do Bolsa Famlia e dos Benefcios de Prestao Continuada (BPC).
28. Portal Brasil em Cidades29: sistema que permite o acesso a um grande
nmero de dados georreferenciados e indicadores socioeconmicos e
poltico-administrativos de cada municpio brasileiro, alm de mapas,
imagens de satlite e informaes sobre o andamento das aes no
Ministrio das Cidades nas reas de saneamento, habitao e mobilidade
urbana.
29. Secretaria do Tesouro Nacional30: o portal de estatsticas da STN
disponibiliza uma ampla base de dados relacionados a temas como:
contabilidade governamental; execuo financeira do Tesouro Nacional;
dvida pblica; haveres da unio; despesas com pessoal; transferncias
voluntrias e constitucionais a Estados e Municpios; e dados
oramentrios e financeiros de Estados e Municpios.
30. Google Public Data Explorer31: disponibiliza um conjunto de dados
pblicos de diversos pases e oriundos de mltiplas fontes relacionados,
entre outros, s questes sociais, econmicas e ambientais. Esses dados
so apresentados por meio de uma interface que utiliza recursos como
grficos animados e mapas interativos, o que facilita a explorao e
visualizao. Qualquer instituio oficial produtora de dados pode
disponibilizar e compartilhar suas bases dados por meio dessa plataforma.

7.7. Outras Fontes


O conjunto de informaes necessrias para um efetivo acompanhamento
das polticas pblicas normalmente vai muito alm daquilo que disponibilizado em

28

http://aplicacoes.mds.gov.br/sagi/mi2007

29

http://www.brasilemcidades.gov.br

30

http://tesouro.fazenda.gov.br/estatistica

31

http://www.google.com/publicdata

56

bancos de dados estruturados. A implementao requer tomadas de deciso geis


e tempestivas. No entanto, dados estruturados normalmente resultam de pesquisas
e levantamentos realizados em intervalos de tempo que no apresentam nenhuma
relao com o tempo de implementao das polticas. Alm disso, na maioria das
vezes, os indicadores construdos a partir desses dados so uma simplificao muito
grande da realidade influenciada pelas polticas. Assim, o gestor pblico no pode
restringir as suas fontes de informao a bases de dados estruturados. necessrio
buscar outras bases de informaes relacionadas poltica no momento em que se
feita a tomada de deciso.
Assim, em muitas situaes, a melhor estratgia para subsidiar a tomada de
deciso pode ser a utilizao de informaes dispersas de mltiplas fontes tais como:
31. Peridicos: artigos jornalsticos, revistas, publicaes cientficas;
32. Internet: portais das instituies pblicas, blogs especializados, redes
sociais, bibliotecas eletrnicas (ex. Base Scielo);
33. Relatrios: de rgos de controle, de avaliao do oramento e do PPA,
das comisses do Congresso Nacional;
34. Mensagem Presidencial;
35. Boletins e informativos de assessorias de comunicao dos rgos
pblicos;
36. Informaes de implementadores de polticas: salas de situao,
avaliaes dos executores etc.

57

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

8. Consideraes Finais

A nova metodologia do PPA 2012-2015 aproximou o Plano da realidade


das polticas pblicas, registrando as principais metas e entregas pactuadas para os
prximos quatro anos. Permitindo que o mesmo exera de fato seu papel de expressar
os planos de mdio prazo do governo. A credibilidade do Plano dentro dos rgos
e agentes polticos da Administrao Pblica Federal um aspecto central para seu
sucesso, sendo assim a concepo de um modelo de monitoramento e avaliao
que respeite a disponibilidade de informaes, a realidade de implementao e o
tempo de maturao dos programas e polticas estratgico para o fortalecimento
do planejamento pblico.
Dentro dessa tica de construo do sistema de monitoramento e avaliao
sedimentado no conhecimento das polticas pblicas e construdo por meio da
relao virtuosa entre os rgos centrais e finalsticos, os indicadores apresentamse com uma ferramenta de auxlio a tomada de deciso. Portanto, como uma
ferramenta, o indicador no pode ter fim em si mesmo e sua utilizao deve ser
sempre voltada para o subsidio do processo decisrio e o aumento da transparncia.
A pactuao dos indicadores e, caso necessrio, de sua aferio com
os responsveis pela implementao das polticas diminui o risco que estes se
tornem apenas um instrumento de controle, sendo relegado a rotinas burocrticas
autocentradas que no contribuem para a efetivao das entregas a sociedade.
A construo dos indicadores no pode estar associadas a processos rgidos,
padronizados e ideais, sendo que a flexibilidade e adaptao dos mesmos poltica
objeto de monitoramento que garantem sua efetividade.
Neste guia foram apresentados caractersticas que um indicador pode
possuir e algumas consideraes para sua construo. Buscou-se nesses aspectos
fugir de mtodos rgidos e especficos, com o objetivo de demonstrar que no a
estruturao de processos perfeitos que garantem resultados perfeitos, e que
58

cada poltica possui peculiaridades que interferem no mtodo a ser utilizado para
construo de seus indicadores.
Os exemplos apresentados retratam a dificuldade de construir, apurar e
analisar indicadores, limites que enfatizam o destaque que o conhecimento sobre
as polticas deve ter no processo de produo das informaes. A construo de
indicadores sem considerar devidamente os principais atores, o ambiente poltico, a
realidade de implementao e as limitaes de uma poltica apresenta-se como um
grande desperdcio de recursos pblicos, sendo muito melhor abandon-los do que
continuar alimentando rotinas que em nada contribuem para atender as demandas
do povo.
Portanto, este guia demonstrou que a construo e utilizao de indicadores
no trivial e no pode ser realizada sem um processo de pactuao dos atores
e imerso na realidade da poltica pblica. A preocupao com a criao de
processos e rotinas que no agregam tomada de deciso deve ser permanente,
sendo recomendado a reviso peridica dos indicadores para verificar se os mesmos
atendem a este requisito.
Por fim, esperamos, por meio deste guia, ter compartilhado uma perspectiva
sobre indicadores adequada aos desafios da Administrao Pblica e ao PPA 20122015, contribuindo para o aprimoramento da gesto das polticas pblicas.

59

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

Referncias Bibliogrficas

BRASIL. Acrdo n 102/2009. Tribunal de Contas da Unio. Braslia: TCU, 2009.


______. Lei n 12.593. Institui o Plano Plurianual da Unio para o perodo de 2012
a 2015. Braslia: Dirio Oficial da Unio, 2012.
______. Ministrio do Planejamento, Oramento e Gesto. Secretaria de
Planejamento e Investimentos Estratgicos. Plano Plurianual 2012-2015: projeto
de lei (mensagem presidencial). Braslia: MP, 2011a.
______. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Planejamento
e Investimentos Estratgicos. Orientaes para elaborao do Plano Plurianual
2012-2015. Braslia: MP, 2011b.
BONNEFOY, C.; ARMIJO, M. Indicadores de desempeo en el sector pblico.
Santiago do Chile: ILPES, 2005.
CARDOSO JNIOR, J. C. Planejamento governamental e gesto pblica
no Brasil: elementos para ressignificar o debate e capacitar o Estado. Texto para
Discusso, n 1584. Braslia: IPEA, 2011.
CARDOSO JNIOR, J. C (Org.). A reinveno do planejamento governamental
no Brasil. Dilogos para o Desenvolvimento Vol 4. Braslia: IPEA, 2011.
CARNEIRO, R.; MENICUCCI, T. M. G. Gesto pblica no sculo XXI: reformas
pendentes. Texto para Discusso , n. 1686. Braslia: IPEA, 2011.
CHAVES, M. Sistema de apoio ao monitoramento das metas presidenciais. In IX
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin
Pblica. Madrid: CLAD, 2004.
COSTA, F. L.; CASTANHAR, J. C. Avaliao de programas pblicos: desafios
conceituais e metodolgicos. Revista de Administrao Pblica. Rio de Janeiro:
FGV, 2003.
FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Uma experincia de
desenvolvimento metodolgico para avaliao de programas: o modelo
lgico do programa segundo tempo. Texto para discusso 1369. Braslia: IPEA, 2009.
GUIMARES, J.R.S.; JANNUZZI, P. M. IDH, indicadores sintticos e suas aplicaes
em polticas pblicas: uma anlise crtica. Revista Brasileira de Estudos Urbanos
e Regionais Vol 7, n 1. Salvador: ANPUR, 2005.
60

IBGE. Sntese dos indicadores sociais: uma anlise das condies de vida da
populao brasileira. Rio de Janeiro: IBGE, 2008.
JANNUZZI, P. M. Consideraes sobre o uso, mau uso e abuso dos indicadores
sociais na formulao e avaliao de polticas pblicas municipais. Revista do
Servio Pblico. Braslia: ENAP, 2005.
LINDBLOM, C. E. Muddling through 1: a cincia da deciso incremental. In:
HEIDEMANN, F. G.; SALM, J. F. (Orgs.). Polticas pblicas e desenvolvimento: bases
epistemolgicas e modelos de anlise. Braslia: UnB, 2010.
MAGALHES, M. T. Q. Metodologia para desenvolvimento de sistemas de
indicadores: uma aplicao no planejamento e gesto da poltica nacional de
transportes. (Dissertao Mestrado). Braslia: UnB, 2004.
MELO, E. B. B; RODRIGUES, R. W. S. Monitoramento, avaliao e controle:
superando o debate tcnico-burocrtico. In V Congresso CONSAD de Gesto
Pblica. Braslia: CONSAD, 2012.
MELO, E. B. B; NETO, R. M.; SILVA, M. S. Dilemas na construo de um modelo
de acompanhamento do planejamento governamental. Revista Brasileira de
Planejamento e Oramento, Vol 2, n 1. Braslia: ASSECOR, 2012.
MINTZBERG, H. Ascenso e queda do planejamento estratgico. Porto Alegre:
Bookman, 2004.
MINTZBERG, H.; AHLSTRAND, B.; LAMPEL, J. Management no o que voc
pensa. Porto Alegre: Bookman, 2004.
NOGUEIRA, M. A. Sobre o Estado e o gestor pblico que se necessita (texto
apresentado no Seminrio Internacional Reestruturao e Reforma do Estado),
1998. (mimeo)
PIRES R. R. C.; LOPEZ F.; S E SILVA, F. C. Mtodos qualitativos de avaliao
e suas contribuies para o aprimoramento de polticas pblicas. Brasil em
Desenvolvimento: Estado, planejamento e polticas pblicas. Braslia: IPEA, 2010.
PIRES, R. R. C.; CARDOSO JR., J. C. Dilemas entre controle e autonomia de
gesto: alternativas e possibilidades de superao. In PIRES, R. R. C.; CARDOSO
JR., J. C. (Orgs.). Gesto pblica e desenvolvimento: desafios e perspectivas. Braslia:
IPEA, 2011.
PRATS I CATAL, J. De la burocracia al management, del management a la
gobernanza. Madrid: INAP, 2005.
PRESSMAN, J. L.; WILDAVSKY, A. Implementacin: cmo grandes expectativas
concebidas en Washington se frustran en Oakland. Cidade do Mxico: Fondo de
Cultura Econmica, 1998.

61

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

RUA, M. G. Desmistificando o problema: uma rpida introduo ao estudo dos


indicadores. Braslia: ENAP, 2004. (mimeo)
SANTAGADA, S. Indicadores sociais: uma primeira abordagem social e histrica.
Pelotas: Pensamento Plural, 2007.
SCHNEIDER, A. L. Pesquisa avaliativa e melhoria da deciso poltica: evoluo
histrica e guia prtico. In: HEIDEMANN, F. G.; SALM, J. F. (Orgs.). Polticas pblicas
e desenvolvimento: bases epistemolgicas e modelos de anlise. Braslia: UnB, 2006.
VAITSMAN, J.; PAES-SOUSA, R. Avaliao de programas e profissionalizao
da gesto pblica. Revista Brasileira de Monitoramento e Avaliao, n 1. Braslia:
MDS, 2011.
VAZ. J. C. O monitoramento do planejamento governamental em ambientes
complexos: decises e requisitos. In Reflexes para Ibero-Amrica: planejamento
estratgico. REPETTO, F., et al. Braslia: ENAP, 2009.
WILDAVSKY, A. A economia poltica de eficincia, anlise de custo-benefcio,
anlise de sistemas e oramento-programa. In: Poltica x tcnica no planejamento.
BROMLEY, Ray; BUSTELO, Eduardo (eds). Braslia: Eds. Brasiliense e UNICEF, 1982.

62

63

Indicadores - Orientaes Bsicas Aplicadas Gesto Pblica

64

Você também pode gostar