Você está na página 1de 132

Ministrio do Planejamento, Oramento e Gesto

Secretaria de Planejamento e Investimentos Estratgicos

Indicadores de Programas
Guia Metodolgico

Braslia/DF Maro de 2010

MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO


SECRETARIA DE PLANEJAMENTO E INVESTIMENTOS
ESTRATGICOS
ESPLANADA DOS MINISTRIOS, BLOCO K
CEP: 70040.906 Braslia - DF
Fone: 55 (61) 2020.4800
Fax: 55 (61) 2020.4498
Site: www.planejamento.gov.br

2010, Secretaria de Planejamento e Investimentos Estratgicos

Normalizao bibliogrca DIDAP/CODIN/SPOA

Brasil. Ministrio do Planejamento, Oramento e Gesto.


Secretaria de Planejamento e Investimentos Estratgicos - SPI.
Indicadores de programas: Guia Metodolgico / Ministrio do Planejamento, Oramento e Gesto, Secretaria
de Planejamento e Investimentos Estratgicos - Braslia :
MP, 2010.
128 p.: il. color.
1. Administrao Pblica. 2. Plano Plurianual Guia
Metodolgico. 3. Programas de Governo - Indicadores.
4. Servio Pblico Formas Legais de Previso, Programas e Planejamento I. Ttulo.

CDU 35 : 346.512

Repblica Federativa do Brasil


Presidente da Repblica
Luiz Incio Lula da Silva
Ministro de Estado do Planejamento, Oramento e Gesto
Paulo Bernardo Silva
Secretrio Executivo
Joo Bernardo de Azevedo Bringel
Secretrio de Planejamento e Investimentos Estratgicos
Afonso Oliveira de Almeida
Diretora do Departamento de Gesto do Ciclo de
Planejamento
Dbora Nogueira Beserra
Coordenador-Geral de Qualidade do Plano
Cilair Rodrigues de Abreu
Equipe Tcnica
Andria Rodrigues dos Santos
Carlos Tadeu Assumpo de Pinho
Cristiane Ribeiro Ikawa
Eugnio Csar Almeida Filippetto
Fabiano Pianetti Cordeiro
Jorge Luiz Rocha Reghini Ramos
Colaboradores
Cristovo de Melo
Eder Eustquio Alves
Leonardo Lanna Guilln
Mara Helena Souza
Roseli Teixeira Alves
Desenvolvimento e sistematizao
Carlos Tadeu Assumpo de Pinho

Servidores da Secretaria de Planejamento


e Investimentos Estratgicos

ADNILTON FERNANDES ROCHA


ADRIANA MARQUES BENTO AVALOS
ADRIANA RODRIGUES DOS SANTOS
ADRIANA VALENA ARAJO
AFONSO OLIVEIRA DE ALMEIDA
ALBERTO FRANCISCO GOMES
ALEXANDRE FURTADO DE AZEVEDO
ALEXANDRE LENIN CARNEIRO
ALICE UTIDA FERREIRA MANICA
ALINE ROCHA MARINHO
ALMIR COUTINHO POLLIG
ALOYSIO NOVAIS DE CARVALHO SILVA
AMARILDO BAESSO
ANDERSON LOZI DA ROCHA
ANDR ARANTES LUCIANO
ANDR ARTUR POMPEIA CAVALCANTI
ANDRA COSTA MAGNAVITA
ANDRA THALHOFER RICCIARDI
ANDRIA RODRIGUES DOS SANTOS
BRENDA ROCHA RIBEIRO
BRUNO MORETTI
CARLOS AUGUSTO DE GODOY CURRO
CARLOS TADEU ASSUMPO DE PINHO
CARLOS VICTOR FREITAS MOURA
CSAR AUGUSTO DOMONT LABUTO
CILAIR RODRIGUES DE ABREU
CLUDIO ALEXANDRE DE ARA LEO NAVARRO
CLZIO MARCELINO DE MEDEIROS
CRISTIAN DE OLIVEIRA LIMA
CRISTIANE COLLET BATTISTON
CRISTIANE MARIA SIMO MUNHOZ
CRISTIANE RIBEIRO IKAWA
CRISTOVO DE MELO
DANIELLE CANCELA CRONEMBERGER
DAVI DIOGENES BELEM PONTES
DBORA NOGUEIRA BESERRA
DBORAH HAYDE RAMON E BARROS FERREIRA
DENIS SANTANA BARROS
EDER EUSTAQUIO ALVES
EDUARDO DOMINGUES
EDUARDO FRANCA NEVES BASSANI
EDUARDO RODRIGUES DA SILVA
ELAINE DE MELO XAVIER
ELISA MONTEIRO MALAFAIA
ELY ARIMA TAKASAKI
ELZA MARIA DEL NEGRO BARROSO FERNANDES
ERNESTO CARRARA JNIOR
EUGNIO ANDRADE VILELA DOS SANTOS
EUGNIO CSAR ALMEIDA FELIPPETTO
EVANDRO MACEDO
FABIANO PIANETTI CORDEIRO
FERNANDO SERT MERESSI
FLVIA DUARTE NASCIMENTO
FRANCISCO CHANG KAE JUNG
FRANCISCO DE ASSIS DE SOUSA LIRA
FRANCISCO FRANCIONE SOARES JNIOR
FREDERICO VIANA ALVES
GABRIEL PENNA FIRME DE MELO
GEORGE AUGUSTO CARSALADE VILELA DE LIMA
GERSON RICARDO NARCIZO

GILMAR GOMES PRATES


GUILHERME AUGUSTO BORGES CARVALHO
GUSTAVO TEIXEIRA AMORIM GONALVES
GUSTAVO TEIXEIRA LINO
GUSTAVO VIANA MACHADO
HLIO JAQUES ZAMAl
IGOR VINCIUS DE SOUZA GERACY
ISADORA LOUZADA HUGUENEY LACAVA
JOAO ALOISIO VIEIRA
JOO CARLOS GONALVES BARRETO
JORGE LUIZ ROCHA REGHINI RAMOS
JOS DRIA PUPO NETO
JOS MARTINS RODRIGUES
JOSEFA DE FTIMA ARAJO RIBEIRO
JUCILDO AUGUSTO DA SILVA LIMA
LEONARDO LANNA GUILLN
LIANE RUCINSKI
LUIS GUSTAVO MELLO COSTA
MARA HELENA SOUSA
MARCEL OLIVI GONZAGA BARBOSA
MARCELO FONSECA IANNINI
MARCELO MATOS ANDRADE PIRES
MARCELO MORHY PERES
MARCELO RYUDI KOMENO
MARCELO VIEIRA SIQUEIRA
MRCIA DE SOUZA BRITO NAZAR
MRCIA RIBEIRO FANTUZZE DIAS
MRCIO BASTOS MEDEIROS
MRCIO PARREIRA DUARTE
MARCOS ANTONIO PEREIRA DE OLIVEIRA SILVA
MARCOS REIS MAIA
MARGARETE CAMPOS REBOUAS
MARIA DO ROSRIO DE HOLANDA CUNHA
CARDOSO
MARIA INS DA ROCHA E SILVA
MRIO BENJAMIN VERA WALL
MAURO CEZA NOGUEIRA DO NASCIMENTO
MAURO SANTOS SILVA
MIGUEL CRISSTOMO BRITO LEITE
NILSON ANTONIO CARVALHO DE FIGUEIREDO
OLGA CRISTINA LPEZ DE IBAEZ NOVION
PAULO AUGUSTO MIERS ZABOT
POLLYANA SANTANA GUIMARES
PRISCILA FTIMA PINHEIRO DE SIQUEIRA BASTOS
PRISCILLA ROSA PIMENTEL SGANZERLA
RAFAEL FERREIRA ROCHA MONTEIRO
RAFAEL LUS GIACOMIN
RAFAEL MARTINS FERRARI
RAFAEL MARTINS NETO
REJANE RODRIGUES DE CARVALHO
RICARDO DISLICH
RICARDO VIDAL DE ABREU
ROSANA MOUTINHO DE OLIVEIRA
ROSELI TEIXEIRA ALVES
RUBEM OLIVEIRA DE PAULA
SANDRA DE CARLO
SIDNEY DE FREITAS GASPAR
SURIPONGSE NAIBERT CHIMPLIGANOND
VERA LCIA HABITZREUTER DE OLIVEIRA DE
RAMIREZ

Apresentao
Desde o sculo XIX, as naes tm empreendido esforos para modernizar a administrao pblica, de forma que o Estado atue melhor tanto na entrega de produtos e servios sociedade, quanto como um
indutor estratgico do desenvolvimento nacional por meio de mltiplos
arranjos dos quais participam diferentes atores. Para tanto, aplicam
modelos de gesto voltados para resultados com foco nos impactos na
qualidade de vida da sociedade e priorizam a transparncia, a maximizao dos recursos pblicos e a responsabilizao perante a populao.
Para cumprir esse objetivo, o planejamento governamental constituise em instrumento essencial para transpor a tendncia imediatista e
desestruturadora do cotidiano administrativo, estabelecendo uma ponte entre as aes de curto prazo e a viso de futuro materializada, dentre outras formas, no planejamento intersetorial em bases territoriais.
No Brasil, o modelo institucional estabeleceu o Plano Plurianual - PPA
como um instrumento coordenador da atuao governamental que
estrutura a ao do governo para um quadrinio, traduzindo a orientao poltica e imprimindo uma diretriz estratgica ao governo.
O PPA composto de Programas, que renem um conjunto de aes
orientadas ao alcance de um objetivo politicamente declarado a partir
de um problema, demanda da sociedade ou aproveitamento de uma
oportunidade. Neste sentido, a identicao dos resultados das aes
por meio de medidas de desempenho se constitui no eixo de comunicao com a sociedade e de evidncia da evoluo do plano, o que faz
dos indicadores elementos fundamentais para todo o ciclo de gesto
das polticas pblicas.
As avaliaes da qualidade dos indicadores dos programas demonstram que a administrao pblica carece de uma referncia que norteie a compreenso e construo de medidas de desempenho de programas, apesar de importantes iniciativas terem sido efetivadas. Nesse
contexto, o Ministrio do Planejamento, Oramento e Gesto MP, por
meio da Secretaria de Planejamento e Investimentos Estratgicos SPI,
apresenta e sugere aos rgos e demais interessados um guia sobre
indicadores, contendo uma sntese conceitual e uma metodologia de

construo de indicadores de desempenho de Programas, no intuito


de auxiliar gestores e dirigentes na compreenso e escolha de medidas
que de fato expressem os resultados esperados.

Afonso Oliveira de Almeida


Secretrio de Planejamento e Investimentos Estratgicos

O Ministrio do Planejamento, Oramento e Gesto agradece s pessoas


abaixo relacionadas, que direta ou indiretamente contriburam para o
desenvolvimento ou aperfeioameto deste guia metodolgico.

Danyelle Iamada

- Moderadora

Edson Murilo Escobar

- Programa Providencia

Herton Ellery Arajo

- Instituto de Pesquisa Econmica


Aplicada

Jos Ribeiro Soares Guimares

- Oficial de Projeto do Escritrio


da Organizao Internacional do
Trabalho (OIT) no Brasil

Marta Cassiolato

- Instituto de Pesquisa Econmica


Aplicada

James Maxwell Brito Coelho

- Ministrio do Trabalho e
Emprego

Nilson Roberto da Silva

- Empresa Brasileira de
Comunicao

Paulo de Martino Jannuzzi

- Escola Nacional de Cincias


Estatticas/IBGE

Ricardo Corra Gomes

- Universidade de Braslia

Sonia Nahas

- Fundao SEADE

Sumrio
1 Introduo ................................................................................ 15
1.1 Objetivos ........................................................................... 15
1.2 Resultados esperados ........................................................ 16
1.3 Indicadores e a teoria do Programa .................................... 16
1.4 Grandes mitos ................................................................... 19
2 Marco Conceitual...................................................................... 21
2.1 Conceito de indicadores .................................................... 21
2.2 Histrico dos indicadores ................................................... 22
2.3 Funes Bsicas ................................................................. 23
2.4 Propriedades...................................................................... 24
2.5 Taxonomias ....................................................................... 27
2.6 Propriedades e taxonomias aplicadas gesto
de Programas .................................................................... 33
2.7 Limitaes ......................................................................... 35
3 O Sistema Estatstico Nacional ................................................... 39
3.1 Objetivo ............................................................................ 40
3.2 Componentes .................................................................... 40
3.3 O papel do IBGE ................................................................ 42
3.4 Principais produtos disponveis ........................................... 43
4 Indicadores no PPA .................................................................... 47
4.1 Marco legal e dimenses estratgicas ................................ 47
4.2 Papis e responsabilidades ................................................. 48
4.3 Atributos ........................................................................... 49
4.4 Pontos de Destaque ........................................................... 50
5 Mtodo para Construo de Indicadores de Programas ............. 53
5.1 Fluxograma geral ............................................................... 53
5.2 Descrio das atividades .................................................... 54

6 Simulao de Uso...................................................................... 65
6.1 Nome do Programa ........................................................... 65
6.2 Evidncias da existncia do problema................................. 65
6.3 Delimitao do problema e do pblico-alvo ....................... 66
6.4 Aplicao do mtodo para construo de indicadores .......... 66
7 Dinmica de Aplicao do Mtodo: Ocina de Indicadores .......... 73
7.1 Viso geral ........................................................................ 73
7.2 Descrio do processo ....................................................... 74
7.3 Papis e responsabilidades ................................................. 78
7.4 Descrio do projeto-piloto ................................................ 79
7.5 Concluses e Recomendaes ........................................... 89
8 Consideraes Finais ................................................................. 91
Referncias Bibliogrcas ................................................................ 93
Glossrio......................................................................................... 97
Anexo I Fontes, Publicaes e Tecnologias .................................. 101
Anexo II Exemplos de Classicao por Temas ............................ 115
Anexo III Atributos dos indicadores do PPA ................................. 117
Anexo IV Perguntas Mais Frequentes .......................................... 119
Anexo V Roteiro de Entrevista para pr-montagem
de Ocina .................................................................... 123
Anexo VI Guia de Referncia ...................................................... 127

Lista de Quadros
Quadro 1 Requisitos de um bom indicador ................................... 25
Quadro 2 Correlao entre etapas, caractersticas
e tipologia .................................................................... 34
Quadro 3 Princpios fundamentais das estatsticas ociais ............. 39
Quadro 4 Papis e responsabilidades no tratamento de
indicadores de Programas ............................................. 49
Quadro 5 Exemplos de critrios para seleo de indicadores ........... 57
Quadro 6 Critrios utilizados na seleo de indicadores ................ 68
Quadro 7 Indicadores candidatos ................................................. 69
Quadro 8 Atributos de um indicador selecionado ......................... 71
Quadro 9 Papis e responsabilidades para a ocina
de indicadores .............................................................. 78
Quadro 10 Exemplos de indicadores candidatos
denidos na pr-montagem ....................................... 84

Lista de Figuras
Figura 1 Referncias bsicas do Programa .................................... 18
Figura 2 Pirmide da informao .................................................. 29
Figura 3 Indicadores de gesto para um programa
de ateno sade ........................................................ 31
Figura 4 Correlao entre os tipos de indicadores
e o uxo de implementao de programas ..................... 33
Figura 5 Ciclo de gesto de Programas ......................................... 34
Figura 6 SEN e as principais instituies integrantes
e produtoras de estatsticas............................................. 41
Figura 7 Exemplos de subsistemas que compem o SEN ............... 42
Figura 8 Dimenses estratgicas do Plano Plurianual .................... 48
Figura 9 Rampas de acesso ao mtodo de oito
passos para construo de indicadores........................... 54
Figura 10 Matriz de priorizao de Indicadores ............................. 61
Figura 11 Simulao de matriz de avaliao
quantitativa de indicadores ........................................... 70
Figura 12 Metodologia de construo de indicadores
por meio de ocina ...................................................... 74
Figura 13 Referncias bsicas do PNMPO ..................................... 82
Figura 14 Planejamento da Ocina ............................................... 83
Figura 15 Matriz nal de priorizao de indicadores ..................... 87
Figura 16 Atributos de um indicador de Programa ........................ 88

Indicadores de Programas - Guia Metodolgico

1 Introduo
Considerando a importncia das aes de governo no crescimento econmico e no desenvolvimento social do Pas, so fundamentais a construo e a ampla utilizao de medidas de desempenho que expressem
o grau de alcance das metas e objetivos estabelecidos.
Na viso da OCDE (2008), por exemplo, dado que os resultados do
setor pblico caracterizam-se, dentre outros, pela qualidade dos bens
e servios entregues sociedade por intermdio de aes alocativas,
pela regulao do mercado e pelo seu prprio desempenho, capazes de
assegurar a convergncia dos meios na direo dos objetivos a alcanar,
a m escolha ou mudana dos parmetros de medio pode aumentar
ou diminuir signicantemente o PIB de um pas, conforme constatou
uma recente pesquisa inglesa.
Alm disso, princpios importantes como performance, transparncia e
accountability, viabilizados pelas medidas de desempenho, so essenciais para a consolidao de um Estado moderno, pois proporcionam
elementos que respaldam as decises e podem impulsionar uma profunda reforma nos governos na direo de uma maior efetividade das
suas aes.
Nesse contexto, considerando que o Estado responsvel por um grande nmero de operaes e projetos, preciso quanticar ou qualicar
os parmetros que permitam s equipes gerenciais, dirigentes, polticos
e cidados conhecer, opinar e decidir acerca dos mltiplos e complexos
arranjos governamentais, o que faz dos indicadores de desempenho
instrumentos fundamentais para a gesto pblica decididamente voltada para resultados.

1.1 Objetivos
O presente guia visa a estabelecer uma metodologia para a construo
de indicadores para Programas do PPA do Governo Federal, com foco
na estruturao de mtodos, tcnicas e instrumentos que possibilitem

15

Indicadores de Programas - Guia Metodolgico

a correta aferio dos resultados esperados. Para tanto, as principais


metas a serem alcanadas so:
o detalhamento de uma fundamentao terica que possibilite
uniformizar conceitos, classicaes e nomenclaturas, a partir
do entendimento da literatura existente;
a concepo de um arcabouo metodolgico que oriente as atividades de construo ou seleo de indicadores de Programas;
o estabelecimento de referncia rpida que auxilie envolvidos
e interessados na construo de medidas de desempenho de
Programas;
o mapeamento de registros e publicaes que sirvam de fontes
para indicadores de Programas.

1.2 Resultados esperados


O aperfeioamento da gesto ttico-operacional das aes governamentais o principal resultado esperado para este guia, considerando a
importncia das medidas de desempenho como base instrumental para
os processos de diagnstico, elaborao, monitoramento e avaliao
dos Programas do PPA. Outras consequncias positivas esperadas so:
melhor entendimento dos papis desempenhados pelos atores
envolvidos;
melhoria na qualidade do planejamento, implementao e avaliao de Programas;
fortalecimento dos resultados na tica da ecincia e eccia
das aes governamentais;
uniformidade em conceitos, abordagens e diretrizes sobre
indicadores;
otimizao da comunicao dos resultados das aes de governo.

1.3 Indicadores e a teoria do Programa


Importante registrar que uma boa escolha de indicadores tem relao
direta com o desenho do Programa. Neste sentido, pr-requisito para
a escolha dos indicadores uma avaliao de adequao do objetivo do
Programa, bem como de consistncia desse objetivo com a capacidade
de interveno, materializada nas aes que o compem.

16

Indicadores de Programas - Guia Metodolgico

Indicadores de Programa medem os efeitos ou benefcios no pblicoalvo decorrentes dos produtos e servios entregues pelas aes empreendidas no contexto do Programa, ou seja, expressam a resultante dos
projetos e atividades implementadas pelo Programa. Assim, luz do
objetivo proposto, os indicadores so os principais instrumentos (mas
no necessariamente os nicos1) para vericar se os resultados do Programa foram satisfatrios ou insatisfatrios, da a necessidade de uma
boa denio do que se pretende entregar (aes) e alcanar (objetivo).
Existem diversas metodologias orientadas a explicitar a teoria de um
Programa ou projeto e atestar a consistncia da sua estratgia de
implementao. Como exemplos pode-se citar a metodologia alem
ZOPP Planejamento de Projetos Orientados por Objetivos e a Metodologia do Marco Lgico (ou Quadro Lgico) desenvolvida pela Agncia
Americana para o Desenvolvimento Internacional (USAID).
No mbito da Administrao Pblica Federal, a partir de estudos empreendidos pela Comisso de Monitoramento e Avaliao CMA e pelo
Instituto de Pesquisa Econmica Aplicada IPEA, a SPI, responsvel pela
qualidade do ciclo de planejamento das polticas pblicas, optou pela
metodologia do Modelo Lgico de Programas, que permite estabelecer
a correlao entre o objetivo a ser alcanado e o problema que deu
causa a esse objetivo, as correlaes entre as aes a serem empreendidas e as causas do problema-alvo, bem como outras informaes
essenciais s boas prticas de elaborao de Programas2.
Na falta da aplicao da metodologia do Modelo Lgico, algumas perguntas facilitam e orientam a anlise das referncias bsicas de um Programa j existente, referncias essas representadas na Figura 1. A saber:
1. O Problema est bem delimitado?
2. O Objetivo do Programa est bem denido?

Um indicador uma abstrao que expressa uma dada realidade, mas no a nica;
sempre que possvel o gestor de uma poltica pblica deve buscar outras formas de
medio (pesquisas amostrais, contratao de avaliaes externas, auditorias etc.) dos
efeitos esperados no pblico-alvo do Programa.

A Escola Nacional de Administrao Pblica ENAP, em parceria com o MP, periodicamente realiza cursos e ocinas para a aplicao desse modelo aos programas do PPA.

17

Indicadores de Programas - Guia Metodolgico

Uma das formas de se responder a essa questo vericar se o objetivo


do Programa atende a determinadas propriedades comuns aos objetivos. Uma tcnica muito utilizada para isso a aplicao do modelo
SMART, acrnimo que signica:
eSpecco: um objetivo no deve ser amplo ou genrico que
conduza a interpretaes duvidosas, perda de foco ou impossibilidade de alcance a partir das aes do Programa;
Mensurvel: no se pode gerenciar o que no se pode medir,
portanto um objetivo ou meta deve ser passvel de aferio;
Atingvel: um objetivo deve ser realista, vivel, possvel de ser atingido em face dos recursos (humanos, materiais, nanceiros etc.)
disponveis e das restries inerentes administrao pblica;
Relevante: um objetivo deve estar relacionado a um problema,
demanda ou oportunidade prioritria para a agenda governamental. Tambm deve estar alinhado aos objetivos estratgicos
(setoriais e de governo) estabelecidos.
Tempo: um objetivo deve ser programvel, deve possuir uma
data limite para alcance3.
3. O Pblico-alvo est bem delimitado?
4. Dado que o Programa do PPA atua em um problema ou demanda
existente na sociedade, o resultado alcanado pelo conjunto de aes
atualmente implementadas suciente para atingir o objetivo previsto?
Figura 1 - Referncias bsicas do Programa
g

Objetivo

Problema
Pblico-alvo

18

Ao 1
Ao 2
Ao 3
.
.
.
Ao n

Resultado
Indicadores

Existem Programas de execuo permanente que no possuem uma data de trmino


determinada, contudo o alcance de objetivos pode ser vericado em marcos temporais como, por exemplo, na avaliao anual e ao trmino da vigncia do PPA.

Indicadores de Programas - Guia Metodolgico

1.4 Grandes mitos


Segundo o Guia Referencial para Medio de Desempenho e Manual
para Construo de Indicadores, desenvolvido no contexto do Programa Nacional de Gesto Pblica e Desburocratizao GesPblica pela
Secretaria de Gesto SEGES do MP, os mitos mais conhecidos em
relao ao uso de indicadores so:
Deve-se medir tudo
Quem quer medir tudo acaba no medindo nada; deve-se medir o que
relevante, signicativo, til; medir custa tempo e dinheiro.
A Medio deve ser absoluta
Raramente uma medida consegue atender a todas as propriedades dos
indicadores como validade, conabilidade, simplicidade, especicidade,
disponibilidade, economicidade e outras. Uma boa prtica trabalhar
com aproximaes a partir de dados j existentes.
Medir por medir
As medidas devem ter signicncia, no devem ser operacionalizadas por
obrigao ou imposio legal, mas por se constiturem ferramentas teis a
todo o ciclo de gesto das polticas pblicas. Medir e depois decidir o que
fazer com as medidas no faz sentido.
Dependncia tecnolgica
Primeiro deve ser concebida a sistemtica e depois o sistema de informaes. O sistema de suporte no precisa, necessariamente, ser perfeito ou baseado no estado da arte da tecnologia, mas deve ser funcionalmente til e agregar valor anlise.

19

Indicadores de Programas - Guia Metodolgico

2 Marco Conceitual
O marco conceitual para indicadores busca estabelecer uma base terica comum para entendimento de questes importantes como denio, propriedades, classicaes mais utilizadas e limitaes. Para o
presente guia metodolgico sero replicados os conceitos que constam
de um documento prprio e de uso geral denominado Marco Conceitual para Indicadores4.

2.1 Conceito de indicadores


Do ponto de vista de polticas pblicas, os indicadores so instrumentos
que permitem identicar e medir aspectos relacionados a um determinado conceito, fenmeno, problema ou resultado de uma interveno
na realidade. A principal nalidade de um indicador traduzir, de forma mensurvel, determinado aspecto de uma realidade dada (situao
social) ou construda (ao de governo), de maneira a tornar operacional a sua observao e avaliao.
A literatura aponta diversas acepes acerca de indicadores, todas
guardando certa similaridade conceitual. Segundo Ferreira, Cassiolato
e Gonzales (2009), por exemplo:
O indicador uma medida, de ordem quantitativa ou
qualitativa, dotada de signicado particular e utilizada
para organizar e captar as informaes relevantes dos
elementos que compem o objeto da observao. um
recurso metodolgico que informa empiricamente sobre
a evoluo do aspecto observado.
Na viso de Rua (2004), os indicadores so medidas que expressam ou
quanticam um insumo, um resultado, uma caracterstica ou o desempenho de um processo, servio, produto ou organizao. Para o IBGE
(2005), os indicadores so ferramentas constitudas de variveis que,
associadas a partir de diferentes conguraes, expressam signicados
4

Esse documento ser oportunamente divulgado por meio do portal do Ministrio do


Planejamento na Internet

21

Indicadores de Programas - Guia Metodolgico

mais amplos sobre os fenmenos a que se referem. J segundo Magalhes (2004), so abstraes ou parmetros representativos, concisos,
fceis de interpretar e de serem obtidos, usados para ilustrar as caractersticas principais de determinado objeto de anlise.
Cabe salientar que, segundo Jannuzzi (2003), o registro de um determinado cadastro administrativo ou uma estatstica produzida por uma instituio especializada no necessariamente um indicador de desempenho; portanto, uma importante distino precisa ser feita entre:
Estatsticas Pblicas: representam ocorrncias ou eventos da realidade social, so produzidas e disseminadas pelas instituies
que compem o Sistema Estatstico Nacional5 e servem de insumos para a construo de indicadores;
Indicadores de Desempenho de Programas: dentro de uma nalidade programtica, permitem uma anlise contextualizada e
comparativa dos registros e estatsticas, no tempo e no espao;
Sistema de Indicadores: constitui um conjunto de indicadores
que se referem a um determinado tema ou nalidade programtica. So exemplos o sistema de indicadores do mercado de trabalho (MTE) e o sistema de indicadores urbanos (Naes Unidas).
Tanto para a pesquisa social quanto para o desenho e a implantao
de Polticas Pblicas, Planos e Programas, os indicadores surgem como
uma mediao entre a teoria e as evidncias da realidade, gerando
instrumentos capazes de identicar e medir algum tipo de fenmeno
social, estabelecido a partir de uma reexo terica (CARDOSO, 1998).

2.2 Histrico dos indicadores


Na histria recente, a ideia da construo de medidas que reetissem a
realidade social remonta dcada de 1920, quando os Estados Unidos
criaram um comit presidencial voltado a produzir um relatrio denominado Tendncias Sociais Recentes, conceito bastante prximo ao
que hoje denominamos indicadores (RUA, 2004).
Nas dcadas seguintes, o modelo de desenvolvimento implantado nos
pases centrais (EUA, Europa e Japo), particularmente aps a 2a Guerra
Mundial, levou nfase na construo de indicadores econmicos, pois
5

22

Veja captulo 3

Indicadores de Programas - Guia Metodolgico

acreditava-se que o nvel de produo evidenciava o grau de desenvolvimento de um pas (SANTAGADA, 2007).
Tal paradigma comeou a mudar na dcada de 1960, tambm nos
EUA, quando se percebeu que os ndices de desenvolvimento econmico, tal como o PIB per capita, no explicavam as lacunas existentes no
processo de desenvolvimento social. No ano de 1966 surgiu, pela primeira vez, na obra coletiva organizada por Raymond Bauer a expresso
Indicadores Sociais, cuja nalidade era avaliar as mudanas socioeconmicas na sociedade americana decorrentes da corrida espacial. J
em 1969 o ento presidente Nixon criou o Servio Nacional de Metas e
Pesquisas, com propsito de anualmente elaborar e divulgar informaes acerca do estado social da nao (SANTAGADA, 2007).
Mais adiante, na dcada de 1970, houve um grande avano na produo de indicadores sociais patrocinados por organismos nacionais e
internacionais (ONU, OCDE, PNUD, OMS e outros), com a divulgao
de ndices regionais, nacionais e supranacionais permitindo, inclusive, a
comparao das condies de vida entre os pases.
J na dcada de 1980, a crise scal e a viso de um Estado mnimo
economicamente eciente, adotada principalmente na Inglaterra e nos
EUA, levaram a um certo desprezo pelos indicadores sociais. A partir da
dcada de 1990, contudo, os indicadores sociais e ambientais assumiram um papel de destaque quando novos temas como desigualdade
social, qualidade de vida, direitos humanos, liberdades polticas, desenvolvimento sustentvel, responsabilidade social e biodiversidade passaram a compor a pauta de governo da maioria das naes.

2.3 Funes Bsicas


Considerando uma viso mais agregada pode-se dizer que os indicadores possuem as seguintes funes bsicas (BONNEFOY, 2005):
Funo Descritiva: consiste em aportar informao sobre uma
determinada realidade emprica, situao social ou ao pblica
como, por exemplo, a quantidade de famlias em situao de
pobreza; e
Funo Valorativa: tambm chamada avaliativa, implica em
agregar informao de juzo de valor situao em foco, a m

23

Indicadores de Programas - Guia Metodolgico

de avaliar a importncia relativa de determinado problema ou


vericar a adequao do desempenho de um Programa como,
por exemplo, o nmero de famlias em situao de pobreza em
relao ao nmero total de famlias.
Essas funes permitem que os indicadores sejam amplamente utilizados nos diferentes momentos do ciclo de gesto de polticas pblicas,
a saber:
ex-ante: no diagnstico de situao, para subsidiar a denio
do problema, o desenho de uma poltica e a xao das referncias que se deseja modicar;
in curso: para monitoramento e avaliao da execuo, reviso
do planejamento e correo de desvios; e
ex-post: para avaliao de alcance de metas, dos resultados no
pblico-alvo e dos impactos vericados na sociedade.
Quando um indicador no reete a realidade que se deseja medir ou
no considerado nos diversos estgios da elaborao e implementao de polticas, planos e programas, a desinformao poder implicar
no desperdcio de tempo e de recursos pblicos, alm da falta de visibilidade de atendimento das expectativas da sociedade.

2.4 Propriedades
Diante da grande quantidade de medidas disponveis, o processo de
seleo de indicadores deve buscar o maior grau possvel de aderncia
a algumas propriedades que caracterizam uma boa medida de desempenho. Na viso da OCDE (2002 apud MAGALHES 2004), por exemplo, um bom indicador deve apresentar as seguintes propriedades e
requisitos:

24

Indicadores de Programas - Guia Metodolgico

Quadro 1 Requisitos de um bom indicador


Propriedade

Requisitos
Representatividade
Simplicidade

Relevncia para
a formulao de
polticas

Sensvel a mudanas
Possibilita comparaes em nvel internacional
Possui escopo abrangente
Possui valores de referncia
Fundamentado cientificamente

Adequao anlise

Baseado em padres internacionais e possui consenso


sobre a sua validade
Utilizvel em modelos econmicos, de previso e em
sistemas de informao
Vivel em termos de tempo e recursos

Mensurabilidade

Adequadamente documentado
Atualizado periodicamente

Fonte: Adaptado de OCDE (2002 apud MAGALHES 2004)

Considerando as abordagens de autores como Rochet, Bout-Colonna e


Keramidas (2005), Rua (2004), Jannuzzi (2005) e Ferreira, Cassiolato e
Gonzalez (2009), nesse trabalho so consideradas as propriedades dos
indicadores como parte de dois grupos distintos:
Propriedades Essenciais: so aquelas que qualquer indicador de Programa deve apresentar e sempre devem ser consideradas como critrios
de escolha, independente da fase do ciclo de gesto em que se encontra o Programa (Planejamento, Execuo, Avaliao etc.). So elas:
Validade: capacidade de representar, com a maior proximidade
possvel, a realidade que se deseja medir e modicar. Um indicador deve ser signicante ao que est sendo medido e manter
essa signicncia ao longo do tempo;
Conabilidade: indicadores devem ter origem em fontes conveis, que utilizem metodologias reconhecidas e transparentes
de coleta, processamento e divulgao;
Simplicidade: indicadores devem ser de fcil obteno, construo, manuteno, comunicao e entendimento pelo pblico
em geral, interno ou externo.

25

Indicadores de Programas - Guia Metodolgico

Propriedades Complementares: so tambm muito importantes,


mas podem ser alvo de uma anlise de trade-off6 dependendo da fase
do ciclo de gesto de Programas. So elas:
Sensibilidade: capacidade que um indicador possui de reetir tempestivamente as mudanas decorrentes das intervenes
realizadas;
Desagregabilidade: capacidade de representao regionalizada de grupos sociodemogrcos, considerando que a dimenso territorial se apresenta como um componente essencial na
implementao de polticas pblicas;
Economicidade: capacidade do indicador de ser obtido a custos
mdicos; a relao entre os custos de obteno e os benefcios
advindos deve ser favorvel;
Estabilidade: capacidade de estabelecimento de sries histricas estveis que permitam monitoramentos e comparaes;
Mensurabilidade: capacidade de alcance e mensurao quando necessrio, na sua verso mais atual, com maior preciso possvel e sem ambiguidade;
Auditabilidade: qualquer pessoa deve sentir-se apta a vericar
a boa aplicao das regras de uso dos indicadores (obteno,
tratamento, formatao, difuso, interpretao).
Alm dessas propriedades, importante que o processo de escolha de
indicadores considere os seguintes aspectos:
Publicidade: os indicadores devem ser pblicos, isto , conhecidos e
acessveis a todos os nveis da instituio, bem como sociedade e aos
demais entes da administrao pblica.
Temporalidade: a identicao dos indicadores de desempenho deve
considerar algumas questes temporais: em primeiro lugar o momento
em que deve comear a medio; em segundo lugar a disponibilidade
de obteno quando os diferentes resultados comearem a acontecer; e, por m, a possibilidade de que, por meio dessas medidas, seja
possvel realizar um acompanhamento peridico do desempenho do
Programa.
Factibilidade: os dados necessrios para as medies se constituem em
informaes que fazem parte dos processos de gesto da instituio
6

26

Expresso que denota uma situao em que h conito de escolha (veja glossrio)

Indicadores de Programas - Guia Metodolgico

e, portanto, obtidas atravs de instrumentos de coleta, seja por amostra ou censo, estatsticas, aplicao de questionrios, observao etc.,
dependendo do aspecto a ser medido. Uma proposta de elaborao de
indicadores dever permitir dispor de indicadores de medio factvel,
em momentos adequados e com uma periodicidade que equilibre as
necessidades de informao com os recursos tcnicos e nanceiros.

2.5 Taxonomias
A taxonomia existente na literatura aponta mais de uma dezena de formas e critrios de classicao de indicadores. Na viso de Rua (2004),
por exemplo, os indicadores so classicados em:
Indicadores Estratgicos: orientados viso e aos objetivos estratgicos da organizao;
Indicadores de Processo: orientados ao acompanhamento e
avaliao do desempenho do processo. Podem ser de:
o Produtividade ou Ecincia: expressam a relao entre a
quantidade de recursos empregados e os produtos ou servios produzidos;
o Qualidade ou Eccia: medem o grau de satisfao do cliente
com os produtos ou servios oferecidos, bem como o grau de
atendimento aos requisitos denidos;
o Capacidade: medem a capacidade de resposta de um processo, considerando as sadas produzidas por unidade de
tempo;
Indicadores de Projeto: voltados a monitorar e avaliar a execuo
de projetos7.
Outros autores como Villela et al. (2007), Jannuzzi (2002 e 2005) e Santagada (2007) tambm abordam taxonomias. Contudo, no intuito de
simplicar o entendimento e evitar um emaranhado conceitual, neste
trabalho sero consideradas como referncias as seguintes classicaes: (1) Natureza do Indicador; (2) rea Temtica; (3) Complexidade;
(4) Objetividade; (5) Gesto do Fluxo de Implementao de Programas;
e (6) Avaliao de Desempenho.

Projeto um esforo temporrio empreendido para criar um produto, servio ou


resultado nico (PMI, 2004)

27

Indicadores de Programas - Guia Metodolgico

Natureza do indicador
O IBGE, principal produtor de estatsticas e coordenador do Sistema
Estatstico Nacional, consolida os indicadores de algumas das suas principais publicaes segundo essa classicao. Assim, dentro de uma
perspectiva ampla e tambm da evoluo histrica, os indicadores
podem ser:
Econmicos: foram os primeiros a serem produzidos e por isso
possuem uma teoria geral mais consolidada, no se restringem
apenas rea pblica e reetem o comportamento da economia de um pas. No setor governamental so muito utilizados na
gesto das polticas scal, monetria, cambial, comrcio exterior,
desenvolvimento e outras. No setor privado subsidiam decises
de planejamento estratgico, investimentos, contrataes, concorrncia, entrada ou sada de mercados etc;
Sociais: so aqueles que apontam o nvel de bem-estar geral e
de qualidade de vida da populao, principalmente em relao
sade, educao, trabalho, renda, segurana, habitao, transporte, aspectos demogrcos e outros;8
Ambientais: demonstram o progresso alcanado na direo
do desenvolvimento sustentvel, que compreende, segundo as
Naes Unidas, quatro dimenses: ambiental, social, econmica
e institucional.9
rea Temtica
Essa classicao bastante utilizada para a localizao de indicadores
em geral. Conforme os exemplos apresentados no Anexo II, os indicadores podem ser classicados em diferentes temas como sade, educao, mercado de trabalho, segurana, justia, pobreza, demogrcos e
outros (JANNUZZI, 2005).
Complexidade
Essa classicao permite compreender que indicadores simples podem
ser combinados de forma a obter uma viso ponderada e multidimensional da realidade. Segundo a tica de complexidade, representada na
Figura 2, os indicadores podem ser:

28

Um importante instrumento para conhecer o sistema e obter indicadores sociais do


Brasil a publicao Sntese dos Indicadores Sociais Uma Anlise das Condies
de Vida da Populao Brasileira, do IBGE.

A publicao Indicadores de Desenvolvimento Sustentvel, editada pelo IBGE,


referncia acerca dos indicadores ambientais adotados no Brasil.

Indicadores de Programas - Guia Metodolgico

Analticos: so aqueles que retratam dimenses sociais especcas.


Pode-se citar como exemplos a taxa de evaso escolar e a taxa de
desemprego;
Sintticos: tambm chamados de ndices, sintetizam diferentes conceitos da realidade emprica, ou seja, derivam de operaes realizadas com indicadores analticos e tendem a retratar o comportamento
mdio das dimenses consideradas. Diversas instituies nacionais e
internacionais divulgam indicadores sintticos, sendo exemplos o PIB,
IDEB, IPC e o IDH.

Grau de Agregao

Figura 2 Pirmide da informao

ndices
Indicadores
Dados analisados
Dados originais
Quantidade de Informaes

Fonte: Ministrio do Planejamento

Objetividade
Essa classicao tem proximidade com o carter quantitativo ou qualitativo de um indicador. Na viso de Jannuzzi (2005) os indicadores
podem ser:
Objetivos: referem-se a eventos concretos da realidade social;
so indicadores em geral quantitativos, construdos a partir de
estatsticas pblicas ou registros administrativos disponveis nos
Ministrios;
Subjetivos: so indicadores qualitativos utilizados para captar
sensaes ou opinies e utilizam tcnicas do tipo pesquisa de
opinio, grupo focal ou grupo de discusso.

29

Indicadores de Programas - Guia Metodolgico

Indicadores de Gesto do Fluxo de Implementao de Programas


Essa classicao tem grande importncia para a equipe gerencial do
Programa no gerenciamento do processo de formulao e implementao das polticas pblicas, pois permite separar os indicadores de
acordo com a sua aplicao nas diferentes fases do ciclo de gesto. Na
viso adaptada de Bonnefoy (2005) e Jannuzzi (2005), os indicadores
podem ser de:
Insumo (input indicators): so indicadores ex-ante facto que tm
relao direta com os recursos a serem alocados, ou seja, com
a disponibilidade dos recursos humanos, materiais, nanceiros e
outros a serem utilizados pelas aes de governo. Pode-ser citar
como exemplos mdicos/mil habitantes e gasto per capita com
educao;
Processo (throughput indicators): so medidas in curso ou intermedirias que traduzem o esforo empreendido na obteno
dos resultados, ou seja, medem o nvel de utilizao dos insumos alocados como, por exemplo, o percentual de atendimento de um pblico-alvo e o percentual de liberao dos recursos
nanceiros;
Produto (output indicators): medem o alcance das metas fsicas10. So medidas ex-post facto que expressam as entregas de
produtos ou servios ao pblico-alvo do Programa. So exemplos
o percentual de quilmetros de estrada entregues, de armazns
construdos e de crianas vacinadas em relao s metas fsicas
estabelecidas;
Resultado (outcome indicators): essas medidas expressam, direta ou indiretamente, os benefcios no pblico-alvo decorrentes
das aes empreendidas no contexto do Programa e tm particular importncia no contexto de gesto pblica orientada a
resultados. So exemplos as taxas de morbidade (doenas), taxa
de reprovao escolar e de homicdios;

10 Segundo Costa e Castanhar (2003) os padres de referncia para denio de metas


podem ser: absolutos, quando estabelecido um valor a ser alcanado; histricos,
quando h comparao com perodos anteriores; normativos, quando h comparao com programas similares; tericos, quando estabelece uma relao hipottica
de causa e feito entre os recursos alocados e os resultados esperados; e negociados,
quando os compromissos so conversados e xados entre partes.

30

Indicadores de Programas - Guia Metodolgico

Impacto (impact indicators): possuem natureza abrangente e


multidimensional, tm relao com a sociedade como um todo
e medem os efeitos das estratgias governamentais de mdio e
longo prazos. Na maioria dos casos esto associados aos objetivos setoriais e de governo (veja Figura 8). So exemplos o ndice
Gini de distribuio de renda e o PIB per capita.

Importante: essa classificao nem sempre to precisa quanto parece,


principalmente quando os objetivos no so muito especficos. Dependendo do contexto um mesmo indicador pode ser classificado em tipos
diferentes, ou seja, uma medida tipicamente de processo (atendimentos
por hora, p.e.) pode, dependendo do objetivo que se quer atingir (qualidade de atendimento, p.e.), ser classificada como de resultado.

A Figura 3 a seguir apresenta uma ilustrao dessa classicao para


uma poltica pblica, cujo objetivo diminuir a incidncia de doenas
sexualmente transmissveis em determinado pblico-alvo.
Figura 3 - Indicadores de gesto para um Programa de ateno sade
Insumo
Mdicos por
mil habitantes
Oramento
previsto

Processo

Produto

Recursos
financeiros
liberados no
ms

Mdicos
contratados
Campanhas
realizadas

Resultado

Impacto

Diminuio da
taxa de
morbidade
por doenas
DST

Aumento da
expectativa de
vida da
populao

Fonte: Ministrio do Planejamento

Indicadores de Avaliao de Desempenho


Essa classicao possui foco maior na avaliao dos recursos alocados
e dos resultados alcanados. Segundo essa tica, os indicadores podem
ser de (TCU, 2000):
Economicidade: medem os gastos envolvidos na obteno dos
insumos (materiais, humanos, nanceiros etc.) necessrios s
aes que produziro os resultados planejados. Visa a minimizar
custos sem comprometer os padres de qualidade estabelecidos

31

Indicadores de Programas - Guia Metodolgico

e requer um sistema que estabelea referenciais de comparao


e negociao;
Ecincia: essa medida possui estreita relao com produtividade, ou seja, o quanto se consegue produzir com os meios
disponibilizados. Assim, a partir de um padro ou referencial,
a ecincia de um processo ser tanto maior quanto mais produtos forem entregues com a mesma quantidade de insumos,
ou os mesmos produtos e/ou servios sejam obtidos com menor
quantidade de recursos;
Eccia: aponta o grau com que um Programa atinge as metas
e objetivos planejados, ou seja, uma vez estabelecido o referencial (linha de base) e as metas a serem alcanadas, utiliza-se indicadores de resultado (veja Figura 4) para avaliar se estas foram
atingidas ou superadas;
Efetividade: mede os efeitos positivos ou negativos na realidade que sofreu a interveno, ou seja, aponta se houve mudanas
socioeconmicas, ambientais ou institucionais decorrentes dos
resultados obtidos pela poltica, plano ou programa.
Importante destacar que, no ciclo de implementao de uma poltica
pblica, cada tipo de avaliao utiliza um ou mais indicadores de gesto do uxo de implementao de Programas. Essa correlao entre
indicadores de gesto do uxo e de avaliao de desempenho est
representada na Figura 4.

Importante: os Indicadores de Resultado, que permitem realizar avaliaes de eficcia ou do grau de alcance dos objetivos dos Programas,
materializam o conceito de Indicadores de Desempenho de Programas
citado diversas vezes neste guia.

32

Indicadores de Programas - Guia Metodolgico

Figura 4 Correlao entre tipos de indicadores e o uxo de implementao de Programas


Indicadores de Gesto
do Fluxo de
Implementao de
Programas

Indicadores de
Avaliao de
Desempenho

Fluxo de
implementao de
Programas

Objetivos

Impacto

Efetividade

Mudanas na
Sociedade

Governo e
Setoriais

Resultado

Eficcia

Resultado no
Pblico-alvo

Programa

Produtos

Produto

Aes
Processo

Insumo

Eficincia

Economicidade

Recursos
Humanos
Materiais e
Financeiros
Gastos

Problemas,
Demandas ou
Potencialidades

Causas

Fonte: Ministrio do Planejamento

2.6 Propriedades e taxonomias aplicadas gesto de Programas


A correlao entre os tipos de indicadores e o uxo de implementao dos
Programas representada na Figura 4 est considerada no mbito do ciclo
de planejamento demonstrado na Figura 5, composto basicamente dos
processos de: (1) Diagnstico do problema ou demanda; (2) Planejamento;
(3) Execuo e Monitoramento; (4) Avaliao; e (5) Reviso.
Assim, cada etapa desse ciclo demanda indicadores que apresentem
determinadas propriedades e pertenam a determinadas tipologias.
Esta correlao entre as etapas, as propriedades e a tipologia sugerida
apresentada no Quadro 2.

33

Indicadores de Programas - Guia Metodolgico

Figura 5 Ciclo de gesto de Programas


Problema ou
Demanda da
Sociedade

Reviso

Ciclo de Gesto
de Polticas
Pblicas

Avaliao

Planejamento

Execuo e
Monitorao

Fonte: Ministrio do Planejamento

Quadro 2 Correlao entre etapas, caractersticas e tipologia


Etapas

34

Objetivo

Propriedades
Prioritrias

Tipologias

Principais Fontes

Problema ou Conhecer e diagDemanda


nosticar problemas, demanda
da sociedade ou
potencialidades.

Validade,
Indicadores
Confiabilidade. Analticos.
Indicadores
Objetivos.

Censo demogrfico, Censo


populacional,
Pesquisas amostrais diversas
(PNAD, PME).

Planejamento Definir causas e


consequncias
do problema,
objetivos, referenciais, indicadores,
aes e resultados intermedirios e final.

Validade,
Confiabilidade
e Desagregabilidade.

Indicadores de
Insumo, de
Produto e de
Resultado.
Indicadores
Sintticos.

Censo demogrfico, Censo


populacional,
Pesquisas amostrais diversas.

Execuo e
Monitoramento

Sensibilidade,
Disponibilidade, Economicidade, Mensurabilidade e
Estabilidade.

Indicadores
de Insumo,
de Processo e de
Produto.

Pesquisas amostrais; Registros


administrativos
(Sade, Educao, etc.); Dados
geradas pelos
Programas.

Gerenciar execuo das aes,


entrega de produtos e alcance
de resultados
intermedirios e
finais.

Indicadores de Programas - Guia Metodolgico

Etapas

Objetivo

Propriedades
Prioritrias

Avaliao

Avaliar alcance
de objetivos ou
a eficcia dos
Programas.

Reviso

Realizar alteraValidade,
es e ajustes no Confiabilidade
Programa.
e Desagregabilidade.

Tipologias

Validade, Dis- Indicaponibilidade,


dores de
Simplicidade e Resultado;
Estabilidade.

Indicadores de
Insumo, de
Produto e de
Resultado.
Indicadores
Sintticos.

Principais Fontes
Pesquisas amostrais ou dirigidas;
Registros administrativos; Dados
geradas pelos
Programas.
Censo demogrfico, Censo
populacional,
Pesquisas amostrais diversas.

Fonte: Ministrio do Planejamento, adaptado de Jannuzzi (2005)

Utilizando como exemplo a etapa de diagnstico do problema ou


demanda, do ponto de vista das propriedades muito importante que
os indicadores escolhidos para o diagnstico da situao reitam, com
a maior proximidade possvel, a realidade considerada (Validade), como
tambm sejam metodologicamente consistentes e oriundos de fontes
conveis (Conabilidade). Em relao tipologia, nessa etapa os indicadores analticos e os objetivos so muito recomendados.

2.7 Limitaes
Indicadores so representaes imperfeitas e suscetveis
Por denio os indicadores so abstraes, representaes, simplicaes de uma dada realidade, portanto so suscetveis aos vieses de
quem produziu, coletou e/ou interpretou. Desta forma, no se deve
conar cega e eternamente nas medidas, o que signica dizer que o
gestor de uma poltica pblica deve, periodicamente, realizar uma avaliao crtica acerca da adequabilidade dos indicadores selecionados,
considerando ainda que, a todo tempo, surgem modelos mais aperfeioados baseados em novas teorias. Deve-se, portanto, conar nas
escolhas realizadas enquanto no surgirem alternativas melhores, mais
vlidas e aprimoradas, desenvolvidas a partir de pesquisas e trabalhos
metodologicamente conveis (MAGALHES, 2004).

35

Indicadores de Programas - Guia Metodolgico

O indicador e a dimenso de interesse no se confundem


Deve-se atentar que o indicador apenas aponta, assinala, indica como
o prprio nome revela. Contudo, comum casos em que o foco das
aes seja deslocado da realidade com que se deseja trabalhar para o
indicador escolhido para represent-la. H casos at em que primeiro se
escolhe o indicador para depois associ-lo a um problema ou demanda.
De fato em algumas situaes existe forte identicao entre o conceito e o indicador como, por exemplo, mortalidade ou morbidade por
causas diversas; porm em geral essa no a regra, principalmente
para conceitos multidimensionais como desenvolvimento humano e
qualidade de vida (JANNUZZI, 2002).
Indicador Sinttico versus Sistema de Indicadores
Quando os conceitos so complexos no se pode reduzir a gesto de
uma poltica ou programa simples apreciao de um indicador sinttico. O IDH, por exemplo, resultado da ponderao de trs temas distintos (economia, sade e educao), busca melhor representar o nvel de
desenvolvimento socioeconmico de um pas; porm a sua composio
mistura um conceito mais sensvel s variaes conjunturais e de prazo
mais curto (PIB per capita) com conceitos estruturais menos sensveis
e de prazo mais longo de evoluo (sade e educao). Assim, uma
variao anual positiva do IDH decorrente do aumento do PIB per capita
pode, por exemplo, camuar uma estagnao ou at um retrocesso nas
outras dimenses estruturais do ndice (sade e educao). Dependendo do contexto e dos objetivos estabelecidos, deve-se ter cautela na
adoo de ndices; pois, se por um lado muito bem identicam reas
de ao prioritria, por outro no expressam problemas ou dimenses
especcas.
Alm de se prestarem de forma limitada para o processo de avaliao
das polticas pblicas, os indicadores sintticos podem revelar problemas quando da sua utilizao indiscriminada como critrio de elegibilidade de municpios para serem contemplados com polticas pblicas
especcas. O mais recente IDH-M (ndice de Desenvolvimento Humano
Municipal) ilustra bem essa problemtica.
Supondo-se a implementao de uma poltica pblica voltada para a
melhoria das condies nutricionais e de vida das crianas de zero a seis
anos, mais vulnerveis socialmente, o critrio possvel seria eleger um
determinado contingente de municpios com base no IDH-M. Apenas
para efeito de ilustrao, considerem-se os 100 municpios do pas de

36

Indicadores de Programas - Guia Metodolgico

menor IDH-M no ano de 2000. Utilizando-se, contudo, um indicador


analtico mais apropriado e renado para contemplar com maior preciso o pblico-alvo da poltica, os resultados so bastante diferentes
em comparao com os municpios selecionados a partir do indicador
sinttico IDH-M.
Considerando-se, por exemplo, o indicador Proporo de crianas na
primeira infncia (de zero a seis anos) residentes em domiclios particulares permanentes, cujo responsvel aufere renda at dois salrios
mnimos mensais, algumas constataes saltam aos olhos. Em primeiro lugar, com base nesse indicador apenas 26 municpios (menos de
um tero) do grupo de cem municpios selecionados pelo IDH-M continuariam a fazer parte daqueles que seriam contemplados pela poltica
pblica. Alm disso, observam-se discrepncias entre alguns municpios
que seriam ou no contemplados pela poltica pblica em razo do seu
IDH-M e, consequentemente, de sua posio no ranking, vis--vis sua
efetiva situao com base no indicador analtico proposto.
Tal problemtica do uso do IDH-M se faz presente quando se confronta
esse critrio de elegibilidade de municpios com diversos outros indicadores mais renados para atender aos mais variados ns de polticas
pblicas, inclusive no mbito das unidades da federao11.

11 Para mais informaes sobre a problemtica de uso de indicadores sintticos em


polticas pblicas ver Guimares e Jannuzzi (2005).

37

Indicadores de Programas - Guia Metodolgico

3 O Sistema Estatstico
Nacional
Na viso de Guimares (1990 apud FEIJ e VALENTE 2005), o conceito de Sistema Estatstico Nacional est relacionado a duas dimenses
distintas: (1) ao conjunto de informaes estatsticas estruturadas de
acordo com regulamentos e procedimentos especcos que expressam
as realidades social, ambiental e econmica de um pas; e (2) atuao
coordenada e eciente das instituies nacionais e subnacionais que
produzem e disseminam estatsticas pblicas. No Quadro 3 esto representados os dez princpios fundamentais que norteiam a produo de
estatsticas ociais, estabelecidos pelas Naes Unidades em 1994.
Quadro 3 - Princpios fundamentais das estatsticas ociais
1. Relevncia, Imparcialidade e Acesso Universal: estatsticas pblicas devem ser
teis, isentas e disponveis ao pblico em geral.
2. tica e Profissionalismo: esses princpios sempre devem orientar o trabalho das
agncias produtoras de estatsticas.
3. Confiabilidade e Transparncia: devem ser utilizados padres e procedimentos
cientficos conhecidos e reconhecidos.
4. Preveno de Erros: as instituies estatsticas devem implementar mecanismos
que possam evitar o uso incorreto das estatsticas.
5. Custo-benefcio das Fontes: as fontes para estatsticas devem ser escolhidas
considerando a qualidade, oportunidade, disponibilidade e custo.
6. Sigilo: dados individuais devem ser preservados e utilizados apenas para fins
estatsticos.
7. Legislao: leis, regulamentos e procedimentos devem ser tornados pblicos.
8. Coordenao Nacional: as instituies oficiais e no-oficiais devem trabalhar de
forma coordenada para evitar inconsistncias, sobreposio e desperdcio.
9. Padres Internacionais: a adoo de padres internacionais promove consistncia e eficincia do sistema como um todo.
10. Cooperao: a cooperao e a troca de experincias contribuem para o aperfeioamento dos diversos sistemas.
Fonte: Adaptado da UNITED NATIONS: Fundamental Principles of Ofcial Statistics (1994).

39

Indicadores de Programas - Guia Metodolgico

Nos processos de elaborao e gesto de Programas do Plano Plurianual, particularmente nas atividades de construo de indicadores de
desempenho, importante que os responsveis e demais interessados
atentem que, no Brasil, existe um sistema de estatsticas pblicas formalmente estruturado. Trata-se do Sistema Estatstico e Cartogrco
Nacional - SEN, criado pela Lei n 6.183, de 11 de dezembro de 1974.

3.1 Objetivo
De acordo com o artigo 1o da Lei n 6.183/1974, o Sistema Estatstico
Nacional tem como objetivo possibilitar o conhecimento da realidade
fsica, econmica e social do Pas, visando especialmente ao planejamento econmico e social e segurana nacional.
Para tanto, abrange as estatsticas primrias (contnuas e censitrias);
as estatsticas derivadas (indicadores econmicos e sociais, sistemas de
contabilidade social e outros sistemas de estatsticas derivadas); e a sistematizao de dados sobre meio ambiente e recursos naturais com
referncia sua ocorrncia, distribuio e frequncia.

3.2 Componentes
A Lei n 6.183/1974 prev ainda, em seu artigo 2o, que:
Integram o Sistema Estatstico Nacional todos os rgos
e entidades da Administrao Pblica direta e indireta,
de mbito federal, estadual ou municipal, e entidades de
natureza privada, que exeram atividades estatsticas com
o objetivo referido no artigo 1 e para isso recebam subveno ou auxlio dos cofres pblicos.
Na Figura 6 esto representadas as principais organizaes nacionais e
subnacionais que operacionalizam o SEN, bem como instituies que,
apesar de no receberem recursos pblicos, tambm se constituem de
fontes para a construo de indicadores de desempenho de Programas.

40

Indicadores de Programas - Guia Metodolgico

Figura 6 O SEN e as principais instituies integrantes e produtoras


de estatsticas
FONTES DE ESTATSTICAS E INDICADORES
NACIONAIS E INTERNACIONAIS
Instituies Federais

Temas
Econmicos e
Especiais

Temas Sociais

IBGE

Educao, Esporte
e Cultura

Agricultura e Pesca

Temas de
Infraestrutura

Organismos
Internacionais

Minerao

Naes Unidas

IPEA
Sade
Instituies No
Governamentais

Indstria, Inovao e
Comrcio Exterior
MDS, MCT, CNPq,
INPE, Turismo

Proteo Social
MDS

Infraestrutura Hdrica

OCDE

Transporte
DENATRAN, DENIT

PNUD
CEPAL

FGV
Comunicaes
Desenvolvimento
Agrrio

FIPE
ANIPES

Banco Mundial

Defesa e Soberania
Energia

Trabalho
Previdncia Social

Sustentabilidade
Ambiental
MMA, IBAMA

Desenvolvimento
Urbano

Economia
MF, BACEN

OIT
Outros Temas

DIEESE
Segurana
Pblica, DPF, DPRF

Mulheres
Igualdade Racial

Instituies subnacionais
SEADE

IPARDES

FEE

CIDE

Justia
CNJ, STF
Federal, STJ

FJP

SEI

IJSN

IPLANCE

Idosos

Direitos Humanos
Crianas e
Adolescentes
Pessoas com
Deficincia

Fonte: Ministrio do Planejamento

Do ponto de vista de estruturao, o Sistema Estatstico Nacional


composto de diferentes subsistemas temticos como o econmico, o
social e o de desenvolvimento sustentvel, alguns representados na
Figura 7. Esses subsistemas disponibilizam produtos importantes e teis
s aes governamentais e dispem de modernas tecnologias de informao e comunicao de dados.

41

Indicadores de Programas - Guia Metodolgico

Figura 7 Exemplos de subsistemas que compem o SEN


Sistema Estatstico Nacional

Subsistema
Social

Subsistema
Econmico

Subsistema de Desenvolvimento
Sustentvel

Estatsticas da
Indstria

Estatsticas
Demogrficas

Estatsticas
Ambientais

Estatsticas do
Comrcio

Estatsticas de
Sade

Estatsticas
Econmicas

Estatsticas
Agropecurias

Estatsticas de
Educao

Estatsticas
Sociais

Estatsticas de
Servios

Estatsticas do
Trabalho

Estatsticas
Institucionais

Contas
Nacionais

Estatsticas da
Pobreza

Fonte: Anipes/Fundao SEADE

3.3 O papel do IBGE


A transformao do Instituto Nacional de Estatstica no Instituto Brasileiro de Geograa e Estatstica IBGE, em 1938, foi resultado da
importncia que a estatstica, a geograa, a geodsia e a cartograa
adquiriam naquele momento histrico de desenvolvimento econmico,
modernizao institucional e integrao nacional. Assim, a partir de
uma orientao central, o IBGE nasceu com a misso de coordenar e
prover estatsticas primrias, anlises e estudos essenciais administrao pblica.
Na viso de Feij e Valente (2005):
... a atuao do IBGE foi norteada para o levantamento e sistematizao de um conjunto de informaes, a
m de atender administrao pblica em seus aspectos
jurdicos (legislao); tributrio (impostos, controle oramentrio de verbas pblicas); pleitos eleitorais e expanso de riquezas pblicas federais (demarcao de terras
devolutas pertencentes Unio, mensurao das riquezas
naturais e construo de equipamentos diversos como
estradas, aeroportos, minas e usinas).

42

Indicadores de Programas - Guia Metodolgico

Nas dcadas seguintes o pas cresceu e diversicou-se. Da mesma forma o IBGE modernizou a sua estrutura organizacional e incorporou
novas tecnologias, metodologias e instrumentos de medio da realidade nacional. nesse contexto que, atualmente, o IBGE desempenha
um duplo papel: (1) de coordenao do Sistema Estatstico Nacional,
por meio da integrao dos subsistemas e da padronizao de procedimentos, conceitos e classicaes; (2) de principal provedor de estatsticas e indicadores para os mais diferentes segmentos da sociedade12.

3.4 Principais produtos disponveis


A seguir esto descritos alguns dos mais importantes produtos, dentre pesquisas, registros administrativos e publicaes, disponibilizados
pelos principais provedores de estatsticas e que podero ser teis como
fontes de medidas de desempenho de Programas de governo. As informaes abaixo esto disponveis nos portais da Internet das instituies
responsveis pela sua produo como IBGE, IPEA, MTE e outros.
Principais pesquisas do IBGE
Censo Demogrco: trata-se de um extenso diagnstico da realidade social realizado a cada 10 anos pelo IBGE. Fornece informaes de
amplo escopo temtico, alta desagregabilidade populacional e territorial, cobertura nacional e comparabilidade inter-regional.
PNAD: a Pesquisa Nacional por Amostra de Domiclios realizada anualmente pelo IBGE, cobre cerca de 140 mil domiclios e investiga temas
como fecundidade, anticoncepo, migrao, mobilidade social, educao, sade, associativismo, participao poltica, bens de consumo,
consumo de energia, trabalho, trabalho infantil, previdncia, segurana
alimentar, merenda escolar e acesso a programas de transferncia de
renda. Apresenta resultados para o Brasil, Grandes Regies, Unidades
da Federao e principais Regies Metropolitanas.
PME: a Pesquisa Mensal de Empregos permite avaliar as utuaes e a
tendncia, a mdio e a longo prazos, do mercado de trabalho e abrange informaes referentes condio de atividade e de ocupao, rendimento mdio nominal e real, posse de carteira de trabalho assinada e
outras, tendo como unidade de coleta os domiclios. Abrange as regies

12 Para mais detalhes veja www.ibge.gov.br

43

Indicadores de Programas - Guia Metodolgico

metropolitanas de Recife, Salvador, Belo Horizonte, Rio de Janeiro, So


Paulo e Porto Alegre.
POF: a Pesquisa de Oramentos Familiares direcionada principalmente
para mensurar as estruturas de consumo das famlias e possibilita traar
um perl das condies de vida da populao a partir da anlise de seus
oramentos domsticos. Para reas urbanas, os resultados so produzidos nos nveis Nacional, Grandes Regies, Unidades da Federao,
Regies Metropolitanas e todas as capitais.
PMC: a Pesquisa Mensal do Comrcio realizada nas unidades da federao e produz indicadores que permitem acompanhar o comportamento conjuntural do comrcio varejista.
MUNIC: a Pesquisa de Informaes Bsicas Municipais investiga, na
esfera municipal, temas como estrutura administrativa, participao e
formas de controle social, planejamento municipal, justia, segurana,
cultura e lazer.
AMS: a Pesquisa Nacional de Assistncia Mdico-Sanitria realiza um
censo dos estabelecimentos de sade no pas; volume e qualicao
de pessoal; e equipamentos e recursos disponveis para o atendimento
mdico-sanitrio da populao.
PNSB: a Pesquisa Nacional de Saneamento Bsico prov informaes
em nvel municipal sobre abastecimento de gua, esgotamento sanitrio, limpeza urbana e sistema de drenagem urbana.

Importante: a partir do ano de 2011 o IBGE implantar o Sistema Integrado de Pesquisas Domiciliares (SIPD), fruto de um amplo processo de
reformulao dos levantamentos domiciliares. O ncleo temtico deste
sistema ser formado pela PNAD Contnua, pesquisa que integrar a
PNAD e a PME, e o esquema de POFs Contnuas, composto pela POF
completa (realizada a cada 5 anos) e a POF Simplificada (que ser contnua). Estas pesquisas, por serem contnuas e de mltiplos propsitos,
sero veculos naturais para as investigaes suplementares. Uma das
grandes novidades do SIPD ser a produo de indicadores de curto prazo (trimestrais) sobre trabalho e rendimentos com abrangncia nacional e
com detalhamento por Unidade da Federao.

44

Indicadores de Programas - Guia Metodolgico

Para conhecer o conjunto de todas as pesquisas realizadas pelo IBGE,


sua metodologia, periodicidade, abrangncia geogrca e outras informaes estratgicas acesse o Banco de Metadados13 disponvel em
http://www.metadados.ibge.gov.br.
Principais Registros Administrativos
Estatsticas do Registro Civil: conjunto que rene os registros de nascidos vivos, bitos e bitos fetais, casamentos, separaes judiciais e
divrcios.
RAIS: a Relao Anual de Informaes Sociais prov um amplo conjunto de dados para elaborao de estatsticas do trabalho, disponibiliza
informaes do mercado de trabalho formal s entidades governamentais e subsidia o controle da atividade trabalhista no Pas.
CAGED: o Cadastro Geral de Empregados e Desempregados demonstra a evoluo mensal do emprego formal do pas, prov informaes
para o sistema pblico de emprego e serve como base para a elaborao de estudos, pesquisas, projetos e programas ligados ao mercado
de trabalho.
CENSO ESCOLAR: levantamento de dados estatstico-educacionais de
mbito nacional realizado anualmente e coordenado pelo Inep/MEC.
Abarca todas as escolas pblicas e privadas do pas e fornece informaes da educao bsica, que abrange as suas diferentes etapas e
modalidades. Fornece dados de estabelecimentos, matrculas, funes
docentes, movimento e rendimento escolar.
Publicaes
Retrato das Desigualdades: apresenta, a partir da PNAD, um retrato
atual das desigualdades de gnero e de raa no Brasil, bem como das
suas interseccionalidades.
Boletim de Conjuntura Econmica e Social: publicao que apresenta
uma ampla anlise da realidade socioeconmica e da evoluo das polticas pblicas do pas.
Acompanhamento e Anlise das Polticas Sociais: so estudos e pesquisas que monitoram e avaliam as polticas pblicas voltadas s questes
13 Metadados podem ser denidos como "dados que descrevem os dados", so informaes teis para identicar, localizar, compreender e gerenciar os dados.

45

Indicadores de Programas - Guia Metodolgico

sociais, dentre as quais se destacam: Radar Social - Condies de Vida


no Brasil; Polticas Sociais: Acompanhamento e Anlise; Objetivos de Desenvolvimento do Milnio (ODM); e a Ao Social das
Empresas.
Outras informaes acerca de fontes para a obteno de indicadores,
principais publicaes e catlogos disponibilizados por renomadas instituies, bem como tecnologias utilizadas para acesso e processamento
de informaes so apresentadas no Anexo I.

46

Indicadores de Programas - Guia Metodolgico

4 Indicadores no PPA
Os indicadores fazem parte do PPA e se constituem em instrumento para viabilizar a demonstrao do desempenho do Programa. Eles
representam o meio de informao sobre o andamento do Plano e se
consolidam em um importante instrumento de anlise e avaliao, formatados por meio de relatrio de avaliao encaminhado anualmente
ao Congresso Nacional.
Os indicadores caracterizam-se como atributos gerenciais dos Programas e, no PPA, so utilizados como: ndices de referncia, que constituem a linha de base para a posterior vericao dos resultados dos
Programas; ndices previstos para o nal do Plano, que retratam as
mudanas esperadas no pblico-alvo e tm relao direta com os objetivos dos Programas; e ndices parciais (geralmente anuais), necessrios
s aes de acompanhamento gerencial peridico.

4.1 Marco legal e dimenses estratgicas


Os Programas nalsticos do Plano Plurianual devem ser mensurados
por meio de um ou mais indicadores, cuja denio, segundo o Manual
de Elaborao de Programas do PPA 2008-2011, a seguinte:
Instrumento capaz de medir o desempenho do programa. Deve ser passvel de aferio e coerente com o objetivo estabelecido, ser sensvel contribuio das principais
aes e apurvel em tempo oportuno.
Os indicadores devem ser propostos pelos formuladores dos Programas
a partir de orientaes tcnicas fornecidas pela SPI e podem ser provenientes de fontes diversas, de avaliaes de iniciativas dos rgos ou das
anlises da teoria do Programa (por exemplo, utilizando a metodologia
do Modelo Lgico). Uma vez denidos, os indicadores so incorporados
ao Projeto de Lei do Plano Plurianual, a ser discutido e aprovado pelo
Congresso Nacional e sancionado pelo Presidente da Repblica. Esta lei
previamente autoriza a realizao de alteraes, incluses ou excluses
posteriores, mediante anlise e anuncia do Ministrio do Planejamento.

47

Indicadores de Programas - Guia Metodolgico

Importante: existem dois outros nveis de indicadores que esto fora do


escopo deste guia metodolgico: os indicadores de mais alto nvel expressam o alcance dos objetivos de governo, fazem parte da OEG - Orientao
Estratgica de Governo e so propostos pelo Ministrio do Planejamento
em consonncia com as prioridades estabelecidas pelo Governo Federal;
e os indicadores de nvel intermedirio que fazem parte da OEM - Orientao Estratgica dos Ministrios, esto relacionados aos objetivos setoriais e so de responsabilidade desses rgos. Essas diversas dimenses
estratgicas esto representadas na figura 8.

Figura 8 Dimenses estratgicas do Plano Plurianual

Orientao
Estratgica
de Governo

Dimenso
Estratgica
Orientaes
Estratgicas
dos Ministrios

Dimenso TticaOperacional

Viso
de longo
prazo

Objetivos
de Governo

Objetivos Setoriais

Programas e Aes

Fonte: Manual de Elaborao do PPA 2008-2011, pgina 16

4.2 Papis e responsabilidades


Conforme a Portaria no 140, de 10 de junho de 2009, publicada pelo
Ministrio do Planejamento, bem como o Decreto no 6601, de 10 de
outubro de 2008, a utilizao de indicadores em Programas requer que
os atores envolvidos assumam determinados papis, cujas responsabilidades encontram-se descritas no Quadro abaixo.

48

Indicadores de Programas - Guia Metodolgico

Quadro 4 Papis e responsabilidades no tratamento de indicadores


de Programas
Papis

Gerente de Programa

Unidade de Monitoramento e Avaliao


UMA

Responsabilidades
Formular os indicadores de Programa;
Gerenciar a implementao do Programa;
Apurar os ndices dos indicadores;
Monitorar a evoluo dos indicadores;
Apoiar o SecretrioExecutivo no monitoramento dos indicadores dos Programas e dos objetivos setoriais do rgo;

Secretrio Executivo
(ou equivalente)

Monitorar, com o Gerente de Programa, a evoluo dos


indicadores dos objetivos setoriais, dos Programas e das
metas das aes do PPA sob sua responsabilidade;

Ministrio do Planejamento (SPI)

Fornecer orientao metodolgica e apoiar aes de capacitao, reviso e construo de indicadores;


No caso de reviso do PPA, as alteraes dos indicadores
dos Programas e seus respectivos ndices sero realizadas
mediante anlise e aprovao prvia;

Comit de Gesto do
PPA

Adotar medidas que fortaleam a gesto para resultados,


observando os princpios da eficincia, da eficcia e da
efetividade da ao governamental, com base nos indicadores e metas do PPA;
Realizar o monitoramento estratgico do PPA com base na
evoluo dos indicadores dos objetivos de governo, dos
Programas prioritrios e das metas de aes.

Fonte: Portaria no 140 do MP, de 10/06/2009 e Decreto no 6.601, de 10/10/2008

4.3 Atributos
Os indicadores podem ser selecionados a partir das medidas existentes
no Sistema Estatstico Nacional, ou ser construdos para um contexto
especco de Programa por meio de registros administrativos quando
no houver indicadores no SEN que funcionem como proxy (aproximao) adequada medio de resultados14.
Uma vez cumpridas as etapas de construo, o manual de elaborao
do PPA prescreve que sejam denidos os atributos dos indicadores dos
14 Programas nalsticos devem ter pelo menos um indicador de resultado cadastrado.
Para os programas no-nalsticos, o cadastramento de indicadores opcional (Manual de Elaborao do PPA 2008-2011, pgina 45).

49

Indicadores de Programas - Guia Metodolgico

Programas apresentados na ltima etapa do mtodo descrito no captulo 5 bem como cadastrados, atualizados, monitorados e avaliados
com apoio de um sistema de informao especco.

4.4 Pontos de Destaque


Alguns aspectos so relevantes e devem ser considerados pelos gerentes do Programa e demais envolvidos na construo e utilizao de
indicadores do PPA, dentre os quais destacam-se:
Qualidade de um indicador: uma forma de garantir a qualidade de
um indicador utilizar mtodos e, particularmente, critrios de escolha que sejam vlidos e pertinentes, a exemplo do passo 4 do mtodo
descrito no captulo 5. O gestor pblico deve ter em mente que o que
se pretende com a utilizao de indicadores de desempenho no produzir nmeros, mas aferir resultados.
Quantidade de indicadores: a quantidade de indicadores depende,
basicamente, da complexidade do Programa; das dimenses abrangidas pelo objetivo; e tambm do contexto analisado. Em razo da diversidade que essas variveis podem assumir, no existe uma regra denida, a no ser restringir o nmero de indicadores ao mnimo aceitvel,
desde que no comprometa a deteco dos dados relevantes (AUDIT
COMMISSION, 2000).
Dimenso Territorial: o conhecimento e o tratamento da dimenso
territorial por meio da seleo de indicadores socioespaciais permite no
apenas tratar os problemas e as carncias da sociedade, mas tambm
aproveitar as potencialidades locais. Assim, uma classicao de unidades territoriais segundo indicadores especcos, que apontem dcits
ou oportunidades, nortear melhor a denio de objetivos e prioridades, contribuindo para a sustentabilidade das aes de governo.
Transversalidade: uma forma de atuao horizontal, no hierrquica, que busca construir polticas pblicas integradas por meio de aes
articuladas (RELATRIO DE AVALIAO DO PLANO PLURIANUAL 20042007, 2005). No mbito do Governo Federal, as aes governamentais
tm de ser formuladas e desenvolvidas a partir da compreenso de que
algumas temticas como, por exemplo, gnero, raa, direitos humanos, informao, conhecimento e sustentabilidade estruturam diversas

50

Indicadores de Programas - Guia Metodolgico

dimenses da vida humana e correspondem a questes importantes


e urgentes para a sociedade. Um tema de natureza transversal transcende a unidade de gesto Programa. O problema e/ou demanda da
sociedade constitui-se transversal quando se consideram suas causas
e efeitos nos diversos campos de atuao da poltica pblica. Logo,
os temas transversais no se constituem enquanto Programas isolados,
uma vez que os mesmos perpassam vrias das polticas pblicas. Construir indicadores para medir e acompanhar temas transversais um
enorme desao devido tendncia de pensar de maneira setorizada.
Fontes: um aspecto importante na seleo de indicadores que se
deve evitar reinventar a roda, pois existe uma grande variedade de
indicadores disponveis para uso. Somente depois de conrmada a
indisponibilidade de medidas conveis que o gestor deve construlas no contexto do Programa, observando as propriedades e tipologias
requeridas.
Importante:
1) a escolha de indicadores de resultados no elimina a necessidade de
utilizar outros indicadores para o gerenciamento do ciclo de gesto
dos programas do PPA;
2) o indicador pode ser uma aproximao (proxy), mas fundamental
que o programa influencie de forma significativa a realidade cuja evoluo o indicador expressar;
3) quando necessrio o indicador de Programa pode medir parte da
soluo do problema, ou seja, os resultados intermedirios;
4) a construo de uma medida de desempenho pode contribuir para a
melhoria da teoria do Programa, podendo indicar a necessidade de
alteraes em atributos importantes como objetivo e pblico-alvo.

51

Indicadores de Programas - Guia Metodolgico

5 Mtodo para Construo de


Indicadores de Programas
Neste captulo ser apresentado um mtodo genrico baseado em oito
passos aplicveis a diferentes realidades, que visa a orientar os gestores
pblicos na construo de indicadores de Programas15. Cabe lembrar,
no entanto, que nem sempre uma medida selecionada expressar plenamente o conceito ou resultado esperado, nesses casos a adoo de
proxies, ou medidas que apresentem proximidade com as dimenses
de interesse, justicvel e muitas vezes necessria.

5.1 Fluxograma geral


O uxograma abaixo representa um caminho (roadmap) - e as possveis
rampas de acesso - para uso de medidas de desempenho de Programas.
Assim, para construir indicadores novos recomenda-se pegar a rampa
de acesso 1; para complementar indicadores em Programas existentes
pode-se aplicar o mtodo a partir da rampa de acesso 2; por m, para
avaliar indicadores existentes recomenda-se utilizar a rampa de acesso
3, que conduz aplicao do mtodo comeando pelo passo 4.

15 Reitera-se que indicadores de Programas so aqueles conceituados na taxonomia de


indicadores de gesto do uxo de implementao de Programas (seo 2.5) como
Indicadores de Resultado.

53

Indicadores de Programas - Guia Metodolgico

Figura 9 Rampas de acesso ao mtodo de oito passos para construo


de indicadores
Rampa de acesso 1
Para contruir
Indicadores de
Programa

1. Avaliar objetivos e
metas

2. Identificar
interessados
Rampa de acesso 2
Para complementar
Indicadores de
Programa existentes

3. Definir tipos de
indicadores

Rampa de acesso 3
Para avaliar
Indicadores de
Programa existentes

4. Definir critrios de
seleo

5. Mapear indicadores
candidatos

6. Realizar anlise de
trade off

7. Validar indicadores

8. Cadastrar
indicadores

Fonte: Ministrio do Planejamento

Deve-se registrar que o responsvel pelo Programa pode utilizar outros


mtodos ou executar apenas alguns dos passos sugeridos, se isso for
mais recomendado ao contexto do Programa.

5.2 Descrio das atividades


Passo 1 Avaliar objetivos e metas
O ponto de partida para a construo de indicadores de resultado est
no entendimento das dimenses16 inseridas no objetivo do Programa. Para tanto, o gestor pblico dever proceder a uma leitura atenta
e minuciosa do objetivo proposto, a m de abstrair os conceitos ou
16 O termo dimenso aqui considerado expressa o que se espera do Programa em termos de concretizao do objetivo xado.

54

Indicadores de Programas - Guia Metodolgico

dimenses que se pretendem abordar com a execuo das aes estabelecidas e que precisam ser reetidas pelos indicadores.
Quando o objetivo apresenta-se muito vago ou genrico, dicultando a identicao das dimenses de interesse, deve-se vericar se o
Programa foi avaliado por meio da metodologia do Modelo Lgico,
pois nesses casos possvel identicar essas dimenses analisando: o
enunciado do problema; as causas-raiz do problema; as evidncias de
que o problema existe (descritores); ou at mesmo analisando as aes
consideradas de maior relevncia.
Independente de ter havido ou no a aplicao do Modelo Lgico, a
tcnica da entrevista com a equipe gerencial do Programa apresentase muito til e recomendada tanto na identicao quanto na validao dessas dimenses. Nesse momento deve-se apontar, tambm, qual
das dimenses (caso sejam mais de uma) apresenta-se como a mais
relevante.
Passo 2 Identicar os principais interessados
Alm do entendimento claro dos objetivos, faz-se necessrio tambm
determinar quem so os principais interessados nos resultados do
Programa, alm, claro, da equipe gerencial (gerente do programa e
gerente executivo), pois cada envolvido possui necessidades prprias de
informao. Na simulao de uso descrita no prximo captulo, percebe-se, por exemplo, que o conceito criminalidade em estradas federais inserido no objetivo, que trata da segurana nas estradas, interessa no apenas ao Ministrio da Justia como gestor do Programa,
mas tambm ao IBAMA (contrabando de madeira e animais silvestres)
e SEDH (abuso de crianas e adolescentes s margens das estradas).
O formulador deve atentar que os indicadores no servem apenas para
o seu processo de planejamento, execuo, monitoramento e controle
gerencial, mas tambm outros stakeholders como os demais rgos
da Administrao Pblica Federal (setoriais, centrais e de controle), os
envolvidos em temas transversais, os administradores da agenda prioritria de governo, outros Poderes, as instituies privadas e do terceiro
setor etc. podem demandar a escolha de indicadores especcos orientados s suas expectativas.

55

Indicadores de Programas - Guia Metodolgico

Passo 3 Denir tipos de indicadores


Nesse passo j possvel identicar quais tipos de indicadores sero
obrigatrios para expressar os resultados esperados, bem como para
atender aos interesses dos diferentes atores envolvidos na sua interpretao. Nesse contexto, um Programa pode conter os seguintes tipos:
indicador-chave: expressa o conceito ou dimenso mais relevante do objetivo proposto. Todos os Programas, particularmente os nalsticos (que ofertam bens e/ou servios para a sociedade), devem possuir pelo menos uma medida desse tipo;
indicadores complementares: so medidas que expressam
tanto a dimenso mais relevante quanto as demais dimenses
inseridas no objetivo. O prximo captulo vai demonstrar, por
exemplo, que um Programa cujo objetivo seja aumentar a segurana nas rodovias dever prever indicadores que expressem tanto os aspectos relativos a acidentes quanto os de criminalidade;
indicadores especcos: expressam necessidades prprias de
determinados interessados no Programa identicados no passo
anterior, ou outras especicidades quaisquer inerentes ao conceito a ser medido, quando os dois tipos j descritos no cumprirem essa funo.
Passo 4 Denir critrios de seleo
Nessa etapa devem ser denidos quais critrios serviro de base tanto
para a seleo de indicadores disponveis no SEN quanto para os construdos no contexto do Programa. Esses critrios podem ser classicados em dois tipos (VILLELA et al., 2007):
Eliminatrios: so os critrios que devem ser obrigatoriamente atendidos pelo indicador candidato, do contrrio dever ser
descartado;
Classicatrios: os critrios classicatrios servem para estabelecer um ranking dos indicadores candidatos, possibilitando
uma anlise quantitativa ponderada que contribui para uma
seleo menos intuitiva das medidas de desempenho.
Para operacionalizar a aplicao dos critrios classicatrios, necessrio denir: (1) o grau de atendimento dos indicadores candidatos
aos critrios estabelecidos; (2) o grau de importncia (ou atribuio
de pesos) dos critrios classicatrios, que podem variar de programa
para programa de acordo com as especicidades de cada realidade.

56

Indicadores de Programas - Guia Metodolgico

Essa ponderao ser demonstrada quando da aplicao da ferramenta


Matriz de Priorizao de Indicadores, descrita no passo 6.
Alguns dos critrios (eliminatrios e/ou classicatrios) mais comuns
utilizados para a seleo de indicadores so apresentados no Quadro
5. Observa-se que so critrios genricos e aplicveis a quaisquer realidades, portanto o formulador do Programa deve buscar, atravs de
tcnicas como brainstorming, grupos de discusso, opinio especializada ou anlise de situaes anlogas, denir outros critrios
especcos que sejam teis ao conceito a ser medido.
Importante: um critrio eliminatrio pode, na mesma matriz de priorizao, ser repetido como um critrio classificatrio. Por exemplo, no faz
sentido um indicador que no expresse uma dimenso inserida no objetivo do Programa, portanto o primeiro critrio do Quadro 5, Representatividade, deve ser utilizado tanto como um critrio eliminatrio quanto classificatrio. Como critrio classificatrio, recomenda-se atribuir o maior
peso estabelecido na escala de pesos.

Quadro 5 Exemplos de critrios para seleo de indicadores


Critrios
Representatividade (em relao ao objetivo do programa)
Mensurabilidade
Confiabilidade da fonte
Tempestividade
Facilidade de obteno
Confiabilidade metodolgica
Desagregabilidade espacial
Simplicidade de construo e entendimento
Objetividade
Atendimento s necessidades de informao dos interessados
Economicidade de obteno
Estabilidade ao logo do tempo

57

Indicadores de Programas - Guia Metodolgico

Critrios
Rastreabilidade ao logo do tempo
Desagregabilidade sociodemogrfica
Disponibilidade quando necessrio
Sensibilidade interveno
Existncia de suporte tcnico
Fonte: Ministrio do Planejamento

Passo 5 Mapear indicadores candidatos


Antes de mapear os indicadores de Programa candidatos, necessrio
conhecer e diferenciar dentre as vrias modalidades, a saber:
Indicadores Simples: so valores numricos que uma varivel pode
assumir e geralmente representam a quantidade de determinado produto ou servio entregue sociedade. Exemplos: nmero de crianas
vacinadas e nmero de alunos matriculados no ensino fundamental.
Indicadores Compostos: expressam a relao entre duas ou mais variveis e podem ser:
Razo: o resultado da diviso de uma varivel A por outra varivel B, diferente e distinta de A. Exemplo: Densidade demogrca
(populao/superfcie);
Proporo (ou coeciente): um tipo especial de Razo em que A e
B pertencem mesma categoria. Exprime a relao entre determinado nmero de ocorrncias e o total dessas ocorrncias. Exemplo:
coeciente de mortalidade (nmero de bitos/total da populao);
Taxa: so coecientes multiplicados por uma potncia de 10 para
melhorar a compreenso do indicador. Exemplo: taxa de mortalidade infantil (bitos/1000 habitantes);
Porcentagem: tipo especial de taxa em que o coeciente multiplicado por 100.
Para mapear indicadores candidatos o gestor deve, primeiramente, pesquisar no Sistema Estatstico Nacional, de acordo com o tema, medidas
prontas (veja exemplos do Anexo II) que apontem, com a maior proximidade possvel, os conceitos inseridos no objetivo e, consequentemente, nos resultados esperados. As publicaes e fontes do Anexo I

58

Indicadores de Programas - Guia Metodolgico

podero ser muito teis, particularmente o portal do IBGE na Internet.


Esse provedor de estatsticas e de indicadores possui uma poderosa ferramenta de recuperao, manipulao e anlise em milhares de tabelas
de dados denominada SIDRA, alm de um Banco de Dados Multidimensional - BDM que permite consultas estruturadas e no estruturadas. Nesse momento deve-se selecionar o maior nmero de indicadores
candidatos possvel.
Uma boa prtica a ser aplicada utilizar-se do conhecimento e da experincia de consultores especializados no assunto, particularmente os
prossionais pertencentes aos quadros dos institutos de pesquisa como
o IBGE e o IPEA, das instituies subnacionais de produo de informaes e ainda das universidades pblicas e privadas. Tambm as tcnicas de brainstorming, grupos de discusso e anlise de situaes
anlogas podem ser aplicadas nesta etapa.

Importante: deve-se atentar que muitos Programas possuem objetivos


ou atendem a pblicos-alvo muito especficos, por isso dificilmente
existiro indicadores disponveis no SEN que sejam vlidos e confiveis
para expressar as mudanas esperadas na realidade trabalhada. Nesses
casos, o gestor deve ter em mente que, desde o incio, quando do desenho do programa, devero ser mapeadas as demandas de informaes
necessrias ao monitoramento e avaliao de resultados, a fim de que
sejam planejados os processos de captao, tratamento, armazenamento
e recuperao dos registros administrativos a serem utilizados na construo dos indicadores.

Passo 6 Realizar anlise de trade-off


A expresso trade-off denota um conito de escolha dentre diversas
opes, ou seja, ganha-se com a escolha de um indicador candidato
mas perde-se com a no escolha de outro. Como otimizar os resultados de uma anlise desse tipo? A resposta est em realizar duas anlises bem distintas e encadeadas: uma quantitativa seguida de outra
qualitativa.
A primeira anlise, a quantitativa, deve ser baseada em critrios objetivos conforme estabelecidos no passo 4. Uma ferramenta til para viabilizar esse tipo de vericao a Matriz de Priorizao de Indicadores,
composta pelos seguintes elementos:

59

Indicadores de Programas - Guia Metodolgico

1. linhas: representam os indicadores que so candidatos ao


Programa;
2. colunas: as seguintes informaes esto dispostas na matriz:
a. interessado no acompanhamento do indicador;
b. tipo do indicador: chave, complementar de resultado e/ou
especco;
c. natureza: identica se o critrio eliminatrio ou
classicatrio;
d. total: apresenta o somatrio dos pontos obtidos pelo indicador candidato, a partir do atendimento ou no dos critrios
estabelecidos.
Para os critrios eliminatrios recomendam-se duas opes para o preenchimento das clulas que representam a interseo da linha do indicador candidato com a coluna do critrio eliminatrio:
0 no atende

1 atende

J os critrios classicatrios possuem duas colunas que representam: o


grau de atendimento do indicador candidato ao critrio estabelecido; e
o grau de importncia do critrio (peso) no contexto do Programa. Para
preenchimento das clulas correspondentes a cada indicador candidato, recomenda-se uma escala de trs nmeros para a primeira coluna e
de quatro nmero para a segunda, conforme representao a seguir17:
Grau de atendimento:
0
Nenhum

1
Pouco

2
Muito

Grau de importncia:
3
Baixa

5
Mdia

7
Alta

9
Muito Alta

Na Figura 10 est representado um exemplo de matriz de priorizao,


em que foram adotados trs critrios eliminatrios e trs classicatrios.
Quando um indicador candidato atendeu a um determinado critrio foi
inserido (na clula correspondente) um numeral constante das escalas
acima. Por meio da coluna Total obteve-se a soma ponderada dos
17 Essas escalas no so obrigatrias, o formulador do programa tem liberdade para
denir outras escalas caso as considere mais adequadas realidade do Programa.

60

Indicadores de Programas - Guia Metodolgico

pontos atribudos para cada indicador e, por meio das opes Dados/
Classicar do software de planilha eletrnica, as linhas dos indicadores candidatos foram classicadas em ordem decrescente de total de
pontos obtidos.
Figura 10 Matriz de priorizao de indicadores

Fonte: Ministrio do Planejamento

A ttulo de exemplo, a frmula de clculo utilizada para o total de pontos alcanado pelo primeiro indicador (clula O5), cujo valor foi 26,
a seguinte:
=F5*G5*H5*((I5*J5)+(K5*L5)+(M5*N5))
Critrios eliminatrios

Critrios classicatrios (ponderados)

Observa-se que a soma dos pontos obtidos com os trs critrios classicatrios (I5*J5, K5*L5 e M5*N5) multiplicada por cada um dos
valores referentes aos critrios eliminatrios (F5, G5 e H5), ou seja,

61

Indicadores de Programas - Guia Metodolgico

caso pelo menos um dos critrios eliminatrios seja pontuado com zero
(valor em vermelho), a soma total tambm ser zero e o indicador dever ser descartado. Assim sendo, por meio dessa ferramenta possvel
fazer um ranking dos indicadores candidatos em ordem decrescente de
pontos obtidos, conforme o atendimento aos critrios escolhidos.
Deve-se registrar que a matriz de priorizao possui uma dupla nalidade: (1) facilitar a seleo de indicadores segundo o atendimento aos
critrios ponderados estabelecidos; (2) explicitar por que indicadores
candidatos aparentemente ideais para o Programa no foram selecionados, subsidiando iniciativas no sentido de eliminar as causas do no
atendimento e viabilizar a sua utilizao futura.
A segunda anlise para escolha dentre os indicadores candidatos a
qualitativa. Utilizando como ponto de partida o ranking estabelecido
pela matriz de priorizao o gestor pblico dever escolher, preferencialmente dentre as opes melhor pontuadas, aquelas que melhor
expressam os resultados esperados para o Programa. Para tanto, dever
utilizar critrios subjetivos oriundos de experincias anteriores, opinio
especializada, analogia com outros Programas, indicaes de instituies nacionais e internacionais e demais fontes que julgar pertinentes.
Dentro de uma viso de melhoria contnua da gesto e do desempenho do programa, cabe registrar que a anlise qualitativa permite
tambm: (1) vericar quais indicadores candidatos seriam ideais, mas
foram contraindicados ou mesmo eliminados pela anlise quantitativa;
(2) vericar por que essas medidas foram reprovadas (quais critrios
no foram atendidos); (3) denir e executar um plano com as aes a
serem empreendidas no sentido de eliminar as restries de uso desses
indicadores; (4) estabelecer um compromisso de reviso dos indicadores do Programa to logo os indicadores ideais no selecionados possam ser operacionalizados.
Por m, recomenda-se analisar a possibilidade de os indicadores candidatos no selecionados serem aproveitados pela equipe gerencial como
instrumentos complementares de monitoramento, avaliao e melhoria
da gesto do Programa.

62

Indicadores de Programas - Guia Metodolgico

Passo 7 Validar os indicadores selecionados


Considerando os indicadores selecionados pela etapa anterior, nesse
passo feita uma vericao nal de conformidade e pertinncia, por
meio do atendimento aos requisitos propostos no check list a seguir:
1.
2.
3.
4.
5.
6.
7.
8.
9.

Os indicadores escolhidos so vlidos para expressar resultados?


Tm relao direta com os objetivos do Programa?
So oriundos de fontes conveis?
So mensurveis?
So em quantidade suciente para expressar as dimenses
envolvidas?
Consideram a dimenso territorial, quando necessria?
Expressam questes transversais, quando existirem?
As limitaes inerentes aos indicadores foram consideradas?
Atendem ao critrio de completude dos atributos exigidos para
o seu cadastramento?

A lista de perguntas acima pode ser aplicada total ou parcialmente.


Dependendo das respostas encontradas, deve-se avaliar a pertinncia
de se manter ou substituir um ou mais indicadores escolhidos, ou ainda
de se revisar a teoria do Programa.
Cabe registrar ainda que o check list acima tambm pode ser aplicado
pelos gerentes na avaliao dos indicadores de Programas existentes, a
m de vericar a necessidade de se proceder a uma reviso das medidas em produo por meio, por exemplo, de ocina como a descrita
no captulo 7.
Passo 8 Cadastrar os indicadores
Como ltima etapa, os atributos descritivos dos indicadores escolhidos
para o Programa em tela devero ser denidos e cadastrados no sistema de informaes indicado pelo Ministrio do Planejamento, disponvel para acesso por meio da Internet.
A descrio desses atributos apresentada no Anexo III, conforme o
Manual de Elaborao do PPA 2008-2011, pgina 46.

63

Indicadores de Programas - Guia Metodolgico

6 Simulao de Uso
Para ns de melhor entendimento do mtodo sugerido, neste captulo
ser feita uma simulao de uso do caminho apresentado para a construo ou avaliao de indicadores, no contexto de um Programa de
segurana em rodovias.

6.1 Nome do Programa


Segurana Pblica nas Rodovias Federais.

6.2 Evidncias da existncia do problema


Todos os dias pessoas morrem ou cam feridas nas estradas e nas ruas
das cidades, vtimas de acidentes de trnsito. Dados do Registro Nacional de Acidentes e Estatsticas de Trnsito (RENAEST) informam que, em
2006, aconteceram 424 mil acidentes de trnsito no Brasil, que causaram cerca de 20 mil mortes, alm de outras 400 mil vtimas.
A elevada frequncia e gravidade dos acidentes nas estradas brasileiras
transformou o tema num dos mais importantes problemas de Sade
Pblica: a primeira causa de morte de indivduos entre 11 a 40 anos
de vida; a segunda causa de morte em geral no Brasil; resulta em
grande nmero de pessoas incapacitadas, na maioria jovens. So mais
de 20 bilhes de reais por ano que deixam de ser aplicados no desenvolvimento para custear danos que poderiam ser evitados.
Os dois fatores mais reconhecidos como causa dos acidentes de trnsito so o excesso de velocidade e o lcool, entretanto a desateno, a
fadiga e a sonolncia so fatores considerados tambm como grandes
contribuintes. Alm desses, h vrias outras razes para a insegurana
do cidado nas estradas, dentre as quais destacam-se:
x
x
x
x
x

m conservao e falta de sinalizao das rodovias federais;


desrespeito s leis de trnsito;
criminalidade nas rodovias;
m conservao dos veculos;
baixo efetivo da policia rodoviria federal.

65

Indicadores de Programas - Guia Metodolgico

6.3 Delimitao do problema e do pblico-alvo


Determinou-se que o problema a ser enfrentado o elevado nmero
de crimes e infraes nas rodovias federais. Para se ter uma dimenso
do pblico-alvo, formado pelos usurios das estradas e rodovias federais e de suas reas adjacentes, o Departamento Nacional de Trnsito
estima que estavam em trnsito no Brasil, em janeiro de 2009, cerca de
32 milhes de veculos conduzidos por 40 milhes de motoristas.

6.4 Aplicao do mtodo para construo de


indicadores
Passo 1 - Avaliar objetivos e metas
O Programa tem como objetivo Aumentar a segurana pblica nas
rodovias federais, mediante a preveno e represso de aes delituosas e reduzir os acidentes de trnsito.
Em primeiro lugar, a partir desse enunciado possvel perceber que
o conceito segurana pblica nas rodovias federais envolve duas
dimenses distintas: (1) criminalidade (preveno e represso a delitos);
(2) e infraes (acidentes, transitar acima da velocidade permitida etc.).
Aplicando-se o modelo SMART possvel vericar que o objetivo :
x eSpecco: no se trata de um objetivo genrico, est bem caracterizado, restrito, focado na segurana de estradas e possvel de
alcance no contexto de um Programa;
x Mensurvel: passvel de aferio a partir de medidas que
expressem, por exemplo, ndices de criminalidade e mortalidade;
x Atingvel: o objetivo realista e vivel caso a estratgia de implementao seja adequada e suciente;
x Relevante: est, de fato, relacionado a um problema identicado
que traz fortes impactos negativos para a sociedade. Tambm
est alinhado ao Objetivo de Governo Promover um ambiente
social pacco e garantir a integridade dos cidados;
x Tempo: o objetivo passvel de programao, pode-se estimar
um tempo para que seja alcanado.
Cabe registrar que, nesse exemplo, a teoria do Programa foi explicitada
por meio da aplicao da metodologia do Modelo Lgico, assim baixo o risco de que no sejam consistentes, pertinentes e sucientes os

66

Indicadores de Programas - Guia Metodolgico

seus principais elementos: causas do problema, objetivo denido, aes


previstas e resultados esperados. Portanto, as informaes disponveis
indicam que no h necessidade de reviso do objetivo ou da teoria do
Programa.
Passo 2 - Identicar os principais interessados
Alm de tratar de um tema especco e importante para a sociedade
em geral, o Programa abrange temas considerados transversais s polticas pblicas, envolvendo outras reas de governo como meio ambiente e criana/adolescente. Nesse contexto, verica-se que os principais
interessados pelos resultados so:
x Equipe Gerencial do Programa: responsvel pelo desenho, implementao, monitoramento e avaliao do desempenho;
x MMA: o Ministrio do Meio Ambiente possui interesse em
acompanhar a diminuio da incidncia de transporte irregular
de madeiras e contrabando de animais silvestres;
x SEDH: a Secretaria Especial dos Direitos Humanos possui interesse no monitoramento das ocorrncias de explorao de crianas
e adolescentes s margens das estradas;
x MT: o Ministrio do Transportes tem interesse no acompanhamento das condies de uso das estradas.
Passo 3 - Denir tipos de indicadores necessrios
Conforme identicado no passo 1, o conceito segurana nas estrada
federais envolve duas dimenses; portanto, alm de um indicadorchave do Programa, pelo menos mais um indicador complementar de
resultado ser necessrio.
Alm disso, o Programa envolve questes que interessam a outros
rgos, como tambm um tema considerado transversal ao planejamento governamental (criana e adolescente); portanto, recomenda-se
que sejam denidos indicadores especcos para esses temas. Assim,
estima-se que pelo menos quatro indicadores sejam necessrios.
Passo 4 - Denir critrios de seleo
Para diferenciar e selecionar os indicadores candidatos, necessrio
estabelecer dois tipos de critrios: (1) os eliminatrios, que excluem um
indicador candidato quando no forem atendidos; (2) os classicatrios, que permitem estabelecer um ranking segundo os pesos atribudos

67

Indicadores de Programas - Guia Metodolgico

a cada um desses critrios. Para o Programa em tela, os critrios de


seleo denidos poderiam ser os seguintes:
Eliminatrios:
x proximidade com o objetivo do Programa;
x capacidade de mensurao anual.
Classicatrios:
18

Quadro 6 Critrios utilizados na seleo de indicadores


Critrio

Peso19

Aderncia escala espacial desejada

Confiabilidade da fonte

Disponibilidade quando necessrio

Economicidade de obteno

Estabilidade ao logo do tempo

Sensibilidade

Validade ou representatividade em relao ao conceito

Passo 5 - Mapear indicadores candidatos


Nesse momento deve ser elaborada uma lista contendo os indicadores
que, segundo as suas caractersticas (denominao, frmula de clculo,
fonte, utilizao em outros Programas etc.), a sensibilidade do gestor
pblico, a opinio de um especialista ou outro mtodo qualquer, so
candidatos a serem utilizados na medio dos resultados do Programa.
Para o contexto desse Programa, foram visitados os seguintes portais
de instituies que compem o Sistema Estatstico Nacional:
x Departamento de Polcia Rodoviria Federal: disponibiliza variadas estatsticas tanto relativas a infraes quanto a crimes
diversos;
x Departamento Nacional de Trnsito: permite obter, por exemplo,
informaes sumarizadas ou segmentadas (por tipo, regio etc.)
do tamanho da frota nacional de veculos;

18 A denio dos pesos discricionria, eles so atribudos segundo o entendimento


do gestor.

68

Indicadores de Programas - Guia Metodolgico

x Datasus: possui grande diversidade de dados relativos a acidentes por causas diversas, no caso relativas a transporte.
Para o exemplo em tela, o Quadro a seguir apresenta os indicadores
candidatos a reetir os resultados esperados:
Quadro 7 Indicadores candidatos
rea

Fonte

Crianas/adolescentes vtimas de crime em rodovia por ano

Indicadores Candidatos

SEDH

Proporo de internaes hospitalares por causas externas

Sade

Sensao de Segurana

Justia

Taxa de incidncia de acidentes de trabalho (de trajeto)

Sade

Razo de mortes em rodovias federais em relao ao tamanho


da frota

Justia

3e4

Taxa de mortalidade por causas externas

Sade

Taxa de variao de acidentes nas rodovias federais

Justia

Transporte irregular de animais silvestres por ano

MMA

Transporte irregular de madeiras por ano

MMA

1 Pesquisa de opinio
2 Indicadores e Dados Bsicos para a Sade Brasil 2007:
www.datasus.gov.br/idb
3 Estatsticas do Departamento de Polcia Rodoviria Federal:
www.dprf.gov.br
4 Denatran: www.denatran.gov.br
Passo 6 - Realizar anlise de trade-off
A anlise de trade-off se inicia com a elaborao da matriz de priorizao de indicadores, que permite consolidar as informaes denidas
nos passos anteriores, ou seja, os indicadores candidatos, os interessados nessas medidas, os tipos de indicadores necessrios, os critrios de
seleo eliminatrios e classicatrios e, para estes, os pesos de cada
um.
Para a construo da matriz, inevitvel uma certa subjetividade por
parte do formulador do Programa, particularmente no julgamento do
atendimento ou no, pelos indicadores candidatos, aos critrios estabelecidos. Por exemplo, o critrio Validade ou representatividade em

69

Indicadores de Programas - Guia Metodolgico

relao ao conceito pode ter diferentes resultados na planilha, dependendo da interpretao de diferentes responsveis pelo preenchimento.
Conforme demonstrado na matriz a seguir, dois indicadores despontaram como os mais bem pontuados dentre os nove avaliados, a saber:
1. Razo de mortes em rodovias federais em relao ao tamanho
da frota
2. Taxa de variao de acidentes nas rodovias federais.
Considerando que mortalidade em rodovias inclui tanto infraes
quanto criminalidade, o primeiro indicador apresenta-se como um forte candidato a Indicador-Chave do Programa. J o segundo pode ser
utilizado como um Indicador Complementar de Resultado.
Apesar de obterem menor pontuao, outros indicadores candidatos
tambm expressam a dimenso Criminalidade contida no conceito
Segurana e so de especial proveito aos demais interessados no
Programa. Portanto, utilizando a sua prerrogativa discricionria, o gestor poderia ainda escolher mais dois Indicadores Especcos, que neste
caso poderiam ser:
3. Transporte de animais silvestres por ano;
4. Crianas/adolescentes vtimas de crimes em rodovias por ano.
Figura 11 Simulao de matriz de avaliao quantitativa de indicadores

Fonte: Ministrio do Planejamento

70

Indicadores de Programas - Guia Metodolgico

Passo 7 - Validar os indicadores selecionados


Nesse passo aplicou-se um check list nal, a m de vericar se os indicadores selecionados podem de fato ser utilizados no contexto do Programa. As perguntas utilizadas foram as seguintes:
1.
2.
3.
4.
5.
6.
7.
8.
9.

Os indicadores escolhidos so vlidos para expressar resultados?


Tm relao direta com os objetivos do Programa?
So oriundos de fontes conveis?
So mensurveis?
So em quantidade suciente para expressar as dimenses
envolvidas?
Consideram a dimenso territorial quando necessria?
Expressam questes transversais, quando existirem?
As limitaes inerentes aos indicadores foram consideradas?
Atendem ao critrio de completude dos atributos exigidos para
o seu cadastramento?

Considerando que as respostas foram favorveis, os indicadores selecionados foram considerados vlidos para expressar os resultados esperados para o Programa.
Passo 8 - Cadastrar os indicadores
Por m, a ltima etapa o cadastramento dos indicadores por meio dos
respectivos atributos, conforme determina no Manual de Elaborao
do PPA. Para o Indicador-Chave os atributos esto exemplicados no
Quadro a seguir.
Quadro 8 Atributos de um indicador selecionado
Atributo

Descrio

Denominao

Razo de mortes em rodovias federais em


relao ao tamanho da frota

Unidade de medida

Unidade

ndice de referncia

16

ndices esperados ao longo do PPA

2008: 14
2009: 12
2010: 10

ndice ao final do programa

2011: 8

Fonte

Departamento de Polcia Rodoviria Federal


Departamento nacional de Trnsito

71

Indicadores de Programas - Guia Metodolgico

Atributo
Periodicidade

72

Descrio
Anual

Base geogrfica

Nacional

Frmula de clculo

Relao entre o nmero de bitos ocorridos


nas rodovias federais para cada 100.000
veculos da frota nacional.

Indicadores de Programas - Guia Metodolgico

7 Dinmica de Aplicao do
Mtodo: Ocina de Indicadores
Existem muitas e diferentes formas de aplicar o mtodo de oito passos
apresentado no captulo 5. Nesta seo ser apresentada uma dinmica
desenvolvida pela SPI/MP inspirada nas ocinas de Modelo Lgico, bem
como os resultados da sua aplicao em um Programa do PPA.
Para viabilizar esse empreendimento foi escolhido como piloto o Programa Nacional Microcrdito Produtivo Orientado PNMPO, sob responsabilidade do Ministrio do Trabalho e Emprego MTE, que visa a
incentivar a gerao de trabalho e renda entre os microempreendedores populares, formais e informais.
Cabe destacar que a realizao desse projeto-piloto possibilitou no
apenas a construo de indicadores de resultado para o Programa em
tela, mas tambm o alcance de outros dois objetivos igualmente importantes: (1) validar o mtodo de oito passos para construo de indicadores no contexto de um Programa do PPA em execuo; e (2) validar
uma dinmica de ocina a ser aplicada tanto isoladamente quanto subsequente a uma ocina de Modelo Lgico.

7.1 Viso geral


A metodologia proposta para a construo de indicadores de Programas por meio de ocina composta de 5 etapas, conforme representadas na Figura 12. A seguir ser feita a descrio de cada uma delas.

73

Indicadores de Programas - Guia Metodolgico

Figura 12 Metodologia de construo de indicadores por meio de


ocina
1. Selecionar
Programa

2. Entender a teoria
do Programa
3. Realizar
entrevistas com
principais atores

5. Realizar oficina
de indicadores

4. Realizar
pr-montagem da
oficina

Fonte: Ministrio do Planejamento

7.2 Descrio do processo


Etapa 1 Selecionar Programa
A construo de indicadores por meio de ocina pode acontecer por
iniciativa interna (equipe gerencial do programa) ou externa (Unidade
de Monitoramento e Avaliao do rgo, Ministrio do Planejamento
etc.). Para os programas constantes do PPA vigente, a primeira atividade a ser executada a seleo do Programa para o qual sero construdos indicadores de resultado; naturalmente se o Programa novo ou
no caso de o rgo/Poder possuir apenas um Programa essa etapa no
necessria. No caso de iniciativa externa, o passo seguinte deve ser
um primeiro contato com a gerncia do programa a m de conrmar a
viabilidade de envolvimento da equipe, bem como solicitar a indicao
de atores-chave tanto para as entrevistas quanto para a ocina.
Importante: no faz parte do escopo deste guia apresentar critrios de
seleo de Programas que demandam avaliao ou reviso dos indicadores; contudo, o check list apresentado no passo 7 do mtodo descrito no
captulo 5 apresenta-se muito til para sinalizar quais Programas seriam
candidatos s oficinas de indicadores.

Etapa 2 Entender a teoria do programa


A segunda etapa do processo o estudo de documentos e da teoria
do Programa, de forma a obter um entendimento claro da realidade
que demandou a interveno, ou seja, o problema central, principais

74

Indicadores de Programas - Guia Metodolgico

causas, consequncias, evidncias de que de fato o problema existe


(descritores) e possui relevncia para a agenda de governo. Tambm
feito um estudo das referncias bsicas do Programa, a saber: objetivo
a ser atingido, pblico-alvo, benecirios a serem alcanados, indicadores existentes e capacidade de interveno, esta materializada por
meio das aes denidas, produtos/servios a serem entregues sociedade e resultados esperados. As principais fontes para obteno dessa
documentao a gerncia do Programa, a SPI/MP e o sistema SIGPlan.
Etapa 3 Realizar entrevistas com principais atores
Obtida uma compreenso geral a partir da anlise documental do Programa, recomenda-se aplicar a tcnica de entrevista semiestruturada19 com os atores indicados, a m de: (1) validar o entendimento da
documentao analisada; (2) esclarecer aspectos e dvidas decorrentes desta anlise; (3) conhecer recursos, registros e informaes que
possam ser utilizados como fontes para novos indicadores; (4) aprofundar outros temas de interesse construo de indicadores; (5) indicar outras pessoas a serem entrevistadas; e (6) obter pontos de vistas,
ideias, crticas e sugestes ao processo de construo como um todo.
Essa etapa se inicia com a preparao de uma agenda de entrevistas, a
comear pela equipe gerencial, bem como a elaborao do roteiro que
nortear os encontros. Recomenda-se que esse roteiro seja previamente enviado s pessoas a serem entrevistadas para que possam levantar
documentos e organizar os argumentos de resposta. Nesse momento
deve ser escolhida uma pessoa responsvel por conduzir as entrevistas,
que dever seguir um roteiro pr-estabelecido a exemplo do utilizado
no projeto-piloto a ser descrito adiante (veja Anexo V). Tambm deve
ser escolhida uma pessoa para realizar os registros de todas as informaes obtidas nos encontros. As entrevistas podem ser presenciais
ou, no caso de pessoas residentes em outras localidades, por meio de
recursos de comunicao distncia, como teleconferncia, vdeoconferncia e correio eletrnico (e-mail).
Etapa 4 realizar pr-montagem da ocina
A pr-montagem da ocina inicia-se com a consolidao das informaes
levantadas nas etapas anteriores. Neste momento a equipe tcnica rene-se para rever os dados levantados, identicar pontos de convergncia
19 A entrevista semiestruturada segue um roteiro pr-estabelecido, porm permite a
formulao outras questes em decorrncia das respostas recebidas.

75

Indicadores de Programas - Guia Metodolgico

e inconsistncias, nivelar conhecimento, resolver pendncias e dirimir


eventuais dvidas que ainda persistam.
A pr-montagem continua com a elaborao do contedo a ser tratado no encontro, ou seja, de uma proposta de possveis resultados
para cada um dos passos do mtodo descrito no captulo 5, a serem
apresentados, discutidos, validados ou modicados no contexto da ocina, com destaque para: o elenco de dimenses abstradas do objetivo
do Programa; a lista de indicadores candidatos; e a lista dos critrios
a serem aplicados para seleo dos indicadores. Todas essas informaes iro convergir para a primeira verso da matriz de priorizao de
indicadores.
Em seguida, o responsvel pela sistematizao dos trabalhos dever
registrar todas as informaes de pr-montagem (de planejamento e
de contedo da ocina) em um relatrio especco. No caso de a iniciativa da ocina ter sido externa, esse documento deve ser enviado
equipe gerencial e, se possvel, discutido em reunio agendada para
esse m. Essa prtica visa a garantir que dados importantes como indicadores candidatos e critrios de seleo apresentem-se, tanto quanto
possvel, consensuais e consistentes, bem como que a equipe gerencial
esteja preparada para as intervenes esperadas durante o encontro.
Por m, deve ser concebida a dinmica do evento, destacando-se: a
elaborao do cronograma de atividades a serem realizadas; o planejamento da logstica (local, coffee break, equipamentos de informtica, recursos de projeo, ip chart etc.); a denio da lista de participantes; e a escolha do responsvel por executar e gerenciar esse
planejamento.
Importante:
1) alm da equipe gerencial do Programa, todas as pessoas que participaro da oficina devem ter conhecimento prvio do relatrio de prmontagem para que possam elencar propostas, crticas e sugestes
ao evento;
2) os convites para a oficina e o material de pr-montagem devem ser
enviados com a antecedncia necessria ao bloqueio de agendas e
estudo detalhado dos documentos;
3) recomenda-se que sejam elaboradas atas para todas as reunies da
equipe tcnica da oficina, particularmente as de pr-montagem, para
consultas futuras.

76

Indicadores de Programas - Guia Metodolgico

Etapa 5 Realizar ocina de indicadores


A quinta e ltima etapa do processo consiste em realizar a ocina,
que dever nalizar com a seleo dos indicadores e com o registro
de eventuais recomendaes, particularmente em relao a melhorias
na teoria do Programa. Para tanto, recomenda-se a seguinte dinmica:
1. abertura ocial: caso esteja presente a alta gerncia ou patrocinador,
essa pessoa dever realizar a abertura ocial da ocina. Em seguida
o moderador dever conduzir os trabalhos conforme o planejamento
previamente concebido;
2. apresentao dos participantes: cada participante deve apresentar-se
e expor as suas expectativas em relao ao evento;
3. apresentao do planejamento: o moderador deve apresentar os
objetivos do encontro, resultados esperados, cronograma de atividades
e orientaes gerais. Nesse momento recomenda-se tambm estabelecer um acordo de convivncia20;
4. nivelamento metodolgico: a aplicao do mtodo de oito passos
deve ser precedida de uma palestra que aborde aspectos conceituais e
instrumentais, ou seja, apresente a base terica necessria construo
de indicadores, bem como descreva, dentre outros aspectos: cada um
dos passos do mtodo; quais resultados cada passo ir produzir; e quais
tcnicas ou ferramentas sero teis ou necessrias em cada passo;
5. aplicao do mtodo: nesse momento o moderador deve apresentar,
para cada um dos oito passos, as sugestes de resultado elaboradas
pela equipe de pr-montagem para que sejam discutidas, modicadas
ou validadas. Caso haja falta de consenso ou impasses, o gerente do
Programa dever ser chamado a decidir dentre as alternativas possveis. Conforme a ocina for avanando nos passos previstos, a matriz
de priorizao de indicadores elaborada na fase de pr-montagem
dever ser modicada para reetir as mudanas determinadas pela
ocina. Cabe lembrar que essa ferramenta muito til para viabilizar uma anlise quantitativa, mas cabe aos presentes realizar tambm,
e em seguida, uma anlise qualitativa tanto para escolha dentre os

20 Esse acordo pode prever, por exemplo: respeitar as inscries para fala; buscar objetividade; fumar fora do ambiente de trabalho; manter os celulares no modo silencioso;
ser pontual.

77

Indicadores de Programas - Guia Metodolgico

indicadores candidatos (passo 6) quanto para validao dos indicadores


selecionados (passo 7);
6. avaliao da ocina: deve ser realizado um processo de avaliao
dos trabalhos, de forma que os presentes tenham a oportunidade de
expressar-se por escrito e verbalmente. Os resultados apontados devero ser enviados ao grupo responsvel pelo planejamento da ocina,
pois serviro de insumos para a melhoria do processo.
7. encerramento: o moderador dever proceder ao encerramento
da ocina ou, se achar conveniente, convidar um dos presentes para
realiz-lo.

7.3 Papis e responsabilidades


Para a aplicao dessa metodologia, recomenda-se a criao de uma
equipe tcnica especca, que possa cumprir os diversos papis descritos no quadro abaixo. Cabe registrar que uma pessoa pode assumir
vrios papis, assim como um papel pode ser representado por mais de
uma pessoa.
Quadro 9 Papis e responsabilidades para a ocina de indicadores
Papis

78

Responsabilidades

Moderador

Participar das etapas de concepo da oficina (forma e


contedo)
Abrir, conduzir e encerrar o evento
Observar o cumprimento de objetivos, tempos, custos e qualidade dos resultados esperados
Garantir e incentivar a participao de todos os presentes

Sistematizador

Registrar todos os dados e informaes coletadas nas diversas


etapas da metodologia.
Elaborar relatrio de pr-montagem
Elaborar relatrio final da oficina de indicadores

Entrevistador

Coordenar a elaborao do roteiro da entrevista


Conduzir as entrevistas
Garantir a obteno de todas as informaes requeridas

Indicadores de Programas - Guia Metodolgico

Papis

Responsabilidades

Equipe gerencial
do Programa

Prestar as informaes necessrias ao entendimento do programa e pr-montagem da oficina


Elaborar lista dos participantes das entrevistas e da oficina
Validar entendimento, planejamento e relatrio de pr-montagem
Decidir nos casos de dvidas, divergncias ou impasses

Participantes

Apresentar-se de forma participativa


Contribuir para um debate construtivo
Conviver com as divergncias e diferenas de pontos de vista

Especialista em
indicadores

Dirimir dvidas e auxiliar no entendimento conceitual acerca de


indicadores
Apresentar boas prticas de uso de indicadores
Auxiliar na seleo das fontes e das medidas de desempenho

Especialista em
metodologia de
construo de
indicadores

Apresentar os conceitos da teoria de indicadores de Programas


Apresentar o mtodo de oito passos, as tcnicas e as ferramentas a serem utilizadas na oficina
Descrever os resultados esperados em cada um dos passos

Gestor de
logstica

Providenciar a infraestrutura necessria s entrevistas e


pr-montagem
Providenciar os recursos (humanos, materiais, financeiros etc.)
requeridos realizao da oficina
Realizar os contatos e supervisionar as agendas de trabalho de
todos os envolvidos

Fonte: Ministrio do Planejamento

7.4 Descrio do projeto-piloto


A seguir sero descritas as etapas do projeto-piloto em que foi aplicada
a metodologia apresentada, realizado em parceria com o Ministrio do
Trabalho e Emprego utilizando o Programa Nacional de Microcrdito
Produtivo Orientado - PNMPO.
Etapa 1 Selecionar Programa
O microcrdito produtivo orientado foi institudo pela Lei n 11.110/2005
para incentivar a gerao de trabalho e renda entre microempreendedores populares, formais e informais, cujas atividades produtivas apresentem um faturamento anual bruto de at R$120 mil. O Programa
conta com o apoio do Conselho Deliberativo do Fundo de Amparo ao
Trabalhador - CODEFAT e do Conselho Monetrio Nacional - CMN para
denir as linhas de crdito a serem concedidas, sobretudo no que diz

79

Indicadores de Programas - Guia Metodolgico

respeito a taxas de juros e encargos, prazos, valores mximos de nanciamento por cliente, montante de recursos anuais a ser disponibilizado
para o PNMPO e requisitos para habilitao das instituies nanceiras
operadoras.
O microcrdito produtivo orientado visa a universalizar o acesso ao crdito para suprir as necessidades nanceiras de atividades produtivas
de pequeno porte. A metodologia utilizada de relacionamento direto com os empreendedores, com acompanhamento e orientao por
meio dos agentes de crdito e foco em garantias solidrias.
Completando cinco anos de existncia, o PNMPO vem apresentando
grande crescimento, superando as metas anuais estabelecidas no PPA
referentes ao nmero de operaes e volume de crdito. Em termos
de cobertura territorial, observa-se que cerca de 70% das instituies
habilitadas ao microcrdito se encontram nas regies Sul e Sudeste,
sendo que apenas 10% se localizam nas regies Norte e Centro-Oeste.
Por outro lado, destaca-se que 85% dos crditos so concedidos para a
regio Nordeste, que concentra quase 90% do total de clientes atendidos. Os clientes do Programa so, predominantemente, microempreendedores informais (mais de 95%), mulheres (mais de 60%), com ramo
de atividade no comrcio (cerca de 80%).
O PNMPO foi selecionado como Programa-piloto em razo dos seguintes aspectos:
1. trata-se de um Programa nalstico21 tpico em que o Governo
busca incentivar o microempreendedor que, atuando em geral
na informalidade, no tem acesso aos crditos e nanciamentos
disponveis ao mercado formal;
2. o Programa foi avaliado por meio da metodologia do Modelo
Lgico, portanto pressupe-se que possui documentao acerca dos fatores de contexto, objetivo, pblico-alvo, indicadores,
estratgia de interveno e demais informaes adequadas e
sucientes ao melhor entendimento;
3. por ocasio das ocinas de Modelo Lgico, a equipe gerencial
apresentou-se sempre interessada e motivada tanto no aperfeioamento do desenho quanto na melhoria do desempenho do
Programa;
21 Programas nalsticos so aqueles que ofertam bens ou servios diretamente sociedade.

80

Indicadores de Programas - Guia Metodolgico

4. uma avaliao preliminar demonstra que os indicadores existentes podiam no ser sucientes para expressar todas as dimenses inseridas no objetivo denido.
Feita a escolha prvia, a SPI/MP realizou contato com a gerncia do
programa a m de vericar a disponibilidade da equipe para participar
do piloto, tendo recebido sinal verde para continuidade dos trabalhos.
Etapa 2 Entender a teoria do Programa
Nessa etapa foram realizados o levantamento e a anlise de publicaes
ociais, relatrios e diagramas do Modelo Lgico, leis, folders, resultados
de eventos relacionados e demais documentos descritivos do PNMPO, o
que permitiu equipe de pr-montagem obter um amplo entendimento
dos fatores de contexto, dos objetivos e da estratgia de implementao
desenhada para obteno dos resultados esperados. Uma das fontes utilizadas (Modelo Lgico) est representada na Figura 13.
A compreenso e a anlise da teoria do Programa foram muito facilitadas em razo de o PNMPO ter sido objeto de avaliao de desenho
por meio do Modelo Lgico, o que refora a importncia da aplicao
desta metodologia em todos os Programas do Plano Plurianual, particularmente os nalsticos.
Etapa 3 Realizar entrevistas com principais atores
Para aprofundamento do conhecimento adquirido na anlise documental, foi solicitado ao responsvel pelo gerenciamento do Programa
que apresentasse uma lista de pessoas representativas dos processos de
planejamento e execuo do PNMPO. A partir dessas listas foi possvel
agendar entrevistas semiestruturadas, cujos roteiros encontram-se no
Anexo V.
Para este projeto-piloto foram utilizados dois roteiros: um mais completo, que orientou o levantamento de informaes oriundas da equipe
gerencial ou de especialistas no tema, considerando que esses prossionais detm conhecimentos de maior abrangncia e profundidade; e
outro reduzido, mais adequado s instituies parceiras do Programa
e orientado captao de informaes de acordo com o escopo de
trabalho das mesmas.
Ao todo foram realizadas seis entrevistas bastante representativas, cinco presenciais e uma por meio eletrnico, sendo: dois encontros com o
gerente do programa; dois com ex-integrantes do programa; um com

81

Indicadores de Programas - Guia Metodolgico

parceiro representando as instituies de microcrdito (OSCIP); e um


encontro com um representante de uma instituio nanceira (Banco
Central do Brasil).
A partir das respostas recebidas, foi possvel validar os entendimentos
acerca dos seguintes temas: (1) objetivo do Programa, considerando a
viso do entrevistado e as aes denidas; (2) perl e universo do pblico-alvo e dos benecirios; (3) os parmetros que orientaram a escolha
dos indicadores atuais; (4) as fontes utilizadas por esses indicadores; e
(5) o grau de validade/pertinncia das medidas existentes.
Figura 13 Referncias bsicas do PNMPO
PROBLEMA

OBJETIVO GERAL

PBLICO ALVO

Ampliar o acesso ao crdito, bem como apoiar e


estimular o segmento de instituies que operam o
microcrdito produtivo orientado, com nfase no
fortalecimento do empreendedorismo de pequeno
porte, individual ou coletivo, promovendo a incluso
social e o desenvolvimento em mbito local.

Pessoas fsicas e jurdicas empreendedoras de


atividades produtivas de pequeno porte, com
renda bruta anual de at R$ 60.000,00 (sessenta
mil reais) determinada pelo Decreto n 5.288 de
29 de novembro de 2004.

DESCRITORES

RESULTADO FINAL

BENEFICIRIOS

60% dos tomadores de crdito no deram


continuidade aos seus negcios, o que indica a
importncia da devida orientao aos tomadores
de crdito

ACESSO AO MICROCRDITO PRODUTIVO


ORIENTADO AMPLIADO

600 mil empreendedores de pequeno porte


em 2008, com crescimento de 20% ao ano.

Dificuldade de Acesso ao Microcrdito


Produtivo Orientado a Pequenos
Empreendedores Formais e Informais

33% dos entrevistados j tiveram acesso a crdito


bancrio
Segundo dados da pesquisa ECINF (Economia
Informal Urbana) existem:
1. 9,7 milhes de empreendimentos informais
que no tomaram crdito nos trs meses
anteriores pesquisa;
2. 9,3 milhes de empreendimentos informais
com faturamento abaixo de R$ 60 mil
anuais;
3. 6,6 milhes de empreendedores informais
declarando interesse em ampliar ou manter
o negcio;
4. 1,4 milho de empreendedores informais
declarando falta de crdito como uma das
principais dificuldades enfrentadas no
ltimo ano.

Fonte: Ministrio do Planejamento ocina de Modelo Lgico

Etapa 4 Realizar pr-montagem da ocina


A pr-montagem uma atividade fundamental para diminuir os riscos
de conitos ou impasses que levem ao fracasso da ocina, bem como
viabilizar a sua realizao no prazo estimado de 1 dia. Para o PNMPO foram realizadas duas reunies de pr-montagem, cujos principais
resultados foram os seguintes:

82

Indicadores de Programas - Guia Metodolgico

Cronograma de atividades
O planejamento das atividades foi essencial para nortear os trabalhos
e permitir o controle sobre os tempos de durao previstos para cada
etapa da ocina. O cronograma resultante dessa etapa est demonstrado na Figura 14.
Figura 14 Planejamento da Ocina
Manh
8h30

Coffee Break - Abertura

9h00

Abertura Institucional

9h15

Apresentao dos Participantes/Objetivo Oficina/


Programao

9h45

Nivelamento Metodolgico

10h30

Aplicao do Guia Metodolgico (Passo a passo p/


construo dos Indicadores

12h30

Almoo
Tarde

14h00

Aplicao do Guia Metodolgico (Anlise quantitativa matriz de priorizao

16h00

Intervalo

16h30

Aplicao do Guia Metodolgico - Anlise qualitativa

17h45

Avaliao da Oficina

18h00

Encerramento das atividades

Fonte: Ministrio do Planejamento

Simulao do mtodo de oito passos


Um ponto fundamental nesta etapa foi conhecer os diversos pontos
de vista dos presentes, para que a discusso fosse a mais ampla e rica
possvel. Assim, a equipe tcnica simulou os oito passos do mtodo
proposto no captulo 5, de forma a denir sugestes de resultados para
cada um dos passos a serem levados para a ocina, com destaque para:
trs dimenses abstradas do objetivo do programa (passo 1); critrios
de seleo de indicadores (passo 4) e lista dos indicadores candidatos
(passo 5). No quadro abaixo so apresentados exemplos dessa lista.

83

Indicadores de Programas - Guia Metodolgico

Quadro 10 Exemplos de indicadores candidatos denidos na


pr-montagem
Dimenso

Indicadores

Evoluo do saldo
da Carteira Ativa

Justificativa

Frmula De Clculo

Apresenta o volume de
recursos atualmente em
poder dos tomadores de
crdito.

Saldo da Carteira
Ativa, em cada ano/
volume correspondente no ano base de
2007 x 100.

Sinaliza a efetiva
ampliao do acesso
Taxa de crescimento ao crdito. importante
de novos clientes
saber quanto do mercado potencial identificado
foi captado, atendido.

Nmero de novos
clientes/total de
clientes x 100.

Sinaliza o grau de eficincia da aplicao dos


recursos.

Valor mdio do capital


que permanece na
instituio financeira/
volume total disponvel para crdito x 100.

Taxa de cobertura
do pblico alvo

Apresenta o percentual
do pblico alvo alcanado pelo Programa.

Nmero de clientes
beneficiados/ nmero
total de clientes
potenciais x 100.

Taxa de renovao
de contratos

Permite analisar a
eficincia das instituies de microcrdito na
captao/manuteno
de clientes.

Nmero de contratos
quitados renovados/
total contratos x 100.

Acesso ao
crdito
Taxa de ociosidade
do capital

Fonte: Ministrio do Planejamento

Etapa 5 Realizar ocina de indicadores


Inicialmente foram realizadas a abertura ocial, a apresentao dos
participantes e a exposio do planejamento das atividades previstas.
Em seguida, a m de promover um nivelamento metodolgico, um
especialista da SPI realizou uma palestra com durao de 45 minutos
abordando a teoria de indicadores, o mtodo de oito passos e as tcnicas e ferramentas a serem utilizadas.
Passou-se ento para o primeiro passo do mtodo descrito no captulo
5 (veja Figura 9). No que se refere avaliao dos objetivos e metas, a

84

Indicadores de Programas - Guia Metodolgico

proposta no era refazer a teoria do Programa, mas denir indicadores


a partir das referncias construdas na ocina de Modelo Lgico. No
entanto, diante de algumas posies captadas nas entrevistas, houve a
recomendao de reviso do Modelo Lgico em data futura, dado que
a mencionada ocina aconteceu em maro de 2008.
No passo 1 do mtodo, a partir do objetivo Ampliar o acesso ao crdito, bem como apoiar e estimular o segmento de instituies que
operam o microcrdito produtivo orientado, com nfase no fortalecimento do empreendedorismo de pequeno porte, individual ou coletivo,
promovendo a incluso social e o desenvolvimento em mbito local,
apesar de a pr-montagem ter sugerido trs, por consenso foram extradas duas dimenses a serem expressas por indicadores: (1) ampliao
de acesso ao crdito; e (2) promoo da sustentabilidade da rede de
microcrdito. A primeira dimenso foi denida como a mais relevante.
Para melhor denio dos indicadores, importante analisar a relevncia e a utilidade para outros usurios potenciais. Por isso, o segundo
passo teve como nalidade conhecer o universo de interessados no
Programa. Como resultado, a contribuio dos participantes ampliou
consideravelmente a lista inicial de possveis interessados elaborada na
pr-montagem, a saber:
x
x
x
x
x
x
x
x
x
x
x
x
x
x

Instituies de Microcrdito;
Agentes Financeiros;
Ministrio do Desenvolvimento Social;
Ministrio da Fazenda;
Ministrio do Desenvolvimento Agrrio;
Ministrio do Desenvolvimento, Indstria e Comrcio Exterior;
Banco Central do Brasil;
Presidncia da Repblica;
SEBRAE;
Organismos Internacionais;
rgos de Controle;
Academia;
Sistema Pblico de Emprego, Trabalho e Renda;
Grupos Representativos do Pblico-Alvo.

Na execuo do passo 3, dado que foram extradas duas dimenses


do objetivo e foram mapeados muitos interessados, percebeu-se que
seriam necessrios os trs tipos de medidas para um Programa: um

85

Indicadores de Programas - Guia Metodolgico

indicador-chave para expressar a dimenso mais relevante; indicadores


complementares, que expressam qualquer das dimenses denidas no
passo 1 da ocina; e provavelmente indicadores especcos para atender a necessidades de informaes dos interessados.
Na execuo do passo 4, a partir da lista de critrios sugerida na prmontagem o grupo aprovou os seguintes critrios a serem aplicados
nos indicadores candidatos:
Eliminatrios: Proximidade com o objetivo do Programa; Adequabilidade taxonomia de indicador de resultado; e Mensurabilidade.
Classicatrios: Conabilidade da fonte; Disponibilidade quando
necessrio; Aderncia escala espacial desejada; Desagregabilidade
sociodemogrca; Estabilidade ao longo do tempo; Economia de
obteno; e Simplicidade de construo e entendimento.
No quinto passo foi realizado o mapeamento dos indicadores candidatos utilizando como ponto de partida os 14 apresentados pela equipe
de pr-montagem, sendo que 4 deles j constavam do programa. O
grupo ento analisou a pertinncia de cada indicador e, como consequncia, houve a excluso de dois indicadores e a incluso de outros
dois formulados pelos presentes. Os indicadores candidatos escolhidos
foram agrupados segundo a dimenso que aferiam, tendo sido analisado ainda eventuais limitaes e frmulas de clculo. Nesse momento,
a matriz de priorizao de indicadores foi atualizada com os resultados
dos passos anteriores aprovados pela audincia.
No sexto passo foi realizada a anlise de trade-off. Para tanto, inicialmente realizou-se a anlise quantitativa a partir do atendimento aos
critrios eliminatrios e classicatrios, estes ltimos ponderados, utilizando-se para isso da matriz de priorizao de indicadores. Os resultados dessa anlise podem ser vistos na coluna Total da matriz representada na Figura 15. Em seguida foi realizada uma anlise qualitativa
dentre as medidas mais bem pontuadas, por meio de debates muito
construtivos em que a maioria dos presentes contribuiu, direta ou indiretamente, para a seleo das medidas de desempenho mais adequadas ao Programa. O resultado nal pode ser visto na Figura 15, em
que as clulas em vermelho e laranja representam, respectivamente, o
indicador-chave e os indicadores complementares.

86

Indicadores de Programas - Guia Metodolgico

Esse exerccio permitiu tambm evidenciar os indicadores que, embora


considerados ideais, no atenderam a um ou mais critrios aplicados.
Assim, as anlises realizadas mostraram-se teis para a gerncia do Programa conhecer as lacunas existentes que precisam ser sanadas, caso
haja interesse na utilizao futura de um determinado indicador reprovado no passo 6.
Figura 15 Matriz nal de priorizao de indicadores

Fonte: Ministrio do Planejamento

No passo 7 foi aplicado o check list abaixo, a m de vericar se os


indicadores escolhidos de fato atendiam a determinados pr-requisitos
essenciais sua utilizao como medida de desempenho de Programas
do PPA, a saber:
1. Os indicadores escolhidos so vlidos para expressar resultados?
2. So em quantidade suciente para expressar as dimenses
envolvidas?
3. Atendem ao critrio de completude dos atributos exigidos para
o seu cadastramento?
4. As limitaes inerentes aos indicadores foram consideradas?
5. Deve haver redenio de objetivo ou reviso da teoria do
Programa?
Trata-se de uma segunda anlise qualitativa (a primeira foi realizada no
passo 6) em que o grupo poderia aceitar os indicadores selecionados

87

Indicadores de Programas - Guia Metodolgico

ou retroceder ao passo anterior e realizar nova anlise de trade-off.


Assim, apesar de a segunda e quinta perguntas terem recebido respostas negativas, os presentes consideraram que estas no comprometiam
as medidas escolhidas e conrmaram os resultados do passo 6.
Finalmente, no passo 8 foram denidos os atributos previstos na legislao para o cadastramento dos indicadores no sistema de informaes disponibilizado pelo rgo central de planejamento para este m
(atualmente o SIGPlan). Para alguns atributos de alguns indicadores
(ndice ao nal do PPA, por exemplo), optou-se pela xao posterior
das informaes considerando que no havia dados sucientes naquele
momento. Um exemplo da denio dos atributos est representado
na Figura 16.
Figura 16 Atributos de um indicador de Programa
Denominao: Evoluo da quantidade de operaes de Microcrdito Produtivo
Orientado
Unidade de medida: Nmero ndice
ndice de referncia: 100 (12/2007)
ndices esperados
ao longo do PPA:

2008
115,00

2009
132,25

2010
152,08

2011
174,90

ndice ao final do programa: 174,90


Fonte: Relatrios Gerenciais - PNMPO/MTE
Periodicidade: Anual
Base geogrfica: Nacional
Frmula de Clculo: Relao entre o nmero de operaes realizadas no ano
corrente e o nmero de operaes realizadas no ano base de 2007 multiplicado
por 100.
Nmero de referncia em 2007: 963.459 operaes
Fonte: Ministrio do Planejamento

Aps a aplicao do mtodo de oito passos, foi efetivada uma avaliao do evento como um todo, a m de obter um feedback dos presentes acerca das atividades realizadas e, com isso, dispor de insumos para
proceder a ajustes e melhorias tanto no mtodo quanto na dinmica da
ocina. Para tanto, foram entregues aos participantes quatro cartes
com cores diferentes para que fossem preenchidos conforme a legenda
abaixo:

88

Indicadores de Programas - Guia Metodolgico

x
x
x
x

carto amarelo: pontos fortes;


carto azul: pontos fracos;
carto rosa: sugestes;
carto branco: espao aberto a consideraes diversas.

Por m, foi realizado o encerramento da ocina, primeiro com os presentes expressando-se livremente, em seguida com as palavras do diretor da SPI presente e, por ltimo, com as concluses e agradecimentos
do moderador do evento.

7.5 Concluses e Recomendaes


O processo de construo de indicadores de Programas por meio de
ocina mostrou-se til e adequado aos ns propostos. Tal resultado
era, de certa forma, esperado, considerando que foi inspirado na bem
sucedida dinmica de ocina de Modelo Lgico que vem sendo aplicada a muitos e diferentes contextos, sempre com resultados bastante
positivos.
Tambm o mtodo de oito passos utilizado na ocina mostrou-se consistente e apropriado ao objetivo de construir medidas de desempenho de Programas vlidas e conveis. Contudo, graas aplicao do
mtodo a um programa piloto, foi possvel identicar a necessidade de
alguns ajustes, merecendo destaque uma nfase maior na anlise qualitativa dos indicadores ao nal do sexto passo, a partir da vericao do
grau de proximidade do indicador com o objetivo do programa.
Ainda como consequncia da primeira ocina de construo de indicadores de Programas, a seguir so apresentadas algumas recomendaes relevantes:
1. muito importante que a equipe gerencial do Programa seja entrevistada em primeiro lugar, pois eles podero indicar outros atores
relevantes a serem contatados. Caso uma rodada de entrevistas no
seja suciente, uma nova agenda com as pessoas-chave deve ser
providenciada.
2. A lista de indicadores candidatos ao Programa no deve se restringir
apenas aos possveis de serem operacionalizados, mas tambm aos indicadores considerados ideais ao contexto. Mesmo que depois no sejam

89

Indicadores de Programas - Guia Metodolgico

aprovados quando da aplicao dos critrios de seleo, as fragilidades


expostas podero subsidiar aes para a sua utilizao futura.
3. Os indicadores candidatos construdos na etapa de pr-montagem,
quando no aderentes taxonomia de indicador de resultado ou no
aprovados na anlise de trade-off (passo 6 do mtodo), na medida do
possvel devem ser utilizados como indicadores de gesto do Programa,
principalmente nos processos de execuo e monitoramento.
4. Reitera-se que as entrevistas podem no ser presenciais, pois j existem tecnologias de baixo custo que permitem reunies virtuais por
meio de teleconferncia ou videoconferncia. At mesmo o correio eletrnico (e-mail) pode ser utilizado para envio de formulrio ou roteiro
de entrevista e recebimento das respostas.
5. Recomenda-se que o nmero de participantes da ocina e a quantidade de critrios a ser aplicada aos indicadores candidatos na anlise
de trade-off no sejam muito grandes, pois dicultam a execuo das
atividades previstas no prazo estimado de 1 dia para a ocina. Em princpio, indica-se at 10 participantes da ocina e at 8 critrios (eliminatrios e classicatrios) a serem inseridos na matriz de priorizao.
6. Recomenda-se realizar a ocina em local apropriado e fora do
ambiente de trabalho dos participantes, a m de possibilitar a dedicao exclusiva e evitar interrupes indesejadas.
7. Recomenda-se que os participantes recebam previamente o material
da pr-montagem, sejam incentivados a ler o guia metodolgico (ou
pelo menos o guia de referncia, disponvel no Anexo VI) e recebam o
nivelamento metodolgico previsto na dinmica da ocina.
8. Recomenda-se que, se possvel, o sistematizador e o moderador
(pode ser a mesma pessoa a assumir os dois papis) sejam especialistas
contratados, pois tal prtica garante imparcialidade e prossionalismo
em atividades essenciais ao sucesso da ocina.
9. Por m, recomenda-se que, dentre os convidados para a ocina,
esteja presente um especialista em indicadores, que pode ser encontrado nas instituies especializadas no assunto, como o IBGE, o IPEA
e as instituies subnacionais apresentadas no captulo 3 e no Anexo I.

90

Indicadores de Programas - Guia Metodolgico

8 Consideraes Finais
A proposta de elaborao de um guia metodolgico para a construo
de indicadores faz parte da estratgia desenvolvida pelo Governo Federal para as medidas de desempenho dos Programas do Plano Plurianual.
Este guia visa a orientar os administradores pblicos na utilizao de
to importante instrumento de gesto e aperfeioamento das aes
governamentais.
Dentre os muitos temas abordados neste documento, em primeiro
lugar cabe salientar a importncia de se conhecer e utilizar o Sistema Estatstico Nacional como fonte de indicadores conveis, vlidos
e teis s necessidades de diagnstico, implementao e avaliao de
polticas pblicas. O IBGE, por exemplo, possui o maior banco de dados
da Amrica Latina e dispe de experincia, informaes, tecnologia e
expertise suciente para atender a inmeras e diferentes demandas.
Outras instituies nacionais e subnacionais, pblicas e privadas, tambm disponibilizam uma gama considervel e diversicada de estatsticas e indicadores sociais, econmicos e ambientais.
Tambm o mtodo de oito passos apresentado para a construo de
indicadores merece destaque, pois busca fornecer um caminho facilitador do trabalho dos envolvidos na seleo de medidas de desempenho requeridas em lei e necessrias s boas prticas de administrao
pblica. Tal mtodo, no entanto, constitui-se de uma trilha, e no
um trilho, o que signica dizer que pode ser adaptado ou utilizado
parcialmente a partir das suas trs rampas de acesso: a primeira quando
se pretende construir indicadores de Programas; a segunda quando se
deseja complementar um Programa com novos indicadores; e a terceira
rampa de acesso quando se quer avaliar um conjunto de medidas j
denidas.
Buscou-se tambm fornecer outros recursos facilitadores, como uma
sugesto de dinmica de aplicao do mtodo por meio de ocina,
concebida a partir das experincias bem sucedidas de utilizao do
Modelo Lgico e aplicada na prtica em um Programa-piloto; uma guia
de referncia rpida, contendo os principais aspectos a serem considerados na construo de indicadores; uma lista das perguntas mais

91

Indicadores de Programas - Guia Metodolgico

frequentes, com as respectivas respostas acerca do tema; exemplos de


fontes que disponibilizam estatsticas, indicadores e ndices; e, ainda,
publicaes que consolidam medidas possveis de serem utilizadas nos
Programas do PPA.
Por m, tratando-se de uma primeira verso e do carter indito de
grande parte do seu contedo, particularmente o mtodo de oito passos e a dinmica de aplicao desse mtodo por meio de ocina, possvel que esse guia possua lacunas e imperfeies, o que poder resultar
em revises e ajustes futuros a m de torn-lo o mais aderente possvel
s necessidades dos formuladores de polticas, planos e programas de
governo.

92

Indicadores de Programas - Guia Metodolgico

Referncias Bibliogrcas
_______. Decreto n. 6.601, de 10 de outubro de 2008. Dispe sobre
a gesto do Plano Plurianual 2008/2011 e de seus programas. Dirio
Ocial da Unio, Braslia, DF, 13 out 2008.
_______. Guia Referencial para a Medio de Desempenho Institucional. Secretaria de Gesto de Pessoas SEGES/MP. Braslia, 2009.
_______. Lei n. 11.653, de 7 de abril de 2008. Dispe sobre o plano
plurianual para o perodo de 2008/2011. Dirio Ocial da Repblica
Federativa do Brasil, Braslia, DF, 8 abril 2008.
_______. Manual de Avaliao do Plano Plurianual 2008/2011. Braslia:
DF, 2008.
_______. Manual de Elaborao do Plano Plurianual 2008/2011. Braslia: DF, 2007.
_______. Plano Plurianual 2008-2011: anlise de implementao. Braslia: DF, 2008.
_______. Portaria n. 140, de 10 de junho de 2009. Dispe sobre o Sistema de Monitoramento e Avaliao do PPA 2008-2011. Dirio Ocial
da Unio, Braslia, DF, 12 jun 2009.
_______. Relatrio de Avaliao do Plano Plurianual 2004-2007. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Planejamento e Investimentos Estratgicos. Braslia, 2005.
_______. Uso e Construo de Indicadores no PPA. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Planejamento e Investimentos Estratgicos. Braslia, maio de 2007.
AUDIT COMMISSION. On target the practice of performance indicators. Londres, 2000.
BONNEFOY, C.; ARMIJO, M. Indicadores de desempeo en el sector
pblico. Instituto Latinoamericano y del Caribe de Planicacin Econmica y Social ILPES. Santiago do Chile, 2005.
CARDOSO, A. L. Indicadores Sociais e Polticas Pblicas: algumas notas
crticas. Proposta, N 77, Junho-Agosto, 1998.

93

Indicadores de Programas - Guia Metodolgico

CARLEY, M. Indicadores Sociais: Teoria e Prtica. Rio de Janeiro: Zahar,


1985.
COHEN, E.; FRANCO, R. Avaliao de Projetos Sociais. Petrpolis: Vozes,
2000.
COSTA, F. L.; CASTANHAR, J. C. Avaliao de Programas Pblicos:
Desaos Conceituais e Metodolgicos. Revista de Administrao Pblica. Rio de Janeiro, set/out, 2003.
FEIJ, C.; VALENTE, E. As Estatsticas Ociais e o Interesse Pblico.
Bahia Anlise & Dados. Salvador, BA, v. 15, n. 1, p. 43. Junho, 2005.
FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Como Elaborar Modelo
Lgico de Programas: um roteiro bsico. Nota Tcnica. Braslia: IPEA,
2007.
FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Uma experincia de
desenvolvimento metodolgico para avaliao de programas: o modelo lgico do programa segundo tempo. Texto para discusso. Rio de
Janeiro: IPEA, 2009.
GUIMARES, J.R.S.; JANNUZZI, P. M. IDH, indicadores sintticos e suas
aplicaes em polticas pblicas: uma anlise crtica. Salvador: ANPUR,
Revista Brasileira de Estudos Urbanos e Regionais v.7, n.1, p. 73-90,
2005.
IBGE. Indicadores de Desenvolvimento Sustentvel. 2008.
IBGE. Sntese dos Indicadores Sociais Uma Anlise das Condies de
Vida da Populao Brasileira. 2008.
JANNUZZI, P. M. Consideraes sobre o uso, mau uso e abuso dos indicadores sociais na formulao e avaliao de polticas pblicas municipais. Revista do Servio Pblico, Braslia, abr/jun, 2005.
JANNUZZI, P. M. Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil. Revista do Servio Pblico. Rio de
Janeiro, jan/fev, 2002.
JANNUZZI, P. M. Indicadores Sociais no Brasil. Editora Alnea. Campinas,
SP, 2003.
MAGALHES, M. T. Q. Metodologia para desenvolvimento de sistemas
de indicadores: uma aplicao no planejamento e Gesto da poltica
nacional de transportes. (Dissertao Mestrado) - Universidade de Braslia. Braslia, 2004.

94

Indicadores de Programas - Guia Metodolgico

OECD Organization for Economic Co-Operation and Development.


Framework for Environmental Indicators. Paris, 2002.
OCDE. Governing Regional Development Policy - The Use Of Performance Indicators, 2009.
OMS. Catalogue of Health Indicators. Genebra, 1996.
PROJECT MANAGEMENT INSTITUTE PMI. Guide of Project Management Body of Knowledge - PMBoK, 2004.
ROCHET, C.; BOUT-COLONNA, L.; KERAMIDAS, O. The Risck of Efciency Indicators in the Monitoring of Public Policies. EGPA Reforming
the Public Sector. University of Bern. 2005.
RUA, M. G. Desmisticando o problema: uma rpida introduo ao
estudo dos indicadores. Mimeo, Escola Nacional de Administrao
Pblica, Braslia, 2004.
SANTAGADA, S. Indicadores Sociais: uma primeira abordagem social e
histrica. Pensamento Plural, Pelotas, 2007.
TCU. Tcnica de Auditoria - Indicadores de Desempenho e Mapa de
Produtos. Braslia, 2000.
UNITED NATIONS. Fundamental Principles of Ofcial Statistics. Disponvel em www.un.org.
VILLELA, T. M. A.; MAGALHES, M. T. Q.; GOMES, H. A. S.; ARRUDA,
B. D. L.; SILVEIRA, L. S. C. Metodologia para Desenvolvimento e Seleo
de Indicadores para Planejamento de Transporte. CEFTRU/UnB. Braslia,
2007.

95

Indicadores de Programas - Guia Metodolgico

Glossrio
Siglas
AMS
BACEN
CAGED
DATAPREV
DATASUS
DIEESE
ENAP
FEE
FGV
FIPE
FJP
IBGE
IDH
IJSN
INEP
IPARDES
IPEA
MTE
MUNIC
OCDE
OIT
OMS
ONU
OSCIP
PIB
PMC
PME
PNAD
PNSB

Descrio
Pesquisa Nacional de Assistncia Mdico-Sanitria
Banco Central do Brasil
Cadastro Geral de Empregados e Desempregados
Empresa de Tecnologia e Informaes da Previdncia
Social
Departamento de Informtica do Sistema nico de Sade
Departamento Intersindical de Estatstica e Estudos
Socioeconmicos
Escola Nacional de Administrao Pblica
Fundao de Economia e Estatstica
Fundao Getlio Vargas
Fundao Instituto de Pesquisas Econmicas
Fundao Joo Pinheiro
Instituto Brasileiro de Geograa e Estatstica
ndice de Desenvolvimento Humano
Instituto Jones dos Santos Neves
Instituto Nacional de Estudos e Pesquisas Educacionais
Ansio Teixeira
Instituto Paranaense de Desenvolvimento Econmico e
Social
Instituto de Pesquisa Econmica Aplicada
Ministrio do Trabalho e Emprego
Pesquisa de Informaes Bsicas Municipais
Organizao para a Cooperao e Desenvolvimento
Econmico
Organizao Internacional do Trabalho
Organizao Mundial da Sade
Organizao das Naes Unidas
Organizao da Sociedade Civil de Interesse Pblico
Produto Interno Bruto
Pesquisa Mensal do Comrcio
Pesquisa Mensal de Empregos
Pesquisa Nacional por Amostra de Domiclios
Pesquisa Nacional de Saneamento Bsico

97

Indicadores de Programas - Guia Metodolgico

PNUD
POF
PPA
RAIS
SEADE
SEI
SPI

Programa das Naes Unidas para o Desenvolvimento


Pesquisa de Oramentos Familiares
Plano Plurianual
Relao Anual de Informaes Sociais
Sistema Estadual de Anlise de Dados
Superintendncia de Estudos Econmicos e Sociais da
Bahia
Secretaria de Planejamento e Investimento Estratgicos

Termos e Expresses
Accountability - Termo da lngua inglesa, sem traduo exata para o
portugus, que remete obrigao de membros de um rgo administrativo ou representativo de prestar contas a instncias controladoras
ou a seus representados. Trata-se de um conceito da esfera tica com
signicados variados, que frequentemente denotam responsabilidade
social, imputabilidade, obrigaes e prestao de contas. Uma aproximao possvel para a lngua portuguesa responsabilizao.
Brainstormig - Tcnica de gerao coletiva de novas ideias atravs da
livre participao e expresso de diferentes indivduos. A tcnica prope que um grupo - de duas a dez pessoas - utilize as diferenas de
pensamentos para chegar a um denominador comum, gerando ideias
inovadoras que conduzam um empreendimento adiante.
Economicidade (ou economia) - a minimizao dos custos de aquisio dos recursos utilizados na consecuo de uma ao, sem comprometimento da qualidade desejada.
Efetividade - a medida do grau de alcance dos objetivos estratgicos
de governo, tendo como referncia os impactos na sociedade em geral.
Eccia - a medida do grau de alcance dos objetivos e metas xadas
para um determinado programa, em relao ao previsto.
Ecincia - a medida da relao entre os recursos utilizados e os produtos ou servios entregues ao pblico-alvo de um programa, frente a
padres estabelecidos.
Modelo Lgico - Busca congurar um desenho do funcionamento do
programa para resolver ou minimizar os efeitos de um problema identicado. Pode ser a base para um relato do desempenho esperado, ressaltando onde est o problema objeto do programa e como enfrentlo. Os elementos so: recursos, operaes/aes, produtos, resultados

98

Indicadores de Programas - Guia Metodolgico

intermedirios e nais, hipteses que suportam essas relaes e as


inuncias das variveis de contexto. Os pressupostos sobre os recursos
e operaes/aes e como esses levam aos resultados esperados so
frequentemente referidos como a teoria do programa (FERREIRA, CASSIOLATO E GONZALES, 2007).
Programa - Instrumento de organizao da atuao governamental
com vistas ao enfrentamento de um problema. Articula um conjunto
coerente de aes (oramentrias e no-oramentrias) que concorrem para objetivos preestabelecidos, constituindo uma unidade bsica
de gesto com responsabilidade pelo desempenho e transparncia das
aes de Governo.
Proxy - No contexto de indicadores signica aproximao ou similaridade. Quando no se encontra uma medida especca, vlida e convel
para expressar um conceito ou dimenso da realidade, deve-se buscar
outra que mais se aproxime dos objetivos da medio.
Roadmap - Tcnica de representar um uxo de atividades na forma de
caminho ou mapa rodovirio, no qual so colocadas rampas de acesso para identicar diferentes pontos de entrada no uxo, de acordo
com o objetivo pretendido para o uso do uxograma.
Sistema Estatstico Nacional - Grupo de instituies pblicas e privadas
que produzem estatsticas com recursos pblicos, sob coordenao central ou no, abrangendo diferentes reas temticas e nveis federativos.
Taxonomia - Palavra de origem grega. Inicialmente foi utilizada para
classicar organismos vivos, mas atualmente aplicada em um sentido
mais abrangente para a classicao de coisas. Quase tudo - objetos,
lugares e eventos - pode ser classicado de acordo com algum esquema taxonmico.
Trade-off - Expresso que denota uma situao em que h conito de
escolha. Caracteriza-se quando uma ao para resoluo de um problema acarreta outro problema, obrigando a uma escolha. Ocorre quando
se abre mo de algum bem ou servio distinto para se obter outro bem
ou servio distinto.

99

Indicadores de Programas - Guia Metodolgico

Anexo I Fontes, Publicaes e


Tecnologias
Fontes
Existe no Brasil uma grande diversidade de fontes que produzem e
disseminam estatsticas, taxas, propores, ndices e outros tipos de
indicadores, tanto na rea estatal quanto no-estatal, em geral desconhecidas pelos formuladores de polticas pblicas. No Quadro abaixo
so apresentados os principais provedores de indicadores sociais, econmicos e ambientais.

101

102
Promoo de direitos humanos; pessoa com deficincia;
pessoa idosa; criana e adolescente

Estatsticas econmicas em geral

Ministrio do Desenvolvimento www.mds.gov.br


Social
Ministrio das Cidades
www.cidades.gov.br
www.sedh.gov.br
www.fazenda.gov.br
www.bacen.gov.br
www.ipea.gov.br
www.fipe.org.br
www.fgv.com.br
www.mma.gov.br
www.ibge.gov.br
www.previdencia.gov.br

MDIC

Secretaria Especial de Direitos


Humanos

Ministrio da Fazenda
Banco Central do Brasil
IPEA
FIPE
FGV

Ministrio do Meio Ambiente


IBGE

Ministrio da Previdncia
Social

Ministrio da Sade

Desenvolvimento
social

Direitos
Humanos

Economia

Meio Ambiente

Previdncia

Sade

www.datasus.gov.br

www.desenvolvimento.gov.br

Estatsticas da sade; mortalidade, morbidade, atendimentos, vacinaes

Benefcios; penses; aposentadorias; auxlios; acidentes


de trabalho

Indicadores de desenvolvimento sustentvel

Indicadores de pobreza; indigncia; transferncia de


renda, habitao; saneamento; condies urbanas

Estatsticas do comrcio; de comrcio exterior; servios;


da produo

Produo cientfica; recursos aplicados; patentes,


indicadores

Desenvolvimento
Econmico

www.mct.gov.br
www.cnpq.br

MCT;
CNPQ

Dados educacionais, equipamentos, docentes, desempenho escolar

Produtos

Cincia e
Tecnologia

www.inep.gov.br

Endereo Internet

INEP

Fonte

Educao

Tema

Indicadores de Programas - Guia Metodolgico

www.anipes.org.br
www.ibge.gov.br
www.worldbank.org
www.cepal.cl
www.un.org/databases
www.ocde.org
www.pnud.org

IBGE

IPEA

ANIPES
IBGE

BANCO MUNDIAL
CEPAL
NAES UNIDAS
OCDE
PNUD

Gerais

Gerais

Estados e
Municpios

Organismos
internacionais

www.ipea.gov.br

www.ibge.gov.br

www.transportes.gov.br

Ministrio dos Transportes

Transporte

www.mte.gov.br
www.rais.gov.br

Endereo Internet

Ministrio do Trabalho e
Emprego

Fonte

Trabalho

Tema

Estatsticas gerais em nvel mundial

Estatsticas gerais em nvel estadual e municipal

Retrato das Desigualdades; Boletim de Conjuntura


Econmica e Social; Acompanhamento e Anlise das
Polticas Sociais

Censo Demogrfico; PNAD; PME, PMC; MUNIC; Sntese


dos Indicadores Sociais; Indicadores de Desenvolvimento Sustentvel; Estatsticas de Registro Civil; Pesquisa
Nacional de Assistncia Mdico-Sanitria; Pesq. Saneamento Bsico

Plano Nacional de Logstica e Transportes - Base de


Dados Georreferenciada

CAGED; RAIS; Cadastro de empresas; Estatsticas do


trabalho

Produtos

Indicadores de Programas - Guia Metodolgico

103

Indicadores de Programas - Guia Metodolgico

Publicaes disponveis na Internet


O Sistema Estatstico Nacional periodicamente disponibiliza catlogos e publicaes, impressas ou em meio eletrnico, que consolidam
uma grande quantidade de indicadores sociais, econmicos e ambientais que podero ser teis na medio de resultados de programas de
governo. Algumas dessas publicaes so descritas a seguir.
Sntese dos Indicadores Sociais
Editada anualmente pelo IBGE, essa publicao rene um grande
nmero de indicadores dos tipos:

Demogrcos
Educao
Domiclios
Famlias
Casamentos, separaes e divrcios
Crianas, adolescentes e jovens
Cor ou raa
Mulheres
Idosos

Disponvel no endereo www.ibge.gov.br

104

Indicadores de Programas - Guia Metodolgico

Indicadores de Desenvolvimento Sustentvel


Tambm editado anualmente pelo IBGE, rene um amplo conjunto
de informaes sobre a realidade brasileira nas quatro dimenses do
desenvolvimento sustentvel:
Ambiental: atmosfera; terra; gua doce; oceanos, mares e reas costeiras; biodiversidade; saneamento.
Social: populao; trabalho e rendimento; sade; educao;
habitao; segurana.
Econmica: quadro econmico; padres de produo e
consumo.
Institucional: quadro Institucional; capacidade Institucional
Disponvel no endereo www.ibge.gov.br.

105

Indicadores de Programas - Guia Metodolgico

Sistema Nacional de Indicadores para Cidades


Publicao do Ministrio das Cidades que rene os indicadores ideais
para medio da qualidade de vida urbana, a partir dos seguintes agrupamentos temticos:

Condies Habitacionais
Organizao urbana e ambiental
Estrutura de apoio cidadania
Economia municipal
Felicidade em geral e satisfao com o servio pblico

Disponvel no endereo www.cidades.gov.br

106

Indicadores de Programas - Guia Metodolgico

Indicadores Bsicos de Sade


Publicao do Ministrio da Sade que rene um grande nmero de
indicadores, a partir dos seguintes agrupamentos:

Demogrcos
Socioeconmicos
Mortalidade
Morbidade e fatores de risco
Recursos alocados sade
Cobertura

Disponvel no endereo www.saude.gov.br.

107

Indicadores de Programas - Guia Metodolgico

Indicadores de Trabalho e Emprego


O MTE disponibiliza um acesso a indicadores, desagregados em nvel
municipal, relacionados aos seguintes temas:

Empregos formais
Remunerao mdia
Variao do emprego formal
Flutuao do emprego
Salrio mdio de admisso
Seguro desemprego e intermediao
Outros indicadores do mercado de trabalho

Disponvel em www.mte.gov.br

108

Indicadores de Programas - Guia Metodolgico

Indicadores Educacionais
O INEP dispe de um sistema de indicadores relacionados aos seguintes
grupos temticos:

Contexto sociodemogrco
Condies de oferta
Acesso e participao
Ecincia e rendimento escolar

Disponvel em www.edudatabrasil.inep.gov.br

109

Indicadores de Programas - Guia Metodolgico

Indicadores Econmicos, Regionais e Sociais


O IPEA dispe de um sistema para acesso a um grande nmero de
indicadores relacionados a:
Dados econmicos e nanceiros
Dados demogrcos e geogrcos para estados e municpios
Dados e indicadores sociais: distribuio de renda, pobreza, educao, sade, previdncia social e segurana pblica.
Disponvel em www.ipea.gov.br

110

Indicadores de Programas - Guia Metodolgico

Instituies Produtoras de Estatsticas


Nacional - IBGE

So Paulo Fundao SEADE

111

Indicadores de Programas - Guia Metodolgico

Paran IPARDES

Bahia - SEI

112

Indicadores de Programas - Guia Metodolgico

Rio de Janeiro Fundao CIDE

Rio Grande do Sul - FEE

113

Indicadores de Programas - Guia Metodolgico

Tecnologias
A maioria das fontes de indicadores dispe de bancos de dados de alta
performance que permitem, alm de acessos regulares, cruzamentos
e ltros por diferentes campos como tipo, periodicidade, localizao,
gnero, raa, faixa etria e outros.
Dentre as principais tecnologias de armazenamento e recuperao de
informao disponveis, destacam-se:
SIDRA: trata-se de uma poderosa ferramenta do IBGE para recuperao de um amplo espectro de informaes territoriais e por
reas temticas como agropecuria, comrcio, contas nacionais,
economia, indstria, meio ambiente, oramento familiar, populao, preos, saneamento bsico, sade, servios, trabalho e
renda.
BME: banco de dados multidimensional de estatsticas, disponvel na pgina do IBGE na Internet, que permite ao usurio credenciado ou que adquiriu o servio - escolher livremente as
variveis de seu interesse, o espao geogrco e o perodo de
tempo de referncia das informaes.
Cidades@, Estados@, Paises@ e MUNIC (Perl dos Municpios): bancos de dados disponveis na pgina do IBGE na Internet, que compem a maior base de dados estatsticos da Amrica Latina.
Ipeadata: banco de dados disponvel na pgina do IPEA na
Internet para acesso a informaes macroeconmicas, regionais
e sociais.
Edudatabrasil: banco de dados disponvel na pgina do INEP
na Internet para acesso ao sistema de estatsticas educacionais.
Datasus: banco de dados disponvel na pgina do Ministrio
da Sade na Internet para acesso ao anurio e s informaes
bsicas e complementares de sade.
Dataprev: banco de dados disponvel na pgina da Previdncia Social na Internet para cesso ao anurio, boletim estatstico,
benefcios, segurana e sade ocupacional.
Matriz de Informao Social: banco de dados disponvel na
pgina do Ministrio do Desenvolvimento Social e Combate
Fome para acesso a informaes e indicadores sociais nos mais
diversos nveis territoriais (inclusive municpios), dos principais
programas e benefcios, a exemplo do Bolsa Famlia e dos Benefcios de Prestao Continuada (BPC).

114

Indicadores de Programas - Guia Metodolgico

Anexo II Exemplos de
Classicao por Temas

Demogrficos
Taxa de Natalidade: razo entre o nmero de nascimento e a populao estimada.
Taxa de crescimento demogrfico: indica a percentual de crescimento da populao
em determinado perodo de tempo.
Taxa de urbanizao: indica o percentual da populao de reside em reas urbanas.
Sade
Taxa de mortalidade infantil: indica a razo entre o nmero de bitos de crianas de
at um ano e o total de crianas nascidas vivas.
Taxa de mortalidade por causa: indica a razo entre o nmero de bitos por determinada causa e o total da populao.
Taxa de morbidade por doena: indica a razo entre o nmero de ocorrncias de
determinada doena e o total da populao.
Esperana de vida ao nascer: o nmero mdio de anos de vida estimado para um
recm-nascido.
Indicador de desnutrio: razo entre o nmero de crianas com peso e altura abaixo
do normal e o total de crianas de determinada faixa etria.
Educao
Taxa de analfabetismo: percentual da razo entre o nmero de pessoas analfabetas e
o nmero de pessoas com mais de 15 anos.
Escolaridade mdia: indica a mdia de anos cursados e aprovados das pessoas com
15 anos ou mais.
Taxa de cobertura escolar: razo entre o nmero de matrculas em determinado nvel
e o total do pblico-alvo do nvel.
Taxa de evaso: percentual da razo entre o nmero de evadidos e o total de matriculados, ao final do ano letivo.
Taxa de reprovao: percentual da razo entre o nmero de reprovados e o total de
matriculados, ao final do ano letivo.
Trabalho
Taxa de desemprego: percentual da razo entre o nmero de desempregados e o total
da populao economicamente ativa.

115

Indicadores de Programas - Guia Metodolgico

Proporo de trabalhadores com carteira assinada: razo entre nmero de trabalhadores formais e o total de empregados.
Renda
PIB per capita: corresponde soma de todos os produtos e servios produzidos
internamente, dividida pelo total da populao.
ndice de GINI: mede o grau de desigualdade na distribuio da renda produzida por
um pas.
Proporo de pobres ou indigentes: razo entre o nmero de famlia com renda inferior linha de pobreza ou indigncia, e o total de famlias do espao considerado.
Economia
ndices de Custo de Vida: indica a inflao mdia de um pas ou regio, a variao
de preos de produtos e servios em determinado perodo de tempo.
Infraestrutura
Proporo de domiclios com acesso a redes (luz, gua, telefone, esgoto etc.) ou
servios (coleta de lixo p.e.): proporo entre o total de domiclios com acesso a
redes ou servios e o total de domiclios do espao considerado.
Segurana
Taxa de homicdios: indica o nmero de homicdios por cem mil habitantes.
Meio Ambiente
Hectare de rea verde por habitante: razo entre a rea verde existente e o total de
habitantes da regio.
Consumo mdio residencial de energia: gasto mdio de energia eltrica das famlias
de determinada regio.
Taxa de desmatamento de reas protegidas: rea desmatada em relao rea
protegida.

116

Indicadores de Programas - Guia Metodolgico

Anexo III Atributos dos


indicadores do PPA

Atributo

Descrio

Denominao

Forma pela qual o indicador ser apresentado sociedade.

Unidade de
medida

Padro escolhido para mensurao da relao adotada como


indicador. Por exemplo, para o indicador taxa de analfabetismo
a unidade de medida seria porcentagem, e para o indicador taxa de mortalidade infantil a unidade de medida seria
1/1000 (1 bito para cada 1000 nascimentos).

ndice de
referncia

Situao mais recente do problema e sua respectiva data de


apurao. Consiste na aferio de um indicador em um dado
momento, mensurado com a unidade de medida escolhida, que
servir de base para projeo do indicador ao longo do PPA. Por
exemplo: no ano de 2006, a taxa de mortalidade infantil foi de
25 para cada 1000 nascimentos.

Situao que se deseja atingir com a execuo do Programa,


ndices esperados
expresso pelo indicador, para cada ano do perodo de vigncia
ao longo do PPA
do PPA.
ndice ao final do
Programa

Resultado que se deseja atingir com a concluso da execuo


do Programa. Deve ser preenchido apenas no caso dos Programas temporrios.

Fonte

rgo responsvel pelo registro ou produo das informaes necessrias para a apurao do indicador e divulgao
peridica dos ndices. As informaes utilizadas na construo
dos indicadores podero ser produzidas pelos prprios rgos
executores dos Programas ou outros integrantes da estrutura
do Ministrio responsvel. Estes devero manter sistemas de
coleta e tratamento de informaes com esta finalidade. Em
muitos casos, entretanto, as informaes sero buscadas junto
a outras fontes que podem ser instituies oficiais ou mesmo
privadas, de reconhecida credibilidade: IBGE, FIPE, FGV, Banco
Central, DIEESE, ANBID, entre outras.

Periodicidade

Frequncia com a qual o indicador apurado. Por exemplo:


anual (apurado uma vez ao ano); mensal (apurado uma vez ao
ms); bienal (apurado a cada dois anos).

117

Indicadores de Programas - Guia Metodolgico

Atributo

118

Descrio

Base geogrfica

Menor nvel de agregao geogrfica da apurao do ndice.


Por exemplo: Estadual (no mbito de um Estado); Municipal (no
mbito de um Municpio).

Frmula de
clculo

Demonstra, de forma sucinta e por meio de expresses matemticas, o algoritmo que permite calcular o valor do indicador.
Por exemplo, para o indicador Espao areo monitorado, a
frmula de clculo poderia ser Relao percentual entre o espao areo monitorado e o espao areo sob jurisdio do Brasil,
assim como para o indicador Incidncia do ttano neonatal
o indicador poderia ser Relao percentual entre o nmero de
casos novos de ttano neonatal e o total da populao menor de
um ano de idade.

Indicadores de Programas - Guia Metodolgico

Anexo IV Perguntas Mais


Frequentes
O que um indicador de Resultado?
So medidas que expressam os benefcios no pblico-alvo decorrentes das aes empreendidas no contexto do Programa e tm particular
importncia no contexto de gesto pblica orientada a resultados. So
exemplos a taxa de reprovao escolar e a taxa de homicdios.
Qual a importncia dos indicadores no contexto das Polticas
Pblicas?
Para gerenciar preciso medir. O Estado responsvel por um grande
nmero de operaes e projetos, assim preciso quanticar os parmetros que permitam aos gestores pblicos e cidados conhecer, opinar e
decidir acerca das mltiplas e complexas aes governamentais voltadas melhoria das condies de vida da sociedade.
Qual a relao dos indicadores com a teoria do Programa?
Uma boa escolha de indicadores tem relao direta e est condicionada
a um bom desenho do Programa, principalmente em relao denio do objetivo. Um indicador aponta resultados no pblico-alvo e o
resultado nada mais que um objetivo concretizado. Se o objetivo est
mal denido, no h indicador que expresse se o resultado foi bom ou
ruim.
Como saber se um objetivo de Programa est bem denido?
Uma forma de vericar se um objetivo est bem denido aplicar o
modelo SMART, acrnimo que signica: (1) eSpecco - um objetivo
no deve ser to amplo ou genrico que conduza a interpretaes duvidosas, perda de foco ou impossibilidade de alcance a partir das aes
do Programa; (2) Mensurvel - um objetivo ou meta deve ser passvel
de aferio; (3) Atingvel - um objetivo ou meta deve ser realista, vivel, possvel de ser atingido em face dos recursos (humanos, materiais,
nanceiros etc.) disponveis e das restries impostas; (4) Relevante objetivo deve estar relacionado a um problema, demanda ou oportunidade prioritria para a agenda governamental; (5) Tempo - um objetivo
deve ser programvel, deve possuir uma data limite para alcance.

119

Indicadores de Programas - Guia Metodolgico

Quais so as principais propriedades dos indicadores?


Existem trs propriedades consideradas essenciais aos indicadores: Validade ou capacidade de representar a realidade que se deseja medir e
modicar; Conabilidade, pois os indicadores devem ter origem em
fontes conveis, que utilizem metodologias reconhecidas e transparentes; e Simplicidade, pois devem ser de fcil obteno, comunicao
e entendimento pelo pblico em geral.
O que so ndices?
Os ndices ou indicadores sintticos sintetizam diferentes conceitos da
realidade emprica, ou seja, derivam de operaes realizadas com indicadores analticos e tendem a retratar o comportamento mdio das
dimenses consideradas. Diversas instituies nacionais e internacionais divulgam indicadores sintticos sendo exemplos o PIB, IDEB, IPC
e o IDH.
Qual a diferena entre indicadores objetivos e subjetivos?
Os indicadores objetivos apontam eventos concretos da realidade e,
em geral, so construdos a partir de estatsticas pblicas ou registros
administrativos disponveis nos rgos governamentais. J os indicadores subjetivos captam sensaes ou opinies, utilizando-se para sua
construo de tcnicas como pesquisa de opinio, grupo focal e grupo
de discusso.
Qual o objetivo do Sistema Estatstico Nacional e quais instituies o integram?
De acordo com o artigo 1o da Lei no 6.183/1974, o Sistema Estatstico
Nacional tem como objetivo possibilitar o conhecimento da realidade
fsica, econmica e social do Pas, visando especialmente ao planejamento econmico e social e segurana nacional. So integrantes
todos os rgos e entidades da administrao pblica direta e indireta,
de mbito federal, estadual ou municipal, e entidades de natureza privada que exeram atividades estatsticas e para isso recebam subveno
ou auxlio dos cofres pblicos.
Qual a principal instituio produtora de estatsticas e indicadores no Brasil?
Certamente o Instituto Brasileiro de Geograa e Estatstica - IBGE,
que possui a maior base de dados estatstica da Amrica Latina. No
contexto do Sistema Estatstico Nacional assume um duplo papel: de
coordenao do sistema, por meio da integrao dos subsistemas e da

120

Indicadores de Programas - Guia Metodolgico

padronizao de procedimentos, conceitos e classicaes; e de principal provedor de dados e informaes para os mais diferentes segmentos da sociedade.
Existe um mtodo que oriente a construo de indicadores de
resultados?
Sim. O rgo central de planejamento indica um mtodo de construo
composto de oito passos: (1) Avaliar objetivos e metas, a m de identicar as dimenses que os indicadores devero expressar; (2) Identicar os
interessados para que os indicadores sejam de fato teis para os atores
envolvidos; (3) Denir os tipos de indicadores necessrios ao contexto
do Programa; (4) Denir os critrios de escolha para seleo dentre os
indicadores candidatos; (5) Mapear os indicadores candidatos; (6) Realizar uma anlise de trade-off dentre os candidatos; (7) Validar os indicadores selecionados; e (8) denir os atributos dos indicadores validados.

121

Indicadores de Programas - Guia Metodolgico

Anexo V Roteiro de Entrevista


para pr-montagem de Ocina

Equipe Gerencial
1. Considerando as aes atualmente implementadas, qual o objetivo e resultado do
programa?
(Objetivo: Levantar o real objetivo do programa no o que necessariamente consta do SIGPlan ou o que deveria ser o programa e o resultado que este consegue
efetivamente entregar, a partir das aes atualmente implementadas)
2. Na sua opinio, existe necessidade de reformular o objetivo do programa?
(Objetivo: Possibilitar reflexes que conduzam ao aperfeioamento da teoria do
programa e levantar contribuies para possveis alteraes na redao que consta
do PPA)
3. Qual o perfil do pblico-alvo que o programa pretende atingir? H necessidade de
reformulao do pblico-alvo?
(Objetivo: Mapear o recorte dado pela gerncia do programa para a definio do
pblico-alvo)
4. Qual universo desse pblico-alvo na sociedade?
(Objetivo: Identificar o quantitativo do pblico-alvo)
5. Atualmente, quantos so beneficiados pelo programa?
(Objetivo: Identificar o quantitativo do pblico-alvo efetivamente atendido pelo
programa)
6. O que norteou a formulao dos indicadores atuais?
(Objetivo: Conhecer os critrios e os parmetros que deram origem aos atuais
indicadores)
7. H algum na equipe com experincia na construo e anlise de indicadores?
(Objetivo: Identificar possveis entrevistados e bases de dados a serem examinadas,
conhecer a importncia que a gerncia d ao tema de indicadores)
8. Quais so as dificuldades encontradas na elaborao dos indicadores do programa? Como tm sido contornadas?
(Objetivo: Conhecer antecipadamente possveis empecilhos implantao de novos
indicadores)

123

Indicadores de Programas - Guia Metodolgico

9. So utilizados microdados das pesquisas regulares do Sistema Estatstico Nacional? Em caso afirmativo, quais? Em caso negativo por que?
(Objetivo: mapear possveis variveis que so utilizados pela gerncia para gesto do
programa e que podero ser incorporadas na elaborao dos indicadores)
10. Tem registros administrativos? Quais so? Como a forma de acompanhamento? Qual suporte tecnolgico? Periodicidade? Tem informaes de preenchimento
obrigatrio? So gerados indicadores a partir dos mesmos? Quais?
(Objetivo: Conhecer os dados disponveis na gerncia do programa utilizados na
gesto do programa e que podero ser utilizados na elaborao dos indicadores)
11. Como voc avalia os atuais indicadores? Baseado em que critrios?
(Objetivo: Obter uma anlise do entrevistado acerca da situao atual e coletar possveis sugestes de novos indicadores)
12. Os atuais indicadores, de fato, permitem aferir os resultados? Por que?
(Objetivo: Obter uma anlise do entrevistado acerca da situao atual e coletar possveis sugestes de novos indicadores)
13. Quais so os principais interessados/parceiros? E que tipo de informao eles
necessitam?
(Objetivo: mapear possveis entrevistados e coletar sugestes de novos indicadores)
14. Existem informaes regionalizadas sobre o Programa?
(Objetivo: Conhecer os dados disponveis na gerncia do programa utilizados na
gesto do programa e que podero ser utilizados na elaborao dos indicadores)

Parceiros
1. Na sua opinio, qual o objetivo do programa e qual o resultado esperado?
(Objetivo: Levantar o real objetivo do programa no o que necessariamente consta do SIGPlan ou o que deveria ser o programa e o resultado que este consegue
efetivamente entregar.
2. Na sua opinio, existe necessidade de reformular o objetivo do programa?
(Objetivo: Possibilitar reflexes que conduzam ao aperfeioamento da teoria do
programa e levantar contribuies para possveis alteraes na redao que consta
do PPA)
3. Qual o perfil do pblico-alvo que o programa pretende atingir? H necessidade de
reformulao?
(Objetivo: Mapear o recorte dado pela gerncia do programa para a definio do
pblico-alvo)

124

Indicadores de Programas - Guia Metodolgico

4. Qual universo desse pblico-alvo na sociedade?


(Objetivo: Identificar o quantitativo do pblico-alvo)
5. Atualmente, quantos so beneficiados pelo programa?
(Objetivo: Identificar o quantitativo do pblico-alvo efetivamente atendido pelo
programa)
6. Vocs possuem registros administrativos? Quais so? Como a forma de
acompanhamento? Qual suporte tecnolgico? Periodicidade? Tem informaes de
preenchimento obrigatrio?
(Objetivo: Conhecer os dados disponveis e utilizados na gesto teis na elaborao
dos indicadores)
7. Quais so os principais interessados/parceiros? E que tipo de informao eles
necessitam?
(Objetivo: mapear possveis entrevistados e coletar sugestes de novos indicadores)
8. Vocs possuem informaes regionalizadas?
(Objetivo: Conhecer os dados disponveis e utilizados na gesto teis na elaborao
dos indicadores)
9. As informaes solicitadas pela gerncia do Programa esto sendo repassadas?
Se no, quais so as principais dificuldades.
(Objetivo: conhecer o grau de integrao das informaes entre os parceiros)
10. H mesmo uma demanda reprimida?
(Objetivo: confirmar a existncia do problema central que o programa pretende
resolver)
11. Voc tem sugestes para a melhoria da eficcia do programa?
(Objetivo: Identificar recomendaes dos parceiros e apresent-la gerncia do
programa).

125

Tema

Fontes de Indicadores

www.worldbank.org
www.cepal.cl
www.un.org/databases
www.ocde.org
www.pnud.org

www.ibge.gov.br
www.ipea.gov.br

www.mte.gov.br
www.rais.gov.br

www.datasus.gov.br

www.previdencia.gov.br

www.mma.gov.br
www.ibge.gov.br

www.fazenda.gov.br
www.bacen.gov.br
www.ipea.gov.br
www.fgv.com.br

www.mds.gov.br
www.cidades.gov.br

www.mct.gov.br
www.cnpq.br

www.inep.gov.br

Portal da Internet

8. Cadastrar os indicadores
Os atributos descritivos dos indicadores escolhidos devem ser
cadastrados no sistema disponvel na Internet.

7. Validar os indicadores selecionados


Trata-se de uma anlise qualitativa de conformidade e
pertinncia, utilizando-se para isso de um check list.

6. Realizar anlise de trade-off


Permite analisar vantagens e desvantagens das alternativas.

5. Mapear indicadores candidatos


Caso no seja possvel selecionar no SEN, os indicadores
devero ser construdos no contexto do programa.

4. Definir critrios de seleo


Serviro de base para a seleo e podem ser de dois tipos:
Eliminatrios: so os critrios que devem ser obrigatoriamente atendidos, do contrrio a medida dever ser descartada.
Classificatrios: serviro para estabelecer um ranking dos
indicadores, possibilitando escolhas mais seguras.

e-mail: spi@planejamento.gov.br
telefone: (61) 2020 4800

Contatos

http://www.planejamento.gov.br

Esse guia de referncia rpida um resumo da publicao


Indicadores de Programas - Guia Metodolgico, cuja verso
completa pode ser obtida no portal do Ministrio do Planejamento, Oramento e Gesto:

Informaes adicionais

Qual a principal instituio produtora de indicadores no


Brasil?
Certamente o Instituto Brasileiro de Geografia e Estatstica IBGE, que possui a maior base de dados estatstica da Amrica
Latina. No contexto do Sistema Estatstico Nacional assume um
duplo papel: de coordenao do sistema, por meio da integrao
dos subsistemas e da padronizao de procedimentos, conceitos
e classificaes; e de principal provedor de dados e informaes
para os mais diferentes segmentos da sociedade.

O que so ndices?
Os ndices ou indicadores sintticos sintetizam diferentes conceitos da realidade emprica, ou seja, derivam de operaes realizadas com indicadores analticos e tendem a retratar o comportamento mdio das dimenses consideradas. Diversas instituies
nacionais e internacionais divulgam indicadores sintticos sendo
exemplos o PIB, IDEB e o IDH.

Qual a relao dos Indicadores com a teoria do Programa?


Uma boa escolha de indicadores tem relao direta e est condicionada a um bom desenho do Programa, principalmente em
relao definio do objetivo. Um indicador aponta resultados
no pblico-alvo e o resultado nada mais que um objetivo
concretizado. Se o objetivo est mal definido no h indicador
que expresse se o resultado foi bom ou ruim.

O que so Indicadores de Programa?


So medidas que expressam os benefcios no pblico-alvo
decorrentes das aes empreendidas no contexto do Programa
e tm particular importncia no contexto de gesto pblica
orientada a resultados. So exemplos a taxa de reprovao
escolar e a taxa de homicdios.

Perguntas mais frequentes

Contatos

Perguntas mais frequentes

Fontes de Indicadores

Mtodo de construo

Sistema Estatstico Nacional

Marco conceitual

Por que Indicadores

Apresentao

Guia de Referncia

Indicadores de
Programas

Indicadores de Programas - Guia Metodolgico

Anexo VI Guia de Referncia

127

Fevereiro de 2010

128

Validade: capacidade do indicador de representar com maior


proximidade a realidade que se deseja medir e modificar.
Confiabilidade: devem ter origem em fontes confiveis, que
utilizem metodologias reconhecidas e transparentes de coleta,
processamento e divulgao.
Simplicidade: devem ser de fcil obteno, construo, manuteno, comunicao e entendimento.
Sensibilidade: a capacidade de refletir tempestivamente as
mudanas decorrentes das intervenes realizadas.
Desagregabilidade: capacidade de representao regionalizada
de grupos sociodemogrficos.
Economicidade: capacidade do indicador de ser obtido a custos
mdicos.
Estabilidade: capacidade de estabelecimento de sries histricas, que permitem monitoramentos e comparaes.

Propriedades

Indicadores so instrumentos que permitem identificar e medir


aspectos relacionados a um determinado conceito, fenmeno,
problema ou resultado de uma interveno na realidade. A
principal finalidade de um indicador traduzir, de forma mensurvel, determinado aspecto de uma realidade dada (situao
social) ou construda (ao de governo), de maneira a tornar
operacional a sua observao e avaliao.

Definio

Marco conceitual

Princpios importantes como performance e transparncia,


dentre outros, so vistos como essenciais para a consolidao
de um Estado moderno e tm liderado uma profunda reforma
nos governos. Essa viso baseia-se na premissa que, como o
estado responsvel por um grande nmero de operaes e
projetos, preciso quantificar os parmetros que permitem aos
gestores, polticos e cidados conhecer, opinar e decidir acerca
das mltiplas e complexas atividades estatais, o que faz dos
indicadores instrumentos basilares s melhores prticas de
administrao pblica.

Por que Indicadores?

Ao estabelecer, a partir do PPA 2000-2003, que toda ao


destinada a proporcionar bem ou servio para atendimento a
demandas da sociedade fosse estruturada em Programas, o
Governo Federal determinou tambm que fossem previstos
indicadores destinados a quantificar a realidade que se pretendia modificar, considerando a premissa que medir resultados
essencial para atestar a conquista de objetivos.

Apresentao

De acordo com a lei 6183, de 11/12/1974, o SEN visa possibilitar o conhecimento da realidade fsica, econmica e social do
Pas.
Integram o Sistema todos os rgos e entidades da Administrao Pblica direta e indireta, de mbito federal, estadual ou
municipal, e entidades de natureza privada que exeram
atividades estatsticas e para isso recebam subveno ou auxlio
dos cofres pblicos.
Os diversos produtos do Sistema como pesquisas (Censo Demogrfico, PNAD, PME) e publicaes (Sntese de Indicadores
Sociais, Indicadores de Desenvolvimento Sustentvel, Bsicos de
Sade, Mercado de Trabalho etc.) constituem excelentes fontes
para a seleo de indicadores de programas.

Sistema Estatstico Nacional - SEN

Indicadores para Avaliao de Desempenho: classificao


relacionada avaliao dos recursos alocados e aos resultados
alcanados. Podem ser:
Economicidade: expressam os gastos incorridos na alocao dos
insumos.
Eficincia: possuem estreita relao com produtividade, ou seja,
o quanto se consegue produzir com os meios disponibilizados.
Eficcia: apontam o grau em que um programa atinge as metas
e objetivos planejados para o pblico-alvo.
Efetividade: em geral so multiprogramticos e medem os
efeitos positivos ou negativos na realidade social.

Indicadores de Gesto do Fluxo de Implementao: classificao dos indicadores de acordo com a aplicao nas etapas
do ciclo de implementao do programa. Podem ser:
Insumo: so indicadores ex-ante facto que tm relao direta
com a disponibilidade dos recursos humanos, materiais e financeiros a serem utilizados.
Processo: so medidas in curso ou intermedirias, que traduzem
o esforo empreendido na obteno dos resultados.
Produto: so medidas ex-post facto que demonstram o quanto
foi entregue de produtos ou servios.
Resultado: so de especial interesse para os Programas, pois
esto relacionados aos benefcios no pblico-alvo e expressam
o grau de cumprimento dos objetivos.
Impacto: possuem natureza multidimensional, tm relao com
a sociedade como um todo e medem os efeitos das estratgias
governamentais de mdio e longo prazos.

Taxonomias

Mensurabilidade: a capacidade de alcance e mensurao com


preciso e sem ambiguidade.
Auditabilidade: qualquer pessoa deve sentir-se apta a verificar a
boa aplicao das regras de uso dos indicadores.

8. Cadastrar
indicadores

7. Validar indicadores

6. Realizar anlise de
trade off

5. Mapear indicadores
candidatos

4. Definir critrios de
seleo

3. Definir tipos de
indicadores

2. Identificar
interessados

1. Avaliar objetivos e
metas

3. Definir tipos de indicadores necessrios


Os tipos podem ser:
Indicador de resultado final: ou indicador-chave, mede o
resultado final no seu aspecto mais relevante.
Indicador complementar de resultado: s vezes um objetivo
de programa possui tal grau de abrangncia que demanda
outros indicadores, alm do indicador-chave.
Indicador especfico: serve para expressar necessidades dos
interessados ou especificidades inerentes ao conceito a ser
medido (transversalidades, impactos etc.).

2. Identificar os principais interessados


Faz-se necessrio determinar quem so os principais interessados, pois diferentes envolvidos possuem diferentes necessidades de informao.

1. Avaliar objetivos e metas


Entender bem objetivos e metas essencial para a escolha de
indicadores vlidos. A medio dos resultados ir apontar o
grau de alcance dos objetivos e de sucesso do programa.

Rampa de acesso 3
Para avaliar
Indicadores de
Programa existentes

Rampa de acesso 2
Para complementar
Indicadores de
Programa existentes

Rampa de acesso 1
Para contruir
Indicadores de
Programa

Mtodo de construo

Indicadores de Programas - Guia Metodolgico

Você também pode gostar