Escolar Documentos
Profissional Documentos
Cultura Documentos
Indicadores de Programas
Guia Metodolgico
CDU 35 : 346.512
Apresentao
Desde o sculo XIX, as naes tm empreendido esforos para modernizar a administrao pblica, de forma que o Estado atue melhor tanto na entrega de produtos e servios sociedade, quanto como um
indutor estratgico do desenvolvimento nacional por meio de mltiplos
arranjos dos quais participam diferentes atores. Para tanto, aplicam
modelos de gesto voltados para resultados com foco nos impactos na
qualidade de vida da sociedade e priorizam a transparncia, a maximizao dos recursos pblicos e a responsabilizao perante a populao.
Para cumprir esse objetivo, o planejamento governamental constituise em instrumento essencial para transpor a tendncia imediatista e
desestruturadora do cotidiano administrativo, estabelecendo uma ponte entre as aes de curto prazo e a viso de futuro materializada, dentre outras formas, no planejamento intersetorial em bases territoriais.
No Brasil, o modelo institucional estabeleceu o Plano Plurianual - PPA
como um instrumento coordenador da atuao governamental que
estrutura a ao do governo para um quadrinio, traduzindo a orientao poltica e imprimindo uma diretriz estratgica ao governo.
O PPA composto de Programas, que renem um conjunto de aes
orientadas ao alcance de um objetivo politicamente declarado a partir
de um problema, demanda da sociedade ou aproveitamento de uma
oportunidade. Neste sentido, a identicao dos resultados das aes
por meio de medidas de desempenho se constitui no eixo de comunicao com a sociedade e de evidncia da evoluo do plano, o que faz
dos indicadores elementos fundamentais para todo o ciclo de gesto
das polticas pblicas.
As avaliaes da qualidade dos indicadores dos programas demonstram que a administrao pblica carece de uma referncia que norteie a compreenso e construo de medidas de desempenho de programas, apesar de importantes iniciativas terem sido efetivadas. Nesse
contexto, o Ministrio do Planejamento, Oramento e Gesto MP, por
meio da Secretaria de Planejamento e Investimentos Estratgicos SPI,
apresenta e sugere aos rgos e demais interessados um guia sobre
indicadores, contendo uma sntese conceitual e uma metodologia de
Danyelle Iamada
- Moderadora
- Programa Providencia
Marta Cassiolato
- Ministrio do Trabalho e
Emprego
- Empresa Brasileira de
Comunicao
- Universidade de Braslia
Sonia Nahas
- Fundao SEADE
Sumrio
1 Introduo ................................................................................ 15
1.1 Objetivos ........................................................................... 15
1.2 Resultados esperados ........................................................ 16
1.3 Indicadores e a teoria do Programa .................................... 16
1.4 Grandes mitos ................................................................... 19
2 Marco Conceitual...................................................................... 21
2.1 Conceito de indicadores .................................................... 21
2.2 Histrico dos indicadores ................................................... 22
2.3 Funes Bsicas ................................................................. 23
2.4 Propriedades...................................................................... 24
2.5 Taxonomias ....................................................................... 27
2.6 Propriedades e taxonomias aplicadas gesto
de Programas .................................................................... 33
2.7 Limitaes ......................................................................... 35
3 O Sistema Estatstico Nacional ................................................... 39
3.1 Objetivo ............................................................................ 40
3.2 Componentes .................................................................... 40
3.3 O papel do IBGE ................................................................ 42
3.4 Principais produtos disponveis ........................................... 43
4 Indicadores no PPA .................................................................... 47
4.1 Marco legal e dimenses estratgicas ................................ 47
4.2 Papis e responsabilidades ................................................. 48
4.3 Atributos ........................................................................... 49
4.4 Pontos de Destaque ........................................................... 50
5 Mtodo para Construo de Indicadores de Programas ............. 53
5.1 Fluxograma geral ............................................................... 53
5.2 Descrio das atividades .................................................... 54
6 Simulao de Uso...................................................................... 65
6.1 Nome do Programa ........................................................... 65
6.2 Evidncias da existncia do problema................................. 65
6.3 Delimitao do problema e do pblico-alvo ....................... 66
6.4 Aplicao do mtodo para construo de indicadores .......... 66
7 Dinmica de Aplicao do Mtodo: Ocina de Indicadores .......... 73
7.1 Viso geral ........................................................................ 73
7.2 Descrio do processo ....................................................... 74
7.3 Papis e responsabilidades ................................................. 78
7.4 Descrio do projeto-piloto ................................................ 79
7.5 Concluses e Recomendaes ........................................... 89
8 Consideraes Finais ................................................................. 91
Referncias Bibliogrcas ................................................................ 93
Glossrio......................................................................................... 97
Anexo I Fontes, Publicaes e Tecnologias .................................. 101
Anexo II Exemplos de Classicao por Temas ............................ 115
Anexo III Atributos dos indicadores do PPA ................................. 117
Anexo IV Perguntas Mais Frequentes .......................................... 119
Anexo V Roteiro de Entrevista para pr-montagem
de Ocina .................................................................... 123
Anexo VI Guia de Referncia ...................................................... 127
Lista de Quadros
Quadro 1 Requisitos de um bom indicador ................................... 25
Quadro 2 Correlao entre etapas, caractersticas
e tipologia .................................................................... 34
Quadro 3 Princpios fundamentais das estatsticas ociais ............. 39
Quadro 4 Papis e responsabilidades no tratamento de
indicadores de Programas ............................................. 49
Quadro 5 Exemplos de critrios para seleo de indicadores ........... 57
Quadro 6 Critrios utilizados na seleo de indicadores ................ 68
Quadro 7 Indicadores candidatos ................................................. 69
Quadro 8 Atributos de um indicador selecionado ......................... 71
Quadro 9 Papis e responsabilidades para a ocina
de indicadores .............................................................. 78
Quadro 10 Exemplos de indicadores candidatos
denidos na pr-montagem ....................................... 84
Lista de Figuras
Figura 1 Referncias bsicas do Programa .................................... 18
Figura 2 Pirmide da informao .................................................. 29
Figura 3 Indicadores de gesto para um programa
de ateno sade ........................................................ 31
Figura 4 Correlao entre os tipos de indicadores
e o uxo de implementao de programas ..................... 33
Figura 5 Ciclo de gesto de Programas ......................................... 34
Figura 6 SEN e as principais instituies integrantes
e produtoras de estatsticas............................................. 41
Figura 7 Exemplos de subsistemas que compem o SEN ............... 42
Figura 8 Dimenses estratgicas do Plano Plurianual .................... 48
Figura 9 Rampas de acesso ao mtodo de oito
passos para construo de indicadores........................... 54
Figura 10 Matriz de priorizao de Indicadores ............................. 61
Figura 11 Simulao de matriz de avaliao
quantitativa de indicadores ........................................... 70
Figura 12 Metodologia de construo de indicadores
por meio de ocina ...................................................... 74
Figura 13 Referncias bsicas do PNMPO ..................................... 82
Figura 14 Planejamento da Ocina ............................................... 83
Figura 15 Matriz nal de priorizao de indicadores ..................... 87
Figura 16 Atributos de um indicador de Programa ........................ 88
1 Introduo
Considerando a importncia das aes de governo no crescimento econmico e no desenvolvimento social do Pas, so fundamentais a construo e a ampla utilizao de medidas de desempenho que expressem
o grau de alcance das metas e objetivos estabelecidos.
Na viso da OCDE (2008), por exemplo, dado que os resultados do
setor pblico caracterizam-se, dentre outros, pela qualidade dos bens
e servios entregues sociedade por intermdio de aes alocativas,
pela regulao do mercado e pelo seu prprio desempenho, capazes de
assegurar a convergncia dos meios na direo dos objetivos a alcanar,
a m escolha ou mudana dos parmetros de medio pode aumentar
ou diminuir signicantemente o PIB de um pas, conforme constatou
uma recente pesquisa inglesa.
Alm disso, princpios importantes como performance, transparncia e
accountability, viabilizados pelas medidas de desempenho, so essenciais para a consolidao de um Estado moderno, pois proporcionam
elementos que respaldam as decises e podem impulsionar uma profunda reforma nos governos na direo de uma maior efetividade das
suas aes.
Nesse contexto, considerando que o Estado responsvel por um grande nmero de operaes e projetos, preciso quanticar ou qualicar
os parmetros que permitam s equipes gerenciais, dirigentes, polticos
e cidados conhecer, opinar e decidir acerca dos mltiplos e complexos
arranjos governamentais, o que faz dos indicadores de desempenho
instrumentos fundamentais para a gesto pblica decididamente voltada para resultados.
1.1 Objetivos
O presente guia visa a estabelecer uma metodologia para a construo
de indicadores para Programas do PPA do Governo Federal, com foco
na estruturao de mtodos, tcnicas e instrumentos que possibilitem
15
16
Indicadores de Programa medem os efeitos ou benefcios no pblicoalvo decorrentes dos produtos e servios entregues pelas aes empreendidas no contexto do Programa, ou seja, expressam a resultante dos
projetos e atividades implementadas pelo Programa. Assim, luz do
objetivo proposto, os indicadores so os principais instrumentos (mas
no necessariamente os nicos1) para vericar se os resultados do Programa foram satisfatrios ou insatisfatrios, da a necessidade de uma
boa denio do que se pretende entregar (aes) e alcanar (objetivo).
Existem diversas metodologias orientadas a explicitar a teoria de um
Programa ou projeto e atestar a consistncia da sua estratgia de
implementao. Como exemplos pode-se citar a metodologia alem
ZOPP Planejamento de Projetos Orientados por Objetivos e a Metodologia do Marco Lgico (ou Quadro Lgico) desenvolvida pela Agncia
Americana para o Desenvolvimento Internacional (USAID).
No mbito da Administrao Pblica Federal, a partir de estudos empreendidos pela Comisso de Monitoramento e Avaliao CMA e pelo
Instituto de Pesquisa Econmica Aplicada IPEA, a SPI, responsvel pela
qualidade do ciclo de planejamento das polticas pblicas, optou pela
metodologia do Modelo Lgico de Programas, que permite estabelecer
a correlao entre o objetivo a ser alcanado e o problema que deu
causa a esse objetivo, as correlaes entre as aes a serem empreendidas e as causas do problema-alvo, bem como outras informaes
essenciais s boas prticas de elaborao de Programas2.
Na falta da aplicao da metodologia do Modelo Lgico, algumas perguntas facilitam e orientam a anlise das referncias bsicas de um Programa j existente, referncias essas representadas na Figura 1. A saber:
1. O Problema est bem delimitado?
2. O Objetivo do Programa est bem denido?
Um indicador uma abstrao que expressa uma dada realidade, mas no a nica;
sempre que possvel o gestor de uma poltica pblica deve buscar outras formas de
medio (pesquisas amostrais, contratao de avaliaes externas, auditorias etc.) dos
efeitos esperados no pblico-alvo do Programa.
A Escola Nacional de Administrao Pblica ENAP, em parceria com o MP, periodicamente realiza cursos e ocinas para a aplicao desse modelo aos programas do PPA.
17
Objetivo
Problema
Pblico-alvo
18
Ao 1
Ao 2
Ao 3
.
.
.
Ao n
Resultado
Indicadores
19
2 Marco Conceitual
O marco conceitual para indicadores busca estabelecer uma base terica comum para entendimento de questes importantes como denio, propriedades, classicaes mais utilizadas e limitaes. Para o
presente guia metodolgico sero replicados os conceitos que constam
de um documento prprio e de uso geral denominado Marco Conceitual para Indicadores4.
21
mais amplos sobre os fenmenos a que se referem. J segundo Magalhes (2004), so abstraes ou parmetros representativos, concisos,
fceis de interpretar e de serem obtidos, usados para ilustrar as caractersticas principais de determinado objeto de anlise.
Cabe salientar que, segundo Jannuzzi (2003), o registro de um determinado cadastro administrativo ou uma estatstica produzida por uma instituio especializada no necessariamente um indicador de desempenho; portanto, uma importante distino precisa ser feita entre:
Estatsticas Pblicas: representam ocorrncias ou eventos da realidade social, so produzidas e disseminadas pelas instituies
que compem o Sistema Estatstico Nacional5 e servem de insumos para a construo de indicadores;
Indicadores de Desempenho de Programas: dentro de uma nalidade programtica, permitem uma anlise contextualizada e
comparativa dos registros e estatsticas, no tempo e no espao;
Sistema de Indicadores: constitui um conjunto de indicadores
que se referem a um determinado tema ou nalidade programtica. So exemplos o sistema de indicadores do mercado de trabalho (MTE) e o sistema de indicadores urbanos (Naes Unidas).
Tanto para a pesquisa social quanto para o desenho e a implantao
de Polticas Pblicas, Planos e Programas, os indicadores surgem como
uma mediao entre a teoria e as evidncias da realidade, gerando
instrumentos capazes de identicar e medir algum tipo de fenmeno
social, estabelecido a partir de uma reexo terica (CARDOSO, 1998).
22
Veja captulo 3
acreditava-se que o nvel de produo evidenciava o grau de desenvolvimento de um pas (SANTAGADA, 2007).
Tal paradigma comeou a mudar na dcada de 1960, tambm nos
EUA, quando se percebeu que os ndices de desenvolvimento econmico, tal como o PIB per capita, no explicavam as lacunas existentes no
processo de desenvolvimento social. No ano de 1966 surgiu, pela primeira vez, na obra coletiva organizada por Raymond Bauer a expresso
Indicadores Sociais, cuja nalidade era avaliar as mudanas socioeconmicas na sociedade americana decorrentes da corrida espacial. J
em 1969 o ento presidente Nixon criou o Servio Nacional de Metas e
Pesquisas, com propsito de anualmente elaborar e divulgar informaes acerca do estado social da nao (SANTAGADA, 2007).
Mais adiante, na dcada de 1970, houve um grande avano na produo de indicadores sociais patrocinados por organismos nacionais e
internacionais (ONU, OCDE, PNUD, OMS e outros), com a divulgao
de ndices regionais, nacionais e supranacionais permitindo, inclusive, a
comparao das condies de vida entre os pases.
J na dcada de 1980, a crise scal e a viso de um Estado mnimo
economicamente eciente, adotada principalmente na Inglaterra e nos
EUA, levaram a um certo desprezo pelos indicadores sociais. A partir da
dcada de 1990, contudo, os indicadores sociais e ambientais assumiram um papel de destaque quando novos temas como desigualdade
social, qualidade de vida, direitos humanos, liberdades polticas, desenvolvimento sustentvel, responsabilidade social e biodiversidade passaram a compor a pauta de governo da maioria das naes.
23
2.4 Propriedades
Diante da grande quantidade de medidas disponveis, o processo de
seleo de indicadores deve buscar o maior grau possvel de aderncia
a algumas propriedades que caracterizam uma boa medida de desempenho. Na viso da OCDE (2002 apud MAGALHES 2004), por exemplo, um bom indicador deve apresentar as seguintes propriedades e
requisitos:
24
Requisitos
Representatividade
Simplicidade
Relevncia para
a formulao de
polticas
Sensvel a mudanas
Possibilita comparaes em nvel internacional
Possui escopo abrangente
Possui valores de referncia
Fundamentado cientificamente
Adequao anlise
Mensurabilidade
Adequadamente documentado
Atualizado periodicamente
25
26
Expresso que denota uma situao em que h conito de escolha (veja glossrio)
e, portanto, obtidas atravs de instrumentos de coleta, seja por amostra ou censo, estatsticas, aplicao de questionrios, observao etc.,
dependendo do aspecto a ser medido. Uma proposta de elaborao de
indicadores dever permitir dispor de indicadores de medio factvel,
em momentos adequados e com uma periodicidade que equilibre as
necessidades de informao com os recursos tcnicos e nanceiros.
2.5 Taxonomias
A taxonomia existente na literatura aponta mais de uma dezena de formas e critrios de classicao de indicadores. Na viso de Rua (2004),
por exemplo, os indicadores so classicados em:
Indicadores Estratgicos: orientados viso e aos objetivos estratgicos da organizao;
Indicadores de Processo: orientados ao acompanhamento e
avaliao do desempenho do processo. Podem ser de:
o Produtividade ou Ecincia: expressam a relao entre a
quantidade de recursos empregados e os produtos ou servios produzidos;
o Qualidade ou Eccia: medem o grau de satisfao do cliente
com os produtos ou servios oferecidos, bem como o grau de
atendimento aos requisitos denidos;
o Capacidade: medem a capacidade de resposta de um processo, considerando as sadas produzidas por unidade de
tempo;
Indicadores de Projeto: voltados a monitorar e avaliar a execuo
de projetos7.
Outros autores como Villela et al. (2007), Jannuzzi (2002 e 2005) e Santagada (2007) tambm abordam taxonomias. Contudo, no intuito de
simplicar o entendimento e evitar um emaranhado conceitual, neste
trabalho sero consideradas como referncias as seguintes classicaes: (1) Natureza do Indicador; (2) rea Temtica; (3) Complexidade;
(4) Objetividade; (5) Gesto do Fluxo de Implementao de Programas;
e (6) Avaliao de Desempenho.
27
Natureza do indicador
O IBGE, principal produtor de estatsticas e coordenador do Sistema
Estatstico Nacional, consolida os indicadores de algumas das suas principais publicaes segundo essa classicao. Assim, dentro de uma
perspectiva ampla e tambm da evoluo histrica, os indicadores
podem ser:
Econmicos: foram os primeiros a serem produzidos e por isso
possuem uma teoria geral mais consolidada, no se restringem
apenas rea pblica e reetem o comportamento da economia de um pas. No setor governamental so muito utilizados na
gesto das polticas scal, monetria, cambial, comrcio exterior,
desenvolvimento e outras. No setor privado subsidiam decises
de planejamento estratgico, investimentos, contrataes, concorrncia, entrada ou sada de mercados etc;
Sociais: so aqueles que apontam o nvel de bem-estar geral e
de qualidade de vida da populao, principalmente em relao
sade, educao, trabalho, renda, segurana, habitao, transporte, aspectos demogrcos e outros;8
Ambientais: demonstram o progresso alcanado na direo
do desenvolvimento sustentvel, que compreende, segundo as
Naes Unidas, quatro dimenses: ambiental, social, econmica
e institucional.9
rea Temtica
Essa classicao bastante utilizada para a localizao de indicadores
em geral. Conforme os exemplos apresentados no Anexo II, os indicadores podem ser classicados em diferentes temas como sade, educao, mercado de trabalho, segurana, justia, pobreza, demogrcos e
outros (JANNUZZI, 2005).
Complexidade
Essa classicao permite compreender que indicadores simples podem
ser combinados de forma a obter uma viso ponderada e multidimensional da realidade. Segundo a tica de complexidade, representada na
Figura 2, os indicadores podem ser:
28
Grau de Agregao
ndices
Indicadores
Dados analisados
Dados originais
Quantidade de Informaes
Objetividade
Essa classicao tem proximidade com o carter quantitativo ou qualitativo de um indicador. Na viso de Jannuzzi (2005) os indicadores
podem ser:
Objetivos: referem-se a eventos concretos da realidade social;
so indicadores em geral quantitativos, construdos a partir de
estatsticas pblicas ou registros administrativos disponveis nos
Ministrios;
Subjetivos: so indicadores qualitativos utilizados para captar
sensaes ou opinies e utilizam tcnicas do tipo pesquisa de
opinio, grupo focal ou grupo de discusso.
29
30
Processo
Produto
Recursos
financeiros
liberados no
ms
Mdicos
contratados
Campanhas
realizadas
Resultado
Impacto
Diminuio da
taxa de
morbidade
por doenas
DST
Aumento da
expectativa de
vida da
populao
31
Importante: os Indicadores de Resultado, que permitem realizar avaliaes de eficcia ou do grau de alcance dos objetivos dos Programas,
materializam o conceito de Indicadores de Desempenho de Programas
citado diversas vezes neste guia.
32
Indicadores de
Avaliao de
Desempenho
Fluxo de
implementao de
Programas
Objetivos
Impacto
Efetividade
Mudanas na
Sociedade
Governo e
Setoriais
Resultado
Eficcia
Resultado no
Pblico-alvo
Programa
Produtos
Produto
Aes
Processo
Insumo
Eficincia
Economicidade
Recursos
Humanos
Materiais e
Financeiros
Gastos
Problemas,
Demandas ou
Potencialidades
Causas
33
Reviso
Ciclo de Gesto
de Polticas
Pblicas
Avaliao
Planejamento
Execuo e
Monitorao
34
Objetivo
Propriedades
Prioritrias
Tipologias
Principais Fontes
Validade,
Indicadores
Confiabilidade. Analticos.
Indicadores
Objetivos.
Validade,
Confiabilidade
e Desagregabilidade.
Indicadores de
Insumo, de
Produto e de
Resultado.
Indicadores
Sintticos.
Execuo e
Monitoramento
Sensibilidade,
Disponibilidade, Economicidade, Mensurabilidade e
Estabilidade.
Indicadores
de Insumo,
de Processo e de
Produto.
Etapas
Objetivo
Propriedades
Prioritrias
Avaliao
Avaliar alcance
de objetivos ou
a eficcia dos
Programas.
Reviso
Realizar alteraValidade,
es e ajustes no Confiabilidade
Programa.
e Desagregabilidade.
Tipologias
Indicadores de
Insumo, de
Produto e de
Resultado.
Indicadores
Sintticos.
Principais Fontes
Pesquisas amostrais ou dirigidas;
Registros administrativos; Dados
geradas pelos
Programas.
Censo demogrfico, Censo
populacional,
Pesquisas amostrais diversas.
2.7 Limitaes
Indicadores so representaes imperfeitas e suscetveis
Por denio os indicadores so abstraes, representaes, simplicaes de uma dada realidade, portanto so suscetveis aos vieses de
quem produziu, coletou e/ou interpretou. Desta forma, no se deve
conar cega e eternamente nas medidas, o que signica dizer que o
gestor de uma poltica pblica deve, periodicamente, realizar uma avaliao crtica acerca da adequabilidade dos indicadores selecionados,
considerando ainda que, a todo tempo, surgem modelos mais aperfeioados baseados em novas teorias. Deve-se, portanto, conar nas
escolhas realizadas enquanto no surgirem alternativas melhores, mais
vlidas e aprimoradas, desenvolvidas a partir de pesquisas e trabalhos
metodologicamente conveis (MAGALHES, 2004).
35
36
37
3 O Sistema Estatstico
Nacional
Na viso de Guimares (1990 apud FEIJ e VALENTE 2005), o conceito de Sistema Estatstico Nacional est relacionado a duas dimenses
distintas: (1) ao conjunto de informaes estatsticas estruturadas de
acordo com regulamentos e procedimentos especcos que expressam
as realidades social, ambiental e econmica de um pas; e (2) atuao
coordenada e eciente das instituies nacionais e subnacionais que
produzem e disseminam estatsticas pblicas. No Quadro 3 esto representados os dez princpios fundamentais que norteiam a produo de
estatsticas ociais, estabelecidos pelas Naes Unidades em 1994.
Quadro 3 - Princpios fundamentais das estatsticas ociais
1. Relevncia, Imparcialidade e Acesso Universal: estatsticas pblicas devem ser
teis, isentas e disponveis ao pblico em geral.
2. tica e Profissionalismo: esses princpios sempre devem orientar o trabalho das
agncias produtoras de estatsticas.
3. Confiabilidade e Transparncia: devem ser utilizados padres e procedimentos
cientficos conhecidos e reconhecidos.
4. Preveno de Erros: as instituies estatsticas devem implementar mecanismos
que possam evitar o uso incorreto das estatsticas.
5. Custo-benefcio das Fontes: as fontes para estatsticas devem ser escolhidas
considerando a qualidade, oportunidade, disponibilidade e custo.
6. Sigilo: dados individuais devem ser preservados e utilizados apenas para fins
estatsticos.
7. Legislao: leis, regulamentos e procedimentos devem ser tornados pblicos.
8. Coordenao Nacional: as instituies oficiais e no-oficiais devem trabalhar de
forma coordenada para evitar inconsistncias, sobreposio e desperdcio.
9. Padres Internacionais: a adoo de padres internacionais promove consistncia e eficincia do sistema como um todo.
10. Cooperao: a cooperao e a troca de experincias contribuem para o aperfeioamento dos diversos sistemas.
Fonte: Adaptado da UNITED NATIONS: Fundamental Principles of Ofcial Statistics (1994).
39
Nos processos de elaborao e gesto de Programas do Plano Plurianual, particularmente nas atividades de construo de indicadores de
desempenho, importante que os responsveis e demais interessados
atentem que, no Brasil, existe um sistema de estatsticas pblicas formalmente estruturado. Trata-se do Sistema Estatstico e Cartogrco
Nacional - SEN, criado pela Lei n 6.183, de 11 de dezembro de 1974.
3.1 Objetivo
De acordo com o artigo 1o da Lei n 6.183/1974, o Sistema Estatstico
Nacional tem como objetivo possibilitar o conhecimento da realidade
fsica, econmica e social do Pas, visando especialmente ao planejamento econmico e social e segurana nacional.
Para tanto, abrange as estatsticas primrias (contnuas e censitrias);
as estatsticas derivadas (indicadores econmicos e sociais, sistemas de
contabilidade social e outros sistemas de estatsticas derivadas); e a sistematizao de dados sobre meio ambiente e recursos naturais com
referncia sua ocorrncia, distribuio e frequncia.
3.2 Componentes
A Lei n 6.183/1974 prev ainda, em seu artigo 2o, que:
Integram o Sistema Estatstico Nacional todos os rgos
e entidades da Administrao Pblica direta e indireta,
de mbito federal, estadual ou municipal, e entidades de
natureza privada, que exeram atividades estatsticas com
o objetivo referido no artigo 1 e para isso recebam subveno ou auxlio dos cofres pblicos.
Na Figura 6 esto representadas as principais organizaes nacionais e
subnacionais que operacionalizam o SEN, bem como instituies que,
apesar de no receberem recursos pblicos, tambm se constituem de
fontes para a construo de indicadores de desempenho de Programas.
40
Temas
Econmicos e
Especiais
Temas Sociais
IBGE
Educao, Esporte
e Cultura
Agricultura e Pesca
Temas de
Infraestrutura
Organismos
Internacionais
Minerao
Naes Unidas
IPEA
Sade
Instituies No
Governamentais
Indstria, Inovao e
Comrcio Exterior
MDS, MCT, CNPq,
INPE, Turismo
Proteo Social
MDS
Infraestrutura Hdrica
OCDE
Transporte
DENATRAN, DENIT
PNUD
CEPAL
FGV
Comunicaes
Desenvolvimento
Agrrio
FIPE
ANIPES
Banco Mundial
Defesa e Soberania
Energia
Trabalho
Previdncia Social
Sustentabilidade
Ambiental
MMA, IBAMA
Desenvolvimento
Urbano
Economia
MF, BACEN
OIT
Outros Temas
DIEESE
Segurana
Pblica, DPF, DPRF
Mulheres
Igualdade Racial
Instituies subnacionais
SEADE
IPARDES
FEE
CIDE
Justia
CNJ, STF
Federal, STJ
FJP
SEI
IJSN
IPLANCE
Idosos
Direitos Humanos
Crianas e
Adolescentes
Pessoas com
Deficincia
41
Subsistema
Social
Subsistema
Econmico
Subsistema de Desenvolvimento
Sustentvel
Estatsticas da
Indstria
Estatsticas
Demogrficas
Estatsticas
Ambientais
Estatsticas do
Comrcio
Estatsticas de
Sade
Estatsticas
Econmicas
Estatsticas
Agropecurias
Estatsticas de
Educao
Estatsticas
Sociais
Estatsticas de
Servios
Estatsticas do
Trabalho
Estatsticas
Institucionais
Contas
Nacionais
Estatsticas da
Pobreza
42
Nas dcadas seguintes o pas cresceu e diversicou-se. Da mesma forma o IBGE modernizou a sua estrutura organizacional e incorporou
novas tecnologias, metodologias e instrumentos de medio da realidade nacional. nesse contexto que, atualmente, o IBGE desempenha
um duplo papel: (1) de coordenao do Sistema Estatstico Nacional,
por meio da integrao dos subsistemas e da padronizao de procedimentos, conceitos e classicaes; (2) de principal provedor de estatsticas e indicadores para os mais diferentes segmentos da sociedade12.
43
Importante: a partir do ano de 2011 o IBGE implantar o Sistema Integrado de Pesquisas Domiciliares (SIPD), fruto de um amplo processo de
reformulao dos levantamentos domiciliares. O ncleo temtico deste
sistema ser formado pela PNAD Contnua, pesquisa que integrar a
PNAD e a PME, e o esquema de POFs Contnuas, composto pela POF
completa (realizada a cada 5 anos) e a POF Simplificada (que ser contnua). Estas pesquisas, por serem contnuas e de mltiplos propsitos,
sero veculos naturais para as investigaes suplementares. Uma das
grandes novidades do SIPD ser a produo de indicadores de curto prazo (trimestrais) sobre trabalho e rendimentos com abrangncia nacional e
com detalhamento por Unidade da Federao.
44
45
46
4 Indicadores no PPA
Os indicadores fazem parte do PPA e se constituem em instrumento para viabilizar a demonstrao do desempenho do Programa. Eles
representam o meio de informao sobre o andamento do Plano e se
consolidam em um importante instrumento de anlise e avaliao, formatados por meio de relatrio de avaliao encaminhado anualmente
ao Congresso Nacional.
Os indicadores caracterizam-se como atributos gerenciais dos Programas e, no PPA, so utilizados como: ndices de referncia, que constituem a linha de base para a posterior vericao dos resultados dos
Programas; ndices previstos para o nal do Plano, que retratam as
mudanas esperadas no pblico-alvo e tm relao direta com os objetivos dos Programas; e ndices parciais (geralmente anuais), necessrios
s aes de acompanhamento gerencial peridico.
47
Orientao
Estratgica
de Governo
Dimenso
Estratgica
Orientaes
Estratgicas
dos Ministrios
Dimenso TticaOperacional
Viso
de longo
prazo
Objetivos
de Governo
Objetivos Setoriais
Programas e Aes
48
Gerente de Programa
Responsabilidades
Formular os indicadores de Programa;
Gerenciar a implementao do Programa;
Apurar os ndices dos indicadores;
Monitorar a evoluo dos indicadores;
Apoiar o SecretrioExecutivo no monitoramento dos indicadores dos Programas e dos objetivos setoriais do rgo;
Secretrio Executivo
(ou equivalente)
Comit de Gesto do
PPA
4.3 Atributos
Os indicadores podem ser selecionados a partir das medidas existentes
no Sistema Estatstico Nacional, ou ser construdos para um contexto
especco de Programa por meio de registros administrativos quando
no houver indicadores no SEN que funcionem como proxy (aproximao) adequada medio de resultados14.
Uma vez cumpridas as etapas de construo, o manual de elaborao
do PPA prescreve que sejam denidos os atributos dos indicadores dos
14 Programas nalsticos devem ter pelo menos um indicador de resultado cadastrado.
Para os programas no-nalsticos, o cadastramento de indicadores opcional (Manual de Elaborao do PPA 2008-2011, pgina 45).
49
Programas apresentados na ltima etapa do mtodo descrito no captulo 5 bem como cadastrados, atualizados, monitorados e avaliados
com apoio de um sistema de informao especco.
50
51
53
1. Avaliar objetivos e
metas
2. Identificar
interessados
Rampa de acesso 2
Para complementar
Indicadores de
Programa existentes
3. Definir tipos de
indicadores
Rampa de acesso 3
Para avaliar
Indicadores de
Programa existentes
4. Definir critrios de
seleo
5. Mapear indicadores
candidatos
6. Realizar anlise de
trade off
7. Validar indicadores
8. Cadastrar
indicadores
54
dimenses que se pretendem abordar com a execuo das aes estabelecidas e que precisam ser reetidas pelos indicadores.
Quando o objetivo apresenta-se muito vago ou genrico, dicultando a identicao das dimenses de interesse, deve-se vericar se o
Programa foi avaliado por meio da metodologia do Modelo Lgico,
pois nesses casos possvel identicar essas dimenses analisando: o
enunciado do problema; as causas-raiz do problema; as evidncias de
que o problema existe (descritores); ou at mesmo analisando as aes
consideradas de maior relevncia.
Independente de ter havido ou no a aplicao do Modelo Lgico, a
tcnica da entrevista com a equipe gerencial do Programa apresentase muito til e recomendada tanto na identicao quanto na validao dessas dimenses. Nesse momento deve-se apontar, tambm, qual
das dimenses (caso sejam mais de uma) apresenta-se como a mais
relevante.
Passo 2 Identicar os principais interessados
Alm do entendimento claro dos objetivos, faz-se necessrio tambm
determinar quem so os principais interessados nos resultados do
Programa, alm, claro, da equipe gerencial (gerente do programa e
gerente executivo), pois cada envolvido possui necessidades prprias de
informao. Na simulao de uso descrita no prximo captulo, percebe-se, por exemplo, que o conceito criminalidade em estradas federais inserido no objetivo, que trata da segurana nas estradas, interessa no apenas ao Ministrio da Justia como gestor do Programa,
mas tambm ao IBAMA (contrabando de madeira e animais silvestres)
e SEDH (abuso de crianas e adolescentes s margens das estradas).
O formulador deve atentar que os indicadores no servem apenas para
o seu processo de planejamento, execuo, monitoramento e controle
gerencial, mas tambm outros stakeholders como os demais rgos
da Administrao Pblica Federal (setoriais, centrais e de controle), os
envolvidos em temas transversais, os administradores da agenda prioritria de governo, outros Poderes, as instituies privadas e do terceiro
setor etc. podem demandar a escolha de indicadores especcos orientados s suas expectativas.
55
56
57
Critrios
Rastreabilidade ao logo do tempo
Desagregabilidade sociodemogrfica
Disponibilidade quando necessrio
Sensibilidade interveno
Existncia de suporte tcnico
Fonte: Ministrio do Planejamento
58
59
1 atende
1
Pouco
2
Muito
Grau de importncia:
3
Baixa
5
Mdia
7
Alta
9
Muito Alta
60
pontos atribudos para cada indicador e, por meio das opes Dados/
Classicar do software de planilha eletrnica, as linhas dos indicadores candidatos foram classicadas em ordem decrescente de total de
pontos obtidos.
Figura 10 Matriz de priorizao de indicadores
A ttulo de exemplo, a frmula de clculo utilizada para o total de pontos alcanado pelo primeiro indicador (clula O5), cujo valor foi 26,
a seguinte:
=F5*G5*H5*((I5*J5)+(K5*L5)+(M5*N5))
Critrios eliminatrios
Observa-se que a soma dos pontos obtidos com os trs critrios classicatrios (I5*J5, K5*L5 e M5*N5) multiplicada por cada um dos
valores referentes aos critrios eliminatrios (F5, G5 e H5), ou seja,
61
caso pelo menos um dos critrios eliminatrios seja pontuado com zero
(valor em vermelho), a soma total tambm ser zero e o indicador dever ser descartado. Assim sendo, por meio dessa ferramenta possvel
fazer um ranking dos indicadores candidatos em ordem decrescente de
pontos obtidos, conforme o atendimento aos critrios escolhidos.
Deve-se registrar que a matriz de priorizao possui uma dupla nalidade: (1) facilitar a seleo de indicadores segundo o atendimento aos
critrios ponderados estabelecidos; (2) explicitar por que indicadores
candidatos aparentemente ideais para o Programa no foram selecionados, subsidiando iniciativas no sentido de eliminar as causas do no
atendimento e viabilizar a sua utilizao futura.
A segunda anlise para escolha dentre os indicadores candidatos a
qualitativa. Utilizando como ponto de partida o ranking estabelecido
pela matriz de priorizao o gestor pblico dever escolher, preferencialmente dentre as opes melhor pontuadas, aquelas que melhor
expressam os resultados esperados para o Programa. Para tanto, dever
utilizar critrios subjetivos oriundos de experincias anteriores, opinio
especializada, analogia com outros Programas, indicaes de instituies nacionais e internacionais e demais fontes que julgar pertinentes.
Dentro de uma viso de melhoria contnua da gesto e do desempenho do programa, cabe registrar que a anlise qualitativa permite
tambm: (1) vericar quais indicadores candidatos seriam ideais, mas
foram contraindicados ou mesmo eliminados pela anlise quantitativa;
(2) vericar por que essas medidas foram reprovadas (quais critrios
no foram atendidos); (3) denir e executar um plano com as aes a
serem empreendidas no sentido de eliminar as restries de uso desses
indicadores; (4) estabelecer um compromisso de reviso dos indicadores do Programa to logo os indicadores ideais no selecionados possam ser operacionalizados.
Por m, recomenda-se analisar a possibilidade de os indicadores candidatos no selecionados serem aproveitados pela equipe gerencial como
instrumentos complementares de monitoramento, avaliao e melhoria
da gesto do Programa.
62
63
6 Simulao de Uso
Para ns de melhor entendimento do mtodo sugerido, neste captulo
ser feita uma simulao de uso do caminho apresentado para a construo ou avaliao de indicadores, no contexto de um Programa de
segurana em rodovias.
65
66
67
Peso19
Confiabilidade da fonte
Economicidade de obteno
Sensibilidade
68
x Datasus: possui grande diversidade de dados relativos a acidentes por causas diversas, no caso relativas a transporte.
Para o exemplo em tela, o Quadro a seguir apresenta os indicadores
candidatos a reetir os resultados esperados:
Quadro 7 Indicadores candidatos
rea
Fonte
Indicadores Candidatos
SEDH
Sade
Sensao de Segurana
Justia
Sade
Justia
3e4
Sade
Justia
MMA
MMA
1 Pesquisa de opinio
2 Indicadores e Dados Bsicos para a Sade Brasil 2007:
www.datasus.gov.br/idb
3 Estatsticas do Departamento de Polcia Rodoviria Federal:
www.dprf.gov.br
4 Denatran: www.denatran.gov.br
Passo 6 - Realizar anlise de trade-off
A anlise de trade-off se inicia com a elaborao da matriz de priorizao de indicadores, que permite consolidar as informaes denidas
nos passos anteriores, ou seja, os indicadores candidatos, os interessados nessas medidas, os tipos de indicadores necessrios, os critrios de
seleo eliminatrios e classicatrios e, para estes, os pesos de cada
um.
Para a construo da matriz, inevitvel uma certa subjetividade por
parte do formulador do Programa, particularmente no julgamento do
atendimento ou no, pelos indicadores candidatos, aos critrios estabelecidos. Por exemplo, o critrio Validade ou representatividade em
69
relao ao conceito pode ter diferentes resultados na planilha, dependendo da interpretao de diferentes responsveis pelo preenchimento.
Conforme demonstrado na matriz a seguir, dois indicadores despontaram como os mais bem pontuados dentre os nove avaliados, a saber:
1. Razo de mortes em rodovias federais em relao ao tamanho
da frota
2. Taxa de variao de acidentes nas rodovias federais.
Considerando que mortalidade em rodovias inclui tanto infraes
quanto criminalidade, o primeiro indicador apresenta-se como um forte candidato a Indicador-Chave do Programa. J o segundo pode ser
utilizado como um Indicador Complementar de Resultado.
Apesar de obterem menor pontuao, outros indicadores candidatos
tambm expressam a dimenso Criminalidade contida no conceito
Segurana e so de especial proveito aos demais interessados no
Programa. Portanto, utilizando a sua prerrogativa discricionria, o gestor poderia ainda escolher mais dois Indicadores Especcos, que neste
caso poderiam ser:
3. Transporte de animais silvestres por ano;
4. Crianas/adolescentes vtimas de crimes em rodovias por ano.
Figura 11 Simulao de matriz de avaliao quantitativa de indicadores
70
Considerando que as respostas foram favorveis, os indicadores selecionados foram considerados vlidos para expressar os resultados esperados para o Programa.
Passo 8 - Cadastrar os indicadores
Por m, a ltima etapa o cadastramento dos indicadores por meio dos
respectivos atributos, conforme determina no Manual de Elaborao
do PPA. Para o Indicador-Chave os atributos esto exemplicados no
Quadro a seguir.
Quadro 8 Atributos de um indicador selecionado
Atributo
Descrio
Denominao
Unidade de medida
Unidade
ndice de referncia
16
2008: 14
2009: 12
2010: 10
2011: 8
Fonte
71
Atributo
Periodicidade
72
Descrio
Anual
Base geogrfica
Nacional
Frmula de clculo
7 Dinmica de Aplicao do
Mtodo: Ocina de Indicadores
Existem muitas e diferentes formas de aplicar o mtodo de oito passos
apresentado no captulo 5. Nesta seo ser apresentada uma dinmica
desenvolvida pela SPI/MP inspirada nas ocinas de Modelo Lgico, bem
como os resultados da sua aplicao em um Programa do PPA.
Para viabilizar esse empreendimento foi escolhido como piloto o Programa Nacional Microcrdito Produtivo Orientado PNMPO, sob responsabilidade do Ministrio do Trabalho e Emprego MTE, que visa a
incentivar a gerao de trabalho e renda entre os microempreendedores populares, formais e informais.
Cabe destacar que a realizao desse projeto-piloto possibilitou no
apenas a construo de indicadores de resultado para o Programa em
tela, mas tambm o alcance de outros dois objetivos igualmente importantes: (1) validar o mtodo de oito passos para construo de indicadores no contexto de um Programa do PPA em execuo; e (2) validar
uma dinmica de ocina a ser aplicada tanto isoladamente quanto subsequente a uma ocina de Modelo Lgico.
73
2. Entender a teoria
do Programa
3. Realizar
entrevistas com
principais atores
5. Realizar oficina
de indicadores
4. Realizar
pr-montagem da
oficina
74
75
76
20 Esse acordo pode prever, por exemplo: respeitar as inscries para fala; buscar objetividade; fumar fora do ambiente de trabalho; manter os celulares no modo silencioso;
ser pontual.
77
78
Responsabilidades
Moderador
Sistematizador
Entrevistador
Papis
Responsabilidades
Equipe gerencial
do Programa
Participantes
Especialista em
indicadores
Especialista em
metodologia de
construo de
indicadores
Gestor de
logstica
79
respeito a taxas de juros e encargos, prazos, valores mximos de nanciamento por cliente, montante de recursos anuais a ser disponibilizado
para o PNMPO e requisitos para habilitao das instituies nanceiras
operadoras.
O microcrdito produtivo orientado visa a universalizar o acesso ao crdito para suprir as necessidades nanceiras de atividades produtivas
de pequeno porte. A metodologia utilizada de relacionamento direto com os empreendedores, com acompanhamento e orientao por
meio dos agentes de crdito e foco em garantias solidrias.
Completando cinco anos de existncia, o PNMPO vem apresentando
grande crescimento, superando as metas anuais estabelecidas no PPA
referentes ao nmero de operaes e volume de crdito. Em termos
de cobertura territorial, observa-se que cerca de 70% das instituies
habilitadas ao microcrdito se encontram nas regies Sul e Sudeste,
sendo que apenas 10% se localizam nas regies Norte e Centro-Oeste.
Por outro lado, destaca-se que 85% dos crditos so concedidos para a
regio Nordeste, que concentra quase 90% do total de clientes atendidos. Os clientes do Programa so, predominantemente, microempreendedores informais (mais de 95%), mulheres (mais de 60%), com ramo
de atividade no comrcio (cerca de 80%).
O PNMPO foi selecionado como Programa-piloto em razo dos seguintes aspectos:
1. trata-se de um Programa nalstico21 tpico em que o Governo
busca incentivar o microempreendedor que, atuando em geral
na informalidade, no tem acesso aos crditos e nanciamentos
disponveis ao mercado formal;
2. o Programa foi avaliado por meio da metodologia do Modelo
Lgico, portanto pressupe-se que possui documentao acerca dos fatores de contexto, objetivo, pblico-alvo, indicadores,
estratgia de interveno e demais informaes adequadas e
sucientes ao melhor entendimento;
3. por ocasio das ocinas de Modelo Lgico, a equipe gerencial
apresentou-se sempre interessada e motivada tanto no aperfeioamento do desenho quanto na melhoria do desempenho do
Programa;
21 Programas nalsticos so aqueles que ofertam bens ou servios diretamente sociedade.
80
4. uma avaliao preliminar demonstra que os indicadores existentes podiam no ser sucientes para expressar todas as dimenses inseridas no objetivo denido.
Feita a escolha prvia, a SPI/MP realizou contato com a gerncia do
programa a m de vericar a disponibilidade da equipe para participar
do piloto, tendo recebido sinal verde para continuidade dos trabalhos.
Etapa 2 Entender a teoria do Programa
Nessa etapa foram realizados o levantamento e a anlise de publicaes
ociais, relatrios e diagramas do Modelo Lgico, leis, folders, resultados
de eventos relacionados e demais documentos descritivos do PNMPO, o
que permitiu equipe de pr-montagem obter um amplo entendimento
dos fatores de contexto, dos objetivos e da estratgia de implementao
desenhada para obteno dos resultados esperados. Uma das fontes utilizadas (Modelo Lgico) est representada na Figura 13.
A compreenso e a anlise da teoria do Programa foram muito facilitadas em razo de o PNMPO ter sido objeto de avaliao de desenho
por meio do Modelo Lgico, o que refora a importncia da aplicao
desta metodologia em todos os Programas do Plano Plurianual, particularmente os nalsticos.
Etapa 3 Realizar entrevistas com principais atores
Para aprofundamento do conhecimento adquirido na anlise documental, foi solicitado ao responsvel pelo gerenciamento do Programa
que apresentasse uma lista de pessoas representativas dos processos de
planejamento e execuo do PNMPO. A partir dessas listas foi possvel
agendar entrevistas semiestruturadas, cujos roteiros encontram-se no
Anexo V.
Para este projeto-piloto foram utilizados dois roteiros: um mais completo, que orientou o levantamento de informaes oriundas da equipe
gerencial ou de especialistas no tema, considerando que esses prossionais detm conhecimentos de maior abrangncia e profundidade; e
outro reduzido, mais adequado s instituies parceiras do Programa
e orientado captao de informaes de acordo com o escopo de
trabalho das mesmas.
Ao todo foram realizadas seis entrevistas bastante representativas, cinco presenciais e uma por meio eletrnico, sendo: dois encontros com o
gerente do programa; dois com ex-integrantes do programa; um com
81
OBJETIVO GERAL
PBLICO ALVO
DESCRITORES
RESULTADO FINAL
BENEFICIRIOS
82
Cronograma de atividades
O planejamento das atividades foi essencial para nortear os trabalhos
e permitir o controle sobre os tempos de durao previstos para cada
etapa da ocina. O cronograma resultante dessa etapa est demonstrado na Figura 14.
Figura 14 Planejamento da Ocina
Manh
8h30
9h00
Abertura Institucional
9h15
9h45
Nivelamento Metodolgico
10h30
12h30
Almoo
Tarde
14h00
16h00
Intervalo
16h30
17h45
Avaliao da Oficina
18h00
83
Indicadores
Evoluo do saldo
da Carteira Ativa
Justificativa
Frmula De Clculo
Apresenta o volume de
recursos atualmente em
poder dos tomadores de
crdito.
Saldo da Carteira
Ativa, em cada ano/
volume correspondente no ano base de
2007 x 100.
Sinaliza a efetiva
ampliao do acesso
Taxa de crescimento ao crdito. importante
de novos clientes
saber quanto do mercado potencial identificado
foi captado, atendido.
Nmero de novos
clientes/total de
clientes x 100.
Taxa de cobertura
do pblico alvo
Apresenta o percentual
do pblico alvo alcanado pelo Programa.
Nmero de clientes
beneficiados/ nmero
total de clientes
potenciais x 100.
Taxa de renovao
de contratos
Permite analisar a
eficincia das instituies de microcrdito na
captao/manuteno
de clientes.
Nmero de contratos
quitados renovados/
total contratos x 100.
Acesso ao
crdito
Taxa de ociosidade
do capital
84
Instituies de Microcrdito;
Agentes Financeiros;
Ministrio do Desenvolvimento Social;
Ministrio da Fazenda;
Ministrio do Desenvolvimento Agrrio;
Ministrio do Desenvolvimento, Indstria e Comrcio Exterior;
Banco Central do Brasil;
Presidncia da Repblica;
SEBRAE;
Organismos Internacionais;
rgos de Controle;
Academia;
Sistema Pblico de Emprego, Trabalho e Renda;
Grupos Representativos do Pblico-Alvo.
85
86
87
2008
115,00
2009
132,25
2010
152,08
2011
174,90
Aps a aplicao do mtodo de oito passos, foi efetivada uma avaliao do evento como um todo, a m de obter um feedback dos presentes acerca das atividades realizadas e, com isso, dispor de insumos para
proceder a ajustes e melhorias tanto no mtodo quanto na dinmica da
ocina. Para tanto, foram entregues aos participantes quatro cartes
com cores diferentes para que fossem preenchidos conforme a legenda
abaixo:
88
x
x
x
x
Por m, foi realizado o encerramento da ocina, primeiro com os presentes expressando-se livremente, em seguida com as palavras do diretor da SPI presente e, por ltimo, com as concluses e agradecimentos
do moderador do evento.
89
90
8 Consideraes Finais
A proposta de elaborao de um guia metodolgico para a construo
de indicadores faz parte da estratgia desenvolvida pelo Governo Federal para as medidas de desempenho dos Programas do Plano Plurianual.
Este guia visa a orientar os administradores pblicos na utilizao de
to importante instrumento de gesto e aperfeioamento das aes
governamentais.
Dentre os muitos temas abordados neste documento, em primeiro
lugar cabe salientar a importncia de se conhecer e utilizar o Sistema Estatstico Nacional como fonte de indicadores conveis, vlidos
e teis s necessidades de diagnstico, implementao e avaliao de
polticas pblicas. O IBGE, por exemplo, possui o maior banco de dados
da Amrica Latina e dispe de experincia, informaes, tecnologia e
expertise suciente para atender a inmeras e diferentes demandas.
Outras instituies nacionais e subnacionais, pblicas e privadas, tambm disponibilizam uma gama considervel e diversicada de estatsticas e indicadores sociais, econmicos e ambientais.
Tambm o mtodo de oito passos apresentado para a construo de
indicadores merece destaque, pois busca fornecer um caminho facilitador do trabalho dos envolvidos na seleo de medidas de desempenho requeridas em lei e necessrias s boas prticas de administrao
pblica. Tal mtodo, no entanto, constitui-se de uma trilha, e no
um trilho, o que signica dizer que pode ser adaptado ou utilizado
parcialmente a partir das suas trs rampas de acesso: a primeira quando
se pretende construir indicadores de Programas; a segunda quando se
deseja complementar um Programa com novos indicadores; e a terceira
rampa de acesso quando se quer avaliar um conjunto de medidas j
denidas.
Buscou-se tambm fornecer outros recursos facilitadores, como uma
sugesto de dinmica de aplicao do mtodo por meio de ocina,
concebida a partir das experincias bem sucedidas de utilizao do
Modelo Lgico e aplicada na prtica em um Programa-piloto; uma guia
de referncia rpida, contendo os principais aspectos a serem considerados na construo de indicadores; uma lista das perguntas mais
91
92
Referncias Bibliogrcas
_______. Decreto n. 6.601, de 10 de outubro de 2008. Dispe sobre
a gesto do Plano Plurianual 2008/2011 e de seus programas. Dirio
Ocial da Unio, Braslia, DF, 13 out 2008.
_______. Guia Referencial para a Medio de Desempenho Institucional. Secretaria de Gesto de Pessoas SEGES/MP. Braslia, 2009.
_______. Lei n. 11.653, de 7 de abril de 2008. Dispe sobre o plano
plurianual para o perodo de 2008/2011. Dirio Ocial da Repblica
Federativa do Brasil, Braslia, DF, 8 abril 2008.
_______. Manual de Avaliao do Plano Plurianual 2008/2011. Braslia:
DF, 2008.
_______. Manual de Elaborao do Plano Plurianual 2008/2011. Braslia: DF, 2007.
_______. Plano Plurianual 2008-2011: anlise de implementao. Braslia: DF, 2008.
_______. Portaria n. 140, de 10 de junho de 2009. Dispe sobre o Sistema de Monitoramento e Avaliao do PPA 2008-2011. Dirio Ocial
da Unio, Braslia, DF, 12 jun 2009.
_______. Relatrio de Avaliao do Plano Plurianual 2004-2007. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Planejamento e Investimentos Estratgicos. Braslia, 2005.
_______. Uso e Construo de Indicadores no PPA. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Planejamento e Investimentos Estratgicos. Braslia, maio de 2007.
AUDIT COMMISSION. On target the practice of performance indicators. Londres, 2000.
BONNEFOY, C.; ARMIJO, M. Indicadores de desempeo en el sector
pblico. Instituto Latinoamericano y del Caribe de Planicacin Econmica y Social ILPES. Santiago do Chile, 2005.
CARDOSO, A. L. Indicadores Sociais e Polticas Pblicas: algumas notas
crticas. Proposta, N 77, Junho-Agosto, 1998.
93
94
95
Glossrio
Siglas
AMS
BACEN
CAGED
DATAPREV
DATASUS
DIEESE
ENAP
FEE
FGV
FIPE
FJP
IBGE
IDH
IJSN
INEP
IPARDES
IPEA
MTE
MUNIC
OCDE
OIT
OMS
ONU
OSCIP
PIB
PMC
PME
PNAD
PNSB
Descrio
Pesquisa Nacional de Assistncia Mdico-Sanitria
Banco Central do Brasil
Cadastro Geral de Empregados e Desempregados
Empresa de Tecnologia e Informaes da Previdncia
Social
Departamento de Informtica do Sistema nico de Sade
Departamento Intersindical de Estatstica e Estudos
Socioeconmicos
Escola Nacional de Administrao Pblica
Fundao de Economia e Estatstica
Fundao Getlio Vargas
Fundao Instituto de Pesquisas Econmicas
Fundao Joo Pinheiro
Instituto Brasileiro de Geograa e Estatstica
ndice de Desenvolvimento Humano
Instituto Jones dos Santos Neves
Instituto Nacional de Estudos e Pesquisas Educacionais
Ansio Teixeira
Instituto Paranaense de Desenvolvimento Econmico e
Social
Instituto de Pesquisa Econmica Aplicada
Ministrio do Trabalho e Emprego
Pesquisa de Informaes Bsicas Municipais
Organizao para a Cooperao e Desenvolvimento
Econmico
Organizao Internacional do Trabalho
Organizao Mundial da Sade
Organizao das Naes Unidas
Organizao da Sociedade Civil de Interesse Pblico
Produto Interno Bruto
Pesquisa Mensal do Comrcio
Pesquisa Mensal de Empregos
Pesquisa Nacional por Amostra de Domiclios
Pesquisa Nacional de Saneamento Bsico
97
PNUD
POF
PPA
RAIS
SEADE
SEI
SPI
Termos e Expresses
Accountability - Termo da lngua inglesa, sem traduo exata para o
portugus, que remete obrigao de membros de um rgo administrativo ou representativo de prestar contas a instncias controladoras
ou a seus representados. Trata-se de um conceito da esfera tica com
signicados variados, que frequentemente denotam responsabilidade
social, imputabilidade, obrigaes e prestao de contas. Uma aproximao possvel para a lngua portuguesa responsabilizao.
Brainstormig - Tcnica de gerao coletiva de novas ideias atravs da
livre participao e expresso de diferentes indivduos. A tcnica prope que um grupo - de duas a dez pessoas - utilize as diferenas de
pensamentos para chegar a um denominador comum, gerando ideias
inovadoras que conduzam um empreendimento adiante.
Economicidade (ou economia) - a minimizao dos custos de aquisio dos recursos utilizados na consecuo de uma ao, sem comprometimento da qualidade desejada.
Efetividade - a medida do grau de alcance dos objetivos estratgicos
de governo, tendo como referncia os impactos na sociedade em geral.
Eccia - a medida do grau de alcance dos objetivos e metas xadas
para um determinado programa, em relao ao previsto.
Ecincia - a medida da relao entre os recursos utilizados e os produtos ou servios entregues ao pblico-alvo de um programa, frente a
padres estabelecidos.
Modelo Lgico - Busca congurar um desenho do funcionamento do
programa para resolver ou minimizar os efeitos de um problema identicado. Pode ser a base para um relato do desempenho esperado, ressaltando onde est o problema objeto do programa e como enfrentlo. Os elementos so: recursos, operaes/aes, produtos, resultados
98
99
101
102
Promoo de direitos humanos; pessoa com deficincia;
pessoa idosa; criana e adolescente
MDIC
Ministrio da Fazenda
Banco Central do Brasil
IPEA
FIPE
FGV
Ministrio da Previdncia
Social
Ministrio da Sade
Desenvolvimento
social
Direitos
Humanos
Economia
Meio Ambiente
Previdncia
Sade
www.datasus.gov.br
www.desenvolvimento.gov.br
Desenvolvimento
Econmico
www.mct.gov.br
www.cnpq.br
MCT;
CNPQ
Produtos
Cincia e
Tecnologia
www.inep.gov.br
Endereo Internet
INEP
Fonte
Educao
Tema
www.anipes.org.br
www.ibge.gov.br
www.worldbank.org
www.cepal.cl
www.un.org/databases
www.ocde.org
www.pnud.org
IBGE
IPEA
ANIPES
IBGE
BANCO MUNDIAL
CEPAL
NAES UNIDAS
OCDE
PNUD
Gerais
Gerais
Estados e
Municpios
Organismos
internacionais
www.ipea.gov.br
www.ibge.gov.br
www.transportes.gov.br
Transporte
www.mte.gov.br
www.rais.gov.br
Endereo Internet
Ministrio do Trabalho e
Emprego
Fonte
Trabalho
Tema
Produtos
103
Demogrcos
Educao
Domiclios
Famlias
Casamentos, separaes e divrcios
Crianas, adolescentes e jovens
Cor ou raa
Mulheres
Idosos
104
105
Condies Habitacionais
Organizao urbana e ambiental
Estrutura de apoio cidadania
Economia municipal
Felicidade em geral e satisfao com o servio pblico
106
Demogrcos
Socioeconmicos
Mortalidade
Morbidade e fatores de risco
Recursos alocados sade
Cobertura
107
Empregos formais
Remunerao mdia
Variao do emprego formal
Flutuao do emprego
Salrio mdio de admisso
Seguro desemprego e intermediao
Outros indicadores do mercado de trabalho
Disponvel em www.mte.gov.br
108
Indicadores Educacionais
O INEP dispe de um sistema de indicadores relacionados aos seguintes
grupos temticos:
Contexto sociodemogrco
Condies de oferta
Acesso e participao
Ecincia e rendimento escolar
Disponvel em www.edudatabrasil.inep.gov.br
109
110
111
Paran IPARDES
Bahia - SEI
112
113
Tecnologias
A maioria das fontes de indicadores dispe de bancos de dados de alta
performance que permitem, alm de acessos regulares, cruzamentos
e ltros por diferentes campos como tipo, periodicidade, localizao,
gnero, raa, faixa etria e outros.
Dentre as principais tecnologias de armazenamento e recuperao de
informao disponveis, destacam-se:
SIDRA: trata-se de uma poderosa ferramenta do IBGE para recuperao de um amplo espectro de informaes territoriais e por
reas temticas como agropecuria, comrcio, contas nacionais,
economia, indstria, meio ambiente, oramento familiar, populao, preos, saneamento bsico, sade, servios, trabalho e
renda.
BME: banco de dados multidimensional de estatsticas, disponvel na pgina do IBGE na Internet, que permite ao usurio credenciado ou que adquiriu o servio - escolher livremente as
variveis de seu interesse, o espao geogrco e o perodo de
tempo de referncia das informaes.
Cidades@, Estados@, Paises@ e MUNIC (Perl dos Municpios): bancos de dados disponveis na pgina do IBGE na Internet, que compem a maior base de dados estatsticos da Amrica Latina.
Ipeadata: banco de dados disponvel na pgina do IPEA na
Internet para acesso a informaes macroeconmicas, regionais
e sociais.
Edudatabrasil: banco de dados disponvel na pgina do INEP
na Internet para acesso ao sistema de estatsticas educacionais.
Datasus: banco de dados disponvel na pgina do Ministrio
da Sade na Internet para acesso ao anurio e s informaes
bsicas e complementares de sade.
Dataprev: banco de dados disponvel na pgina da Previdncia Social na Internet para cesso ao anurio, boletim estatstico,
benefcios, segurana e sade ocupacional.
Matriz de Informao Social: banco de dados disponvel na
pgina do Ministrio do Desenvolvimento Social e Combate
Fome para acesso a informaes e indicadores sociais nos mais
diversos nveis territoriais (inclusive municpios), dos principais
programas e benefcios, a exemplo do Bolsa Famlia e dos Benefcios de Prestao Continuada (BPC).
114
Anexo II Exemplos de
Classicao por Temas
Demogrficos
Taxa de Natalidade: razo entre o nmero de nascimento e a populao estimada.
Taxa de crescimento demogrfico: indica a percentual de crescimento da populao
em determinado perodo de tempo.
Taxa de urbanizao: indica o percentual da populao de reside em reas urbanas.
Sade
Taxa de mortalidade infantil: indica a razo entre o nmero de bitos de crianas de
at um ano e o total de crianas nascidas vivas.
Taxa de mortalidade por causa: indica a razo entre o nmero de bitos por determinada causa e o total da populao.
Taxa de morbidade por doena: indica a razo entre o nmero de ocorrncias de
determinada doena e o total da populao.
Esperana de vida ao nascer: o nmero mdio de anos de vida estimado para um
recm-nascido.
Indicador de desnutrio: razo entre o nmero de crianas com peso e altura abaixo
do normal e o total de crianas de determinada faixa etria.
Educao
Taxa de analfabetismo: percentual da razo entre o nmero de pessoas analfabetas e
o nmero de pessoas com mais de 15 anos.
Escolaridade mdia: indica a mdia de anos cursados e aprovados das pessoas com
15 anos ou mais.
Taxa de cobertura escolar: razo entre o nmero de matrculas em determinado nvel
e o total do pblico-alvo do nvel.
Taxa de evaso: percentual da razo entre o nmero de evadidos e o total de matriculados, ao final do ano letivo.
Taxa de reprovao: percentual da razo entre o nmero de reprovados e o total de
matriculados, ao final do ano letivo.
Trabalho
Taxa de desemprego: percentual da razo entre o nmero de desempregados e o total
da populao economicamente ativa.
115
Proporo de trabalhadores com carteira assinada: razo entre nmero de trabalhadores formais e o total de empregados.
Renda
PIB per capita: corresponde soma de todos os produtos e servios produzidos
internamente, dividida pelo total da populao.
ndice de GINI: mede o grau de desigualdade na distribuio da renda produzida por
um pas.
Proporo de pobres ou indigentes: razo entre o nmero de famlia com renda inferior linha de pobreza ou indigncia, e o total de famlias do espao considerado.
Economia
ndices de Custo de Vida: indica a inflao mdia de um pas ou regio, a variao
de preos de produtos e servios em determinado perodo de tempo.
Infraestrutura
Proporo de domiclios com acesso a redes (luz, gua, telefone, esgoto etc.) ou
servios (coleta de lixo p.e.): proporo entre o total de domiclios com acesso a
redes ou servios e o total de domiclios do espao considerado.
Segurana
Taxa de homicdios: indica o nmero de homicdios por cem mil habitantes.
Meio Ambiente
Hectare de rea verde por habitante: razo entre a rea verde existente e o total de
habitantes da regio.
Consumo mdio residencial de energia: gasto mdio de energia eltrica das famlias
de determinada regio.
Taxa de desmatamento de reas protegidas: rea desmatada em relao rea
protegida.
116
Atributo
Descrio
Denominao
Unidade de
medida
ndice de
referncia
Fonte
rgo responsvel pelo registro ou produo das informaes necessrias para a apurao do indicador e divulgao
peridica dos ndices. As informaes utilizadas na construo
dos indicadores podero ser produzidas pelos prprios rgos
executores dos Programas ou outros integrantes da estrutura
do Ministrio responsvel. Estes devero manter sistemas de
coleta e tratamento de informaes com esta finalidade. Em
muitos casos, entretanto, as informaes sero buscadas junto
a outras fontes que podem ser instituies oficiais ou mesmo
privadas, de reconhecida credibilidade: IBGE, FIPE, FGV, Banco
Central, DIEESE, ANBID, entre outras.
Periodicidade
117
Atributo
118
Descrio
Base geogrfica
Frmula de
clculo
Demonstra, de forma sucinta e por meio de expresses matemticas, o algoritmo que permite calcular o valor do indicador.
Por exemplo, para o indicador Espao areo monitorado, a
frmula de clculo poderia ser Relao percentual entre o espao areo monitorado e o espao areo sob jurisdio do Brasil,
assim como para o indicador Incidncia do ttano neonatal
o indicador poderia ser Relao percentual entre o nmero de
casos novos de ttano neonatal e o total da populao menor de
um ano de idade.
119
120
padronizao de procedimentos, conceitos e classicaes; e de principal provedor de dados e informaes para os mais diferentes segmentos da sociedade.
Existe um mtodo que oriente a construo de indicadores de
resultados?
Sim. O rgo central de planejamento indica um mtodo de construo
composto de oito passos: (1) Avaliar objetivos e metas, a m de identicar as dimenses que os indicadores devero expressar; (2) Identicar os
interessados para que os indicadores sejam de fato teis para os atores
envolvidos; (3) Denir os tipos de indicadores necessrios ao contexto
do Programa; (4) Denir os critrios de escolha para seleo dentre os
indicadores candidatos; (5) Mapear os indicadores candidatos; (6) Realizar uma anlise de trade-off dentre os candidatos; (7) Validar os indicadores selecionados; e (8) denir os atributos dos indicadores validados.
121
Equipe Gerencial
1. Considerando as aes atualmente implementadas, qual o objetivo e resultado do
programa?
(Objetivo: Levantar o real objetivo do programa no o que necessariamente consta do SIGPlan ou o que deveria ser o programa e o resultado que este consegue
efetivamente entregar, a partir das aes atualmente implementadas)
2. Na sua opinio, existe necessidade de reformular o objetivo do programa?
(Objetivo: Possibilitar reflexes que conduzam ao aperfeioamento da teoria do
programa e levantar contribuies para possveis alteraes na redao que consta
do PPA)
3. Qual o perfil do pblico-alvo que o programa pretende atingir? H necessidade de
reformulao do pblico-alvo?
(Objetivo: Mapear o recorte dado pela gerncia do programa para a definio do
pblico-alvo)
4. Qual universo desse pblico-alvo na sociedade?
(Objetivo: Identificar o quantitativo do pblico-alvo)
5. Atualmente, quantos so beneficiados pelo programa?
(Objetivo: Identificar o quantitativo do pblico-alvo efetivamente atendido pelo
programa)
6. O que norteou a formulao dos indicadores atuais?
(Objetivo: Conhecer os critrios e os parmetros que deram origem aos atuais
indicadores)
7. H algum na equipe com experincia na construo e anlise de indicadores?
(Objetivo: Identificar possveis entrevistados e bases de dados a serem examinadas,
conhecer a importncia que a gerncia d ao tema de indicadores)
8. Quais so as dificuldades encontradas na elaborao dos indicadores do programa? Como tm sido contornadas?
(Objetivo: Conhecer antecipadamente possveis empecilhos implantao de novos
indicadores)
123
9. So utilizados microdados das pesquisas regulares do Sistema Estatstico Nacional? Em caso afirmativo, quais? Em caso negativo por que?
(Objetivo: mapear possveis variveis que so utilizados pela gerncia para gesto do
programa e que podero ser incorporadas na elaborao dos indicadores)
10. Tem registros administrativos? Quais so? Como a forma de acompanhamento? Qual suporte tecnolgico? Periodicidade? Tem informaes de preenchimento
obrigatrio? So gerados indicadores a partir dos mesmos? Quais?
(Objetivo: Conhecer os dados disponveis na gerncia do programa utilizados na
gesto do programa e que podero ser utilizados na elaborao dos indicadores)
11. Como voc avalia os atuais indicadores? Baseado em que critrios?
(Objetivo: Obter uma anlise do entrevistado acerca da situao atual e coletar possveis sugestes de novos indicadores)
12. Os atuais indicadores, de fato, permitem aferir os resultados? Por que?
(Objetivo: Obter uma anlise do entrevistado acerca da situao atual e coletar possveis sugestes de novos indicadores)
13. Quais so os principais interessados/parceiros? E que tipo de informao eles
necessitam?
(Objetivo: mapear possveis entrevistados e coletar sugestes de novos indicadores)
14. Existem informaes regionalizadas sobre o Programa?
(Objetivo: Conhecer os dados disponveis na gerncia do programa utilizados na
gesto do programa e que podero ser utilizados na elaborao dos indicadores)
Parceiros
1. Na sua opinio, qual o objetivo do programa e qual o resultado esperado?
(Objetivo: Levantar o real objetivo do programa no o que necessariamente consta do SIGPlan ou o que deveria ser o programa e o resultado que este consegue
efetivamente entregar.
2. Na sua opinio, existe necessidade de reformular o objetivo do programa?
(Objetivo: Possibilitar reflexes que conduzam ao aperfeioamento da teoria do
programa e levantar contribuies para possveis alteraes na redao que consta
do PPA)
3. Qual o perfil do pblico-alvo que o programa pretende atingir? H necessidade de
reformulao?
(Objetivo: Mapear o recorte dado pela gerncia do programa para a definio do
pblico-alvo)
124
125
Tema
Fontes de Indicadores
www.worldbank.org
www.cepal.cl
www.un.org/databases
www.ocde.org
www.pnud.org
www.ibge.gov.br
www.ipea.gov.br
www.mte.gov.br
www.rais.gov.br
www.datasus.gov.br
www.previdencia.gov.br
www.mma.gov.br
www.ibge.gov.br
www.fazenda.gov.br
www.bacen.gov.br
www.ipea.gov.br
www.fgv.com.br
www.mds.gov.br
www.cidades.gov.br
www.mct.gov.br
www.cnpq.br
www.inep.gov.br
Portal da Internet
8. Cadastrar os indicadores
Os atributos descritivos dos indicadores escolhidos devem ser
cadastrados no sistema disponvel na Internet.
e-mail: spi@planejamento.gov.br
telefone: (61) 2020 4800
Contatos
http://www.planejamento.gov.br
Informaes adicionais
O que so ndices?
Os ndices ou indicadores sintticos sintetizam diferentes conceitos da realidade emprica, ou seja, derivam de operaes realizadas com indicadores analticos e tendem a retratar o comportamento mdio das dimenses consideradas. Diversas instituies
nacionais e internacionais divulgam indicadores sintticos sendo
exemplos o PIB, IDEB e o IDH.
Contatos
Fontes de Indicadores
Mtodo de construo
Marco conceitual
Apresentao
Guia de Referncia
Indicadores de
Programas
127
Fevereiro de 2010
128
Propriedades
Definio
Marco conceitual
Apresentao
De acordo com a lei 6183, de 11/12/1974, o SEN visa possibilitar o conhecimento da realidade fsica, econmica e social do
Pas.
Integram o Sistema todos os rgos e entidades da Administrao Pblica direta e indireta, de mbito federal, estadual ou
municipal, e entidades de natureza privada que exeram
atividades estatsticas e para isso recebam subveno ou auxlio
dos cofres pblicos.
Os diversos produtos do Sistema como pesquisas (Censo Demogrfico, PNAD, PME) e publicaes (Sntese de Indicadores
Sociais, Indicadores de Desenvolvimento Sustentvel, Bsicos de
Sade, Mercado de Trabalho etc.) constituem excelentes fontes
para a seleo de indicadores de programas.
Indicadores de Gesto do Fluxo de Implementao: classificao dos indicadores de acordo com a aplicao nas etapas
do ciclo de implementao do programa. Podem ser:
Insumo: so indicadores ex-ante facto que tm relao direta
com a disponibilidade dos recursos humanos, materiais e financeiros a serem utilizados.
Processo: so medidas in curso ou intermedirias, que traduzem
o esforo empreendido na obteno dos resultados.
Produto: so medidas ex-post facto que demonstram o quanto
foi entregue de produtos ou servios.
Resultado: so de especial interesse para os Programas, pois
esto relacionados aos benefcios no pblico-alvo e expressam
o grau de cumprimento dos objetivos.
Impacto: possuem natureza multidimensional, tm relao com
a sociedade como um todo e medem os efeitos das estratgias
governamentais de mdio e longo prazos.
Taxonomias
8. Cadastrar
indicadores
7. Validar indicadores
6. Realizar anlise de
trade off
5. Mapear indicadores
candidatos
4. Definir critrios de
seleo
3. Definir tipos de
indicadores
2. Identificar
interessados
1. Avaliar objetivos e
metas
Rampa de acesso 3
Para avaliar
Indicadores de
Programa existentes
Rampa de acesso 2
Para complementar
Indicadores de
Programa existentes
Rampa de acesso 1
Para contruir
Indicadores de
Programa
Mtodo de construo