GUIA METODOLÓGICO DE

INDICADORES PARA O SISTEMA

ESTADUAL DE PLANEJAMENTO

2020
 Governo do Estado de Mato Grosso
Mauro Mendes Ferreira
Governador

Secretaria de Estado de Planejamento

Basílio Bezerra Guimarães dos Santos
Secretário

Secretaria Adjunta de Planejamento e

Gestão de Políticas Públicas
Anildo
Secretário Adjunto

Superintendência de Informações
Socioecônomicas e Ordenamento Territorial
Keile Costa Pereira
Superintendente

Coordenadoria de Estudos e Socioeconômicos

Debora Pinheiro da Silva Lima

Maio/2020
 Equipe Técnica

Debora Pinheiro da Silva Lima

Analista Administrativo – Economista
Elizângela Regina Santos Xavier
Analista Administrativo – Economista
Fábio Henriques de Jesus
Gestor Governamental - Advogado

Ivana Célia da Cruz Lobato

Analista Administrativo – Economista

Nilson Antônio Batista

Gestor Governamental – Economista

Colaboradores

Adriano Serfini Garcez Jacy Gonçalves Barbosa Pasinato

Analista Administrativo – Analista de Sistemas Analista de Desenvolvimento Econômico e Social

Anacléia Soares Pereira Dias Júlia Satie Yokokura

Analista Administrativo – Administradora Analista Administrativo – Administradora

Geonir Paulo Schnorr Junior José da Silva

Analista Administrativo – Economista Analista Administrativo – Economista

Maio/2020
SUMÁRIO
APRESENTAÇÃO.....................................................................................................................4

1. INTRODUÇÃO.....................................................................................................................5

2. SISTEMA ESTADUAL DE PLANEJAMENTO...........................................................................6

2.1 Instrumentos do sistema estadual de planejamento.............................................6
2.2 Ciclo de polí�cas públicas..........................................................................................8
3. SISTEMA ESTADUAL DE INDICADORES..............................................................................9
3.1 Gestão do sistema estadual de indicadores..............................................................10
3.2 Atuação dos envolvidos no sistema estadual de indicadores classificação dos
indicadores................................................................................................................12
3.3 Ciclo de vida do indicador - CICLO PDCA................................................................13

3.4 Classificação dos indicadores.................................................................................15

3.4.1 Quanto à gestão do fluxo de implementação de polí�cas públicas.................15
3.4.2 Quanto à abordagem de avaliação de desempenho........................................16

3.4.3 Quanto à �pologia............................................................................................17

3.5 Propriedades desejáveis dos indicadores..................................................................18

3.6 Limitações ao uso de indicadores..............................................................................19

4. CONSTRUÇÃO DE INDICADORES...........................................................................................21

4.1 Plano para definição de indicadores............................................................................22

4.2 Passo a passo para elaboração de indicadores............................................................25
4.3 Metadados do indicador..............................................................................................28

5. PROCESSO VALIDAÇÃO DOS INDICADORES........................................................................29

5.1 Verificação prévia do indicador....................................................................................29

5.2 Análise de adequabilidade e aderência do indicador aos instrumentos de
planejamento................................................................................................................30
5.3 Análise e validação metodológica do indicador...........................................................30

REFERÊNCIAS BIBLIOGRÁFICAS..............................................................................................31

3
 APRESENTAÇÃO

A Secretaria de Estado de Planejamento e Gestão/SEPLAG-MT, possui, entre suas

competências a missão de gerir o sistema de indicadores do Estado de Mato Grosso.
Como órgão central desse sistema, estabelece as diretrizes, métodos e ferramentas para
o gerenciamento dos indicadores dos sistemas de planejamento e gestão estadual.

Isto posto, apresenta-se neste Guia a metodologia para elaboração, análise e validação
de indicadores de planejamento, a ser utilizada pelas unidades de planejamento da
administração pública estadual, com intuito de delimitar e normatizar o escopo técnico-
teórico que norteia a concretização das atividades, estabelecendo nexo material entre
teoria e a prática.

Pretende-se com este material, contribuir para ampliar o conhecimento e compreensão

dos métodos e seguimentos utilizados na orientação de nossos trabalhos, para que diante
dos desafios assumidos pela administração pública, possamos influenciar positivamente
o desenvolvimento de ações que visem atuar na direção do interesse público, em busca
de maximizar o bem estar social.

Secretaria de Estado de Planejamento e Gestão

SEPLAG-MT

4
1. INTRODUÇÃO

Na materialização dos serviços prestados pelo Estado para o atendimento às

demandas sociais, o planejamento governamental constitui um processo permanente de
alinhamento estratégico das estruturas institucionais, bem como de escolha e alocação
dos recursos publicos utilizados na materialização das políticas públicas.

No setor público, indicadores são instrumentos essenciais no planejamento e nas

atividades de monitoramento e avaliação do desempenho de processos de trabalho,
projetos, programas e políticas públicas. Possibilitam medir os níveis de economicidade,
eficiência, eficácia e execução relacionadas às entregas de produtos e serviços à
sociedade, assim como o nível de efetividade alcançado.

Neste contexto, os indicadores permitem melhor embasamento técnico para fundamentar

a manutenção, aprimoramento ou correção das estratégias empregadas. Também
auxiliam na transparência da gestão, facilitando o diálogo entre governo e os diversos
grupos sociais organizados.

O presente Guia de Indicadores surge em razão da análise dos indicadores contidos no

Relatório de Ação Governamental – RAG/2019, em que ficou evidenciado que Mato
Grosso requer maior adesão de seus agentes públicos à cultura de valorização dos
indicadores em todas as suas etapas.

A metodologia aqui apresentada é um amálgama de diversas abordagens visitadas,

traduzidas pelo estado da arte da literatura, orientações do Governo Federal e pesquisa
em organizações não-governamentais afeitas à materia.

5
2. SISTEMA ESTADUAL DE PLANEJAMENTO
2.1. INSTRUMENTOS DO SISTEMA ESTADUAL DE PLANEJAMENTO

O sistema estadual de planejamento de Mato Grosso é composto por instrumentos

definidos pela Constituição Federal e replicados na Constituição Estadual. Temos o
Planejamento Estratégico de Longo Prazo (PLP), o Plano Plurianual (PPA), o Plano de
Trabalho Anual (PTA), a Lei de Diretrizes Orçamentárias (LDO) e a Lei Orçamentária Anual
(LOA), e ainda, os planos setoriais de planejamento.

Esses instrumentos devem estar interligados, de forma que sejam partes integrantes de
um sistema. Os instrumentos PPA, PTA e LOA tem os mesmos elementos estruturais:
programas, objetivos de programas, indicadores e ações, sendo que as últimas se
desdobram em projetos ou atividades, dependendo das características de cada um deles.

Figura I : Árvore de problemas - metodologia de planejamento

6
 Fonte: Manual de Planejamento da Secretaria de Estado de Planejamento de Mato Grosso

A metodologia de planejamento descrita na Figura I permite a descrição do

Problema Central, Objetivo do Programa, Indicadores do Programa e as Ações. Os
conceitos apresentados sao definidos da seguinte forma:

Programa:
Instrumento de organização da ação governamental, visa a concretização dos objetivos
pretendidos, mensurado por indicadores.
Objetivo:
Explicita de modo claro os resultados pretendidos, devendo estar diretamente relacionado
ao problema central.
Indicadores:
São instrumentos que permitem identificar o alcance das ações do programa. Devem ser
claros, precisos, mensuráveis e críticos. Dividem-se em indicadores de resultado e
indicadores de esforço.
Indicador de resultado: Permitem identificar o alcance dos objetivos do programa.
Devem ser claros, precisos, mensuráveis e críticos.
Indicador de esforço: Sua medição contribui de forma indiretamente para o objetivo do
programa. Exemplo: O resultado do aumento da arrecadação tributária se dá por uso de
indicadores de esforço medidos indiretamente. Como exemplo citamos a maior quantidade
de equipes de fiscalização na rua.
Ação:

7
As ações são os elementos que contribuem para atender ao objetivo de um programa,
podendo ser orçamentárias ou não-orçamentárias, sendo as orçamentárias classificadas
conforme a sua natureza em projetos, atividades ou operações especiais.

2.2. CICLO DE POLÍTICAS PÚBLICAS

Indicadores podem ser utilizados em vários momentos no processo de elaboração

de políticas públicas. Tais processos são organizados dentro do que é comumente
conhecido como ciclo de políticas públicas, com seus vários modelos (JANN & WEGRICH,
2007). Como qualquer modelagem, tem suas utilidades e limitações, principalmente por
se tratar de uma simplificação da realidade. Entretanto, consite numa ferramenta bastante
utilizada na análise e avaliação de políticas públicas. O ciclo de políticas públicas que
utilizaremos como modelo de referência tem seis estágios, conforme exibido na Figura II.

Figura II: Exemplo de ciclo de políticas públicas

Fonte: Secretaria de Planejamento e Assuntos Econômicos, Ministério do Planejamento, Desenvolvimento e Gestão, 2018.

Os estágios do ciclo de políticas públicas são definidos da seguinte maneira:

Identificação de problemas: os problemas identificados devem ter natureza

pública, definidos como sendo relevantes para a sociedade (DEWEY, 1927).

8
 Podem ser reconhecidos e determinados em inúmeras ocasiôes, como em
reinvindicações diretas da população, elaboração de planos setoriais, regionais e
territoriais, documentos de conselhos, fóruns científicos, relatórios
governamentais, e ainda, em apontamentos de órgãos de controle externo e
interno.

Constituição da agenda: representa o conjunto de problemas que já são

considerados de interesse público ou sobre o qual há consenso quanto ao seu
enfrentamento, tendo sido objeto de discussões e debates. O Plano Plurianual, por
exemplo, incorpora os objetivos, metas e iniciativas que materializam a agenda
governamental para quatro anos.

Planejamento e priorização das ações: o planejamento traduz-se pela definição

das ações e prioridades com a finalidade de orientar a alocação de recursos
públicos no tempo e no espaço. Abrange análises e estimativas de custos,
levantamentos de riscos esperados e cronograma com a lista de ações e seus
responsáveis.

Implementação: consiste na execução das atividades planejadas. Inclui etapas

como licitação, contratação e a materialização das ações que permitem alcançar
os objetivos definidos no planejamento.

Monitoramento: O monitoramento representa o acompanhamento contínuo da

implementação dos programas e políticas, permitindo a adoção de medidas
corretivas durante o programa, melhorando sua operacionalização.

Avaliação: A avaliação pondera se uma ação tem valor para a sociedade. É

possível realizá-la antes do desenho do programa (ex-ante), ou, como é mais
comum, ao final de um ciclo de implementação (ex-post). Nesse último caso,
permitem verificar se as ações certas foram executadas e tiveram o resultado social
esperado.

3. SISTEMA ESTADUAL DE INDICADORES

9
3.1 GESTÃO DO SISTEMA ESTADUAL DE INDICADORES

A gestão do sistema de indicadores é uma atividade integrada de administração dos

indicadores dos Sistemas de Planejamento e Gestão. Essa sistemática contribuiu para o
monitoramento e avaliação dos resultados das políticas públicas, ao promover
informações estratégicas aos gestores públicos para tomada de decisões e também a
sociedade ao ter acesso a esses dados. São integrantes do macroprocesso de Gestão do
Sistema Estadual de Indicadores os processos de Gerenciamento de:

1. Indicadores de planejamento;
2. Indicadores de processo;
3. Indicadores institucionais;
4. Sistema informatizado de indicadores;
5. Banco de dados dos indicadores.

Figura III – Cadeia de Valor/Gestão do Sistema de Indicadores

Fonte: Coordenadoria de Estudos e Indicadores Socioeconomicos/SISOT/SAGPP/SEPLAG

10
 De acordo com o escopo de trabalho deste Guia, especificaremos apenas o
subprocesso de definição de indicadores, pertencente ao processo de gerenciamento de
indicadores de planejamento. Os demais subprocessos serão detalhados em materiais
próprios, são eles:

1. Definição de metodologia e ferramentas;

2. Capacitação e orientação;
3. Definição de Indicadores;
4. Monitoramento de Indicadores;
5. Avaliação de Indicadores;
6. Elaboração do Caderno de Indicadores.

Figura IV – Processo de gerenciamento dos indicadores de planejamento

Fonte: Coordenadoria de Estudos e Indicadores Socioeconomicos/SISOT/SAGPP/SEPLAG

11
3.2. ATUAÇÃO DOS ENVOLVIDOS NO SISTEMA ESTADUAL
DE INDICADORES

São integrantes desse sistema além da SEPLAG, que atua como órgão central,
todos os órgãos e entidades da administração pública estadual. Na sequência, a relação
das atividades de competência de cada envolvido.

3.2.1. PAPEL DO ÓRGÃO CENTRAL

Estabelecer sistemática de trabalho;

Definir metodologia e ferramentas de indicadores;
Disponibilizar metodologia e ferramentas para o gerenciamento dos indicadores;
Capacitar e orientar servidores dos órgãos e entidades no processo de gerenciamento
dos indicadores;
Analisar e validar aderência e coerência dos indicadores aos instrumentos de
planejamento;
Analisar e validar metodologicamente os indicadores de planjamento;
Gerir sistema informatizado de indicadores;
Gerir banco de dados de indicadores.

3.2.2. PAPEL DOS DEMAIS ÓRGÃOS E ENTIDADES DA ADMINISTRAÇÃO

PÚBLICA ESTADUAL

Apropriar-se das diretrizes, métodos e ferramentas de gerenciamento dos indicadores

de planejamento, estabelecidos pelo órgão central;
Estabelecer sistemática setorial de gerenciamento dos indicadores de planejamento;
Definir e validar os indicadores, com nível estratégico do órgão/entidade;
Apurar e informar sistematicamente os dados obtidos do indicador;
Monitorar e avaliar os indicadores de planejamento do órgão/entidade.

12
 3.3. CICLO DE VIDA DO INDICADOR - CICLO PDCA

Os indicadores são elaborados obedendendo a metodologia do ciclo PDCA. As

fases deste ciclo são: Planejamento (Plan), Execução (Do), Avalição (Check) e Correção
(Action), conforme a Figura V:

Figura V – Metodologia do PDCA para indicadores do planejamento

Fonte: www.portal-administracao.com/2014/08/ciclo-pdca-conceito-e-aplicacao.html

Os indicadores devem ser construídos concomitantemente ao programa, sendo o

ciclo PDCA de vida dos indicadores composto de várias etapas, demonstradas no Quadro
I:

Quadro I: Ciclo PDCA de vida dos indicadores

13
 Ciclo PDCA de vida dos indicadores

A partir da compreensão do diagnóstico (analise situacional) deve-se

Problema central trabalhar a definição do problema central na construção do programa.

O objetivo do programa deve explicitar de forma clara os resultados a

Elaboração de serem alcançados. Exemplo: se o problema central é mortalidade
objetivo infantil deve –se descrever: “reduzir a mortalidade infantil”.

A partir do objetivo, elabora-se o indicador, que deve refletir os

resultados a ser alcançados. No exemplo acima - Objetivo: “reduzir a
mortalidade infantil” – propõe-se o indicar de forma clara e precisa:
Definição de “taxa de mortalidade infantil”.
indicadores de
resultado Todo indicador precisa ter seu marco zero, sua série histórica e meta a
Plan ser atingida no período de tempo esperado. Nesse caso suponha que
no ano t1 a taxa fosse 25,5 por 1000 habitantes. O programa deve
propor um valor abaixo de <25,5 por 1000 habitantes, demonstrando o
esforço do programa na melhora do indicador.

Definição de Os objetivos podem possuir indicador de esforço, indiretamente

indicadores de relacionados ao objetivos do programa. Indicadores de esforço medem
esforço fases intermediárias no alcance do indicadores de resultado.

Checagem da Após a elaboração do indicador, a equipe deve analisar sua

consistência do consistência, avaliando a existência e disponibilidade de dados, bem
indicador como seus custos de aferição.

A fase “ Do”, que significa fazer em inglês, é onde se materializa o que

Execução foi planejado. Aqui ocorre o processo de execução orçamentária e
financeira das ações.

Monitoramento da Na etapa de monitoramento da execução dos ações, no caso haver

execução alguma inconsistência, faz-se as correções cabíveis.

Do
Esta é a fase de medição do alcance dos objetivos. As informações dos
Indicadores de indicadores geralmente têm um delay no tempo em relação a execução
resultado das ações, logo é possível que alguns indicadores de resultado não
possam ser avaliados na fase inicial.

Indicadores de Os indicadores de esforço apresentam delay menor, e podem ser

esforço monitorados ainda na fase execução, uma vez que medem resultados
intermediários.

A fase “ check”, tem tradução neste contexto como avaliação, e é onde

se verifica os resultados alcançados.

Check Avaliação
Nesta fase é feita a mensuração dos indicadores de resultado. Se o
problema central não estiver sendo resolvido com a execução das
ações, estas podem não ser adequadas ou pode estar ocorrendo
alguma dissonância na sua calibragem, devendo ser corrigidas.

14
 Os resultado alcançados devem ser comunicados através de relatórios,
painéis ou plataformas WEB, de forma a dar conhecimento para equipe
Publicação dos de trabalho, para a equipe de governo e para a sociedade.
resultados

Em alguns casos pode ser necessário a elaboração de relatórios

parciais para o gerenciamento estratégico das ações.

Embora “action” signifique ação, neste contexto a tradução mais

Action Ação/correção adequada é “correção”. Do resultado a avaliação (check), é possível
avaliar se há ou não a necessidade de ajustes.

Fonte: www.portal-administracao.com/2014/08/ciclo-pdca-conceito-e-aplicacao.html/com com adaptação CEIS

3.4. CLASSIFICAÇÃO DOS INDICADORES

3.4.1 Q UANTO À GESTÃO DO FLUXO DE IMPLEMENTAÇÃO

DE POLÍTICAS PÚBLICAS

De acordo com Brasil (2012:21), essa classificação permite separar os indicadores

de acordo com a sua aplicação nas diferentes fases do ciclo de gestão de uma política
pública, quais sejam: antes, durante ou depois de sua implementação. Assim, nesse
recorte, os indicadores podem ser:

Indicadores de Insumo (antes)

Têm relação direta com os recursos a serem alocados, ou seja, com a
disponibilidade dos recursos humanos, materiais, financeiros e outros a serem utilizados
pelas ações de governo. São exemplos: médicos/mil habitantes e gasto per capita com
educação.
Indicadores de Processo (durante)
São medidas que traduzem o esforço empreendido na obtenção dos resultados,
medindo o nível de utilização dos insumos alocados, como por exemplo, o percentual de
atendimento de um público alvo, e o percentual de liberação dos recursos financeiros.

15
 Indicadores de Produto (depois)
Medem o alcance das metas físicas, expressando as entregas de produtos ou
serviços ao público-alvo. São exemplos o percentual de quilômetros de estradas
entregues, de armazéns construídos e de crianças vacinadas em relação às metas
estabelecidas.
Indicadores de Resultado (depois)
Expressam, direta ou indiretamente, os benefícios obtidos pelo público-alvo
decorrentes das ações empreendidas e permitem realizar avaliações de eficácia ou do
grau de alcance dos objetivos dos programas. São exemplos as taxas de morbidade, taxa
de reprovação escolar e de homicídios.
Indicadores de Impacto (depois)
Medem os efeitos relacionados ao fim esperado com a entrega dos bens e serviços,
possuindo natureza abrangente e muitas vezes multidimensional. Medem os efeitos das
estratégias governamentais de médio e longo prazo. São exemplos o Índice de Gini e o
PIB per capita.

3.4.2 QUANTO À ABORDAGEM DE AVALIAÇÃO DE DESEMPENHO

A classificação abaixo é uma adaptação de BRASIL (2012:22) e TCU (2000:15),

possui foco na avaliação dos recursos alocados e dos resultados alcançados, e segmenta
os indicadores em:

Indicadores de Economicidade
Calculam os gastos envolvidos na obtenção dos insumos (materiais, humanos,
financeiros etc.) necessários às ações que produzirão os resultados planejados. Visam
minimizar custos sem comprometer os padrões de qualidade estabelecidos, requerendo
um sistema que estabeleça referenciais de comparação e negociação.
Indicadores de Execução
Referem‐se à realização dos processos, projetos e planos de ação conforme as
metas estabelecidas. Indicadores de execução podem ser encontrados no monitoramento
das ações do PPA.
Indicadores de Eficiência

16
 Essa medida possui estreita relação com produtividade, ou seja, o quanto se
consegue produzir com os meios disponibilizados. Assim, a partir de um padrão ou
referencial, a eficiência de um processo será tanto maior quanto mais produtos forem
entregues com a mesma quantidade de insumos, ou sejam obtidos com menor quantidade
de recursos.
Indicadores de Eficácia
Apontam o grau com que um programa atinge as metas e objetivos planejados, ou
seja, avaliam se as metas foram atingidas ou superadas, após estabelecidos o referencial
e comparando com o que foi produzido de fato.
Indicadores de Efetividade
Medem os efeitos positivos ou negativos na realidade, apontando se houve
mudanças socioeconômicas, ambientais ou institucionais decorrentes dos resultados
obtidos pela política, plano ou programa. É o que realmente importa para efeitos de
transformação social.

3.4.3 Q UANTO À TIPOLOGIA

Quando analisados pela tipologia, os indicadores podem ser classificados quanto à

forma, à valoração, à objetividade, à natureza das variáveis e suas relações.

Quanto à forma:
Indicador Analítico - Também chamado de simples, permite avaliar aspectos
diretos da realidade. Ex.: População de 15 anos ou mais alfabetizada.
Indicador Sintético - Também chamado de complexo, é constituído por indicadores
analíticos ou por muitas variáveis, e permite verificar comparabilidades pela construção de
rankings. Um exemplo é o Índice de Desenvolvimento Humano - IDH, composto de
variáveis que expressam a longevidade, a renda e a educação de uma população no
âmbito de União, Estado ou Município.

Quanto à valoração:
Indicador Descritivo - Apenas "descreve" características e aspectos da realidade
empírica, não sendo dotado de significados valorativos. Ex.: Taxa de evasão escolar.
(Evasão escolar é um conceito simples e é um registro com metodologia única para
qualquer desagregação).
Indicador Normativo - Reflete critérios que obedecem a alguma norma em sua

17
caracterização. Ex.: Proporção de pessoas na linha da pobreza. (indicador que depende
de normas em relação ao próprio conceito de pobreza)

Quanto à objetividade:
Indicador Objetivo - Registros que informam ou caracterizam algum dado ou valor.
Ex.: Taxa de desocupação.
Indicador Subjetivo - Registros baseados na interpretação pessoal, na qualificação
sobre algo. Ex.: Felicidade Interna Bruta- FIB.

Quanto à natureza das variáveis:

Indicador Quantitativo - Numericamente mensurável, ou seja, seus valores advêm
de uma medição ou de uma contagem. Ex.: Número de leitos hospitalares.
Indicador Qualitativo – Baseia-se em qualidades. Uma variável é qualitativa
quando seus possíveis valores são categorias ou características. Ex.: Grau de instrução
da mãe.

Quanto à relação das variáveis:

Variação Absoluta – Quando utiliza-se apenas uma variável na elaboração da
metodologia de cálculo do indicador. Ex.: Número de hospitais credenciados.
Variação Relativa - Quando utiliza-se mais de uma variável na elaboração da
metodologia de cálculo do indicador. Ex.: Proporção de hospitais credenciados. (Nesse
caso, há uma relação entre o número de hospitais credenciados e o total de hospitais.

3.5. PROPRIEDADES DESEJÁVEIS DOS INDICADORES

Existem alguns critérios que devem ser verificados para confirmar a relevância do
indicador, as propriedades desejáveis do indicador:

Cobertura - Abrangência territorial ou populacional;

Desagregabilidade - Capacidade de se referir às subdimensões territoriais

ou grupos categóricos;

18
 Comparabilidade - Comparação à um parâmetro e/ou espaço geográfico,
bem como séries histórica de acontecimentos;

Historicidade - Estabelecimento de séries históricas estáveis que permitam

monitoramentos e comparações;

Periodicidade - Possibilidade de um acompanhamento periódico;

Comunicabilidade - Aspectos práticos, claros e de fácil comunicação;

Confiabilidade - Origem em fontes confiáveis ou que utilizem metodologias

reconhecidas e transparentes de coleta;

Replicabilidade - Reprodução sem perca de confiabilidade.

Factibilidade - Facilidade de obtenção dos dados;

Economicidade na obtenção dos dados - A relação entre os custos de

obtenção e os benefícios advindos deve ser favorável, dando-se preferência à dados
que podem ser obtidos sem ou com baixo custo;

Especificidade - Reflete informações estritamente ligadas ao objeto em

estudo;

Sensibilidade - Capacidade de captar as variações sobre o fenômeno de

interesse, inclusive mudanças de comportamento durante a execução das atividades;

Relevância Social - Grau de importância do indicador à sociedade.

3.6. LIMITAÇÕES AO USO DE INDICADORES

Durante a construção e utilização de indicadores, é importante considerar que estes

apresentam algumas limitações, que precisam ser levadas em conta para uma adequada
utilização dos mesmos. A seguir são apresentadas as principais limitações comumente
citadas na literatura:

A medição interfere na realidade a ser medida: A coleta das informações altera o

contexto no qual estas informações são coletadas, interferindo nos resultados obtidos. Há

19
que se ter em mente que a gestão dos indicadores advêm de procedimentos executados
por pessoas, que possuem interesses, sofrem e geram pressões e podem não ser
plenamente isentas

Parcimônia e confiança são necessárias: Deve-se perseguir a aproximação entre a

fonte primária de informações (por exemplo, professores, policiais, assistentes sociais e
bancários) e as instâncias decisórias, para que o processo de aferição seja confiável,
subsidiando efetivamente os últimos sem sobrecarregar os primeiros, numa relação de
parcimônia e confiança. Para tal, deve ser dada ênfase em uma ampla comunicação e
busca pela compreensão e comprometimento mútuos de modo a facilitar e coordenar o
processo de busca da informação;

Não se deve subestimar o custo da medição: Medições efetivas envolvem custos

significativos, que devem ser avaliados com a máxima antecedência. É necessário que se
construa instrumentos, tais como sistemas de informação, que sejam amigáveis a todos
os envolvidos, de modo que estes não se tornem fardos à coleta, tratamento e
apresentação das informações, bem como não induzam ao descomprometimento na
prestação ou utilização das informações.

A medição não constitui um fim em si mesmo: Indicadores adequados, confiáveis e

disponíveis tempestivamente são excelentes ferramentas de suporte à decisão. Contudo,
deve-se ter cautela para que estes não interfiram negativamente no desempenho da
organização, seja pelo volume de recursos envolvidos na apuração, seja pela
supervalorização dos indicadores por parte das instâncias decisórias.
Por um lado, os decisores devem ter em mente que qualquer conjunto de
indicadores é uma redução da realidade e que outras formas de aquisição de informações,
tais como a troca de experiências e impressões interpessoais, não podem ser
desprezadas.
Por outro lado, as unidades setoriais têm que se certificar de que suas ferramentas
e processos não sirvam apenas a si próprios. Os indicadores devem ambicionar, em última
instância, à ampliação da capacidade do Estado de ofertar bens e serviços de qualidade

Indicadores são representações imperfeitas e transitórias: Não se deve confiar cega

e permanentemente nas medidas, o que significa dizer que o gestor de uma política pública
deve, periodicamente, realizar uma avaliação crítica acerca da pertinência dos indicadores
20
 selecionados, considerando que, a todo tempo, surgem modelos aperfeiçoados baseados
em novas teorias.

4. CONSTRUÇÃO DE INDICADORES

A Secretaria de Estado de Planejamento e Gestão – SEPLAG, na condição de

gestora do Sistema de Indicadores, tem como atribuição orientar órgãos e entidades do
Poder Executivo Estadual para construção dos indicadores vinculados aos Sistema de
Planejamento e Gestão.

O processo de orientação é conduzido de duas formas:

Quando não existe indicador – A equipe da SEPLAG orientará as unidades

setoriais para a condução das discussões em grupo, com contribuições por parte
de todos os participantes, resultando numa proposta de definição do problema,
objetivos e posterior definição do indicador – podendo ser utilizadas técnicas
como as de brainstorming. Na sequência, inicia-se o preenchimento da Ficha de
Metadados do Indicador, e finaliza-se com a validação ou não validação do
indicador, após análise da equipe SEPLAG.

No caso das políticas novas, a equipe dos órgãos e entidades deve inicialmente
aprofundar o conhecimento a respeito do fenômeno que se quer acompanhar e
provavelmente intervir. Caso contrário, a possibilidade de se criar indicadores
inadequados aumenta consideravelmente. O processo consiste, portanto, em realizar
estudos sobre o tema em foco, elaborar ou selecionar métodos de cálculo, criar
procedimentos de coleta de dados, e, principalmente, demonstrar que os novos
indicadores são adequados dentro de uma realidade social que se quer transformar.

É importante dialogar com o maior número de atores envolvidos, acadêmicos, sociedade

civil, bem como acessar informações estatísticas e pesquisas, a fim de descrever de forma
mais qualificada o problema para seu correto tratamento.

21
 Quando o indicador já existe - Neste caso, a equipe da SEPLAG orientará as
unidades setoriais para a condução das discussões de análise do indicador. Estas
discussões podem ser realizadas em conjunto com a equipe da SEPLAG, sendo
necessário que a Ficha de Metadados do Indicador (modelo em anexo), deverá
estar preenchida e analisada.

Quando a política pública já estiver sendo implementada, é preciso conhecer os fatores

que influenciam ou determinam seu estágio atual, os bens e serviços postos à disposição
do público-alvo, além de aspectos como a relação de forças entre os atores, os
beneficiários indiretos, entre outros. Com o conhecimento profundo sobre o funcionamento
da política que se torna possível traçar a estratégia de elaboração de novos indicadores
ou selecionar entre os vários existentes. Em áreas como Educação, Saúde e Energia, já
existem indicadores estabelecidos, testados e calibrados, inclusive comparáveis
internacionalmente, podendo ser selecionados imediatamente.

4.1 PLANO PARA DEFINIÇÃO DOS INDICADORES

Ao dar início ao trabalho de elaboração dos indicadores é importante planejar sua

definição. Para tanto, faz-se necessário obter respostas claras para as seguintes questões:

1. O que medir?
O indicador permite verificar se ocorrem variações significativas, por isso é tão importante
ter clareza no que se pretende alcançar. É o primeiro passo; não só para poder captar os
avanços, como, especialmente para definir as atividades na sequência que devem ser
feitas.

2. Por que medir?

É a forma de verificar a consistência da resposta à pergunta anterior, apontando se haverá
alguma utilidade prática no que se pretende fazer. Ou seja, não basta ter uma ideia
interessante, ela precisa ser viável e útil. Daí a importância em conduzir com muita atenção
o processo de definição do problema.

Problema: É um assunto controverso, que traz transtornos e que exige

grande esforço e determinação para ser solucionado.

22
 Descritores do Problema: É um conjunto de fatos que comprovam a
existência do problema.

3. Onde coletar?
Mesmo tendo escolhido um bom indicador, é necessário saber se existem fontes
disponíveis contendo dados e informações para alimentá-lo. Os dados podem ser
classificados em:

Dados contínuos: extraídos, normalmente, a partir de um instrumento de

medição, como a balança (kg) e a régua (cm);
Dados discretos: são números resultantes de contagens ou de
classificação.
Os dados podem ser:

Primários: dados administrativos ou de pesquisa, coletados diretamente do

informante. Deve-se ter o cuidado de utilizar uma metodologia que permita obter
informações confiáveis e atualizáveis.
Secundários: dados coletados e disponibilizados por outras instituições. É
importante considerar a credibilidade da instituição fornecedora e conhecer a
metodologia de coleta, para compreender suas limitações e as restrições de
uso.
No que tange às fontes, os dados são classificadas em:

Administrativas: contém dados registrados por meio de processos

administrativos e depois sistematizados para se tornarem públicos. Exemplo:
registro de nascimentos e óbitos (Sistema de Informações de Nascidos Vivos –
SINASC e Sistema de Informações sobre Mortalidade – SIM, do Ministério da
Saúde DATASUS, hospitais e cartórios).
Pesquisa: coletados por pesquisa amostral, em um período de referência
específico, normalmente na forma de questionários.
Censo: é o conjunto de todos os dados (todo o universo de pessoas, objetos,
situações) que descrevem algum fenômeno de interesse. A maioria dos países
do mundo elabora, por exemplo, censos populacionais.
Pesquisa Amostral: é um subconjunto de dados extraído de determinada
população. É a forma mais prática e usual de obter informações precisas, uma

23
 vez que geralmente é inviável fazer censos, pelo alto custo e tempo de coleta.
Um bom exemplo, é a Pesquisa Nacional por Amostra de Domicílios (PNAD),
realizada anualmente pelo Instituto Brasileiro de Geografia e Estatística (IBGE).

4. Quando medir?
A disponibilidade e periodicidade de coleta dos dados são itens importantes a se observar
tanto na elaboração quanto na análise e monitoramento de indicadores. Deve-se realizar
a coleta em tempo e regularidade suficientes para permitir as avaliações desejadas.

5. Como medir?
Respondidas as questões anteriores, será possível escolher um indicador capaz de
expressar variações qualitativas e quantitativas que meçam se as ações realizadas
provocaram as mudanças desejadas. A maioria dos indicadores possuem unidades de
medida simples e de baixa complexidade de cálculo, tais como:
Número: a definição do ndicador é dada por um número ou população, sendo o
resultado de uma contagem ou estimativa em valor absoluto;
Porcentagem ou Percentual (%): é a forma mais utilizada de se apresentar um
valor relativo, multiplicando simplesmente o resultado por 100, por isso, porcentagem;
Média: é o valor que representa um conjunto de valores da população. Definida
como a soma de todos os valores da população, dividida pelo número de observações;
Razão: a razão entre dois números é a divisão entre duas medidas, sendo que o
denominador não inclui o numerador, ou seja, são duas medidas separadas e excludentes;
Proporção: é a divisão entre duas medidas, sendo o numerador o número de casos
específicos, e o denominador o número de casos possíveis na população alvo multiplicado
por 100, estando sempre o numerador incluído no denominador. Pode ser usada para
estimar a probabilidade de um evento;
Taxa: é utilizada especialmente para acompanhar a variação de determinado
fenômeno, em determinado tempo, estando associada com a velocidade e a direção da
mudança em processos dinâmicos. É um coeficiente, assim como a proporção, mas o
resultado é multiplicado por qualquer potência de 10 (100, 1 mil, 10 mil...), a fim de tornar
o resultado de mais fácil compreensão;
Incidência: consite no número de novos casos ou ocorrências surgidos em relação
a uma determinada população e num determinado intervalo de tempo. Permite avaliar, por
exemplo, o ritmo de avanço de determinadas doenças ou epidemias;

24
 Prevalência: representa o número de casos existentes em relação a uma
determinada população e num determinado momento temporal. Na área da saúde, a
prevalência ajuda o profissional a conhecer a probabilidade ou risco de um indivíduo sofrer
de determinada doença;
Índice ou indicador sintético: é a combinação de diversas variáveis que
sintetizam um conceito abstrato complexo, em um único valor, para facilitar a comparação
entre localidades e grupos distintos. Exemplo: IDH (índice de desenvolvimento humano,
que combina três dimensões: saúde, renda e educação).

6. Como interpretar?
Depois dos passos anteriores, será possível fazer a análise e interpretação das
informações obtidas, comparando-as com os objetivos e metas estabelecidos, além de
outros parâmetros julgados relevantes.

4.2. PASSO A PASSO PARA ELABORAÇÃO DE INDICADORES

Para iniciar o processo de elaboração de indicadores, deve-se primeiramente definir

o problema que se deseja “ enfrentar” e o resultado que se pretende alcançar. Problema é
uma dificuldade na obtenção de um determinado objetivo, uma demanda não satisfeita, ou
uma carência, devendo-se para isso identificar as evidências que comprovem a existência
do problema, os descritores do problema, como no exemplo abaixo:

Tema: Saúde Infantil .

Problema: Mortalidade Infantil.
Descritor do Problema: Alta taxa de mortalidade infantil.

Define-se então o objetivo, ou seja, o que se pretende alcançar ou modificar, para um

melhor redirecionamento das ações, recursos ou tomada de decisões.

Objetivo a ser alcançado: Diminuir a taxa de mortalidade infantil.

Após a definição do objetivo, inicia-se o processo de elaboração do indicador, com o

estabelecimento do nome e da metodologia de cálculo do indicador, pois estes estão

25
relacionados entre si e com o objetivo.

Nome do indicador: Taxa de mortalidade infantil, a cada mil nascidos vivos.

Metodologia de Cálculo: Número de óbitos de menores de 1 ano de idade por
local de residência durante um certo período de tempo/ Número de nascidos
vivos de mães por local de residência x 1.000.

Nesta etapa faz-se a verificação da base de dados necessários para cálculo e

definição do indicador, sendo necessário definir a fonte da informação e a unidade de
medida para avaliar o alcance dos objetivos e metas estabelecidos. O período de
atualização também deve estar claro, pois juntamente com os dados da fonte de pesquisa
e disponibilidade, possibilitam a formação de uma base histórica para apoiar análises e
monitoramento de indicadores. Esses dados é que determinam: onde, como e quando
buscar informações sobre o indicador.

Fonte Dados: Ministério da Saúde - Sistema de Informações sobre Mortalidade

(SIM), Sistema de Informações sobre Nascidos Vivos (Sinasc).
Unidade de Medida: óbitos a cada mil - Escala: 0 a 1 mil.
Periodicidade: Anual Período disponível: 1979-2009 (com restrições).

Em seguida é necessário estabelecer as metas, quantificando valores e prazos a

serem cumpridos para que o objetivo seja alcançado, conforme metodologia de cálculo do
indicador.

Meta: Reduzir em 2/3, até 2017, a taxa de mortalidade infantil.

As descrições de definição, interpretação e uso do indicador, facilitam o

entendimento do que está se medindo, pois detalham o que é, o que faz e para que serve
o indicador, e por isso devem ser informados na elaboração do indicador.

Definição: Número de óbitos de menores de 1 ano de idade, a cada mil

nascidos vivos, por local de residência da mãe.
Interpretação e uso: Estima o risco de morte dos nascidos vivos durante o seu
primeiro ano de vida. Altas taxas de mortalidade infantil refletem, de maneira
geral, baixos níveis de saúde e de desenvolvimento socioeconômico. As taxas

26
 reduzidas podem ser resultado de subnotificações nos registros de óbitos. Por
outro lado, taxas exageradas podem indicar a incidência de um surto
epidemiológico.

Definir suas limitações, parâmetros, recomendações ou quaisquer informações

complementares, facilita na interpretação e análise do indicador, por isso recomenda-se
descrever todas as informações julgadas necessárias à análise do indicador, inclusive com
referência a compreensão do seu resultado e restrição ao uso de informações.

Limitações: O cálculo direto da taxa, a partir de dados obtidos de sistemas

de registro contínuo, pode exigir correções da subenumeração de óbitos
infantis e de nascidos vivos, especialmente nas regiões menos
desenvolvidas e áreas rurais. Existe também a possibilidade de nascidos
vivos que morrem logo após o nascimento serem declarados como
natimortos, subenumerando o total de nascidos vivos. Neste caso, há uma
série de ferramentas demográficas e estatísticas que podem promover a
apuração do indicador.

Parâmetros: Valores de referência estabelecidos por instituições

consagradas. Ex: OMS Altas = 50 por mil ou mais; Médias = 20-49; Baixas
= menos de 20 por mil.

Recomendações: Informações sobre possíveis falhas, erros de

interpretação e outros aspectos que sejam considerados importantes na
análise do indicador.

Informações Complementares: Quando a taxa de mortalidade infantil é

alta, avaliar qual é a categoria que mais impacta os óbitos (neonatal
precoce, neonatal ou pós-neonatal) pode indicar as principais causas dos
óbitos, como por exemplo doenças diarréicas, cuja incidência sugere baixos
índices de desenvolvimento humano. Nesse caso, pode-se avaliar também
e em conjunto o impacto de indicadores de saneamento, escolaridade,
renda e desnutrição.

Compreensão do Resultado: Classificação quanto ao sentido. Ex: Taxa

de mortalidade infantil, onde quanto menor melhor. Taxa de cobertura

27
 vacinal: Quanto maior melhor.

Restrição e Uso das Informações: Verificação a restrições de publicações

e/ou uso de dados do indicador. Ex: Retropolação de dados do IBGE.

Após os procedimentos acima, tem-se o indicador definido e organizado num

processo de descrição dos dados - os metadados. Para maior eficiência e transparência
do processo, deve-se disponibilizar os resultados do indicador em um Sistema de
Indicadores. No processo de elaboração de indicadores, a resposta às seguintes
perguntas constitui um bom referencial norteador:

O histórico deste indicador é conhecido?

Existem parâmetros de comparação com outras localidades e ações ou
recomendações de organismos internacionas?
Foi estabelecida meta para este indicador
Foi possível preencher todos os campos da Ficha de Metadados?
Sabe-se como proceder se os valores apresentarem uma mudança
significativa no indicador, quando negativas?
Existe um plano de ação para investigar e corrigir o impacto dessas
mudanças no indicador?
São conhecidas as interrelações com outros indicadores para uma melhor
interpretação e identificação das causas da situação em análise?
Foi definida estratégia simples e prática para divulgar o indicador proposto
às partes interessadas?

4.3. METADADOS DO INDICADOR

De acordo com o Instituto Brasileiro de Geografia e Estatística - IBGE, “Metadados

são informações úteis para identificar, localizar, compreender e gerenciar os dados.”
Para facilitar a elaboração, análise e apuração dos indicadores é necessário que os
Metadados sejam registrados em uma Ficha de Metadados do Indicador que descreve
todas as informações do indicador, desenvolvidos a partir dos objetivos a serem
alcançados.

28
 O modelo de Ficha de Metadados apresentado neste Guia é conciso e autoexplicativo,
afim de facilitar o processo de elaboração, análise e avaliação do indicador:

5. PROCESSO DE VALIDAÇÃO DOS INDICADORES

Compete à SEPLAG a validação dos indicadores que integrarão os instrumentos de

planejamento de longo, médio e curto prazo. Este processo observará as etapas de
Verificação Prévia dos Indicadores, análise dos requisitos fundamentais, sua
adequabilidade e aderência ao ciclo de políticas e aos instrumentos de planejamento.
Após concluído o processo de elaboração do indicador, inicia-se a etapa de
checagem e validação, para que possa se tornar parte integrante dos instrumentos de
planejamento de longo, médio e curto prazo. Este processo observará inicialmente, a
verificação prévia dos indicadores, considerando os atributos e requisitos fundamentais,
realizada pelo setor estratégico setorial. Cumprida esta etapa, deverá ser encaminhado à
SEPLAG para Análise de Adequabilidade e Aderência ao ciclo de políticas públicas e
instrumentos de planejamento e finalmente, sua Validação Metodológica, passando a
compor o Sistema de Indicadores do Estado.

5.1. VERIFICAÇÃO PRÉVIA DO INDICADOR

A análise de verificação prévia do indicador é realizada pela equipe estratégica

eetorial, após o preenchimento da Ficha de Metadados do Indicador. Para análise da
Ficha, são seguidos os procedimentos abaixo:

Primeiro, verifica-se a qual instrumento de planejamento o indicador está

vinculado e qual o objetivo proposto pela instituição;
Em seguida, o nome do indicador, sua descrição e a metodologia de cálculo,
para identificar se estão adequados ao que se pretende mensurar. Neste momento,
faz-se necessário confirmar a fonte e periodicidade de disponibilização dos dados;
Inicia-se então o processo de checagem dos demais campos da ficha,
confirmando se o mesmo foi elaborado/revisado de acordo com a metodologia de
indicadores, estando apto a seguir para análise de adequabilidade e validação.

29
 Após realizado os procedimentos de verificação dos metadados, inicia-se o
processo de verificação das propriedades desejáveis do indicador nos diversos
aspectos ou dimensões classificatórias.
Após esta verificação, o indicador é encaminhado ao órgão central de
planejamento e gestão, para demais etapas de validação.

5.2. ANÁLISE DE ADEQUABILIDADE E ADERÊNCIA DO INDICADOR

AOS INSTRUMENTOS DE PLANEJAMENTO

Nesta fase da análise, a equipe da SEPLAG, tendo como ponto de referência o

instrumento de planejamento a qual o indicador está vinculado, o objetivo proposto e as
metas pactuadas, considerará critérios como a aderência do indicador ao instrumento, sua
utilidade, validade, confiabilidade, disponibilidade, tempestividade e periodicidade de
avaliação.

5.3. ANÁLISE E VALIDAÇÃO METODOLÓGICA DO INDICADOR

Tanto a decisão de validação quanto a não validação do indicador será

acompanhada de um parecer técnico emitido pela equipe gestora do Sistema de
Indicadores, a partir da análise dos aspectos de cumprimento dos passos de elaboração,
verificação e checagem dos atributos do indicador e sua adequação como instrumento de
medição dos objetivos escolhidos.

O indicador será validado, quando após a análise for verificado que:

Ficha de Metadados preenchida em conformidade com a metodologia de

indicadores;

Verificação de propriedades desejáveis do Indicador;

30
 Parecer positivo de adequabilidade e aderência aos objetivos do instrumento
a que se propõe mensurar.

O indicador não será validado quando não apresentar os requisitos exigidos pela
metodologia de indicadores:

Ficha de Metadados preenchida em conformidade com a metodologia de

indicadores ;

Não verificação de propriedades desejáveis do Indicador;

Não obtiver um parecer positivo de adequabilidade e aderência aos objetivos

do instrumento a que se propõe mensurar.

Os indicadores validados serão inclusos no Sistema de Indicadores, e serão atualizados

pelo órgão responsável, conforme o mês e ano previsto na Ficha de Metadados.

REFERÊNCIAS BIBLIOGRÁFICAS

BARRETO, J.R.F.. Indicadores da função transporte para empresas de utility: um estudo

de caso. Dissertação (mestrado) – Pós-graduação em Engenharia de Produção da
Universidade Federal de Santa Catarina, Florianópolis, 1999.
BARRETO, A. de A. A eficiência técnica e econômica e a viabilidade de produtos e
serviços de informação. Revista Ciência da Informação v. 25, n. 3 dez. 1996.
BRASIL. Ministério do Planejamento, Desenvolvimento e Gestão. Secretaria de
Planejamento e Assuntos Econômicos Indicadores – Orientações Básicas Aplicadas à
Gestão Pública/ Ministério do Planejamento, Desenvolvimento e Gestão Coordenação de
documentação e Informação – Brasília: MP, 2018. 3ª Edição Brasília/DF – julho de 2018.
BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento
Federal. Secretaria de Planejamento e Investimentos Estratégicos. Guia referencial para
medição de desempenho e Manual para construção de

31
 indicadores–Brasília:MP, 2009 Disponível em:
http://www.gespublica.gov.br/content/guia-referencial-para-medi%C3%A7%C3%A3o-de-
desempenho-e-manual-para-constru%C3%A7%C3%A3o-de- indicadores.Acesso em: 25
de jun. 2016.
BONNEFOY, C.; ARMIJO, M. Indicadores de desempeño en el sector público. Santiago
do Chile: ILPES, 2005.
COSTA, Vermelho LL; KALE, JL. PL Indicadores de Saúde – Capítulo 3. In: MEDRONHO
RA, editor. Epidemiologia. 1st Ed Rio de Janeiro: Atheneu; 2000.
CRESPO, Antônio Arnot. Estatística fácil. 18. ed. São Paulo: Saraiva, 1999.
DIAS, Anacléia S.P. .Artigo: Problemáticas na elaboração de indicadores de desempenho
para os programas do Plano Plurianual. Ano 2017. Publicado em:
http://www.seplan.mt.gov.br/documents/363424/3935270/problematicas_elab_indicadore
s_desempenho.pdf/b98f7eec-7e36-44ac-9400- f38c11ec7e64
FERREIRA, Ednardo de Oliveira. Desenvolvimento de Sistema de Indicadores de
Avaliação de Infraestrutura Rodoviária no Contexto do Desenvolvimento Regional.
Dissertação (mestrado em transportes) – Universidade de Brasília. Faculdade de
Tecnologia – Departamento de Engenharia Civil e Ambiental, Brasília, 2006. 175f.
SCHNOOR, Geonir Paulo. .Artigo: Descritores do problema e o problema da falta de
infomações. Ano 2017. Publicado em: DIAS, Anacléia S.P. .Artigo: Problemáticas na
elaboração de indicadores de desempenho para os programas do Plano Plurianual. Ano
2017. Publicado em :
http://www.seplan.mt.gov.br/documents/363424/3935270/problematicas_elab_indicadore
s_desempenho.pdf/b98f7eec-7e36-44ac-9400- f38c11ec7e64
IBGE. METABD: Banco de Metadados. 2016. Disponível
em:http://www.metadados.ibge.gov.br/consulta/default.aspx .Acessoem: 25.Nov.2016.
InfraGuide, 2002. Developing Indicators and Benchmarks, Federation of Canadian
Municipalities and National Research Council.
JANNUZZI, Paulo de Martino / Patarra, Neide Lopes. Manual para capacitação em
indicadores sociais nas políticas públicas e em direitos humanos: textos básicos e guia de
uso e referência do material multimídia – São Paulo: Oficina Editorial, 2006.
JANNUZZI, P. M. Indicadores para diagnóstico, monitoramento e avaliação de programas
sociais no Brasil. Revista do Serviço Público Brasília 56 (2): 137- 160 Abr/Jun 2005.
Disponível em:
http://camara.fecam.org.br/uploads/28/arquivos/4054_JANUZZI_P_Construcao_Indicador
es_Sociais.pdf. Acesso em: 02 dez.2016.

32
 MATO GROSSO, Secretaria de Estado de Planejamento de. Manual de
elaboração de indicadores, 2016. Disponível em
http://www.seplan.mt.gov.br/documents/363424/0/Manual+de+indicadores+-
+2016..pdf/3d322fe0-5c73-4a8a-9ef5-58f839469a2b.
MATO GROSSO. Decreto nº 676, de 01 de setembro de 2016, que aprova o Regimento
Interno da Secretaria de Estado de Planejamento – SEPLAN. Disponível
em:http://www.auditoria.mt.gov.br/age_legislacao.php?id=1717. Acesso em: 01 dez. 2016.
SECRETARIA DE ESTADO DE PLANEJAMENTO DE MATO GROSSO. Manual de
Elaboração de Indicadores. 2016.
SERVIÇO SOCIAL DA INDÚSTRIA. Departamento Regional do Estado do Paraná.
Observatório Regional Base de Indicadores de Sustentabilidade. Construção e Análise de
Indicadores. / Serviço Social da Indústria. Departamento Regional do Estado do Paraná.
Observatório Regional Base de Indicadores de Sustentabilidade. – Curitiba: [s.n.], 2010.

TRIOLA, Mario F. Introdução à Estatística. Rio de Janeiro: LTC, 2005.

TCU - Tribunal de Contas da União. Técnicas de Auditoria: Indicadores de Desempenho e
Mapa de Produtos - Brasília : TCU, Coordenadoria de Fiscalização e Controle, 2000. 32 p.
WAGNER, Mário B. Medindo a ocorrência da doença: prevalência ou incidência? Jornal
de Pediatria 1998; 74: 157-162.
. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e
Investimentos Estratégicos - SPI. Indicadores de programas: Guia Metodológico /
Ministério do Planejamento, Orçamento e Gestão, Secretaria de Planejamento e
Investimentos Estratégicos - Brasília: MP, 2010. 128 p.: il. color.) Disponível
em:http://www.planejamento.gov.br. Acesso em: 01 jan.2016.
. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Orçamento
Federal. Secretaria de Planejamento e Investimentos Estratégicos. Indicadores -
Orientações Básicas Aplicadas à Gestão Pública / Ministério do Planejamento, Orçamento
e Gestão. Coordenação de Documentação e Informação – Brasília: MP, 2012. Disponível
em:http://www.planejamento.gov.br. Acesso em: 01 nov.2016.
_____. OBSERVATÓRIO REGIONAL BASE DE INDICADORES DE
SUSTENTABILIDADE. Construção e análise de indicadores. Curitiba: [s.n], 2010.
http://www.orbis.org.br/produto/13/indicadores
_____. Secretaria de Planejamento e Investimento Estratégico. Indicadores de Programas.
Guia Metodológico. Brasília: [s.n.], 2010.
______. Secretaria de Planejamento e Investimento Estratégico. Indicadores. Orientações

33
 básicas aplicadas à gestão pública. Brasília: [s.n.], 2012.
______. Secretaria de Gestão Pública. Manual de orientação para gestão de desempenho.
Brasília: [s.n.], 2013.
______. Secretaria de Planejamento do Estado de Mato Grosso. PPA 2016-2019.
ENAP, Fundação Escola Nacional de Administração Pública. Elaboração de indicadores
de desempenho institucional- Brasília – ano 2013.
Seplan, Manual de elaboração do PPA 2011. Coordenadoria de planejamento e avaliação
de políticas públicas.

34