See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/350529996

O uso de indicadores no monitoramento de programas e projetos de políticas

públicas: possibilidades e desafios na implementação do MROSC

Article · January 2016

CITATIONS READS

0 57

1 author:

Rodrigo Nunes Ferreira

Federal University of Minas Gerais
9 PUBLICATIONS   13 CITATIONS   

SEE PROFILE

All content following this page was uploaded by Rodrigo Nunes Ferreira on 31 March 2021.

The user has requested enhancement of the downloaded file.

 Como citar esse artigo:
FERREIRA, Rodrigo Nunes. O uso de indicadores no monitoramento de programas e
projetos de políticas públicas: possibilidades e desafios na implementação do MROSC.
REVISTA DA PROCURADORIA-GERAL DO MUNICÍPIO DE BELO
HORIZONTE, v. 8, p. 175-191, 2016.

O uso de indicadores no monitoramento de programas e projetos de políticas públicas:

possibilidades e desafios na implementação do MROSC
The use of indicators in the monitoring of public policy programs and projects: possibilities
and challenges in the implementation of MROSC

Rodrigo Nunes Ferreira*

Resumo
Entre as novidades trazidas pelo Marco Regulatório das Organizações da Sociedade Civil
(MROSC) está a exigência de especificação de indicadores, ou variáveis de resultado, nos
planos de trabalhos das parcerias. Trata-se de uma mudança de paradigma na relação entre o
Estado e as OSCs, ao priorizar os resultados da parceria e não o controle burocrático dos atos
praticados, na busca de maior qualidade e efetividade dos serviços prestados à sociedade. O
artigo oferece um referencial teórico/conceitual aos gestores e técnicos envolvidos na
elaboração e na avaliação dos planos de trabalhos, em especial dos termos de colaboração, com
o objetivo de contribuir com o aprimoramento do desenho das parcerias. Apresenta-se uma
breve revisão da literatura sobre os usos dos indicadores e seus limites, bem como os principais
conceitos envolvidos nos processos de monitoramento e avaliação de políticas públicas.
Também é apresentado um breve resumo das novas exigências da Lei 13.019/2014 para as
atividades de monitoramento e avaliação dos resultados das parcerias. Por fim, destaca-se como
exemplo o referencial conceitual utilizado pela PBH no monitoramento do Contrato de Metas
e Desempenho, que pode servir de modelo para o desenvolvimento de documentos de
orientação na elaboração dos planos de trabalho das parcerias.

Palavras-chave: MONITORAMENTO E AVALIAÇÃO; INDICADOR; ORGANIZAÇÕES

DA SOCIEDADE CIVIL

*
Doutor em Geografia pelo Instituto de Geociências da UFMG; Gerente de Indicadores na Secretaria Municipal
de Planejamento, Orçamento e Gestão da Prefeitura de Belo Horizonte. rodrigo.nf@pbh.gov.br
Abstract
Among the innovations brought by the Regulatory Framework of Civil Society Organizations
(MROSC) is the requirement to specify indicators or outcome variables in the work plans of
the partnerships. It is a paradigm shift in the relationship between the State and CSOs,
prioritizing the results of the partnership and not bureaucratic control of the acts practiced, in
the quest for greater quality and effectiveness of the services rendered to society. This article
offers a theoretical / conceptual reference to the managers and technicians involved in the
elaboration and evaluation of the work plans, especially the terms of collaboration, with the
objective of collaborating with the improvement of the design of the partnerships. It presents a
brief review of the literature on the uses and limits of indicators, as well as the main concepts
involved in the processes of monitoring and evaluation of public policies. Also presented is a
brief summary of the new requirements of Law 13,019/2014 for the activities of monitoring
and evaluation of the results of the partnerships. Finally, the conceptual reference used by PBH
in the monitoring of the Performance and Goals Contract is an example, which can serve as a
model for the development of guidance documents in the elaboration of the work plans of the
partnerships.

Keywords: MONITORING AND EVALUATION; INDICATOR; CIVIL SOCIETY

ORGANIZATIONS
Sumário
1 - Introdução ............................................................................................................................. 1
2 - Indicadores: limites e desafios .............................................................................................. 2
3 - Monitoramento e Avaliação de Políticas Públicas ............................................................... 6
3. 1 - O uso de indicadores no monitoramento de políticas públicas .................................................. 7
3.2 - Definição e seleção de indicadores ............................................................................................. 9
3.3 - Definição de metas de Desempenho ......................................................................................... 11
4 - O uso de indicadores de monitoramento e avaliação no contexto do MROSC .................. 11
5 - Considerações Finais: limites da mensuração do desempenho .......................................... 13
REFERÊNCIAS BIBLIOGRÁFICAS..................................................................................... 14
1 - Introdução

A avaliação e o monitoramento de políticas e programas públicos têm assumido, nos

últimos anos, papel de destaque nas funções de planejamento, orçamento e gestão
governamentais em todos os níveis da gestão pública no Brasil. Essa nova abordagem propõe
uma mudança de perspectiva no processo de planejamento e prestação de contas
governamentais. Não basta mais apenas medir insumos, produtos e resultados imediatos das
ações governamentais, também é necessário avaliar os resultados pretendidos em termos de
impacto no bem-estar do público alvo da intervenção.
Embora ainda incipiente nos municípios, este movimento tem impulsionado a
modernização da administração pública, no sentido da adoção de metodologias e sistemas de
monitoramento e avaliação das ações governamentais. Busca-se atender a demanda da
sociedade de transparência no acompanhamento dos resultados de governo, fazendo valer os
princípios constitucionais de publicidade e eficiência dos atos governamentais (BARCELOS;
FERREIRA, 2010, p. 18).
Para além do respeito aos princípios da boa governança institucional, é possível
defender a importância da perspectiva racionalista do processo de formulação de políticas até
mesmo como uma questão de escolha pragmática. Em um contexto de crescente limitação da
capacidade de intervenção do Estado, tanto por razões orçamentárias quanto por razões
relacionadas com os custos de mobilização de informação e tomada de decisão, torna-se
importante estabelecer critérios que orientem de forma transparente as escolhas de políticas
públicas (BRASIL, 2009). O monitoramento dos resultados permite aos gestores formular
políticas e projetos baseadas em evidências, melhorando assim a qualidade, a eficácia e a
efetividade das políticas e dos programas, além, obviamente, de permitir a constituição de
sólida base informacional para a promoção da transparência na prestação de contas do uso dos
recursos públicos.
O novo Marco Regulatório das Organizações da Sociedade Civil (MROSC), instituído
pela Lei nº 13.019/2014, se insere dentro dessa crescente tendência global que está
reformulando as políticas públicas, exigindo dos gestores uma mudança no enfoque, dos
insumos para os resultados como forma de prestação de contas do uso dos recursos públicos
(GERTLER, p. 3). Neste sentido, o MROSC é parte de conjunto de estratégias para o
aperfeiçoamento do ambiente jurídico e institucional relacionado às OSCs e a suas relações de
parceria com o Estado iniciadas em 2011, com regras mais claras para o planejamento prévio
dos órgãos públicos na seleção de entidades e na aplicação de recursos durante a execução,
monitoramento e avaliação do cumprimento do objeto da parceria (LOPES, VICHI, 2015). O
objetivo do legislador com a nova regulamentação é garantir a efetividade das parcerias como
mecanismos essenciais para a realização de políticas de interesse público, com eficiência na
execução dos projetos e, ao mesmo tempo, fortalecer a transparência na aplicação de recursos
públicos destinados às parcerias com as OSCs na prestação de serviços de interesse público
(LOPES, VICHI, 2015).
Diversos artigos da Lei nº 13.019/2014 fazem referências explicitas ao uso de
indicadores, quantitativos ou qualitativos, como instrumento de monitoramento da parceria
estabelecida entre o Estado e as OSCs. Indicadores estes que já devem ser explicitados no Plano
de Trabalho que orientará a execução da parceria, e os resultados apurados, acrescido de outros
insumos de monitoramento e avaliação, deverão compor o relatório técnico de monitoramento
e avaliação de parceria celebrada, e o parecer técnico conclusivo de análise da prestação de
contas final.
Considerando esse contexto de reformulação da relação entre o Estado e as OSCs, o
que deve ser observado ao especificar os indicadores ou as variáveis de resultado nos planos
de trabalhos das parcerias exigidos pelo MROSC? Este artigo busca oferecer um referencial
teórico/conceitual aos gestores e técnicos envolvidos na elaboração e na avaliação dos planos
de trabalhos, em especial dos termos de colaboração, e assim contribuir com o aprimoramento
do desenho das parcerias, que deve resultar na melhoria da qualidade e da efetividade dos
serviços prestados à sociedade pelas OSCs.

2 - Indicadores: limites e desafios1

Segundo Jannuzzi (2001), o indicador é uma medida, em geral quantitativa, que

operacionaliza um determinado conceito, em geral, abstrato. O vocábulo indicador tem raízes
no verbo latino indicare, que significa anunciar, divulgar ou fazer sabido publicamente. “É
algo que nos conta o que está para acontecendo, ou que está para acontecer” (RIBEIRO, 2006).
Indicadores também podem ser pensados como uma medida de uma característica observável
de um fenômeno social (CARLEY, 1985), e neste sentido é um recurso
metodológico/operacional que informa algo sobre um aspecto da realidade social ou sobre
mudanças que estão se processando na mesma (JANNUZZI, 2001). O indicador é sempre um
instrumento de mediação, utilizado para captar aspectos dos fenômenos e processos da
realidade social cuja a totalidade é impossível apreender (KAYANO; CALDAS, 2002). Por

1
O texto deste item reproduz parte de um capítulo da tese de doutorado do autor (FERREIRA, 2017).
isso a analogia proposta por Jean-Louis Besson (1995, p. 41), ao considerar o indicador como
uma figura de linguagem, uma sinédoque, pela qual a parte substitui o todo. Na concepção
empirista, cabe ao indicador mensurar a manifestação dos efeitos sensíveis do fenômeno
imaterial. Segundo Durkheim (1999, p. 31), para proceder tanto a classificação quanto a
comparação de fenômenos que não se prestam à observação exata e nem à medida, é necessário
“substituir o fato interno que nos escapa por um fato externo que o simbolize e estudar o
primeiro através do segundo”.

Justamente por ser o indicador um mediador entre o conceito e a operacionalização, são

diversas as controvérsias sobre o tema. Estas podem ser agrupadas em duas categorias: as que
fazem referências somente à medida e as que questionam o objeto em si. No primeiro caso, a
realidade da coisa em si é independente do processo de medição, a realidade é tomada como
um pressuposto metodológico, e a controvérsia é sobre a maneira de se medir, segundo modelos
oferecidos pela ciência. No segundo caso a existência e a definição sobre próprio objeto da
mensuração são postas em discussão (DESROSIÈRES, 2004, p. 15). Nessa perspectiva, a
existência independente dos fatos numéricos é questionada, diante do entendimento que eles
também são constructos sociais, já que a própria observação é também um processo de
construção do objeto (BESSON, 1995, p. 19). O indicador, portanto, tem seu significado
socialmente definido, pois as medidas não têm significado, sentido, ou quaisquer atributos
intrínsecos. Apenas quando situadas nas relações e práticas sociais que as determinam e
explicam, que adquirem significado, sentido e utilidade para os atores sociais envolvidos
(KAYANO; CALDAS, 2002).

Considerando que a medida estatística só existe no contexto de um universo conceitual

(COSTA, 1975, p. 169), o cálculo de indicadores prescinde de uma teoria social, “que justifique
as cifras – de um modelo ou uma visão de mundo que nos informe que diferenças existem nas
cifras” (CHURCHMAN, 1975, apud CARLEY, 1985). A medida não é um fim em si mesma,
e “sua validade científica só pode ser apreciada numa perspectiva instrumentalista, dentro da
qual indaguemos dos fins que a medida pretende servir, do papel que lhe cabe desempenhar na
situação científica, das funções que lhe tocam na investigação” (KAPLAN, 1972, p. 178). Nos
dizeres de Bourdieu, “não se trata de contestar por princípio a validade de utilização de um
material secundário, mas de explicitar as condições epistemológicas deste trabalho de
retradução que se refere sempre a fatos construídos (bem ou mal) e a dados (BOURDIEU et.
al., 2002 [1968], apud COSTA, 1975, p. 171)2. A observação de Milton Santos (2005) sobre o
uso de modelos nas pesquisas em geografia humana também se aplica ao uso de indicadores
sociais. Para o autor, é sempre necessário inscrever os modelos “em um quadro teórico, pois
deste depende, em sua maior parte, o bom resultado de qualquer que seja a pesquisa”. As
posições teóricas são sempre premissas para a interpretação de realidades concretas, e “os
métodos destinados a enfocar a realidade e a colocá-la em esquemas são apenas instrumentos
subordinados” (SANTOS, 2005, p. 87).

Segundo Milléo (2005, p. 98-99), nossa atual percepção sobre os usos possíveis dos
indicadores foi profundamente influenciada pela abordagem utilitarista prevalecente na
economia e em escolas do pensamento sociológico, como Escola de Chicago. Essas correntes
do moderno pensamento social influenciaram decididamente as escolhas através do qual o
social passou a ser estudado na ótica dos indicadores, como também a matriz de pensamento
que orienta a análise baseada em estatísticas. Focada numa análise consequencialista das
variáveis escolhidas para delimitarem o resultado das ações que visam o desenvolvimento
social, com pouca atenção dada às variações internas às unidades territoriais avaliadas. Outro
ponto destacado por Milléo está e dificuldade em lidar com temas como democracia3,
participação social e liberdade.

No pioneiro Relatório Indicadores Sociais de 1979 a equipe de pesquisadores do IBGE

já alertava para três reduções às quais estavam sujeitos trabalhos do tipo: i) separação entre o
social, o econômico e o político; ii) representação do social enquanto "problema", passível de
ser solucionado mediante a intervenção do Estado, e iii) recorte operacional do "problema"
social (IBGE, 1979, p. 8).

Se um por um lado a ‘matematização’ tem seus limites, pois, para usar um jargão muito
comum na área, nem tudo que pode ser contado conta e nem tudo que conta pode ser contado.

2
Bourdieu e seus colegas explicam sua posição da seguinte forma: “os que estão à espera de milagres a partir da
tríade mítica – ‘arquivos’, ‘data’ e ‘computers’ - ignoram o que separa esses objetos construídos que são os fatos
científicos (coletados por questionário ou inventário etnográfico) dos objetos reais que são conservados nos
museus e que, pela sua "excessiva concretude", oferecem à interrogação ulterior a possibilidade de construções
indefinidamente renovadas. Por esquecermos essas preliminares epistemológicas, ficamos expostos a tratar
diferentemente o idêntico e de uma forma idêntica o diferente, comparar o incomparável e deixar de comparar o
comparável, pelo fato de que, em sociologia, os "dados", até mesmo os mais objetivos, são obtidos pela aplicação
de grades (faixas etárias, de remuneração, etc.) que implicam pressupostos teóricos e, por esse motivo, deixam
escapar uma informação que poderia ter sido apreendida por outra construção dos fatos” (BOURDIEU et. al.,
2002, p. 49-50)
3
A observação do autor deve ser relativizada. Algumas iniciativas tentam superar o desafio de mensuração do
grau de democracia em determinada sociedade, como a proposta de indicadores apresentada por Saward (1994) e
as pesquisas do grupo inglês Democratic Audit (WILKS-HEEG, BLICK, CRONE, 2012).
Por outro lado, também é preciso entender que na sociedade moderna os indicadores são
elementos constitutivos das leituras intersubjetivas dos fenômenos sociais. “Os indicadores
econômicos e sociais não são apenas reflexos passivos dos fenômenos que pretendem resumir.
Eles também fazem parte daquilo que organiza nossas molduras cognitivas, nossa visão de
mundo, nossos valores, nossos julgamentos” (GADREY; JANY-CATRICE, 2006, p. 24).

Abordando a questão do uso dos indicadores na perspectiva dos atores envolvidos,

também deve ser observado que, embora os indicadores sejam medidas quantitativas, a
metodologia de estruturação da operacionalização do conceito não afasta a dimensão subjetiva
da avaliação. A observação e análise também são determinadas pelas formas de apreensão do
real pelo sujeito, que, mediado pelos seus códigos de valores, atribuem significados aos fatos
e processos. As intenções e concepções do sujeito sempre precedem e presidem a utilização de
indicadores e as ações de intervenção sobre o real (KAYANO; CALDAS, 2002). Os próprios
critérios de escolha das unidades de análise decorrem de definições prévias sobre o problema
e como ele deve ser caracterizado. A rigor, como defende Telles (2003), “os indicadores não
medem a realidade, algo que estaria lá pronto para ser descrito: participam da construção social
da realidade”. Jannuzzi (2001) chama a atenção para o equívoco da prática corrente de
substituição do conceito indicado pela medida supostamente criada para operacionalizá-lo,
sobretudo no caso de conceitos abstratos e complexos, como desenvolvimento humano e
condições de vida. Segundo o autor, a reificação da medida em detrimento do conceito tem
outro desdobramento muito preocupante sobre o campo da formulação de políticas, que é o de
reforçar a tendência de encará-la como isenta de valores ideológicos ou políticos, como se na
sua construção não interviessem orientações teóricas e opções metodológicas dos seus
proponentes.

A compreensão do processo de produção das estatísticas públicas é importante para o

correto entendimento dos seus significados. A antropologia do conhecimento científico
desenvolvida por Bruno Latour (2000), focada nos processos de elaboração da ciência,
compreende a produção de estatísticas públicas como um contínuo processo de construção de
“móveis imutáveis e combináveis”, a partir de redes que “aperfeiçoam a circulação de traçados
de todo tipo, aumentando-lhes a mobilidade, a velocidade, a confiabilidade e a capacidade de
combinar-se” (LATOUR, 2000, p. 377). Na concepção de Latour, as inscrições armazenadas
nos centros, como os institutos nacionais de estatística, conservam, simultaneamente, “o
mínimo e o máximo possível, através do aumento da mobilidade, da estabilidade ou da
permutabilidade desses elementos”. E, segundo o autor, esse “meio termo entre presença e
ausência muitas vezes é chamado de informação”, e “quando se tem uma informação em mãos,
tem-se a forma de alguma coisa sem ter a coisa em si” (LATOUR, 2000, p. 396). Partindo
desse entendimento sobre a construção social das estatísticas, Latour lembra que o objeto de
estudo, e de admiração, deve ser essa “logística dos móveis imutáveis”, pois, em caso de
discussão, “outros cômputos, códigos, indicadores, parâmetros e métodos de cálculo permitirão
que os discordantes voltem da enésima inscrição final aos questionários arquivados e, destes,
às pessoas que moram na região pesquisada” (LATOUR, 2000, p. 381).

Na maioria das vezes, equivocadamente, a crítica é dirigida para o indicador em si,

quando, na verdade, o que deve ser avaliado criticamente é o uso social que se faz da medida,
passando pelo correto entendimento do modelo conceitual que presidiu sua construção e da
logística de sua produção. Uma vez construídos os indicadores, os usuários se esquecem que
os mesmos são resultados de definições prévias sobre o problema e como ele deve ser
caracterizado. Por isso é necessário sempre voltar às concepções que orientaram as escolhas
por determinadas informações, e questioná-las, se necessário, pois diferentes concepções levam
a diferentes formas de mensuração e também, ao mesmo tempo, a diferentes respostas quanto
às políticas e estratégias de intervenção (BRONZO, 2011).

3 - Monitoramento e Avaliação de Políticas Públicas

O monitoramento no contexto da execução de serviços públicos objetiva subsidiar os

gestores com informações mais simples e tempestivas sobre a operação e os efeitos da
intervenção, preferencialmente resumidas em um conjunto predefinido de indicadores de
monitoramento. Deve se diferenciar o monitoramento da avaliação, está deve ser focada em
informações mais aprofundadas e detalhadas sobre o funcionamento e os efeitos do programa
ou projeto. Enquanto o monitoramento é uma atividade gerencial, mais interna, realizada
durante o período de execução do projeto, a avaliação pode ser realizada antes, durante e depois
da implementação do programa. O monitoramento se configura como uma atividade contínua
de coleta de dados, onde se verifica se as metas estão sendo atingidas conforme o esperado. Já
a avaliação busca analisar se a intervenção causou os impactos esperados (JANNUZZI, 2001,
2005; BARCELOS; FERREIRA, 2010).
De forma objetiva, a avaliação propriamente dita deve responder a perguntas do tipo: o
problema foi resolvido? O programa funcionou? Questões que requerem sofisticação
metodológica, pois lidam com problemas diversos, como a identificação ou o estabelecimento
da relação de causalidade entre a política pública e o resultado social de interesse, e a
mensuração de efeitos importantes e até mesmo as diferenças entre os efeitos quantitativos e a
percepção dos beneficiários sobre como foram afetados pela intervenção (BATISTA;
DOMINGOS, 2017, p. 2). Contudo, os processos de monitoramento e avaliação são
complementares, pois as informações provenientes do monitoramento auxiliam o julgamento
e a avaliação da eficácia, eficiência e até da efetividade dos programas.

3. 1 - O uso de indicadores no monitoramento de políticas públicas

Um dos assuntos mais controversos na mensuração de desempenho no setor público diz

respeito ao foco da mensuração: o que deve ser medido? Responder a essa pergunta não é
trivial, e dessa resposta depende todo o planejamento do processo de seleção e definição dos
indicadores de monitoramento. A escolha do foco da mensuração deve partir de uma tipologia
que, inicialmente proposta por Mayston (1985), tornou-se clássica e atualmente é amplamente
utilizada em estudos sobre o tema. Trata-se da divisão dos indicadores em quatro grandes
grupos: indicadores de insumo, indicadores de processos, indicadores de produtos/serviços
(outpus) e indicadores de impacto (outcomes) (ASSIS, 2012)
Conforme ilustrado na Fig. 1, essa classificação é utilizada concatenada com a
concepção de cadeia de valor, que identifica seis dimensões do desempenho, também chamada
de 6Es: dimensões do Resultado (Eficiência, Eficácia e Efetividade) e dimensões de esforço
(Economicidade, Excelência e Execução). A lógica da cadeia de valor permite a identificação
de distintos objetos de mensuração em cada uma das dimensões, e orienta a modelagem de
indicadores de monitoramento do desempenho (BRASIL, 2009, p. 14).
 Figura1: Indicadores e Medidas de Desempenho
(Fonte: elaboração do autor a partir de fontes diversas)

Embora seja crescente no setor público brasileiro a importância dada às três dimensões
do desempenho mais tradicionais (eficiência, eficácia e efetividade), ainda são incipientes as
iniciativas de avaliação da satisfação dos usuários de serviços públicos (BRASIL, 2013). Mas
novos parâmetros regulatórios têm exigido uma mudança de postura dos gestores públicos,
como a Lei 13.460/17, que estabelece a necessidade de avaliação da satisfação do cidadão com
os serviços disponíveis na Carta de Serviços, e a própria Lei nº 13.019/2014, ao recomendar ao
gestor público a aplicação de pesquisa de satisfação dos usuários com os serviços prestados
pelas OSCs. As pesquisas de satisfação têm origem, inspiração técnica e metodológica no setor
privado, mas, dada a complexidade e a natureza dos serviços prestados pelas organizações
governamentais, e suas parcerias da sociedade civil, as metodologias devem ser adaptadas ao
contexto do serviço público. Reconhecer que a satisfação do usuário é importante componente
da avaliação dos serviços prestados pelo Estado é uma atitude de valorização da cidadania.
Deve-se compreender o usuário como um sujeito de direito e, como tal, deve se escutado no
momento de especificação dos serviços a serem prestados, seja para se levantar as expectativas
do público alvo, ou para avaliar a satisfação com a qualidade de prestação do serviço. Supera-
se dessa forma visões arcaicas que, muitas das vezes, compreendem o serviço público,
notadamente os sociais, como um favor, e não como um direito do cidadão.
3.2 - Definição e seleção de indicadores

Como reconhece o “Guia referencial para medição de desempenho e manual para

construção de indicadores” (BRASIL, 2009), não existe um procedimento único ou uma
metodologia padrão para construção e seleção de indicadores de desempenho. O Guia, baseado
em uma revisão das principais experiências de construção de indicadores para o setor público
e privado, sugere um conjunto de 10 etapas (FIG. 2) que, se observadas, podem assegurar a
qualidade dos processos de formulação e implementação de indicadores para monitorar o
desempenho de Programas e Projetos.

FIGURA 2 – Etapas de medição e os 10 passos para construção de indicadores.

(Fonte: BRASIL, 2009)

Além de seguir o roteiro acima sugerido, a literatura recomenda que cada indicador
candidato à seleção deve ser avaliado segundo algumas características desejáveis, dentre as
quais as mais relevantes são4:

4
A lista das características desejáveis é baseada nas recomendações de diversos autores, em especial Jannuzzi
(2001, 2005), Armijo (2011) e Bonnefoy e Armijo (2005). Essas recomendações gerais para a seleção de
indicadores de desempenho também são resumidas no acrônimo SMART (em inglês): específicos (specific),
mensuráveis (measurable), atribuíveis (attributable), realistas (realistic) e direcionados (targeted) (GERTLER et
al., 2018, p. 47).
a) Validade/Relevância: deve ser útil no sentido de possibilitar a avaliação da estratégia
articulada pelo programa para solucionar o problema, sendo, por isso, coerente com o objetivo
do programa e sensível às suas ações;
b) Confiabilidade: o indicador deve ser apurado de tal forma a inspirar segurança sobre
metodologia de coleta de dados e de seu cálculo, e todos os procedimentos utilizados devem
ser auditáveis (importância dos registros/memória de cálculo);
c) Simplicidade: a informação disponibilizada pelo indicador deve ser facilmente
compreensível pelos gestores e pelos beneficiários;
d) Viabilidade: o indicador deve ser passível de mensuração, o órgão responsável deve ter
condições reais de apurá-lo, observando, quando necessário, os eventuais custos para a coleta
dos dados e cálculo do indicador;
e) Tempestividade: os indicadores devem ser apuráveis em tempo oportuno para informe
nos relatórios de monitoramento.
Embora sejam importantes aspectos a serem observados na seleção de indicadores, na
prática do monitoramento de projetos sociais é raro encontrar indicadores que atendam a todos
estes atributos. Nem sempre o indicador de maior validade é o mais confiável; o mais confiável
é o mais simples ou inteligível; o mais claro é o mais sensível; e, muitas vezes, quando o
indicador reúne todas estas qualidades, não é passível de ser obtido na abrangência requerida,
territorial ou populacional, e na periodicidade necessária. Por isso, o processo de seleção de
indicadores no monitoramento de programas e projetos no setor público, e em projetos sociais
de uma forma geral, precisa lidar com escolhas pragmáticas. Em diversas situações é preciso
trabalhar com aproximações, e construir indicadores a partir de dados já existentes e que
atendam a padrões aceitáveis de qualidade.
A inexistência de métricas que atendem a todos os requisitos desejáveis não deve ser
encarada como um limite intransponível para a implementação do monitoramento. Na maioria
dos casos, o uso de medidas aproximadas (proxies), em conjunto com outras variáveis, também
não completamente adequadas, permite traçar um cenário confiável para o monitoramento do
desempenho e dos resultados da intervenção. Como regra, uma boa avaliação sempre deve
contar com uma abordagem multimétodo como forma de estabelecer avaliações mais
completas. Como defendem Batista e Domingos (2017, p. 2), “diferentes técnicas respondem
a diferentes questões, mas em conjunto buscam o mesmo objetivo, que é a formulação de
políticas baseada em evidências”.
3.3 - Definição de metas de Desempenho

Uma vez selecionados os indicadores, faz-se necessário definir e pactuar as metas de

desempenho. A meta é sempre uma expressão numérica que representa o estado futuro de
desempenho desejado, contêm, portanto, uma finalidade, um valor e um prazo. As metas devem
ser: alcançáveis; desafiadoras; diretas; negociáveis; fundamentadas em séries históricas,
tendências e benchmark, e, do ponto de vista da álgebra envolvida, calculadas por faixas de
desempenho, resultado sobre meta ou cálculo incremental (BRASIL, 2009, p. 52).
A meta é o parâmetro a ser utilizado para apurar o desempenho, entendido como os
esforços empreendidos na direção de resultados a serem alcançados (BRASIL, 2009, p. 9). A
mensuração do desempenho propõe estabelecer o valor quantitativo ou qualitativo de um
insumo, produtos/serviço, impacto, nível de atividade ou evento ou ainda de um processo
(ASSIS, 2012, p. 35). Ainda segundo Assis (2012), uma questão crucial é de que forma a
informação será utilizada na mensuração do desempenho: um uso leve (soft) ou pesado (hard).
Situações onde variações no desempenho implicam em consequências financeiras são
exemplos hard, enquanto situações em que variações nos resultados implicam apenas em
memorandos internos, comentando o desempenho, podem ser consideradas soft. A escolha por
um ou outro método deve considerar a atuação dos efeitos disfuncionais, cuja presença é
diretamente relacionada ao aumento da intensidade do uso da informação sobre o desempenho
(DOOREN et al, 2010, apud ASSIS, 2012)5.

4 - O uso de indicadores de monitoramento e avaliação no contexto do MROSC

Entende-se que não há necessidade de retomar aqui aspectos sobre a história e os

objetivos do MROSC, já devidamente abordados em outros artigos dessa publicação. Assim
sendo, comenta-se a seguir apenas alguns pontos do MROSC diretamente relacionados ao
monitoramento e avaliação.
A primeira menção explicita na Lei nº 13.019/2014 ao uso dos indicadores no
monitoramento das parcerias comparece no art. 22, que, ao elencar os itens obrigatórios do
plano de trabalho de parcerias celebradas mediante termo de colaboração ou de fomento, exige
no inciso IV a “definição dos parâmetros a serem utilizados para a aferição do cumprimento
das metas”. Mais adiante, o parágrafo único do Art. 23, em seus incisos II e VI, explicita a

5
Um dos exemplos mais comuns dos efeitos disfuncionais é o denominado gaming, caracterizado pela
“deliberada distorção ou fabricação de números coletados com a intenção de melhorar a posição de um indivíduo
ou organização” (HOOD, 2007, p. 100, apud ASSIS, 2012).
necessidade do próprio chamamento público, sempre que possível, elencar entre os critérios a
serem observados as metas e os indicadores, quantitativos ou qualitativos, de avaliação de
resultados das parcerias. A seção VI, Do Monitoramento e Avaliação, retoma a questão da
necessidade de uso dos indicadores objetivos, explicitando que o relatório técnico de
monitoramento e avaliação de parceria, a ser emitido pela administração pública, deverá
basear-se na análise “do cumprimento das metas e do impacto do benefício social obtido em
razão da execução do objeto até o período, com base nos indicadores estabelecidos e aprovados
no plano de trabalho” (inciso II do § 1º do art. 59).
Além dos indicadores vinculados às metas do plano de trabalho, a Lei nº 13.019/2014
explicita seu alinhamento com as mais modernas técnicas de monitoramento no setor público,
e incentiva a adoção de metodologias de avaliação da satisfação dos usuários como instrumento
auxiliar de avaliação dos resultados da parceria. O § 2o do Art. 58 delega à administração
pública a responsabilidade pela aplicação da pesquisa de satisfação com os beneficiários do
plano de trabalho nas parcerias com vigência superior a 1 (um) ano, mesmo que de forma
facultativa e com a possibilidade de apoio técnico de terceiros. Quando realizada, os resultados
da pesquisa de satisfação devem ser utilizados como subsídio na avaliação da parceria
celebrada, devendo constar do parecer técnico emitido pelo Gestor da parceria (inciso III do §
4o do art. 67).
Diante dessas exigências, os gestores responsáveis pelas parcerias bem como os
integrantes das Comissões de Monitoramento e Avaliação devem atentar para as
especificidades de cada tipo de parceria no momento de definição ou aprovação dos indicadores
de monitoramento. Observar os aspectos particulares não implica que parâmetros gerais, e
conceituais, não possam ser estabelecidos para orientar a formulação dos planos de trabalho.
Pelo contrário, seguindo o princípio de parceria entre poder público e OSCs que prevalece na
Lei, sugere-se que os órgãos da administração pública ofereçam subsídios que balizem a
formulação dos indicadores e metas.
Um exemplo de como parâmetros conceituais podem favorecer o bom desenvolvimento
do processo de monitoramento, pode ser encontrado na experiência da Prefeitura de Belo
Horizonte com o Contrato de Metas e Desempenho (CMD). Instituído pela Lei Municipal nº
11.065/2017, o CMD é composto, dentro outros elementos, por um conjunto de metas de
desempenho, fixadas por indicadores objetivos e ações, com prazos de execução e meios de
apuração objetivamente definidos (inciso II Art. 22). Visando orientar a pactuação dos
indicadores do CMD, a Secretaria Municipal de Planejamento, Orçamento e Gestão (SMPOG),
estabeleceu o referencial conceitual apresentado na Fig. 3, que definiu duas dimensões de
avaliação e quatro tipos de indicadores. A dimensão qualidade dos serviços, com indicadores
de desempenho operacional ou de satisfação, e a dimensão resultados, com indicadores de
produtos ou de impacto. Essa padronização apenas conceitual, sem especificar exemplos para
cada uma das áreas de resultado pactuadas, permitiu orientar e padronizar o trabalho das
equipes técnicas, uniformizando a etapa de seleção dos indicadores para o CMD.

Figura 3: Referencial conceitual para seleção de indicadores para o Contrato de Metas e

Desempenho da PBH (Fonte: elaboração do autor)

5 - Considerações Finais: limites da mensuração do desempenho

As novidades regulatórias trazidas pelo MROSC, com a mudança de foco do controle

para os resultados efetivos da parceria, permitirão um grande avanço na relação entre Estado e
OSCs, ampliando a efetividade dos serviços prestados à comunidade. Mas o incentivo ao
controle via monitoramento e avaliação dos resultados também traz grandes desafios,
principalmente quando se considera o atual grau de maturidade das administrações públicas,
notadamente na escala municipal, no domínio das técnicas de monitoramento e avaliação de
programas e projetos.
A própria estratégica de mensuração via indicadores tem suas limitações, a
complexidade envolvida na avaliação de determinados contextos sociais nem sempre pode ser
satisfatoriamente reduzida a algumas cifras numéricas. Nem sempre se tem uma sólida base
conceitual que permita elaborar uma boa teoria da mudança, que explicite a relação causal entre
as intervenções realizadas e os resultados esperados. Problemas de desenho dos projetos, como
objetivos não suficientemente claros, são constantemente impeditivos para seleção de métricas
estatísticas de monitoramento e avaliação. Também há limitações decorrentes da própria
natureza dos instrumentos quantitativos, que dificilmente captam os impactos de natureza
subjetiva (auto estima, motivação, etc…) produzidos pela intervenção, que, em muitos casos,
podem ser o objetivo principal do projeto.
Monitorar tem um custo e exige a disponibilização e a capacitação das equipes
envolvidas, por isso também as iniciativas nessa área devem ser pensadas como uma atividade
que precisa otimizar seus processos, focando nos aspectos mais relevantes dos resultados
esperados. Em muitos casos, a geração de indicadores relevantes requerer dados e informações
específicos, cuja obtenção e tratamento demandarão tempo e representarão custos, como na
realização de pesquisa amostral com o público-alvo. Uma solução é trabalhar com
aproximações, e construir indicadores a partir de dados já existentes, como as bases de dados
dos registros de atendimento e cadastros em sistemas eletrônicos, tratados dentro de padrões
aceitáveis de qualidade.
Como defendem Lopes e Vichi (2015, p. 26), a mudança de paradigma trazida pelo
Novo Marco Regulatório de se priorizar os resultados da parceria e não o controle burocrático
dos atos praticados “exige que se construa cada vez mais, no âmbito dos órgãos públicos, o
conhecimento necessário sobre custos, métodos e indicadores.” Entretanto, é bom lembrar que
as estratégias de monitoramento e avaliação não devem se resumir ao uso de indicadores. O
MROSC prevê uma série de iniciativas de monitoramento e transparência que podem ser
implementadas pelas Comissões de Monitoramento e Avaliação: visitas in loco; a aplicação de
pesquisas junto aos beneficiários finais para parcerias com mais de um ano; a gestão por
plataforma eletrônica e a publicação de dados e informações em sites eletrônicos da
administração pública. O uso em conjunto de todas essas iniciativas é que garantirão o alcance
do objetivo desejado, de melhorar a efetividade dos serviços prestados à sociedade pelo poder
público em parceria com as OSCs.

REFERÊNCIAS BIBLIOGRÁFICAS

ARMIJO. Marianela. Planificación estratégica e indicadores de desempeño en el sector

público. Santiago de Chile: CEPAL/Instituto Latinoamericano y del Caribe de Planificación
Económica y Social (ILPES), 2011. (Série Manuales 69). Disponível em:
<http://www.cepal.org/ilpes/publicaciones/xml/8/44008/sm_69_ma.pdf>. Acesso em 10 de
maio de 2017.
ASSIS, Luís Otávio Milagres. Efeitos organizacionais da implantação de metas e
remuneração variável por desempenho: o caso da segurança pública em Minas Gerais.
Dissertação (Mestrado em Administração Pública e Governo). Fundação Getúlio Vargas,
Escola de Administração de Empresas de São Paulo. São Paulo, 2012 (176 f.)
BASTOS, Denise Rezende Barcellos; FERREIRA, Rodrigo Nunes. Monitoramento de
Planos Plurianuais em Municípios. Pensar BH. Política Social, v. 26, p. 16-22, 2010.
BATISTA, Mariana; DOMINGOS, Amanda. Mais que boas intenções: técnicas quantitativas
e qualitativas na avaliação de impacto de políticas públicas. Revista Brasileira de Ciências
Sociais, Vol. 32, n° 94, junho/2017.
BESSON, Jean-Louis (org.). A ilusão das estatísticas. São Paulo: UNESP, 1995.
BONNEFOY, J. C.; ARMIJO, M. Indicadores de desempeño en el sector público. Santiago
de Chile: CEPAL/Instituto Latinoamericano y del Caribe de Planificación Económica y Social
(ILPES), 2005. (Série Manuales 45) Disponível em:
<http://repositorio.cepal.org/bitstream/handle/11362/5611/S05900_es.pdf>. Acesso em 10 de
maio de 2017.
BOURDIEU, P.; CHAMBOREDON, J.; PASSERON, J. A profissão de sociólogo:
Preliminares epistemológicas. 3ª ed. EDITORA. Petrópolis: Editora Vozes, 2002.
BRASIL. Ministério do Planejamento. Secretaria de Gestão. Guia referencial para medição
de desempenho e manual para construção de indicadores. Brasília: Secretaria de
Gestão/MP, Dezembro 2009. Disponível em: <
http://www.gespublica.gov.br/sites/default/files/documentos/guia_indicadores_jun2010.pdf>.
Acesso em: 10 de maio de 2017.
BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Gestão Pública.
Programa GESPÚBLICA – Pesquisa de Satisfação: Guia Metodológico; Brasília; MP,
SEGEP, 2013. Versão 1/2013. Disponível em: http://www.gespublica.gov.br/content/pesquisa-
de-satisfa%C3%A7%C3%A3o-guia-metodol%C3%B3gico
BRONZO, Carla. Enfoques e medidas de pobreza nas políticas sociais municipais.
Seminário Internacional Indicadores Urbanos para o Planejamento Municipal: tendências e
desafios. 7 e 8 de novembro de 2011. Belo Horizonte, Minas Gerais, Brasil.
CARLEY, Michael. Indicadores sociais: teoria e prática. Rio de Janeiro: Zahar, 1985.
CAVALCANTI, Mônica Maria de Arruda. Avaliação de políticas públicas e programas
governamentais - uma abordagem conceitual. Interfaces de Saberes, v. 6, n. 1, 2006.
Disponível em: < https://interfacesdesaberes.fafica-
pe.edu.br/index.php/import1/article/view/20>. Acesso em: 10 de maio de 2017.
COHEN, E.; FRANCO, R.. Avaliação de projetos sociais. Petrópolis, RJ: Vozes, 1993.
COHEN, Ernesto; MARTÍNEZ. Rodrigo. MANUAL: Formulación, evaluación y monitoreo
de proyectos sociales. División de Desarrollo Social, CEPAL, [200-]. Disponível em:
<http://dds.cepal.org/redesoc/archivos_recursos/242/Manual_dds_200408.pdf>. Acesso em
10 de maio de 2017.
COSTA, Tereza Cristina Nascimento A. Considerações teóricas sobre o conceito de indicador
social: uma proposta de trabalho. Revista Brasileira de Estatística, Rio de Janeiro, 36(142):
167-176, abr/jun 1975.
COTTA, Tereza Cristina. Metodologia de avaliação de programas sociais: análise de resultados
e de impactos. Revista do Serviço Público, Brasília, a. 49, n. 2. p.105-126, abr./jun. 1998.
Disponível em: <https://revista.enap.gov.br/index.php/RSP/article/view/368>. Acesso em 10
de maio de 2017.
DESROSIÉRES, Alain. La política de los grandes números. Editorial Melusina, Barcelona,
2004.
DURKHEIM, Émile, Da divisão do trabalho social. 2ª ed. São Paulo: Martins Fontes, 1999
(Coleção tópicos)
FERREIRA, Rodrigo Nunes. Os limites da renda como indicador de bem-estar social e
desigualdade nos municípios brasileiros. Tese apresentada ao Programa de Pós-Graduação
do Departamento de Geografia da Universidade Federal de Minas Gerais, como requisito
parcial para obtenção do título Doutor em Geografia. Belo Horizonte, 2017.
FIGUEIREDO, Marcus e FIGUEIREDO, Argelina C. Avaliação Política e Avaliação de
Políticas: Um Quadro de Referência Teórica. Revista Fundação João Pinheiro, p. 108-129,
v. 1, n. 3, set/dez 1986. Disponível em:
<http://www.bibliotecadigital.mg.gov.br/consulta/consultaDetalheDocumento.php?iCodDocu
mento=51520>. Acesso em 10 de maio de 2017.
GADREY, J.; JANY-CATRICE, F. Os novos indicadores de riqueza. São Paulo: Senac,
2006.
GERTLER, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J.
Vermeersch. Avaliação de Impacto na Prática, segunda edição. Washington, DC: Banco
Interamericano de Desenvolvimento e Banco Mundial. 2018.
IBGE – Instituto Brasileiro de Geografia e Estatística. Indicadores sociais. Relatório. Rio de
Janeiro: IBGE, 1979.
JANNUZZI, P.M. Indicadores sociais no Brasil: conceitos, fontes e aplicações. Campinas,
Alínea/PUC-Campinas, 2001.
JANNUZZI, Paulo de Martino. Indicadores para diagnóstico, monitoramento e avaliação de
programas sociais no Brasil. Revista do Serviço Público, v. 56, n. 2, p. 137-160, 2005.
Disponível em: <https://revista.enap.gov.br/index.php/RSP/article/view/222>. Acesso em 10
de maio de 2017.
KAPLAN, Abraham. Conduta na pesquisa: metodologia para as ciências do
comportamento. Herder/EDUSP: São Paulo, 1972.
KAYANO, Jorge; CALDAS, Eduardo de L. Indicadores para o diálogo. São Paulo: Instituto
Pólis, Programa Gestão Pública e Cidadania; Easp/FGV, 2002. Disponível em:
http://polis.org.br/publicacoes/indicadores-para-o-dialogo/, acesso em 8 de novembro de 2017.
LATOUR, Bruno. Ciência em ação: como seguir cientistas e engenheiros sociedade afora.
São Paulo: Editora UNESP, 2000.
LOPES, Laís de Figueirêdo; VICHI, Bruno de Souza. A lei no 13.019/14: conquistas, desafios
e os impactos para a gestão pública estadual e municipal. In: CONGRESSO CONSAD DE
GESTÃO PÚBLICA, 8, 2015, Brasília. Anais ... Disponível em:
http://banco.consad.org.br/handle/123456789/1194, acesso em: 09 de maio de 2018.
MAYSTON, D. J. (1985), Non-profit performance indicators in the public sector. Financial
Accountability & Management, 1, 1, pp. 51–74.
MILLÉO, José Carlos. A utilização dos indicadores sociais pela geografia: uma análise
crítica. Tese de Doutorado apresentada ao Programa de Pesquisa e Pós-Graduação em
Geografia, da Universidade Federal Fluminense, Niterói - RJ, como requisito parcial para a
obtenção do título de Doutor em Geografia. Niterói – RJ, Dezembro de 2005.
 RIBEIRO, José Cláudio Junqueira. Indicadores Ambientais. Avaliando a política de meio
ambiente no Estado de Minas Gerais. Belo Horizonte: SEMAD, 2006
SANTOS, Milton. Por uma Geografia Nova: da crítica da Geografia a uma Geografia crítica.
6. ed., São Paulo: Editora da Universidade de São Paulo, 2005.
SÃO PAULO (Estado). Secretaria de Planejamento e Gestão do Estado de São Paulo.
Orçamento por Resultados no Estado de São Paulo: experiências, desafios e Perspectivas.
São Paulo, SP: Cartola., 2015. Diponível em:
http://www.planejamento.sp.gov.br/noti_anexo/files/orcamento/OpR.pdf. Acesso em: 10 de
maio de 2017.
SAWARD, Michael. Democratic theory and indices of democratization. In: Beetham, David
ed. Defining and Measuring Democracy. Sage Modern Politics (36). London, UK: Sage, pp.
6–24, 1994.

TELLES, Vera. Medindo coisas, produzindo fatos, construindo realidades sociais. Mimeo.
Seminário Internacional sobre Indicadores Sociais para Inclusão Social ,15 e 16 de maio de
2003, PUC-SP . Mesa: Indicadores sociais entre a objetividade e a subjetividade (16/05/2003)
WILKS-HEEG, S., BLICK, A., CRONE, S.. How Democratic is the UK? The 2012 Audit.
Liverpool: Democratic Audit, 2012. Disponível em:
http://demaudituk.wpengine.com/?page_id=130, acessado em 23/04/2013.

View publication stats