http://www.eclac.

org/ilpes/noticias/paginas/8/22308/BoletinILPES13Ne
wTraduzido.doc

OS INDICADORES DE AVALIAÇÃO DO DESEMPENHO:

UMA FERRAMENTA PARA A GESTÃO POR RESULTADOS NA AMÉRICA
LATINA

INSTITUTO LATINOAMERICANO Y DEL CARIBE DE

PLANIFICACIÓN ECONÓMICA Y SOCIAL

LIMITADA
LC/IP/L.
Novembro de 2003
ORIGINAL: ESPAÑOL

BOLETIM DO INSTITUTO
 Instituto Latinoamericano y del Caribe de Planificación
Económica y Social (ILPES) é um. organismo permanente e com
identidade própria, dentro da CEPAL, Nacões Unidas. Foi fundado em
1962 e sua missão é apoiar aos governos da região no campo do
planejamento e gestão pública, mediante a prestação de serviços de
capacitação e cooperação técnica.

INSTITUTO LATINOAMERICANO Y DEL CARIBE DE PLANIFICACIÓN

ECONÓMICA Y SOCIAL (ILPES)

Edificio Naciones Unidas

Av. Dag Hammarskjöld
Vitacura
Santiago, Chile
Casilla 1567
Teléfonos (56-2) 210 2506 y
(56-2) 210 2507
Fax (56-2) 206 6104
(56-2) 208 0252
(56-2) 208 1946

Dirección del ILPES en Internet: http://www.ilpes.org

http://www.ilpes.cl
OS INDICADORES DE AVALIAÇÃO DO DESEMPENHO: UMA
FERRAMENTA PARA A GESTÃO POR RESULTADOS NA AMÉRICA LATINA
ÍNDICE
Apresentação
I. Introdução
II. Bases Conceituais dos Indicadores de Avaliacão do Desempenho
A. O que é um Indicador de Avaliacão do Desempenho ?
B. Os Indicadores de Avaliacão do Desempenho : uma Necesidade
para a Gestão por Resultados
C. Os problemas de medição e disponibilidade de informação
III. AConstrução de Indicadores na Prática
A. Condições prévias para a construção de indicadores de desempenho
B. Plano Operativo para a construção de indicadores de desempenho
C. As Dimensões da Avaliacão do Desempenho
D. A integração das distintas dimensões de Avaliacão do Desempenho
IV. Desafíos de implementação da gestão pública orientada para os
resultados
A. Ambiguidade na definição da missão organizacional
B. O impacto no processo orçamentário
C. Ausencia de um enfoque de largo prazo na gestão por resultados
D. Escassez de mecanismos de participação cidadã a favor da gestão
por resultados
E. Os Problemas de Causalidade
F. A avaliação de funcionarios e seu vínculo com os sistemas de
compensação
G. Institucionalização da função de avaliação de resultados
V. Reflexões Finais
VI. Bibliografía

APRESENTAÇÃO

O tema das políticas orçamentárias tem e ganhará crescente relevância nas

preocupações dos governos, como o demonstra a grande quantidade de
reformas já realizadas e as que estão em curso. Estas reformas respondem,
por um lado, às necessidades da gestão macroeconômica e, por outro, às
demandas da cidadania de maior eficácia, eficiência e transparência na
condução dos assuntos públicos. As reformas envolvem um conjunto amplo
de medidas que tendem a reforçar-se entre si como são, por exemplo: a
concertação estratégica em torno de visões prospectivas, que permitam
construir o futuro como alternativa válida aos processos de planejamento
mais tradicionais e estabelecer pactos fiscais que fundamentem a ação
pública; a gestão orçamentária para o ciclo econômico em seu conjunto,
diferenciando entre fatores de caráter permanente e transitório; a análise
sobre a totalidade do ciclo das políticas públicas, abarcando os momentos
de desenho, acompanhamento da execução e avaliação de seus resultados
tanto em termos de eficácia como de eficiencia e rendimento; e a maior
transparencia face à cidadanía, incluindo diversas modalidades de
participação social.

Na orçamentação moderna, a disciplina na gestão dos agregados fiscais

deve ser complementada com a efetividade na alocação de recursos e a
eficiência operacional na entrega de serviços. As maiores
interdependencias e sinergias se geram nas reformas que afetam as
inércias da distribuição de recursos, intersetorial e intrasetorialmente, assim
como nas inovações da gestão pública que atuam no plano
microeconômico. Neste marco, surge a necessidade de uma prática
gerencial que seja parte de uma cultura de desempenho centrada nos
resultados e que se oriente em beneficio direto do cidadão, com alto grau
de compromisso de cumprimento e esquemas apropriados de incentivos e
avaliação. Esta gestão pública renovada parte do reconhecimento
dos direitos que têm os cidadãos como contribuintes e usuários dos
serviços.

Lograr que a gestão do setor público seja mais eficiente e comprometida

com os resultados certamente representa uma tarefa de envergadura que
requer o desenho de políticas, de linhas de ação e da mobilização dos
recursos humanos e materiais do aparato público. Porém, junto com isso,
deve existir a vontade política que situe o tema como um dos instrumentos
do processo de redesenho do Estado, um processo que, para que possa dar
seus frutos forçosamente deverá transcender mais além do curto ou médio
prazo.

Neste contexto geral, o Instituto Latinoamericano y del Caribe de

Planificación Económica y Social (ILPES) vem realizando diversas atividades
relativas à gestão por resultados entre as quais cabe destacar:

• A XI Conferencia de Ministros y Jefes de Planificación de América

Latina y el Caribe (Madrid, España, 6 de novembro 2002), que contemplou
em sua agenda como tema central as “Nuevas tendencias de la gestión
pública”. Com este fim, o ILPES preparou, entre outras coisas, um
documento sobre avaliação de programas, medição de resultados e
convenios de desempenho ; dando também resposta à Resolução
MD/CRP/XXI.03 adotada pelos países membros na XXI reunião da Mesa
Diretiva del Consejo Regional de Planificación (Brasilia, Brasil; 8 de maio
2002);

• A Primeira Reunião de Responsáveis por Orçamento de América

Latina e do Caribe (Santiago, Chile; 29 janeiro 2003) , realizada no marco do
XV Seminario Regional de Política Fiscal (Santiago, Chile; 27-30 de janeiro
2003). A respeito se preparou um documento intitulado “Gestión pública por
resultados y programación plurianual” (Serie seminarios y conferencias Nº
29, LC/IP/L.1949-P, LC/IP/L.230; agosto 2003) que compila a versão revisada
dos trabalhos sobre gestão por resultados e programação plurianual
apresentados em dita reunião.

Assim, foram realizados diversas assessorias, cursos de capacitação e

ações de cooperação técnica para a instrumentalização de sistemas de
indicadores de avaliação de desempenho nas distintas esferas de governo
dos países da região

Todas estas atividades buscam contribuir ao objetivo de que o Estado se

converta em uma organização eficiente, eficaz e com uma arraigada cultura
de serviço público, encaminhada a satisfazer cabalmente as legítimas
demandas da sociedade. Neste sentido, se espera que este novo número
do Boletím, que examina o tema dos indicadores de avaliação de
desempenho como ferramenta para a gestão por resultados nos países da
região, seja um modesto aporte ao conjunto de estudos e investigações já
disponíveis na literatura.
Direção do ILPES
Novembro 2003

Os indicadores de avaliação de desempenho: uma ferramenta para a gestão

por resultados na América Latina

I. INTRODUÇÃO

As recomendações de políticas econômicas do Consenso de Washington

marcaram a agenda de reformas na América Latina durante a primeira
metade da década de noventa. Estas fórmulas davam ênfase nas mudanças
institucionais que se relacionam com a disciplina fiscal, a reforma fiscal e
impositiva, a reorientação do gasto público face à saúde e à educação, as
privatizações de empresas públicas e a desregulação dos mercados. Sem
dúvida, a evidência empírica demonstra que as iniciativas implementadas
até meados dos anos noventa se centraram no restabelecimento dos
equilibrios macroeconômicos e a reestruturação de incentivos de mercado e
preços relativos. As reformas desenvolvidas não afetaram substancialmente
a institucionalidade estatal, com a exceção daquelas que afetaram às
empresas públicas, quer seja pela via das privatizações ou pela busca de
una maior eficiência e eficácia nas empresas que continuaram no âmbito
estatal (Haggard, 1995).
O processo de reformas logrou reduzir o déficit fiscal medio da região de
2.2% do PIB em 1990 a 1.1% em 1997 , porém subsistiram na maioría dos
países latinoamericanos altos níveis de pobreza e de desigualdade social.
Neste contexto, em 1998 a CEPAL propôs, através do Pacto Fiscal, um
redirecionamento das reformas do Estado enfatizando o desenvolvimento
institucional e o fortalecimento da governabilidade. Também outras
institucições, como o Banco Mundial, começaram a revalorar o papel das
instituições estatais no desenvolvimento e a relativizar a importância das
"falhas de mercado" em comparação às "falhas institucionais".
A nivel político estas propostas se formalizam durante a Cumbre de las
Américas de 1998, denominado Consenso de Santiago (o neo-Consenso de
Washington). Este conjunto de proposições estabelece que as debilidades
institucionais constituem um gargalo de grarafa para transformações
econômicas mais profundas, reafirmando-se que a qualidade do gasto
público é tão importante como o balanço fiscal. Deste modo, a preocupação
pelo funcionamiento do aparato estatal voltou a estar no centro do debate.
A reforma do Estado na América Latina tem sido enfrentada durante a
última década pelos diferentes governos por meio de una série de processos
de modernização administrativa do aparato estatal. Se ha detectado a
necessidade de realizar uma auténtica e mais acelerada transição desde um
modelo de gestão burocrático-tradicional a um modelo de gestão pública
orientada aos resultados.
O modelo de gestão burocrático-tradicional se caracterizava por uma ênfase
nos insumos do processo e no controle externo. O novo modelo de gestão
orientada aos resultados se enfoca nos impactos da ação pública, onde o
relevante são os resultados, as metas, os indicadores de desempenho e os
padrões. Ademais, este novo enfoque insiste nas dimensões de caráter mais
qualitativas da gestão. A título de exemplo, já não interessa somente
aumentar a cobertura escolar, senão que se incorpore o tema da qualidade
da educação repassada pelo Estado. O modelo de gestão orientado aos
resultados assume que os próprios cidadãos interessados possam avaliar a
qualidade, quantidade e oportunidade dos bens e serviços recebidos, razão
pela qual em alguns programas se incorpora a avaliação de resultados por
parte dos destinatários ou atores interessados (stakeholders) .
Para avançar nesta transição de modelos de gestião pública se tem
experimentado nos distintos governos com uma série de instrumentos de
melhoria da gestão e innovações gerenciais . Por seu baixo custo e rapidez
de aplicação, uma das ferramentas mais utilizadas nos governos da região
têm sido os programas de indicadores de avaliação do desempenho ou
indicadores de gestão.
A incorporação eficaz desta ferramenta ao aparato público traz uma série de
problemas e desafíos estratégicos que é preciso analisar, tanto na fase de
desenho como na fase de implementação e avaliação dos mesmos. Este
documento tem por objetivo sistematizar as principais reflexões teóricas e
avaliações empíricas que têm surgido nos últimos dez anos sobre o uso dos
indicadores de avaliação do desempenho.
As primeiras duas seções abordam os aspectos operativos que estão
envolvidos na construção do sistema de indicadores, com particular ênfase
nos problemas que têm afetado aos países da América Latina que têm
desenvolvido as experiências de maior extensão no tempo. A terceira seção
deste documento analisa os principais desafíos que estão surgindo para o
desenho e desenvolvimento de um sistema de indicadores de avaliação do
desempenho.

II. BASES CONCEITUAIS DOS INDICADORES DE AVALIAÇÃO DO

DESEMPENHO

A avaliação de desempenho tem recrutado especialistas de distintas

disciplinas, os quais têm dessenvolvido esta área com enfoques marcados
por sua formación inicial: economistas (que tradicionalmente têm se
centrado na avaliação de projetos), avaliadores de programas (que
típicamente possuem uma formação em ciencias sociais) e auditores (que
enfatizam no cumprimento de padrões e normas). O que em principio pode
parecer um notável trabalho interdisciplinar, na prática tem significado que
se usam distintos conceitos, quase sempre com similar ou inclusive idêntico
vocabulário. Esta situação há gerado confusão e grande discussão em torno
dos significados precisos de cada termo (Mackay, 1998).
Para enfrentar esta virtual “Torre de Babel”, se faz necessário alcançar um
acordo mínimo operacional que precise conceitualmente o que se entende
por indicadores de avaliação de desempenho, qual é seu âmbito de
aplicação e principais características. As seções seguintes se concentram
nesta tarefa.
A. Qué é um Indicador de Avaliação de Desempenho?
Caso se analise a experiencia de países de América Latina e países
membros da Organização de Cooperação e Desenvolvimento Econômico
(OCDE) que utilizam indicadores em seus setores públicos se pode
encontrar distintas denominações tais como indicadores de gestão,
indicadores de desempenho, indicadores chaves de êxito e indicadores de
controle. Neste documento se há considerado como mais apropriada a
expressão “indicador de avaliação de desempenho”.
Na administração pública o desempenho é um conceito relativamente novo.
Segundo a Real Academia Espanhola o desempenho se refere a “atuar,
trabalhar, dedicar-se a uma atividade”, o qual nos dá uma idéia básica,
porém que requer uma elaboração conceitual mais ampla para o âmbito da
gestão pública. Tal desenvolvimento frequentemente se há assimilado ao
conceito anglosaxão de government performance, o qual se refere a
“produtividade, qualidade, oportunidade, responsabilidade e eficácia” dos
serviços e programas públicos . Dado que a gestão pública implica o atuar
ou dedicar-se às responsabilidades gerenciais, então o desempenho envolve
os aspectos organizacionais e sua relação com o entorno como o descreve
Hernández (2002): “desempenho implica a consideração de um processo
organizacional, dinâmico no tempo e reflete modificações do entorno
organizativo, das estruturas de poder e os objetivos”.
O conceito de desempenho no âmbito governamental normalmente
compreende tanto a eficiência como a eficácia de uma atividade de caráter
recorrente ou de um projeto específico. Neste contexto a eficiência se refere
à habilidade para desenvolver uma atividade ao mínimo custo possivel,
enquanto que a eficácia mede se os objetivos predefinidos para a atividade
se estão cumprindo. Além destas duas dimensões de desempenho público,
recentemente foram incorporados os critérios de desempenho
preorçamentário, focalização e qualidade na prestação dos serviços
públicos.
Para avaliar o desempenho nos termos descritos anteriormente, foi
desenvolvida uma grande quantidade de ferramentas metodológicas, porém
seu uso pode conduzir a confusões dado que distintos autores e experts
utilizam diferentes terminologias para referir-se a métodos similares.O
campo acadêmico da avaliação de desempenho incluiu dentro da “avaliação
de desempenho” distintos instrumentos tais como:
 Informação de monitoramento e acompanhamento;
 Avaliação de projetos e programas (tipo ex-ante, de acompanhamento
físico-financeiro ou ex-post);
 Auditoria de desempenho e
 Auditoria financeira.
A amplitude destas metodologías se pode observar por exemplo em uma
base de dados de práticas e procedimentos orçamentários desenvolvido
durante o ano 2003 pela OCDE em conjunto com o Banco Mundial para mais
de 60 países. À data da publicação deste documento 38 países haviam
ingressado seus dados, incluindo seis países latinoamericanos: Argentina,
Bolivia, Colombia, Chile, México e Uruguai. O Quadro 1 mostra a extensão
do uso de mecanismos para estimar a eficiencia, eficacia e custo-efetividad
do gasto das atividades públicas. Como se pode observar no Quadro 1, a
OCDE faz uma distinção entre “revsão” (review) e avaliação. A “revisão”
consiste em uma avaliação de desempenho de uma intervenção, enquanto
que a “avaliação” se utiliza para uma valoração em maior profundidade e
mais compreensiva que a “revisão”.

Quadro 1
Que mecanismos se utilizam para estimar a eficiência, eficácia e custo
efetividad/eficiencia do gasto (value for money) das atividades públicas?
Total Países Porcentaje (N=38 países) Porcentaje 6 países de LA
Revisão do êxito dos principais programas no logro de seus objetivos
anunciados 18 47.3 % 33.3%
Revisões especiais (ad-hoc) sectoriais ou de programas 29 76.3 %
50.0%
Avaliação sistemática da eficiencia, eficacia e rendimento 7 18.4
% 33.3%
Avaliações especiais (ad-hoc) da eficiencia, eficacia e rendimento 14
36.8 % 16.7%
Avaliações ad-hoc de custos de efetividade (cost effectiveness/value for
money) 10 26.3 % 0.0%
Acordos de desempenho detalhando resultados desejados 12 31.5
% 16.7%
Revisões realizadas por organizações externas (por exemplo, Banco Mundial,
oficina suprema de auditoria) 15 39.4 % 33.3%
Fonte: OECD/World Bank Survey on Budget Practices and Procedures,
2003.
Algumas experiências de indicadores de avaliação de desempenho têm
restringido seu uso à informação proveniente do monitoramento e
acompanhamento. Sem dúvida, considerada a experiência empírica para
efeitos deste documento, se assume que todas las ferramentas antes
mencionadas podem gerar indicadores de avaliação de desempenho.
Com a finalidade de incorporar definições conceituais que surgem da praxis
latinoamericana, a seguir se apresenta a definição utilizada pelo sistema de
indicadores do Perú:
“Os indicadores de desempenho são instrumentos de medição das
principais variáveis associadas ao cumprimento dos objetivos, que a sua vez
constituem uma expressão qualitativa ou quantitativa concreta do que se
pretende alcançar com um objetivo específico estabelecido. (...) A avaliação
de desempenho se associa ao juizo que se realiza uma vez culminada a
ação ou a intervenção. Busca responder interrogantes chaves sobre como
foi realizada a intervenção, se foram cumpridos os objetivos
(concretamente, a medida em que estes vão sendo cumpridos), o nivel de
satisfação da população objetivo, entre outras. Em suma, se busca avaliar
quando bem ou quão aceitável foi o desempenho de determinado
organismo público com o objetivo de tomar as decisões necessárias para
aperfeiçoar a gestão” (Ministerio de Economía y Finanzas del Perú, 2000).
Como se depreende da definição anterior, o sistema de indicadores de
desempenho nos organismos públicos do Perú há enfatizado o vínculo entre
desempenho e avaliação, estabelecendo que a meta do sistema é tomar
decisões para melhorar a gestão.

B. Os Indicadores de Avaliação de Desempenho: uma Necessidade

para a Gestão por Resultados
Como se assinalou na Introdução deste documento, a gestão pública na
América Latina se encontra em uma transição desde um modelo burocrático
tradicional a um modelo de gestão pública orientada aos resultados. Este
novo modelo se centra nos impactos da ação pública, onde o mais
importante são os resultados, as metas e os padrões de desempenho.
A introdução de indicadores de avaliação de desempenho gera múltiplos
pontos de apoio para a implementação de uma gestão orientada a os
resultados. Em primero lugar, os indicadores apoiam o conhecimento e a
aprendizagem do processo que muitas vezes se desenvolve de forma
bastante irreflexiva e rotineira. Se o processo de construção dos indicadores
se realiza de forma ampla e participativa, tanto os gestores públicos como
os funcionários iniciam um processo de reflexão e introspeção acerca do
quefacer institucional que os leva a um “dar-se coenta” das fortalezas e
debilidades dos resultados de cada unidade e da instituição em seu
conjunto. Este processo de aprendizagem tem sua vertente mais rica na
mudança do eixo de análise que realizan os funcionários desde uma visão
centrada nos processos (sobre o que normalmente há mais consciência pois
são as ações que se executan diariamente) a uma visão que se orienta aos
resultados e impactos do processo institucional.
Um segundo aspecto se refere ao apoio que provêm os indicadores para
adotar medidas de melhoria da gestão que se referem ao re-diseño dos
programas modificando suas estratégias de entrega dos bens e serviços às
populações destinatárias. De igual modo, as conclusões que emanam da
avaliação de desempenho permitem realizar ajustes na operação e valorar a
pertinência das ações realizadas após o logro dos objetivos institucionais
Um terceiro ponto de apoio para a implementacção de uma gestão
orientada para resultados é que a utilização dos indicadores favorece a
contestabilidade ou competencia por recursos públicos. Com a finalidade de
romper a inércia orçamentária, os distintos programas e setores competem
em igualdade de condições para obter fundos durante a fase de formulação
orçamentária. Se bem que a contestabilidade no âmbito público
inicialmente se concentrou no uso de provedores privados para entregar
bens e serviços, recentemente se há incorporado a noção de comparar os
impactos e gestão entre distintos serviços públicos como um meio de
utilizar de forma mais eficiente os recursos.
Finalmente, o quarto ponto de apoio tem relação com a transparencia e
submisão de contas. A busca da eficiencia não pode ser entendida sem a
participação cidadã. Para que a accountability seja operativa a cidadania,
as redes sociais e as ONGs devem dispor de informação sobre o processo
público, particularmente no que se refere aos niveis de cobertura e critérios
de focalização dos programas públicos.
Cabe assinalar que das experiencias de indicadores de avaliação de
desempenho que têm sido implementadas na América Latina, esta busca de
transparencia e submissão de contas tem sido o objetivo que menos tem
avançado pelos problemas políticos que se geram ao publicar desempenhos
que não são considerados ótimos para a cidadanía ou os meios de
comunicação. Persiste uma cultura institucional que não vê com bons olhos
a sanção social ou política que cai sobre os gestores públicos que
encabeçam organizações públicas que não têm uma boa avaliação externa
de seu desempenho.
A título de exemplo, no Quadro 1 se apresentam os fundamentos que
levaram em 1994 a Comissão Interministerial de Modernização do Estado do
Chile a implementar os indicadores de desempenho nos serviços públicos do
governo central. Como se pode observar, somente o quinto ponto establece
como fundamento para criar os indicadores ao dispor com informação sobre
desempenho por parte de entidades que estejam fora do Governo (neste
caso o Parlamento). O sistema chileno evoluiu com o tempo e inclusive se
descontinuou nos anos orçamentários 1999-2000. A partir de 2001 os
indicadores de desempenho se restabeceram e se deu maior ênfase às
medições para uso externo como instrumento de accountability, onde se
deve privilegiar produtos estratégicos e orientados aos resultados, quer
sejam finais ou intermediários (Guzmán, 2003).

C. Os problemas de medição e disponibilidade de informação

A distinção entre produtos (outputs) e resultados (outcomes) tem uma longa
discussão entre acadêmicos e praticantes. Em essência, os produtos estão
relacionados com os bens e serviços produzidos diretamente por um
organismo público, enquanto que os resultados se relacionam com os
objetivos finais da política governamental. A título de exemplo, em um
programa de erradicação do trabalho infantil o produto é a entrega de
bolsas escolares a estudantes que vivem em condicões de risco de trabalho
infantil, enquanto que o resultado se pode expressar mediante a diminuição
do trabalho infantil ou na evasão do sistema escolar.
Se bem que a maior parte dos países da OCDE coincidem na comparação de
resultados, cada país tem um esquema distinto. No Reino Unido se define
um pequeno número de metas de gestão para cada agencia e logo estes
são publicados anualmente em um documento único de todo o governo que
compara os objetivos e resultados do ano e fixa novos objetivos para o ano
seguinte. A vantagem das metas é que estão muito demarcadas, porém sua
desvantagem é que poden excluir elementos importantes do desempenho.
No caso dos Estados Unidos, cada ministerio ou agencia deve produzir um
plano anual de desempenho, no qual se analisa o que se espera cumprir no
ano seguinte e um informe que avalia o que efetivamente se cumpriu
(Ruffner, 2003).
NaAmérica Latina igualmente existe um leque de combinações na
incorporação de metas de desempenho no processo orçamentário. O
Quadro 2 mostra os resultados da base de dados de práticas e
procedimentos orçamentários da OCDE/Banco Mundial para os seis países
da região que completaram a pesquisa. A maioria dos países introduzem
metas de desempenho em uma combinação de produtos e resultados,
enquanto que Colombia é o único país que não considera metas no processo
orçamentário.
Quadro 2
Que tipos de metas de desempenho se incluem no processo orçamentário?

Predominância Produtos Predominância Resultados Uma

combinação de Produtos e Resultados em todos os programas Uma
combinação de Produtos e Resultados em alguns programas Uma
combinação de Produtos e Resultados na maioria dos programas
nenhum
ARGENTINA X
BOLIVIA X
CHILE X
COLOMBIA X
MÉXICO X
URUGUAY X
Fonte: OECD/World Bank Survey on Budget Practices and Procedures,
2003.
Mas além das discussões de nomenclatura, o que importa é pensar nos
resultados como sinais direcionais e não como afirmações de causalidade.
Neste sentido, é relevante no momento de formular o orçamento saber se a
taxa de evasão escolar aumenta ou diminue, além de verificar se este dado
é imputável ou não a um determinado programa. Ademais, os indicadores
de resultados podem establecer metas ex-ante a alcançar em termos de
output por parte dos governos, o qual compromete decisões orçamentárias.
A título de exemplo, no Brasil nos anexos da Lei de Diretrizes Orçamentárias
(LDO) de 2003, se definem 116 programas prioritarios e se estabelecem as
metas em termos de produto das ações que realizam ditos programas .
Relacionado com os problemas de medição se encontra a debilidade dos
sistemas de informação administrativa. Com frequencia os serviços públicos
na América Latina não dispõem de sistemas que forneçam informação a
respeito daquelas variáveis que efetivamente podem ser influenciadas ao
acionar das instituições. Esta debilidade obriga a desenhar indicadores de
acordo com a informação disponivel, o que não necessariamente se refere
aos fatores críticos para os objetivos estratégicos da instituição e/ou aos
produtos/serviços principais de uma entidade pública.
Durante a última década os organismos multilaterais que operam na região
têm investido significativos recursos no desenvolvimento dos sistemas
integrados de administração financeira (SIAF), os quais são desenhados
centrados nos sub-sistemas de informação relativos a orçamento,
contabilidade e crédito público. Sem dúvida, na maioría dos países o
aproveitamento da informação relacionada com a gestão e os resultados
fornecidos pelos SIAF continua sendo sub-utilizada para a tomada de
decisões.

III. A CONSTRUÇÃO DE INDICADORES NA PRÁTICA

Um requisito prévio para formular indicadores de avaliação de desempenho
é que a instituição pública defina os objetivos que orientarão a médio e
largo prazos sua atuação, e que estes objetivos se traduzan en planos de
ação com metas concretas e verificáveis. Para dispor destas definições
existem distintas metodologías que apontam para a elaboração de “cartas
de navegação”, cenários desejados ou imagem-objetivo de até onde
necessita e quer ir a organização. A metodologia mais difundida para obter
estas definições no interior das instituições públicas nos últimos quinze anos
tem sido o planejamento estratégico. Apesar desta metodología ter estado
presente no setor privado desde a década de 1950, sua popularidade para o
setor público surgiu na segunda metade dos anos oitenta.
A. Condições prévias para a construção de indicadores de desempenho
O planejamento estratégico é um processo estruturado que permite à
organização especificar sua missão e papel dentro da estrutura do Estado. A
partir desta missão, se definem seus objetivos estratégicos e se
estabelecem metas de gestão, estes insumos orientam e priorizan o
processo de construção de indicadores ao concentrar os recursos e a
avaliação de desempenho nas áreas estratégicas. No Quadro 3 se resume
as definições conceituais que guiam o processo de definições estratégicas e
identificação de produtos relevantes das instituições públicas no Chile.

Uma vez definidos a missão, os objetivos estratégicos e os produtos

relevantes da instituição, se requer estabelecer metas de gestão que
estabeleçam os logros que se quer alcançar em cada uma das áreas ou
âmbitos de ação que surgem a partir dos objetivos estratégicos. Os
objetivos estratégicos se podem enunciar para um quinquenio ou um
período presidencial, porém as metas de gestão têm um horizonte de tempo
mais delimitado, normalmente de um ou dois anos. Estas metas de gestão
contêm uma declaração explícita de níveis de atividade ou padrões de
qualidade que se pretende alcançar. No Uruguai se desenvolveu a partir de
1996 o “ Sistema de Evaluación de la Gestión Pública”(SEV), o qual é um
sistema de informação para a avaliação dos resultados da gestão das
Unidades Executoras e Incisos do Orçamento Nacional. No Quadro 4 se
apresentam os requisitos que, de acordo com o SEV, as metas de gestão
devem cumprir.
B. Plano Operativo para a construção de indicadores de desempenho
Dispondo das condições prévias de clareza estratégica antes assinaladas,
um dos primeiros passos que deve adotar a institución é o desenho de um
sistema de informação que permita medir o desempenho com níveis de
certeza e confiabilidade aceitáveis. A primera etapa para a construção deste
sistema de informação consiste em determinar teóricamente os dados que
se requerem para construir os indicadores e gerar um cadastro com a
informação que se encontra disponivel no interior da instituição.
Com o quadro de demandas e disponibilidades de informação, se pode
identificar as fontes de dados e se a informação é fácil e econômica de
recoletar, ou se há necessidade de levantamientos de dados especiais.
Usualmente as instituições dispõem de informação que se refere à eficácia,
eficiência e desempenho orçamentário. Sem dúvida existe escassa
informação disponible relativa à satisfação de usuários o aos tempos de
tramitação de requerimentos ou expedientes, para o qual se requer instalar
sistemas de medição adicionais tais como enquetes, sondagens de opinião e
acompanhamento automatizado de tramitação de expedientes.
Existem vários fatores que desaconselham o desenvolvimento de um
sistema de indicadores para todas e cada uma das atividades e programas
que um governo, ou uma secretaria, desenvolve. Principalmente estes
fatores se relacionam com a restrição de recursos humanos e financeiros
para recoletar e processar dita informação; com a sobrecarga de trabalho
que gera nas áreas operativas; com a saturação de informação (information
overflow) para as instâncias de tomada de decisões como unidades
orçamentárias setoriais ou centrais; com o excesso de detalhes que se
entregam às instâncias de fiscalização (parlamento, controladoria, meios de
comunicação social, cidadanía) que tendem a confundir ao receptor em
termos de discriminar o urgente, o importante, o redundante e o
insignificante.
Não obstante o anterior, o surgimento de bases de dados que são
desenvolvidos ao amparo de sistemas integrados de administração
financeira (SIAF) tem permitido a alguns governos estabelecer complexos
sistemas de medição em que se definem centenas de indicadores de
desempenho dos processos, resultados ou impactos das açõess públicas. O
fato que a informática permita administrar estas grandes quantidades de
indicadores não é garantía que se melhorará o processo de tomada de
decisões, ou que se logre uma gestão mais eficiente e uma fiscalização mais
eficaz. Por esta razão, uma atividade essencial no desenho do sistema de
informação consiste na hierarquização dos indicadores de acordo com sua
relevância estratégica, a qual implica que o indicador proposto teóricamente
deve ser a medição ou expressão quantitativa de uma atividade ou produto
que aporta diretamente à consecução dos objetivos estratégicos e metas de
gestão da instituição.
Desenhado o sistema de informação que apoia o levantamento dos dados
necessários para o acompanhamento dos indicadores de avaliação de
desempenho, se requer uma ação de validação dos indicadores propostos.
Dado que o indicador é somente um instrumento que apoia a avaliação, sua
qualidade e proveito para este fim estará condicionada pela clareza e
pertinencia do indicador. As experiências de países da OCDE e da América
Latina têm identificado pelo menos dez critérios que preferentemente
devem cumprir os indicadores de desempenho. No Quadro 3 são descritos
estes critérios.
A maior parte dos critérios tem um sentido comum, porém a geração de
forma participativa é consubstancial ao êxito da implementação e merece
um parágrafo à parte. En muitos países durante a formulação orçamentária
se detecta um divórcio no interior das instituições entre os funcionários
responsáveis pela unidade de orçamentos e as unidades operativas, ou
entre estas e a unidade de planejamento. Se esta situação se reproduz no
processo de construção de indicadores, estes não refletirão cabalmente no
desempenho da instituição, produzindo-se um sesgo operativo,
orçamentário ou de planos, de acordo com o caso.

Quadro 3
Critérios Práticos para a Construção de Indicadores

Critério Descrição
Pertinência Deve referir-se aos processos e produtos essenciais que
desenvolve cada instituição para refletir o grau de cumprimento de seus
objetivos institucionais.
A medição de todos os produtos ou atividades que realiza a instituição gera
uma saturação de informação, tanto no interior da organização como fora
desta.
Homogeneidade A unidade de produto deve ser equivalente entre sí, em
termos de volume de trabalho e de recursos.
Se não se dá a equivalência, para alcançar as metas se tenderá a executar
somente as ações que demandam relativamente menos recursos,
postergando ou anulando as mais custosas ou complexas, que geralmente
são as que têm um maior impacto sobre a gestão institucional.
Independência Os indicadores devem responder fundamentalmente às
ações que desenvolvem e controlam a instituição ou às variáveis do entorno
que se vejam afetadas diretamente por essas ações.
Não pode estar condicionado a fatores externos, tais como a situação geral
do país, o trabalho legislativo do parlamento ou a atividade conexa de
terceiros (públicos ou privados).
Custo A obtenção da informação para a elaboração do indicador deve ser a
custos que tenham correlação com os recursos investidos na atividade.
Confiabilidade Digno de confiança, independente de quem realize a
medição. Em principio, a base estatística dos indicadores deve estar em
condições de ser auditada pelas autoridades da instituição e examinada por
observadores externos.
Simplicidade e Compreensividade Existe uma tensão entre ambos
critérios: se deven cobrir os aspectos mais significativos do desempenho,
porém a quantidade de indicadores não pode exceder a capacidade de
análise dos usuários, tanto internos como externos.

Os indicadores deven ser de fácil comprensão, livres de complexidades.

Oportunidade Deve ser gerado no momento oportuno dependendo do
tipo de indicador e da necessidade de sua medição e difusão.
Não-redundancia Deve ser único e não repetitivo.
Focalizado em áreas controláveis Focalizado em áreas suscetíveis de
corrigir no desempenho dos organismos públicos gerando por sua vez
responsabilidades diretas nos funcionários e pessoal.
Participação Sua elaboração deve envolver no processo a todos os atores
relevantes, com o fim de assegurar a legitimidade e reforçar o compromisso
com os objetivos e indicadores resultantes. Isto implica ademais que o
indicador e o objetivo que pretende avaliar seja o mais consensual possivel
no interior da organização.
Fonte: Elaboración del autor sobre la base de Dirección de Presupuestos de
Chile (1995), Marcel (1998), National Center for Public Productivity (1997) y
Shack (2003).

C. As Dimensões da Avaliação de Desempenho

Para assegurar sua apropiação por parte das instituições, um indicador de
avaliação de desempenho deve ser simples e expressar a realidade que
mede. Um mesmo indicador pode expressar significados e critérios diversos,
dependendo do que se queira medir e dos elementos que se deseje incluir
em sua análise. Como se tem destacado, os problemas sociais que enfrenta
a gestão pública moderna são de caráter multidimensional. De igual
maneira, a avaliação de desempenho também se pode abordar desde
distintas perspectivas. A visão tradicional sobre a qual se tem construido os
indicadores é sobre a dimensão da eficácia e eficiência, como se verá mais
adiante esta visão tem-se ampliado nos últimos anos incorporando-se novas
dimensões de desempenho.
A eficácia se relaciona com a teoría implícita que sustenta a intervenção
pública. Esta teoría apresenta um conjunto de medidas de desenho e
implementação (como realizar a intervenção, a quem focalizar, durante qual
período de tempo, em que localidades, etc.), as quais pretendem alcançar
certos objetivos ou resultados na população destinatária. Portanto, os
indicadores de eficácia medem se a intervenção alcançou as mudanças
requeridas e gerou um grau de cumprimento dos objetivos
predeterminados.
As organizações públicas que são capazes de identificar os produtos ou
serviços que são estratégicos para o cumprimento de sua missão, podem
delimitar adequadamente os serviços prestados que se deve medir e a
população objetivo que receberá esses bens ou serviços. Os indicadores de
eficácia, por sua vez, podem ser sub-classificados em distintos elementos
da eficácia:
 Indicadores de Cobertura: são aqueles que refletem a relação entre a
demanda total pelos bens ou servicios que oferece a instituição e a
quantidade efetivamente entregue. Em outras palavras, a porcentagem de
cobertura ou porcentagem da população objetivo atendida é uma
comparação entre a situação atual e o potencial máximo que se poderia
entregar. Dado que os sistemas de informações geográficas provêm cada
vez uma maior quantidade de dados glosados territorialmente em ocasões
pode ser recomendavel que os niveis de cobertura se segmenten segundo
áreas geográficas.
 Indicadores de Focalização: como se indicou anteriormente a eficácia
incorpora uma definição precisa de beneficiários. Portanto, os indicadores
de focalização medem o nivel de precisão com que os produtos e serviços
estão chegando à população objetivo que se definiu inicialmente. Existem
distintas formas de medir a focalização, todas elas se centram en medir as
filtrações identificando a fuga de beneficios do programa aos usuários não
elegíveis (erro de inclusão), ou ainda a quantidade de usuários elegíveis que
não acedem aos beneficios do programa (erro de exclusão).
 Indicadores de Capacidade para Cobrir a Demanda Atual: as
instituições que outorgam autorizações aos privados ou processan
expedientes de diversos tipos em ocasiões não são capazes de responder à
demanda total dos usuários em condições de tempo e qualidade adequadas.
Nestes casos, quer seja para gerar melhorías na gestão ou para avaliar
processos de otimização de tramitação de expedientes, os indicadores de
capacidade permitem medir os niveis de demanda que se pode assumir.
 Indicadores de Resultados: como a eficácia se relaciona com o
alcance dos objetivos, resulta essencial que os indicadores de avaliação de
desempenho devam centrar sua atenção no efeito final ou intermediário da
intervenção que se está avaliando. Como se assinalou no Requadro 2, os
resultados se relacionam com os impactos ou consequências que têm para
a comunidade os produtos ou atividades das instituições públicas.
Os indicadores de eficácia descritos anteriormente medem se os objetivos
predefinidos para a atividade estão sendo cumpridos, porém não se analisa
o tema da quantía dos recursos outorgados. Uma enquete aplicada a 262
participantes dos cursos de gerencia social do INDES-
BID revelou que 84% colocaram que o conceito de eficácia equivale ao
“cumplimiento de metas y objetivos o a la satisfacción de la necesidad que
motivó el diseño y desarrollo de la iniciativa, sin importar los costos y el uso
de recursos” (Mokate, 2001). Se está sendo desenvolvido um indicador de
focalização evidentemente que os resultados serão mais precisos caso se
disponha de maiores recursos para selecionar os beneficiários, pois não se
pode avaliar sem considerar os custos. A mesma análise se pode realizar
com respeito aos indicadores de cobertura. Se podería eventualmente
propor uma dimensão de indicadores que avalie o alcance em relação ao
programado, porém este tipo de indicadores são de pouca utilidade
gerencial pelas condutas adaptativas que se podem gerar ao fixar as metas.
Adicionalmente, cabe perguntar se uma classificação mais ampla de
dimensões dos indicadores contribuirá para uma dar maior clareza aos
funcionários que constroem estes ou, por outro lado, se gerará uma
complexidade desnecessária.
A outra dimensão de importância é a de eficiência; estes indicadores se
relacionam com a maximização do impacto do gasto público. Esta
maximização se pode medir desde os ângulos distintos: a) se está
produzindo a maior quantidade de produtos ou contribuições possiveis ante
o nivel de recursos que se dispõe, b) como alcançar um nivel determinado
de serviços utilizando a menor quantidade de recursos possivel.
O indicador de eficiência más utilizado é o custo unitário de produção, o que
relaciona a produtividade física com os custos diretos e indiretos utilizados
na entrega do produto ou serviço. A produtividade física é relativamente
simples de medir, pois se relaciona com o nível de atividade, expresso en
número de fiscalizações, solicitações resolvidas, pessoas capacitadas,
usuários atendidos, etc. Sem dúvida, a medição dos custos apresenta uma
maior complexidae pois os sistemas contábeis registram em forma
agregada a utilização de recursos para todos os bens e serviços que a
instituição entrega.
Um dos problemas mais recorrentes na geração deste tipo de indicadores é
a ausencia na contabilidade de meios de custos que permitam identificar
claramente os custos que estão associados a um produto determinado dos
restantes produtos ou serviços que a instituição provê. Relacionado com o
anterior, em cada instituição se desembolsam custos indiretos que estão
associados, por exemplo aos gastos da direção superior da organização,
gastos de manutenção de imóveis, serviços de apoio e gastos em energía.

O rateio ou distribuição destes custos indiretos sobre os custos dos

principais produtos de uma instituição é uma tarefa bastante complexa em
empresas manufatureiras, em empresas de serviços é mais complexo em
serviços públicos pode chegar a ser absolutamente emaranhado. Algumas
organizações públicas hão introduzido as novas técnicas de distribuição de
custos tais como o custeio baseado en atividades (ABC oo activity-based
costing), porém na maioría das instituições públicas a identificação mais
rigorosa dos custos segue sendo um desafío pendente.

Atendidas as limitações assinaladas anteriormente no uso de indicadores de

custo medio ou custo unitário, crescentemente se há recorrido ao uso de
outro tipo de indicador de eficiência que mede a produtividade média dos
fatores que intervêm na provisão do bem ou serviço, com particular ênfase
na produtividade média dos recursos humanos que participam no processo
produtivo. Este tipo de indicadore é particularmente útil para serviços que
se dedicam a fiscalizar, nos quais a quantidade de fiscalizações por inspetor
dá conta do desempenho de seus recursos humanos. O cuidado que se deve
ter no momento de construir este tipo de indicadores é que os produtos
sejam efetivamente homogêneos, pois ao estabelecer uma média que
compreende fiscalizações que tardam alguns minutos não se pode meclar
com fiscalizações que demoram dias ou meses em sua execução completa.
Embora a maior profusão se dê entre os indicadores de eficácia e eficiência,
a necessidade de indicadores que tragam “sintonía fina” para a melhoria da
gestão tem estimulado os governos a medir outras dimensões que dêm
conta da multiplicidade de objetivos da gesção orientada aos resultados. As
principais dimensões de avaliação de desempenho que se foram
introdzcidas são as seguintes:
  Qualidade na prestação dos serviços: estes indicadores estão
relacionados com as características de como está sendo ofertado o
produto ou serviço, para o quual busca quantificar a capacidade dos
organismos públicos para responder de forma rápida, direta e
adequada às necessidades dos usuários. Estes indicadores podem ser
avaliados através do nivel de satisfação manifestado pelos
beneficiários dos serviços sobre determinados aspectos da provisão
de bens e prestação de serviços, tais como a oportunidade (tempo de
espera ou tempo de resposta), simplicidade de postulação ou
tramitação, acesibilidade, amabilidade da atenção ao público,
exatidão e continuidade na provisão do serviço.
  Indicadores de Desempenho Orçamentário: consiste na
capacidade de una instituição para gerar e utilizar adequadamente os
recursos financeiros para o cumprimento de sua missão institucional.
Nesta categoría as instituições públicas que têm atribuições legais
para gerar rendas próprias estabelecem indicadores de
autofinanciamento; as organizações que outorgam empréstimos
medem sua capacidade para recuperar os créditos outorgados e o
manejo da carteira de passivos; toda organização que administra
fundos pode estabelecer uma relação entre os gastos administrativos
e os gastos totais, o qual em termos agregados se pode utilizar como
um proxy dos ganhos de eficiência do setor público; para as
instituições que preferentemente se dedicam ao investimento em
infraestructura os indicadores relevantes podem referir-se aos gastos
executados versus os gastos programados das obras; por último, para
medir o investimento em recursos humanos, se poden estabelecer
indicadores que relacionem os gastos em capacitação com os gastos
totais empessoal.
 A integração das distintas dimensões de avaliação de desempenho
 A distinção em dimensões de desempenho somente se realiza para
fins analíticos e facilitar a aplicação do instrumento por parte dos
 usuários. Dependendo das prioridades da instituição certos
indicadores podem perfeitamente ser classificados em duas
categorias. A gestão orientada aos resultados é de caráter
multidimensional e como tal não há uma dimensão do desempenho
que seja mais relevante que outra. A avaliação da gestão global de
um serviço público surgirá a partir da interação dos componentes de
eficiência, eficácia, qualidade e desempenho orçamentário.
Dependendo da natureza das atividades que executa a instituição
algumas dimensões são mais relevantes que outras. A guisa de
exemplo, os indicadores de cobertura são particularmente relevantes
para as instituições que trabalham com temáticas de saúde pública,
onde os erros de exclusão podem gerar brotes epidêmicos.
Entretanto, os indicadores de qualidade da atenção terão um peso
maior em instituições que atendem grandes fluxos de público tais
como serviços de impostos e diretorias de registro civil e imigração.

Independiente da ênfase principal que apresente uma instituição, é preciso
destacar que em uma perspectiva global se podem gerar conflitos entre as
distintas dimensões que obrigam a avaliar los custos e beneficios de uma
decisão de melhoria. Evidentemente se pode incrementar a cobertura de
uma determinada prestação, porém por problemas de escalonamento das
inversões poderia gerar maiores custos unitários (no caso que um aumento
da cobertura obrigue a construir um novo hospital ou escola). De igual
modo, as melhorias na qualidade de entrega de um serviço as vezes só
podem ser logradas em detrimento da cobertura, a custa de um maior custo
ou gerando tempos de resposta mais prolongados. A avaliação de
desempenho de toda a instituição deve ponderar a contribuição a os
objetivos estratégicos de cada um dos produtos e serviços. Os indicadores
para cada produto e suas respectivas dimensões devem desenvolver-se de
forma integral, considerando as possiveis interdependencias y trade-offs
entre eles.
Uma das metodologías que se há desenvolvido para integrar de forma
harmônica as dimensões quantitativas e qualitativas que emanan dos
indicadores de desempenho constitue el “Cuadro de Mando Integral”
(Balanced Scorecard-BSC). O BSC é uma metodología desenvolvida no setor
privado em 1992 por Robert Kaplan e David Norton que intenta integrar os
aspectos da gerencia estratégica e a avaliação do desempenho da empresa.
Esta ferramenta se desenvolveu sob a convicção de que a medição baseada
somente em indicadores quantitativos e financeiros não capturava de um
modo adequado aquilo que cria valor em uma organização, e que era
necessário acrescentar outras perspectivas de análise de caráter mais
qualitativo ou de ativos intangiveis.
No setor público estão sendo desenvolvidas iniciativas de Cuadro de Mando
Integral, porém no mundo hispanoamericano a maior parte se
circunscrevem a experiencias de governos locais , ou não contemplam a
complexidade dos quadros desenvolvidos para as empresas que consideram
os interesses de distintos stakeholders como os acionistas e clientes. A
Generalitat de Catalunya leva três anos aplicando este sistema; no
Recuadro 5 se descrevem suas principais características.
IV. DESAFÍOS DE IMPLEMENTACIÓN DE LA GESTIÓN PÚBLICA
ORIENTADA A LOS RESULTADOS

As potencialidades do modelo de gestão pública orientada aos resultados se

podem observar em múltiplas dimensões do gasto público. Sem dúvida,
dado os desafíos de superação da pobreza que enfrenta a região, um dos
casos em que se visualiza esta relação se refere ao impacto do gasto
público em funções sociais. Em termos estilizados, se pode apreciar que
durante a última década os governos da América Latina hão destinado uma
proporção crescente de seu gasto público a funcões sociais, gerando-se um
aumento de 58% no gasto social por habitante. Em termos agregados, o
gasto social para 17 países que informam regularmente sua clasificação
funcional aumentou seu peso relativo no PIB entre 1990/91 e 2000/01 de
10,1% a 13,8% . Não obstante estes avanços, o nivel de gasto social per se
não constitue um adequado indicador de desenvolvimento social, porque
não permite avaliar se efetivamente se está alcançando o impacto deseado
nas populacções destinatárias dos programas sociais.
Efetivamente, ao que pese o incremento significativo do gasto público
social, a diminução da pobreza não alcanzou magnitudes similares. Se bem
que inicialmente, entre 1990 e 1997 a porcentagem de população em
situação de pobreza diminuiu de 48.3% a 43.5% , como se observa no
Gráfico 1 depois de 1997 as reduções nos niveis de pobreza não registraram
diminuições de magnitude similar aos incrementos do gasto público social.

Gráfico 1: Evolução da Pobreza e do Gasto Público Social 1990-2001 na

América Latina

Fonte: Datos de Panorama Social de América Latina, CEPAL.

A evolução do gasto social, assim como a dinâmica de adaptação dos

mercados nacionais que demanda a globalização, exigem cada vez maior
profissionalismo no uso e alocação dos recursos públicos. A discussão
acerca da eficiência e eficácia nos organismos públicos, assim como da
medição de resultados do acionar público, tem se instalado com força nos
meios de comunicação, debates políticos e círculos acadêmicos.
Nesta seção são descritos alguns desafíos de implementação que têm sido
assinalados como mais relevantes em diversas análises desenvolvidas por
parte dos governos nacionais e sub-nacionais que têm estabelecido
programas de gerencia pública orientada aos resultados, particularmente
naqueles aspectos que se relacionam com os indicadores de avaliacção de
desempenho.

A. Ambiguidade na definição da missão organizacional

O problema mais importante no momento de iniciar a transição a um
modelo de gestão orientada aos resultados é que a missão das instituições
públicas está definida em muitos casos de uma maneira muito ampla e
ambígua. Esta situação surge da lógica do processo político, onde para
responder a pressões de múltiplos grupos de interesse e/ou beneficiarios se
deixa nebulosa a essência da missão organizacional. Na prática, este fato
implica que as instituições provên uma multiplicidade de bens e serviços,
dirigidos a beneficiarios diversos e com distintas expectativas de satisfação
de suas necessidades.
Sem dúvida, o que é funcional para o processo político pode ser altamente
disfuncional para a gestão, pois ao não existir clareza a respeito das
expectativas institucionais, tampouco pode existir precisão a respeito da
medição dos resultados e do impacto do acionar público. Vários países da
região hão levado a cabo amplos exercicios de planejamento estratégico em
suas instituições públicas. As experiências do México, Costa Rica e Colombia
mostram que se tem implementado exitosamente os exercicios de definição
de missão e de análise de fortalezas e debilidades, porém a vinculação
destes níveis com a avaliação de resultados operativos segue sendo
altamente complexa.

É importante destacar que os organismos financieros multilaterais estão

outorgando especial importancia ao planejamento estratégico não só de
instituições, mas também de projetos nacionais de desenvolvimento. Se
estima que os "projectos de país" que estão respaldados por esquemas de
concertação multisetoriais e multipartidários contam com maior viabilidade
de financiamento e sustenibilidade em largo prazo. A partir de 1997 as
distintas agencias das Nações Unidas têm assumido nos países a
formulação dos “Marco de Asistencia de las Naciones Unidas para el
Desarrollo” (UNDAF), com o propósito de enfocar em conjunto seus esforços
de cooperação otimizando ações e incrementando o impacto destas a favor
do desenvolvimento humano sustentável.

Com um enfoque similar, o Banco Mundial tem solicitado aos países de

menores rendas a geração de Estrategias de Reducción de la Pobreza
(PRSP), as quais orientam estratégicamente o uso dos recursos derivados de
programas de redução de dívida. Vinculado aos PRSP’s está a formulação do
Marco Integral del Desarrollo, MID (Comprehensive Development
Framework). O MID é um enfoque integral com respeito ao desenvolvimento
que procura um melhor equilibrio na formulação das políticas, destacando a
interdependencia entre os aspectos sociais, estruturais, humanos, de bom
governo, ambientais, econômicos e financeiros (Banco Mundial, 2003).

B. O impacto no proceso orçamentário

Os esforços de implementação de sistemas de avaliação da gestão pública

são caros e consomem tempo e energía por parte dos dirigentes dos
serviços públicos. Assim mesmo, a dinâmica inercial da destinação
orçamentáriaria nem sempre oferece incentivos para seguir aprofundando
na avaliação da gestão. Em numerosos países a orientação aos resultados
há servido para definir prioridades programáticas e modificar os
procedimentos de trabalho, peorém só ocasionalmente seus resultados se
incorporam no processo de fixação orçamentária.

Em termos gerais, a restrição fiscal que afeta a quase todos os países da

região, outorga sinais negativos para aqueles gerentes que melhoram seus
indicadores de eficiência pois se estabelece como um fato que estes serão
capazes de funcionar com menores recursos. Ainda que alguns governos
intentaram estabelecer “premios à eficiencia” nos períodos de maior folga
fiscal, os recortes orçamentários aos finais da década dos noventa
obrigaram a eliminar ou reduzir drásticamente estes fundos. O maior perigo
destes sinais negativos é que no interior das organizações públicas se tenda
a associar a gestão por resultados com um instrumento desenhado pelos
ministérios de fazenda para implementar processos de ajuste fiscal,
afetando desta maneira a aceitação e institucionalização da avaliação de
desempenho.
A forma e velocidade nas quais se gere uma vinculação entre a avaliação de
desempenho e o processo orçamentário depende em grande medida do
contexto político-institucional de cada país, por exemplo o tipo de modelo
de avaliação que se adota. Um recente estudo comparativo das políticas
nacionais encaminhadas a criar sistemas de avaliação de resultados da
gestão pública no Chile, Colombia, Costa Rica e Uruguai há proposto uma
tipología de modelos de avaliação. A tipología se constroe a partir da
referência institucional utilizada para estruturar o sistema de avaliação e o
tipo de processo de tomada de decisões a que pretendem servir seus
resultados. Com base na evidência dos quatro países analisados, estes
modelos de avaliação se categorizam no modelo “Plan” e no modelo
“Presupuesto” (Cunill y Ospina, 2003).

O modelo de avaliação tipo “Plan” busca reforçar o processo de tomada de

decisões propriamente políticas, mais que as decisões orçamentárias, e
geralmente é coordenado ou promovido pelas unidades encarregadas do
planejamento. Este é o caso de Costa Rica e Colombia, cujos sistemas de
avaliação apresentam uma forte inclinação à metaavaliação e uma
desarticulação do ciclo orçamentário. Em contraste, o modelo de avaliação
tipo “Presupuesto” desenvolve instrumentos de avaliação que estão
orientados a melhorar os processos de formulação e discussão
orçamentária. Este é o caso do Chile, em que as ferramentas de avaliação
se integram ao ciclo orçamentário, uma variante do modelo “Presupuesto”
são aqueles países onde o sistema de avaliação de desempenho se aplica
sobre as destinações orçamentárias, como seria o sistema de Uruguai e
México. Um modelo misto (“Plan-Presupuesto”) constituiria a avaliação do
Plano Plurianual no Brasil, pois a análise anual deste instrumento orienta o
processo de destinação dos gastos orçamentários e oferece consistência aos
objetivos de políticas públicas que requeren mais de um ano para sua
implementação.

C. Ausência de um enfoque de largo prazo na gestão por

resultados

Os processos de modernização e de mudança de cultura organizacional são

de largo prazo. A nivel mundial, Nova Zelandia é o único caso em que as
reformas FACE a uma gestão orientada aos resultados foram implementadas
rapidamente. Outros países, como Australia, Canadá e o Reino Unido têm
assumido ao longo de mais de 15 anos mudanças incrementais em que
alguns ministerios têm evoluído mais rapidamente que outros. A associação
da gestão orientada por resultados a avanços substantivos em técnicas de
orçamentação plurianual tem fomentado a adoção de um enfoque de largo
prazo em todas as esferas de governo.

No caso dos Estados Unidos, transcorridos oito anos do Government

Performance and Results Act de 1993, a implantacção de uma cultura por
resultados ainda não cobría 50% do governo federal. Segundo uma pesquisa
realizada no ano 2000 pela General Accounting Office (GAO) junto a
dirigentes de 28 agências federais, em média somente 44% dos gerentes
dispunha de indicadores de resultados que pudessem demonstrar a alguem
externo se estes estavam sendo logrados. A variabilidade entre agencias é
significativa, pois na cota inferior somente 28% dos gerentes no Serviço de
Impostos (IRS) dispuham de indicadores, em comparação com 63% da NASA
e do Departamento de Moradia.

A implementação gradual e generalizada de um modelo de gestão orientada

aos resultados requer uma mudança na cultura organizacional das
instituições públicas, processo que perfeitamente se estende mais além de
dois ou três períodos presidenciais. Não obstante, a dinâmica política de
curto prazo exige ações imediatas e resultados que se possam mostrar à
cidadanía, o que entra em tensão com o lento processo de mudança de
cultura gerencial.
Um exemplo do compromisso de largo prazo para implementar a avaliação
de resultados se deu na Costa Rica, onde não obstante as mudanças de
governo em 1998 e em 2002, o sistema político logrou institucionalizar a
avaliação de resultados a nivel constitucional. Para isso, em junho de 2000
foi modificado o artigo 11 da Constituição Política, incorporando a avaliação
por resultados e a prestação de contas como princípios inspiradores da ação
pública: “la Administración Pública en sentido amplio, estará sometida a un
procedimiento de evaluación de resultados y rendición de cuentas, con la
consecuente responsabilidad personal para los funcionarios en el
cumplimiento de sus deberes. La ley señalará los medios para que este
control de resultados y rendición de cuentas opere como un sistema que
cubra todas las instituciones públicas”. Posteriormente, em setembro de
2001, a reforma da Lei de Administração Financeira e Orçamentos Públicos
estabeleceu que as entidades e orgãos regidos por dita lei estão obrigados a
apresentar informes periódicos e finais de gestão, resultados e rendimento
de contas (Mora, 2003).
D. Escassez de mecanismos de participação cidadã a favor da gestão por
resultados
As influências externas que favorecem ou entorpecem uma adequada
implementação da gestão por resultados têm duas vertentes. Por uma
parte, existem diretores públicos a favor de uma melhoria da gestão, pois
estes a miúdo se enfrentam com barreiras institucionais e falta de apoio do
entorno político e técnico. Quer dizer, estes diretores não têm incentivos
fortes para comprometer-se com uma gestão orientada aos resultados.
Salvo aqueles contratados mediante um convenio de desempenho, os
estímulos tanto políticos como pessoais para a maioria dos diretores são
difusos e confusos. O risco que uma mudança de governo possa deixar na
metade de caminho da implementação de uma reforma outorga sinais
negativos aos responsáveis dos serviços públicos. Por outra parte, existe um
contingente significativo de funcionários que, por diversas motivações,
favorecem o status quo e geram uma grande resistência à mudança.
Porisso, ao não existir mecanismos de participação cidadã a favor da gestão
por resultados, se configuraria um problema de relação Agente-Principal
devido à asimetría de informação que se produz na relação entre os
dirigentes públicos e a cidadanía. Os administradores dos programas e/ou
serviços manejam grande parte da informação relativa aos produtos de suas
instituições, as áreas de ineficiência, o custo de prover os serviços, as metas
alcançáveis e fortalezas, enquanto que os destinatários, interessados e
inclusive os organismos de fiscalização como o Poder Legislativo e ONGs
especializadas carecem de dita informação.
A assimetría de informação frente aos destinatários se vê reforçada pela
ausencia de uma relação transacional com os beneficiários. As organizações
públicas não vendem os bens e serviços que produzem, senão que os
entregam de forma gratuita ou subsidiária, a miúdo em condições
monopólicas. Portanto, as instituições não têm um canal de
retroalimentação direta desde o cliente ou usuário através da compra de
bens e serviços. Ao existir retroalimentação, é particularmente difícil
construir indicadores agregados de resultado da gestão dos serviços
públicos equivalentes à línha final do balanço das empresas privadas.
E. Os Problemas de Causalidade
Na literatura de avaliação de programas existem numerosas análises a
respeito das dificultades para estabelecer relações de causa-efeito, pois
grande parte dos fenômenos sociais que intentam intervir nos programas
públicos têm uma origem e evolução de tipo multifatorial, existindo
problemas de interação entre as variáveis que são atribuíveis ao impacto do
programa e aqueles que evoluiram de forma independente. Um exemplo
clássico desta multidimensionalidade o constituem os programas de
redução da mortalidade infantil, onde atuam de forma dinâmica fatores tais
como as intervenções em saúde pública materna e perinatal, a ampliação
da cobertura de água potável e infraestrutura sanitária, a melhoria de
fármacos e tratamentos para as enfermidades gastroentéricas e o
incremento da cobertura educacional.
Mais ainda, os programas ou projetos que uma determinada instituição
pública desenvolve não respondem a um só objetivo, senão que a um
conjunto de objetivos interrelacionados entre si em uma hierarquía de
causas-efeitos.A transversalização da política social e a introdução do
conceito de usuário único para os cidadãos beneficiários de prestacões e
subvenções que se outorgam através de distintos ministérios brinda uma
complexidade ainda maior aos intentos de isolar as mudanças na população
beneficiária que não são atribuíveis ao acionar de uma instituição pública
determinada.
Uma das tendências que se tem observado na evolução do gasto público na
década de 1990 é o incremento de transferências do setor público a
pessoas e empresas. O monitoramento de indicadores de resultados para os
programas de transferências de subsidios monetários é especialmente
problemático, pois é um dos muitos fatores que afetam os resultados finais
para os grupos destinatários das transferencias.
F. A avaliação de funcionários e seu vínculo com os sistemas de
compensação
Os países da região que têm intentado associar o cumprimento de metas
com melhorias de salários têm enfrentado a férrea oposição de sindicatos
de funcionaários públicos. De igual modo, se há gerado una reação aos
intentos de criar “carreras funcionarias” paralelas onde se fixam normas
contratuais mais flexiveis e com remunerações maiores às dos demais
funcionários (como é o caso das Agencias Next Steps de Inglaterra).
Um âmbito que segue gerando controvérsia é a vinculação da avaliação de
desempenho institucional à administração de pessoal. No caso do Chile, a
partir de 1998 foram outorgados incentivos de remunerações sobre a base
da avaliação de desempenho individual e ao cumprimento de metas
institucionais ou grupais. Os dirigentes sindicais dos funcionários rechaçam
as fórmulas individuais pois fomentariam a competência e rivalidade no
interior dos serviços públicos. Em junho de 2003 uma nova lei eliminou o
incentivo individual, substituindo-o por um incentivo por desempenho
coletivo, o qual estabelece estímulos pecuniários a equipes ou áreas de
trabalho que se conformam de acordo com parâmetros funcionais ou
territoriais.
Desta experiencia e outras similares, se depreende uma alta possibilidade
que os sistemas de incentivos monetários não tenham um impacto positivo
sobre a gestão. De fato, na ausência de indicadores pertinentes para o
cumprimento da missão institucional e de metas que sejam realmente
exigentes, os estímulos monetários não induziriam a melhorias do
desempenho pessoal e coletivo, transformando-se somente em um
mecanismo para distribuir aumentos de remunerações dos funcionários.
G. Institucionalização da função de avaliação de resultados
A localização institucional da avaliação de desempenho dentro do setor
público depende das características de cada país. Nas experiências
relevantes da região, seu funcionamento inicial tem estado situado nos
ministérios de planejamento ou em comitês interministeriais. Posteriomente
ao impulso inicial, paulatinamente, os ministérios de facenda e/ou diretorias
de orçamento têm assumido esta responsabilidade. Como se assinalou, nos
países da região têm sido desenvolvidos sistemas de avaliação associados
ao “Plan” e outros vinculados ao “Presupuesto”. Cabe precisar que estas
tipologías não são “puras”, pois coexistem sistemas de avaliação da
inversão associadas ao aparato administrativo de planejamento,
conjuntamente com avaliações do gasto corrente situadas nas instituições
de formulação e avaliação orçamentária.
Não há uma única resposta ao tema da localização institucional. Qualquer
que seja o enfoque que se adote, resultará adequado se existe a firme
decisão política de faze-lo funcionar. Contudo, por tratar-se de um
instrumento fundamental da gestão pública, é recomendável que a
responsabilidade desta função se situe nos organismos encarregados do
planejamento estratégico do Estado, cujo vínculo com a Presidencia deve
ser direto. Acrescendo, não parece apropriado entregar exclusivamente aos
responsáveis pelo orçamento a função de avaliação de resultados, pois
estes podem transformar-se em “jueces y parte” do proceso, com o
consequente risco de confundir os objetivos de largo prazo de eficiência e
eficácia das políticas públicas com as metas de curto prazo de ajuste fiscal.
Um aspecto da institucionalização que mantém seu caráter polêmico se
refere ao papel das controladorias dos países latinoamericanos na avaliação
de resultados. Os países anglosaxões, e especialmente os que dispõem de
um sistema parlamentar, tendem a outorgar às controladorias, à parte das
tradicionais funções de controle legal e financeiro, papéis relativos a
medição de eficiência, efetividade, impacto e obtenção de metas. Na
América Latina, quando se examinan experiências tais como as da General
Accounting Office de Estados Unidos e da National Audit Office de Gran
Bretaña, se visualiza com ceticismo este tipo de arranjos institucionais, quer
seja pelas características proprias do presidencialismo latinoamericano, por
razões de conflito político em sistemas multipartidários e/ou pelo
insuficiente desenvolvimento institucional e dotações de recursos humanos
das contraladorias para levar a cabo programas de avaliação da gestão.
V. Reflexões Finais
O objetivo principal deste documento é sistematizar as principais reflexões
teóricas e avaliações empíricas que têm surgido nos últimos dez anos sobre
o uso dos indicadores de avaliação de desempenho. Considerando que este
instrumento se está aplicando, ou se está começando a implementar, na
maioría dos governos da América Latina se destacam os principais
elementos conceituais, desafíos de implementação e passos operacionais
para a construção dos indicadores. Os aspectos substanciais destas
temáticas que cabe sublinhar são os seguintes:
1. A gestão pública tem evoluido nas últimas décadas desde um modelo
burocrático tradicional ao enfoque por resultados. O novo modelo não se
centra exclusivamente nos insumos do processo nem no controle externo,
mas se enfoca nos impactos da ação pública, onde o relevante são as
metas, os resultados, os indicadores de desempenho e os parâmetros
comparativos de rendimento. Os critérios orientadores têm que ver com o
planejamento estratégico dos organismos públicos, o tipo de vinculação
entre a destinação de recursos e o desempenho institucional, a
transparência da ação do Estado, e, como corolário do anterior, a busca da
mudança de cultura organizacional das entidades públicas.
2. Este processo não está isento de dificuldades, pois deve enfrentar
obstáculos nas própias deficiências atuais (passar de uma cultura de
procedimentos a uma cultura de resultados, orientada ao usuário) e nas
limitações externas (baixa remuneração dos funcionários e contínuas
mudanças, que têm impedido a emergência de uma estrutura orgânica
adequada, com recursos humanos qualificados e especializados).
3. A localização institucional da avaliação da gestão pública dentro do
setor público depende das características de cada país. Não há uma única
resposta ao tema da localização institucional, pois o importante é que exista
a firme decisão política de fazer funcionar os sistemas de avaliação.
Contudo, ao tratar-se de um instrumento fundamental da gestão pública, é
recomendável que a responsabilidade desta função se situe nos organismos
encarregados do planejamento estratégico do Estado, cujo vínculo com a
Presidencia deve ser direto. Por acréscimo, não parece apropriado entregar
exclusivamente aos responsáveis pelo orçamento a função de avaliação de
resultados, pois estes podem transformar-se em “jueces y parte” do
processo, com o consequente risco de confundir os objetivos de largo prazo
de eficiência e eficácia das políticas públicas com as metas de curto prazo
de ajuste fiscal.
4. A eficaz incorporação destes novos sistemas de gestão ao aparato
público traz uma série de problemas e desafíos estratégicos que é preciso
analisar, tanto na fase de desenho como na fase de implementação e
avaliação dos mesmos. A transição para a gestão por resultados tem
apresentado problemas de medição acima dos esperados. Frequentemente
os servicços públicos na América Latina não têm sistemas adequados de
informação, o que obriga a construir indicadores de resultados de acordo
com a informação disponível, o que não necessariamente se refere aos
fatores críticos para a consecução dos objetivos estratégicos.
5. A seleção e construção de indicadores de avaliação de desempenho
avança substantivamente quando os organismos públicos são capazes de
formular exercícios de planejamento estratégico que priorizam os recursos e
a atenção na melhoria da gestão sobre aqueles produtos que são chaves
para ol cumprimento da missão institucional. De igual modo, na etapa de
monitoramento e acompanhamento, a metodología de quadro de mando
integral ou balanced scorecard permite interrelacionar de forma sinérgica os
indicadores de desempenho para medir em conjunto a consecução dos
objetivos estratégicos desde o ponto de vista dos usuários, da instituição,
do programa de governo, os processos internos, a inovação e a
aprendizagem.
6. Os esforços de implementação de sistemas de avaliação de
desempenho são trabalhosos e consumem tempo e energía. Ademais, a
dinâmica inercial da destinação orçamentária nem sempre oferece
incentivos para seguir aprofundando o sistema. Em numerosos países a
orientação para resultados tem servido para modificar tangencialmente
prioridades programáticas e modificar alguns procedimentos de trabajo,
porém somente ocasionalmente seus resultados se incorporam nas decisões
orçamentárias.
7. Os países anglosaxões que têm mais de uma década na
implementação de programas de gestão orientados aos resultados têm uma
perspectiva mais crítica que os primeiros informes que documentaram as
iniciativas de Nova Zelandia, Australia e Inglaterra. Na atualidade, entre
outras limitações, estes países reconhecem que a transição para a gestão
por resultados é tanto um problema de medição como um problema de
mudança de mentalidade em todos os níveis gerenciais. Estes governos têm
reconhecido que o enfoque de suas reformas públicas têm tido um foco
excessivo na eficiência e não tanto na efetividade, con ausência de vínculos
claros entre as políticas.
8. Os países da América Latina que estão iniciando a implementação de
iniciativas de gerência pública, que contemplam o uso dos indicadores de
avaliação de desempenho como uma ferramenta de medição de resultados
e de melhoria da gestão, devem considerar a visão crítica sobre as
fortalezas e debilidades do processo por parte dos países da América Latina
e da OCDE que levam a un caminho percorrido com acertos e erros.
Finalmente, é necessário assinalar que os processos de modernizacção do
Estado e de mudança de cultura organizacional exigem grande esforço . Nos
l países em que estas reformas obtiveram êxito, a asociação da gestão
orientada por resultados a avanços substantivos em técnicas de
orçamentação plurianual tem fomentado a adoção de um enfoque de longo
prazo em todas as esferas de governo. O principal objetivo de uma gestão
por resultados é,então, apoiar o processo de formulação de planos e
programas em uma visão plurianual, centrando os esforços face a uma
adequada destinação dos recursos públicos, fixando critérios tanto no
âmbito do gasto corrente como nos sistemas de investimento público. A
avaliação dos programas de gasto de capital que executa o que contrata o
setor público cobra uma importância estratégica, dado seu impacto sobre o
crescimento econômico de largo prazo e o desenvolvimento territorial.

VI. Bibliografía

Allen, Richard y Tommasi, Daniel, eds. (2001), “Managing Public

Expenditure: A Reference Book for Transition Countries”, OECD, París.
Arellano, David; Gil, José; Ramírez, José y Rojano, Ángeles (2000): “Reformas
presupuestales dirigidas a resultados: Nueva Zelanda, Reino Unido, Australia
y México. Una aproximación crítica.”, Centro de Investigación y Docencia
Económicas, Documento de Trabajo 84, México.
Banco Mundial (2003): “Getting Serious About Meeting the Millenium
Development Goals: A Comprehensive Development Framework Progress
Report”, Washington D.C.
_____ (1998): “Public Expenditure Management Handbook”, Washington D.C.
Blondal, Jon (2003): “Accrual Accounting and Budgeting: Key Issues and
Recent Developments”, en Gestión Pública por Resultados y Programación
Plurianual, Serie Seminarios y Conferencias N°29, ILPES-CEPAL, Santiago de
Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf
CEPAL (1998): “El Pacto Fiscal. Fortalezas, debilidades, desafíos”, Comisión
Económica para América Latina y el Caribe, Naciones Unidas.
Cunill, Sonia y Ospina, Nuria (2003): Evaluación de resultados para una
gestión pública moderna y democrática: experiencias latinoamericanas.
Caracas: CLAD.
Dirección de Presupuestos de Chile (2003): “Programa de Mejoramiento de
la Gestión Año 2004, Documento Técnico”.
______ (1995): “Guía para la Construcción de Indicadores de Desempeño en
los Servicios Públicos”.
Guzmán, Marcela (2001): “Evaluación de Programas e Indicadores de
Desempeño Transparencia y Mejoramiento de los Procedimientos para la
Discusión Presupuestaria”, Dirección de Presupuestos, Ministerio de
Hacienda de Chile.
_____ (2003): “Sistema de Control de Gestión y Presupuestos por Resultados:
la Experiencia Chilena”, en Gestión Pública por Resultados y Programación
Plurianual, Serie Seminarios y Conferencias N°29, ILPES-CEPAL Santiago de
Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf
Haggard, Stephan (1995): “Reform of the State in Latin America”, en The
challenges of reform: proceedings of an annual World Bank conference,
Burki, Edwards, y Aiyer (eds.), Washington, DC: World Bank.
Hernández, Misael (2002): “Evaluación del desempeño de las organizaciones
públicas a través de la calidad”, ponencia presentada en el VII Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administración
Pública, Lisboa, Portugal.
Lizana, Leoncio (2002): “ABC: Costeo Basado en Actividades”, Revista
Gerencia, Junio 2002.
Kristensen, Jens; Groszyk, Walter y Bühler, Bernd (2002): “Outcome-focused
Management and Budgeting”, OECD Journal on Budgeting, Vol 1, Nº4, Paris.
Mackay, Keith (1998): “Public Sector Performance: The Critical Role of
Evaluation”, World Bank Operations Evaluation Department.
Marcel, Mario (1998): “Indicadores de Desempeño como instrumento de
modernización en el Estado de Chile”, Perspectivas en Política, Economía y
Gestión, Nº 1, Vol. 2, Mayo, Departamento de Ingeniería Industrial de la
Universidad de Chile, Santiago de Chile.
Mokate, Karen Marie (2001): “Eficacia, eficiencia, equidad y sostenibilidad:
¿qué queremos decir?” Instituto Interamericano para el Desarrollo Social –
INDES, Documento de Trabajo I-24, Washington D.C.
Ministerio de Economía y Finanzas del Perú (2000): “Medición y Evaluación
del Desempeño en la Administración Pública”, Documento de Trabajo del
MEF, Lima.
Ministério do Planejamento, Orçamento e Gestão (2002 a): “Lei de Diretrizes
Orçamentárias para 2003: Anexo de Metas e Prioridades”, Ley Nº 10.524 de
25/7/2002, Brasil.
(Ver en http://www.planalto.gov.br/ccivil_03/Leis/2002/anexos/L10524-02-
Anexoii.pdf )
_____ (2002 b): “Avaliação Anual do Plano Plurianual: Relatório Anual de
Avaliação do PPA - Exercício 2001”, Brasil. Ver en
http://www.abrasil.gov.br/avalppa/relavalppa2001/default.htm .
_____ (2000): “Primeira Pesquisa Nacional de Avaliação da Satisfação dos
Usuários dos Serviços Públicos”,
Brasil.http://www.planejamento.gov.br/arquivos_down/seges/publicacoes/
PrimeiraPesquisaNacional.PDF .
Mora, Mario (2003): “El Sistema Nacional de Evaluación de Costa Rica”, en
Evaluación de resultados para una gestión pública moderna y democrática:
experiencias latinoamericanas. Caracas: CLAD.
National Center for Public Productivity(1997): A Brief Guide for Performance
Measurement in Local Government, Rutgers University Press, New Jersey.
Ormond, Derry y Löffler, Elke (1999): “Nueva gerencia pública: ¿qué tomar y
qué dejar?”, Reforma y Democracia, N° 13, febrero 1999.
Oró i Vendrell, Marc (2002): “Los instrumentos de gestión de la información
como motor de cambio hacia una nueva administración pública”, ponencia
presentada en el VII Congreso Internacional del CLAD sobre la Reforma del
Estado y de la Administración Pública, Lisboa, Portugal.
Ruffner, Michael (2003): “Overview of Results-Focussed Management and
Budgeting in OECD Member Countries”, en Gestión Pública por Resultados y
Programación Plurianual, Serie Seminarios y Conferencias N°29, ILPES-
CEPAL, Santiago de Chile.
http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf
Schick, Allen (1966): “The Road to Program and Performance Budgeting: the
Stages of Budget Reform”, Public Administration Review, vol. 26, Diciembre,
American Society for Public Administration.
_____ (2002): “¿La Presupuestación tiene algún futuro?”, Serie Gestión
Pública Nº21, ILPES-CEPAL, Santiago de Chile.
http://www.eclac.cl/publicaciones/Ilpes/6/LCL1736P/lcl1736e.pdf
Shack, Nelson (2003): “Indicadores de Desempeño en los Organismos
Públicos del Perú”, en Gestión Pública por Resultados y Programación
Plurianual, Serie Seminarios y Conferencias N°29, ILPES-CEPAL Santiago de
Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf
Turull, Jordi y Vivas, Carlos (2003): “El cuadro de mando integral en la
administración pública: el caso del Ayuntamiento de Sant Cugat del Vallès”,
ponencia presentada en el VIII Congreso Internacional del CLAD sobre la
Reforma del Estado y de la Administración Pública, Panamá.
Wholey, Joseph y Newcomer, Kathryn (1989), Improving Government
Performance, Jossey Bass Public Administration Series, San Francisco,
California.