Taller de Expertos Presupuestar en Amrica Latina Santiago de Chile, 5 y 6 de Diciembre

Para que sirven los Indicadores de Desempeo

Marianela Armijo

Consultora rea de Polticas Presupuestarias y Gestin Pblica

ILPES/CEPAL Marianela.armijo@cepal.org

Contenido
Lo que dice la teora del presupuesto por resultados Que han hecho los pases Que tipo de indicadores se usan y para qu. Algunas evidencias Conclusiones a partir de estudios y balances Sugerencias para un mejor uso

Mejores prcticas internacional

Para que sirven los indicadores...la teora

Mejorar la informacin para la toma de decisiones en el proceso presupuestario...mejorar la calidad del gasto pblico Posibilitar la evaluacin Mejorar la gestin Establecer compromisos de desempeo Rendir cuentas

Sistemas de Evaluacin del Desempeo (SEV)

Plan Nacional de Desarrollo Planificacin Sectorial PlanificacinProgramacin Presupuestaria con enfoque a resultados Sistema de Indicadores de Gestin y resultados Evaluacin de Gestin, de Resultados (Impacto) y Resultados Intermedios Informes de Evaluacin Anual Resultados de la Gestin, Congreso, rganos de Control

I.

PlanificacinProgramacinPresupuesto

II.

Monitoreo y Evaluacin

III.

Rendicin de Cuentas

Que han hecho los pases

Pases con Sistemas de Evaluacin con intentos de integracin de evaluacin del desempeo entre niveles de decisin gubernamental (PlanPresupuesto)
Colombia: Costa Rica: Uruguay Brasil Mxico SINERGIA MAPI-POIS SEV Plan Plurianual. PPA SED

Que han hecho los pases

Pases sin Sistema de Evaluacin del Desempeo pero que usan indicadores en el proceso presupuestario
Chile Per Argentina Bolivia Otros

Que tipos de indicadores se usan y para qu Uso de la Informacin

Indicadores agregados, nivel pas
Presidencia (Evidencia, solo Colombia)

Monitoreo y evaluacin? de Ministerio de Hacienda (Poca Evidencia) las metas del Plan Nacional del Desarrollo.

Indicadores a nivel sectorial: Educacin, Salud, Seguridad Pblica, Transporte, etc.

RdC

Se publican en algunos pases(Costa Rica, Mxico, Brasil, Colombia)

Se desconoce el uso para Monitoreo y evaluacin de metas sectoriales TdD y para

Indicadores a nivel Ministerial,laEntidades Para programacin presupuestaria PAO, Descentralizadas POI, POAs
El monitoreo y la evaluacinal Programas Presupuestarios, Programas Pblicos parecer Una cuestin de cumplir con las normas presupuestarias

Evidencias.sobre la aplicacin de los indicadores.

Mxico
Pases con Plan Nacional de Desarrollo

Costa Rica Brasil Colombia Uruguay Chile

Pases sin Plan......Lineamientos y Agendas...

Que pasa con los Indicadores que intentan medir Resultados...vinculados al seguimiento y evaluacin de los Planes Nacionales

Algunos casos...

COSTA RICA: INDICADORES DEL PLAN NACIONAL DE DESARROLLO

Hay informacin valiosa, pero existe un desnivel respecto de la importancia de la informacin que entregan los INDICADORES DE RESULTADO vinculados al Plan

COLOMBIA

Cumplimiento del Plan? O de la Ejecucin Presupuestaria del Plan?..

Avances en la informacin sobre la mejora de los Productos (Bienes y servicios) provistos.... Falta cruzar informacin sobre qu piensan los ciudadanos

Buena Prctica: La Rendicin de Cuentas no solo son cuentas alegres

URUGUAY

Hay un esfuerzo importante Por medir y evaluar los avances en la gestin de las Unidades Ejecutoras..., se trata de vincular Objetivos.., Metas concretas..e Indicadores

Es necesario tratar de medir impacto para la produccin genrica o intangible..? Aplicable a todos los paises

CHILE: Indicadores al Presupuesto

Producto Estratgico al que se Vincula Indicador Frmula de Clculo Efectivo 2001 Efectivo 2002 Efectivo 2003 Efectivo a Junio 2004 Estimad o 2004 Meta 2005

Subsidios Habitacionales

Eficacia/Result ado Intermedio Porcentaje de subsidios pagados dentro del periodo de vigencia ao t del total de subsidios otorgados.
Aplica Enfoque de Gnero: NO

((Nmero de subsidios pagados

dentro del periodo de vigencia (sin renovacin) ao t-2/Nmero total de subsidios otorgados cuyo periodo de vigencia (sin renovacin) termina ao t2)*100) ((Suma en das del tiempo real de ejecucin de las obras terminadas ao t/Suma en das del tiempo segn contrato de las obras terminados ao t)*100)

s.i.

s.i.

45.0 %

30.0 %

25.0 %

45.0 %

Viviendas

Eficacia/Produ cto Porcentaje del tiempo efectivo en ejecutar las obras sobre el tiempo estipulado por contrato
Aplica Enfoque de Gnero: NO

s.i.

s.i.

116.4 %

147.1 %

156.1 %

136.4 %

Producto Estratgico al que se Vincula

Indicador

Frmula de Clculo

Efecti vo 2001

Efecti vo 2002

Efecti vo 2003

Efecti vo a Junio 2004

Estim ado 2004

Meta 2005

Pon deraci n

Obras Urbanas y Programas Concursables Programas Concursables Pavimentos Participativos

((Nmero de Metros Lineales (ML) pavimentados en la Porcentaje de modalidad calidad de vivienda Los indicadores dede Metros Pavimentos Lineales (ML) Participativos pavimentados Calidad Total entorno .. ao t/N del en la modalidad de Metros Pavimentos 104.4 Lineales (ML) Satisfaccin de loss.i. usuarios Participativos s.i. % segn lo en relacin con Programado lo Calidad construccin obras y viviendas, estn ao t)*100) Programado. Eficiencia/Prod ucto

34.5 %

90.0 %

100.0 %

15 %

ausentes...

Aplica Enfoque de Gnero: NO

Algunas conclusiones a partir de la evidencia

Indudablemente los SEV dan cuenta de avances

Colombia:
Monitoreo y TdD Metas Presidenciales
Insumo Rendicin de Cuentas

Uruguay
Indicadores y Uso de los Indicadores como apoyo a la formulacin presupuestaria (Avance indicadores de eficiencia)

Chile:
Indicadores y Uso en la formulacin y evaluacin Presupuesto Se evala alto % gasto pblico

Costa Rica
Informacin ms estratgica al presupuesto Ms simplicidad en la informacin sobre resultados

Indicadores y escasa vinculacin con el Presupuesto

Informacin poco Comprensible por ciudadana Escaso uso Evaluacin por el Congreso

Informacin poco Comprensible por ciudadana Escaso uso Evaluacin por el Congreso

Informacin poco Comprensible por ciudadana Escaso uso Evaluacin por el Congreso

La articulacin entre la Planificacin y el Proceso Presupuestario debe ser revisada...

Indicadores de Impacto Polticas

Plan Nacional de Desarrollo: Indicadores Impacto Pas Indicadores Macro nivel pas articulados con metas a nivel sectorial ? Tasas de disminucin de la Pobreza y marginalidad
Creacin de empleo formal Indicadores de seguridad ciudadana Indicadores de Salud y Educacin

Estadsticas Nacionales
PRIORIDADES NACIONALES

Planes Sectoriales
IndicadoresIndicadores de Impacto a de los de Impacto y resultados intermedios Programas nivel sectorial con atribucin
Tasas de Desnutricin Desercin escolar Disminucin de dficit viviendas, etc

directa con los Programas ?

PRIORIDADES PROGRASECTORIALES

Indicadores de Impacto y Resultado Intermedio Programas Evaluaciones de Impacto

Planificacin Estratgica Planes Institucionales Institucional y Indicadores de Objetivos Estratgicos Indicadores alineadosEstratgicos Institucionales de Objetivos con los vinculados a Sectoriales? los Programas

FINES Y OBJETIVOS ESTRATEGICOS INSTITUCIONALES

Indicadores de Impacto Y resultado intermedio Programas

Indicadores de Gestin alineados con OE? Programas Presupuestarios

PROGRAMACION OPERATIVA

Indicadores de Gestin

No hay mayor evidencia emprica de la relacin...Monitereo- Evaluacin ....Mejoras Gestin..

Dbil relacin entre IndicadoresMonitoreo-Evaluacin- Mejoras de la Eficacia Asignativa, Eficiencia Operacional, Mejora provisin productos Usuarios.....

Se mantienen ciertos mitos...

Se fortalece cultura de evaluacin v/s tiempos de trabajo de los funcionarios e incentivos.... (Testimonios)
Si tuviera tiempo para trabajar, planificar..y no para llenar formularios..Dra. Especialista en Nutricin. Programa de Nutricin del Ministerio de Salud Si no puedo tener buenos indicadores y me expongo a no cumplir (por razones no controlables.invento...subvalo las metas,

etc...Funcionario de Alto Nivel Jerrquico de Ministerio...

Se mantienen ciertos mitos....

Presentar indicadores no es rendir cuentas (Testimonios) En un pas, los PAOS con informes de indicadores que van al Congreso tienen promedio 120 pginas ...

De que indicadores me hablan..? Informes Emitidos../Informes Programados , etc.

Los indicadores como instrumentos de control....

Las normativas de las leyes de presupuesto, muchas veces conspiran para que se monitoree lo innecesario...
A evaluar, evaluar que el mundo se va a acabar....... Una nueva enfermedad: Indicadoritis....aguditis..monitoreos trimestrales De metas fsicas... (Testimonios...)
Las metas de los indicadores...(PAOs) sin relacin con la formulacin Presupuestaria...desfase de la informacin

Sugerencias para mejorar los indicadores como apoyo al PoR..

1. Distintos Indicadores para distintos usos..Como articular la informacin para la Toma de Decisiones Integrar la Planificacin Estratgica como fase previa a la generacin de indicadores de desempeo institucional y programtico.. Empoderar a los responsables... Algunas sugerencias metodolgicas que apunten a la simplicidad y la pertinencia del uso de los indicadores Rendicin de Cuentas ms estratgica

2.

3.

4.

1. Distintos Indicadores para distintos usos..Como articular la informacin para la Toma de Decisiones

No todos los Indicadores deben ir en la informacin anexa al Presupuesto...

Monitoreo y Evaluacin del Plan de Desarrollo o grandes metas pas Presupuesto Sistemas de informacin gerencial Sistemas de informacin operacional

INSUMO

PROCESO

PRODUCTO

RESULTADO INTERMEDIO

RESULTADO FINAL
HAY ALGUNA MEJORIA

CUANTOS RECURSOS OCUPAMOS

CUAN BIEN LO HACEMOS

QUE HACEMOS

COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS Porcentaje de viviendas con estndares de calidad en la normal Porcentaje de viviendas con entorno urbano mejorado

COMO CAMBIAN LAS CONDICIONES INICIALES

I N D I C A D O R E S T I P O

Costos planilla Costos unidades de productos Nmero de funcionarios Licitaciones realizadas Actividades

Costo por vivienda Costo por kilmetro construido Tiempo de respuesta inspecciones Gasto administrativo/ Gasto Total Gasto Ejecutado/Gasto programado

Nmero de viviendas Kilmetros construidos Inspecciones realizadas

Disminucin del dficit habitacional Provincia X Porcentaje de usuarios que reciben vivienda declaran satisfaccin por calidad y entorno

Insumos Inptus

Eficiencia Calidad Economa

Eficacia (Cobertura, Focalizacin) Calidad

Eficacia (Cobertura, Focalizacin) Eficiencia Calidad

Eficacia Eficiencia Calidad

U S O I N F.

Sistema de Informacin Interna Entidades Contralora

Presupuesto
(Productos Finales) Sistema de Informacin Interna (Productos Intermedios)

Presupuesto
Sistema de Informacin interna (Productos intermedios, Productos finales, no relacionados con O.Estratgicos)

Presupuesto Sistema de Informacin Directivo

Presupuesto Sistema de Informacin Directivo ORGANISMO DE PLANIFICACION

2. Integrar La Planificacion Estratgica Al Sistema de M&E

MISION VISION
OBJETIVOS ESTRATEGICOS
ESTRATEGIAS METAS o LINEAS DE ACCION
PROYECTOS, PROGRAMAS, ACTIVIDADES

RAZON DE SER DE LA ENTIDAD, FIN, PROPOSITO

PROPOSITOS
FUTURO, ESCENARIO DESEADO, COMO QUIERE SER LA ENTIDAD QUE ESPERA LOGRAR LA ENTIDAD PARA CUMPLIR SU MISION

FUNDAMENTALES

MEDIOS PARA LOGRAR LOS OBJETIVOS ESTRATEGICOS COMO

ANALISIS DEL MEDIO EXTERNO E INTERNO

PLAN ESTRATEGICO

CONCRECION DE LOS OBJETIVOS ESTRATEGICOS

PRESUPUESTO
INDICADORES
MEDIDAS PARA ESTABLECER EL GRADO DE CUMPLI MIENTO DE LOS OBJETIVOS

3. Algunas sugerencias metodolgicas..simplicidad y pertinencia a. Necesidad de revisar el concepto de metas fsicas para ser incluidas como parte del sistema de monitoreo y evaluacin del presupuesto (esto no significa que no se contabilicenpero
tiene que ser esa la informacin que se adjunta al presupuesto ?) Genera problemas para la medicin de produccin intangible o bienes genricos e implica una sobre poblacin de indicadores
Las experiencias internacionales de PoR ms avanzadas no tienen el concepto de meta fsica, s el de productos (bienes y servicios)

3. Algunas sugerencias metodolgicas..simplicidad y pertinencia b. Necesidad de sincerar las capacidades de construccin de indicadores de eficiencia
Para qu tipo de instituciones es conveniente su generacin y a qu nivel
Costos para la produccin final e intermedia, produccin tangible e intangible ? Quien usa la informacin sobre eficiencia

Qu tipo de capacidades y sistemas es necesario desarrollar para construir indicadores de eficiencia

3. Algunas sugerencias metodolgicas..simplicidad y pertinencia Si es tan difcil y estamos tan lejos para medir resultados...orientmonos a medir bien los Insumos, Productos y los Procesos....
Algunos de sus defensores..

Makon Shack Shick...... Quirs...

3. Algunas sugerencias metodolgicas..simplicidad y pertinencia Pero no abandonemos los intentos de generar y mejorar buenos indicadores de resultados...intermedios y finales (impactos)... Indicadores que permitan monitorear las prioridades nacionales....y los compromisos asociados a ellos...y sobre todo indicadores que sean tiles para generar acciones..mejoras..informacin

3. Algunas sugerencias metodolgicas..simplicidad y pertinencia Lamentablemente en Amrica Latina nos Aprender de presupuesto
cuesta definir PRIORIDADES ESTRATEGICAS Sectoriales e Institucionales....10, las buenas prcticas de 15 Objetivos Estratgicos..poco concretables orientado a resultados... las prcticas no Se cometen la mayor parte de aconsejables en evaluacin:

No es posible ni deseable medirlo todo Apostar a la simplicidad de los modelos de vinculacin PrioridadesEvitar la trampa de la medicin... Haces solo lo que es Gubernamentales...Gasto Pblico... posible mostrar Indicadores con incentivos perversos Asignacin Eficiente y Responsabilizacin...

Canad Nueva Zelanda Reino Unido

4. La Rendicin de Cuentas debe ser ms estratgica.

Informar lo que interesa conocer

Cumplimiento de Metas fsicas de productos?

Mejoramiento del marketing del presupuesto..

Que informacin de desempeo y deseable y posible ?

Mayor expertise para presentacin de Informes sobre Resultados al Congreso y ciudadanos

Estudio de Mejores Prcticas Sistemas de M&E Factores que deben ser potenciados Capacidad de empoderamiento a los directivos Desarrollo de Sistemas de Informacin Rendiciones de Cuentas en un marco de participacin ciudadana

Estudio de Mejores Prcticas Sistemas de M&E Factores que deben ser potenciados
Debe haber una interconeccin entre el alto nivel de decisin y el desempeo operacional El Sistema de M&E debe incluir Indicadores de desempeo estratgicos en cascada desde el cuerpo Directivo hacia los departamentos, los indicadores operacionales apoyan a los niveles de gestin senior.