Escolar Documentos
Profissional Documentos
Cultura Documentos
Evaluacin de
polticas pblicas
Roberto Salcedo
compilador
bbapdf
BIBLIOTECA BSICA
DE ADMINISTRACIN PBLICA
siglo
veintiuno
editores
grupo editorial
siglo veintiuno
siglo xxi editores, mxico
GUATEMALA
04310 MXICO, DF
www.sigloxxieditores.com.mx
salto de pgina
ALMAGRO
38, 28010
www.sigloxxieditores.com.ar
biblioteca nueva
ALMAGRO
38, 28010
MADRID, ESPAA
MADRID, ESPAA
www.saltodepagina.com
www.bibliotecanueva.es
anthropos
266, BAJOS,
08007 BARCELONA, ESPAA
www.anthropos-editorial.com
DIPUTACIN
NDICE
presentacin,
prlogo,
agradecimientos
evaluacin de polticas pblicas,
15
por roberto salcedo aquino
17
por auditora
52
indicadores de desempeo,
71
169
185
[5]
PRESENTACIN
presentacin
estamos empeados en luchar por la democracia, la equidad, la perspectiva de gnero, la rendicin de cuentas y la sustentabilidad.
marcelo ebrard casaubon
PRLOGO
10
prlogo
y materiales para las tareas diarias, sino que todo ello deber necesariamente sustentarse en la voluntad, las actitudes y el conocimiento,
cualidades estas intrnsecamente personales y dependientes en buena
medida de aspectos educativos y de convivencia profesional.
Sin embargo, el Gobierno del Distrito Federal careca de una institucin dedicada a atender expresamente las necesidades especficas
de formacin y profesionalizacin de sus servidores pblicos, y por
ello surgi la idea y el plan de creacin de la Escuela de Administracin
Pblica del Distrito Federal, hoy en da la institucin responsable de
formar los servidores pblicos del Gobierno del Distrito Federal, promoviendo a la par un elevado estndar de calidad en las tareas de la
funcin pblica.
Sabemos que la percepcin ciudadana acerca de la administracin
y el servicio pblico es lacerantemente precaria; sin cortapisas se
asocia a los servidores pblicos con corrupcin e incompetencia,
entre otros males, por lo que nuestro reto es maysculo. No slo se
trata de comenzar a abordar los problemas de la ciudad de Mxico de
manera diferente, buscando equidad, sustentabilidad, recuperacin
del espacio pblico, ampliacin y diversificacin del transporte pblico, adems de aplicar convicciones y competencias de servidores
pblicos probos y capaces, genuinamente empeados en trabajar
para los ciudadanos, sino de dar pruebas a la ciudadana del carcter
genuino del proceso.
El Gobierno del Distrito Federal es consciente de que no bastan
las buenas intenciones o tan slo destinar mayores presupuestos o
aumentar las coberturas de los programas: es necesario aplicar cono
cimientos, habilidades y tcnicas; estar al tanto de los avances producidos
por los estudiosos de la administracin pblica, impulsar institucionalmente el derecho y la obligacin de estudiar, de actualizarnos, de
reflexionar, de compararnos con la teora, de ponernos a prueba.
As, parte integral de las labores de la eapdf consiste en producir
materiales acadmicos de trabajo para servidores pblicos pero
tambin para los estudiosos de la administracin pblica y de la ciudadana interesada. Por eso decidimos emprender la construccin de
la Biblioteca Bsica de Administracin Pblica, un proyecto editorial
que rene textos fundamentales para quienes se propongan ejercer
su funcin de servidor pblico con todas las de la ley, es decir, mediante el estudio y la consulta directa de las fuentes ms importantes
del conocimiento y la prctica de polticas pblicas.
prlogo
11
Se trata de materiales originalmente escritos en espaol por especialistas locales y regionales, y de traducciones que ponen las teoras y
experiencias internacionales ms relevantes al alcance no slo de los
servidores pblicos tanto del Gobierno del Distrito Federal como de
otros estados de la Repblica, sino tambin de lectores en los pases
de habla hispana interesados en encontrar y conocer una visin actual
de la administracin pblica que a todos nos impacta.
Es de notar que un esfuerzo tan amplio requiri la participacin
de todo un equipo de trabajo encabezado por el notable coordinador general de esta obra, el doctor Luis F. Aguilar Villanueva,
especialista seero en la gestin pblica en el mundo, de amplia y
reconocida trayectoria avalada por decenas de sus libros y publicaciones, a quien se reconoce como el introductor del enfoque de las
polticas pblicas en Amrica Latina, y ahora presidente del Comit
Expertos de Administracin Pblica de la onu. Para cada tomo de
los que integran la Biblioteca, Luis F. Aguilar convoc a un muy destacado especialista, referente en su campo de conocimiento, quien
reuni el trabajo de mltiples expertos.
El volumen 1 de la serie est a cargo del propio Luis F. Aguilar;
inicia con un ensayo sobre la disciplina de las polticas pblicas escrito por l especialmente para la ocasin e incorpora textos fundamentales sobre el tema que le da ttulo: Poltica pblica.
El segundo tomo se llama Administracin pblica y explora aspectos relativos a la complejidad organizacional e institucional; fue
compilado por el doctor Enrique Cabrero Mendoza, eminente investigador en las reas de gerencia y finanzas pblicas, anlisis organizacional y gestin municipal y polticas pblicas, quien se desempea
como director general del prestigiado Centro de Investigacin y Docencia Econmicas (cide).
Administracin pblica mexicana del siglo xx es el ttulo del tercer
volumen, editado por la doctora Mara del Carmen Pardo, cuyo
currcu
lum, trayectoria acadmica y publicaciones la consolidan
como una de las autoras imprescindibles en el estudio de la administracin pblica. Ella encabeza los textos dedicados a analizar la
evolucin de la administracin pblica mexicana a la luz del avance
de la modernizacin de la sociedad mexicana y de su sistema poltico.
Participacin ciudadana en las polticas pblicas es el volumen 4 de la
serie, realizado por el doctor Manuel Canto Chac, destacado profesorinvestigador y autor de obras publicadas en Mxico, Espaa y Co-
12
prlogo
prlogo
13
14
prlogo
Directora
Escuela de Administracin Pblica del Distrito Federal
AGRADECIMIENTOS
[15]
introduccin
18
Paralelamente al progreso de la ciencia, crecan los recursos materiales; las escuelas estaban llenas de alumnos; el comercio se desarrollaba de manera prodigiosa;
el prestigio de la evaluacin creca porque era objetiva y permita mejorar todas las
prcticas: la del comercio, las de produccin y las impositivas.
El pas del Yemen estaba abierto al progreso, pero vino la fatalidad. Al morir
AssadAbuCarib, subi al trono un prncipe vanidoso, indolente y de escasas dotes
intelectuales. Pocos meses despus, todos los servicios pblicos estaban desorganizados; las escuelas cerradas; los ulemas huyeron del pas bajo las amenazas de ser
acusados de perversidad y de enemigos del reino por demostrar el ruinoso estado en
que se encontraban las cosas pblicas. A la salida de los ulemas, el pas se precipit
a la ruina.
En la segunda leccin Beremiz Samir ense: la aritmtica nos proporciona la nocin de nmeros; la matemtica, la de medida; el clculo, la de
proporcin; y la evaluacin, la de comparacin. Todo ello ensea al hombre
a ser sencillo, modesto y humilde, porque se conoce la exacta medida de la
grandeza o de las limitaciones.1
La historia del Auge y cada de Yemen nos muestra, primero, que la
evaluacin es una disciplina cientfica con pretensin de objetividad
y utilidad prctica; segundo, que se desarrolla sobre los procelosos
mares de la poltica, y tercero, que la neutralidad y competencia del
evaluador son cualidades indispensables para la prctica profesional.
La evaluacin de las polticas pblicas es una tarea de las ciencias
sociales, por lo que se basa en la racionalidad de los postulados, en
la objetividad de los datos y en los mtodos de anlisis; pero se lleva
a cabo en un contexto poltico. Por lo tanto, se debe tener en cuenta
que lo que se evala es producto de decisiones polticas; que los resul1
Malta Tahan, Captulo xi: De cmo Beremiz inici sus lecciones, en El hombre que
calculaba, Mxico, Limusa, 1990.
19
20
21
Investigacin social
La investigacin social se realiza con el fin ltimo de construir conocimiento y tiene como principal destinatario a la comunidad cientfica y, en segundo trmino, a los actores relacionados con el tema
investigado; tiene dos caracteres: el bsico y el aplicado. El primero,
para crear teora, y el segundo, para confirmar las generalizaciones y
regularidades de la teora en la prctica.
La investigacin social, en cuanto ciencia dedicada al estudio de
los efectos del actuar gubernamental, busca, en forma sistemtica,
explicaciones lgicas de causa-efecto que se basen en la informacin
emprica obtenida mediante mtodos confiables. Estas explicaciones
cientficas constituyen una de las metas intrnsecas de la ciencia social
y tratan de ser de alcance amplio y con las mayores probabilidades de
generalizacin.
La ciencia social aplicada en las explicaciones causales de los impactos gubernamentales intenta ir ms all de la solucin de problemas especficos planteados por las polticas pblicas al incorporar
sus teoras, modelos y leyes con el objetivo de buscar regularidades
para transitar de las hiptesis a su confirmacin o rechazo, hasta
establecer postulados del comportamiento gubernamental que se
22
2
Robert K. Merton, Teora y estructura social, Mxico, Fondo de Cultura Econmica,
1970, pp. 544-545.
23
24
25
Auditoras de desempeo
Uno de los instrumentos ms valiosos de la democracia lo constituye
la rendicin de cuentas, entendida como la obligacin que tienen
quienes ejercen el poder pblico de responsabilizarse del mandato
conferido, de someterse a evaluaciones de su desempeo y de dar a
conocer los resultados de las mismas a los ciudadanos. La auditora
4
26
27
28
29
utilidad de la evaluacin
La utilidad es el fundamento de la evaluacin, por lo que la preocupacin por su utilizacin debe ser la gua conductora. El evaluador no
debe perder la brjula y siempre debe tener presente que su trabajo
debe concluir con recomendaciones tiles para ayudar a los diseadores o ejecutores de las polticas pblicas.
Para asegurar la utilidad de la evaluacin, se deben tener presentes
cuatro consideraciones: a] que las preocupaciones y preguntas de los
posibles usuarios estn contenidas en el programa de revisin; b] que
las recomendaciones sean producto de evidencias y pruebas sistemticas rigurosas y objetivas del estado real de la implementacin de una
poltica pblica (no debe haber dudas sobre la severidad de la metodologa); c] las recomendaciones deben ser pertinentes e idneas, con
carcter pragmtico y dirigidas a la prctica mediante la propuesta de
cursos de accin con carcter prospectivo, y d] que el proceso lgico
problema-curso de accin sea tan evidente que la conclusin sea prcticamente axiomtica.
Los principales puntos sobre la utilidad de la evaluacin son cinco:
Para verificar, ratificar o corregir el rumbo de la accin gubernamental.
La evaluacin pone nfasis en las metas que tienen sancin oficial
con el objetivo de que los implementadores conecten lo que estn
30
31
Cuando se inicia una evaluacin, el usuario debe estar comprometido en poner en prctica las recomendaciones y el evaluador en
poner toda su competencia profesional en estructurar recomendaciones tiles basadas en la evidencia de los hallazgos. Es importante
que quienes toman decisiones sientan como suyas las recomendaciones. Para aumentar este sentido de pertenencia lo mejor es desarrollarlas conjuntamente con ellos.
criterios de la evaluacin
Un gobierno que no orienta sus recursos con la finalidad de ofrecer resultados a la sociedad es un gobierno que erosiona su legitimidad y ve
sistemticamente mermadas sus capacidades de conduccin poltica
y regulacin social. En virtud de lo anterior, resulta indispensable revisar a fondo el origen, diseo, gestin, implementacin y evaluacin
de las polticas pblicas, a fin de generar nuevos mecanismos e instituciones que, efectivamente, incentiven a los actores y permitan al
gobierno responder con xito a la misin de las instituciones sustentadas en las demandas sociales sobre el principio del mximo beneficio social.
El modelo del pmbs se incorpor en el sistema de planeacin, programacin y presupuestacin (ppp). Segn los tericos, el modelo ayudara al gobierno a: 1] identificar los objetivos nacionales con precisin
sobre una base de continuidad; 2] elegir entre dichos objetivos los ms
urgentes; 3] buscar los medios alternativos de alcanzar los objetivos y
metas de la manera ms eficaz y con el mnimo costo; 4] informar a
los ciudadanos no slo del costo de los programas del ao prximo,
sino tambin de los costos a mediano plazo; 5] medir el desempeo
de las polticas pblicas para asegurar que el capital invertido se viera
reflejado en los bienes y servicios pblicos; 6] medir el desempeo
de los actores, ya sea institucionales o individuales, y 7] enfocar toda
la poltica pblica en la satisfaccin del ciudadano-beneficiario o ciudadano-usuario.
El sistema ppp, hoy llamado presupuesto con base en resultados
(pbr), requiere de una rigurosa y explcita definicin de objetivos de
mediano y largo plazos, el establecimiento de metas de corto plazo, la
estructuracin de un sistema de indicadores clave que permita a los to-
32
33
han presentado una considerable oposicin al desarrollo de procedimientos analticos serios para la evaluacin de las polticas pblicas.
Existen seis criterios para la evaluacin de las polticas pblicas que
se desprenden del pmbs y de la estructura del pbr: eficacia, eficiencia,
economa, competencia de los actores, calidad del bien o servicio y
ciudadano usuario o beneficiario.
Eficacia
La eficacia es un concepto ligado esencialmente con el logro de objetivos y metas. Evaluar la eficacia de un programa o poltica pblica se
debe traducir como el anlisis de los resultados o consecuencias de la
accin gubernamental comparado contra lo pretendido.
La literatura del tema operacionaliza el concepto resultado como
efecto, impacto y producto. Se hablar de efecto cuando los resultados
se evalan en relacin con la satisfaccin del ciudadano usuario o beneficiario o en relacin con la percepcin de la comunidad. Se usar
el trmino impacto cuando los resultados sean confrontados contra
los valores postulados por la teora del programa. Y, finalmente, el
concepto productos se aplicar cuando se utilice el anlisis sistmico:
insumo-producto (qu entra al sistema y qu sale).
As, por ejemplo, en la poltica pblica contra la pobreza, los valores que subyacen en la teora del programa son: elevar la calidad
de vida de la poblacin, aumentar las oportunidades de vida digna,
la no transmisin de la pobreza a las futuras generaciones. As, si
el evaluador ha podido operacionalizar esos conceptos y establecer
indicadores de impacto podr dar las explicaciones suficientes sobre
el impacto de la poltica pblica y de cmo se han alcanzado o no los
valores.
En la evaluacin de los efectos, el evaluador debe analizar la satisfaccin de los ciudadanos y de las comunidades mediante entrevistas
y encuestas de opinin, con mtodos cualitativos que expliquen la percepcin sobre la accin gubernamental. As, en la poltica del combate
contra la pobreza, los programas de alimentacin, educacin y salud
pueden estar funcionando con razonable eficacia, pero la percepcin
de la comunidad puede ser baja.
Cuando se habla de productos, los evaluadores se refieren a los
bienes y servicios que produce el gobierno. Ah se evala la calidad y
34
la oportunidad con las que son puestos para satisfacer las necesidades
ciudadanas.
La evaluacin de la eficacia consta de dos partes: una relativa a
verificar si se han logrado los objetivos y las metas de la poltica; y
otra, que comprueba si los acontecimientos deseados efectivamente
han ocurrido, y si pueden atribuirse a la poltica aplicada.
Los indicadores estratgicos o de resultados5 se asocian al cumplimiento de los objetivos fundamentales de una poltica pblica; en
consecuencia, miden lo verdaderamente esencial; se determinan con
base en los componentes crticos de xito y son los parmetros de
medicin de la eficacia para verificar si se cumplieron los objetivos de
un programa, la actividad institucional o la poltica pblica; indican
si es posible la medicin, con precisin razonable, del nivel y calidad
que se desea.
Por lo tanto, la primera tarea en la evaluacin de los resultados es
responder a la siguiente pregunta: la poltica o el programa tiene objetivos suficientemente discernibles, estables, unvocos? Si la respuesta
es positiva, entonces el sistema de evaluacin del desempeo contar
con indicadores estratgicos correctos, cuantitativamente mensurables y cualitativamente interpretables; pero cuando la respuesta es
negativa, habr que regresar al diseo de la poltica pblica para hacer
los ejercicios hermenuticos que permitan saber exactamente qu se
quiere lograr y luego construir los indicadores estratgicos; todo esto
se deber hacer mediante un dilogo argumentativo con los diseadores y operadores del programa.
Eficiencia
La evaluacin de la eficiencia mide y califica el recorrido entre medios
y fines; es la proporcin entre la utilizacin de insumos, recursos,
costo, tiempo y la forma en que se relacionan los fines con los medios.
Existe un consenso generalizado sobre la importancia de valorar
por medio de los criterios generales de eficiencia hasta qu punto los
resultados alcanzados derivan de una utilizacin racional de los recursos financieros, tcnicos y humanos.
5
Para acceder a una explicacin ms detallada de los indicadores, vase: Indicadores
de Desempeo, Auditora Superior de la Federacin, Mxico, 2009.
35
La teora de la implementacin asienta que si las actividades se conducen conforme lo planeado con suficiente intensidad de calidad y
fidelidad al plan, los resultados estarn disponibles. Pero se asume,
en un diseo ortodoxo de la poltica pblica, que los mtodos de evaluacin de los resultados y la frecuencia con la que se evaluar estn
consignados.
Dos enfoques tienen su raz en el criterio de eficiencia: insumos
y procesos; evalan el cmo, no el para qu. Pero el cmo es importante porque es el vnculo entre el diseo y el resultado. Un programa
puede fallar no porque sus servicios fueran inapropiados o mal diseados sino porque fueron mal operados. Es como una pelcula brillantemente escrita y elegantemente fotografiada, pero psimamente
actuada, de tal manera que los resultados son totalmente mediocres.
La evaluacin de procesos. La tendencia a concentrarse en los procesos
es natural: los gestores miden lo que hacen sus instituciones, y en las
organizaciones regidas por normas, los operadores consideran que
su trabajo consiste en seguir ciertas rutinas bajo ciertas normativas.
Si siguen dichos procesos fielmente y generan el esperado volumen
de produccin de bienes o servicios, estn haciendo su trabajo. Pocas
veces piensan en el impacto que las actividades tienen en aquellos
que la institucin debe servir. Sin embargo, un proceso ejecutado a
la perfeccin, si fracasa, representa una prdida de tiempo y dinero.
Se podra decir que hubo una manera eficiente de fracasar.
Evaluacin de insumos. Su objetivo es valorar la capacidad del sistema
para llevar a cabo las estrategias planeadas con los recursos dados.
Identifica y valora el mrito de proyectos alternativos, ayuda a disear los programas y a dar forma a las propuestas y proyectos.
Sirve para tomar decisiones sobre la estructuracin del programa,
identificacin de fuentes de apoyo y diseo de estrategias y procedimientos. Se centra en la cantidad y calidad de los recursos disponibles para la realizacin de cierta tarea: el nmero y calidad tcnica
del personal, la informacin disponible, el nivel de financiamiento,
el apoyo poltico, etctera.
La eficiencia se mide con indicadores de gestin; stos se centran en
los procesos clave por medio de los cuales opera una poltica pblica.
Son medidas de la operacin de una poltica pblica y proporcionan
informacin relevante sobre la productividad y la calidad con la que
36
Economa
La economa mide el costo de los recursos aplicados para lograr los
objetivos de un programa o poltica pblica contra los resultados
obtenidos; implica racionalidad, elegir, entre varias opciones, la
que conduzca al mximo cumplimiento de los objetivos con el
menor gasto posible. La principal interrogante es saber si dentro
del contexto poltico y social especfico los recursos han sido aplicados y utilizados de un modo racional y eficiente para lograr los
fines previstos. Tambin se le conoce como valor por dinero (value
for money).
La investigacin social, la evaluacin, el anlisis de las polticas
y la auditora de desempeo, en muchas ocasiones, tratan de determinar el costo, el valor y la utilidad de una poltica, incluyendo
la estimacin del valor de los usos alternativos de los recursos;
para ello se auxilian de varios enfoques, los dos principales son:
costo-beneficio y costo-eficiencia.
Costo-beneficio. Este mtodo de toma de decisiones sustenta su racionalidad al contestar la siguiente pregunta: las ganancias obtenidas
por las personas, superan sus sacrificios? Si la respuesta es afirmativa, la medida debe ser aceptada; en caso contrario, no favorece
a la esfera pblica ni al inters pblico.
Consiste en identificar, medir y valorar los costos versus los beneficios pretendidos por un proyecto, programa o poltica pblica. El
evaluador compara la situacin sin el actuar pblico no se hace
nada contra la situacin con intervencin y obtiene los efectos atribuibles exclusivamente a la realizacin.
Costo-eficiencia. El anlisis costo-eficiencia utiliza la evidencia evaluativa de resultados para estimar los beneficios del programa.
Esto incluye no nicamente los gastos del programa, sino tambin
costos indirectos y costos de oportunidad. La pregunta clave de
este enfoque es: cunto cuesta alcanzar un nivel de productividad?
37
38
39
40
41
es pertinente cuando se relaciona con la materia revisada y el periodo de estudio; es relevante cuando es importante y coherente,
cuando tiene relacin lgica y patente con los hechos; es competente cuando es de calidad, cuando es capaz de persuadir sobre su
validez para apoyar las conclusiones y recomendaciones.
Es controlada si todo el proceso se orienta hacia la solucin de la
quididad y las hiptesis planteadas en el diseo, y si se cumple en
cada parte del proceso con los requisitos del mtodo cientfico.
Es emprica si el investigador busca las bases de sus conclusiones en
fuentes primarias en la realidad, mediante el estudio directo de ella.
Es crtica si permea el escepticismo cientfico en todo el proceso
de investigacin; si la duda metdica es aplicada a cada resultado,
a cada inferencia, a cada interpretacin y a cada conclusin, de tal
manera que se reformule, reenfoque y clasifiquen los resultados y
que todos ellos posean las caractersticas de la evidencia.
En la fiscalizacin superior de la Cuenta Pblica 2007, la Auditora
Superior de la Federacin llev a cabo una auditora de desempeo a
los Centros de Estudios de la Cmara de Diputados, que tienen por
objeto prestar [] los servicios de apoyo tcnico y la informacin
analtica [] acorde con los cnones de la investigacin cientfica, en
forma objetiva, imparcial y oportuna []. 7
Para evaluar el cumplimiento de este objetivo, la Auditora Superior de la Federacin encomend a la Universidad Autnoma Metropolitana (uam) determinar una gua metodolgica para valorar
el cumplimiento de los cnones de la investigacin cientfica en los
servicios ofrecidos por los centros de estudios. La uam defini como
canon cientfico al conjunto de reglas metodolgicas que prescriben
el modo de proponer y contrastar teoras; la lgica de la formulacin
de hiptesis y explicaciones; los procedimientos de contrastacin emprica, y la objetividad del conocimiento. Con base en el estudio elaborado por la uam, se definieron dos elementos que caracterizan el
rigor metodolgico en la investigacin cientfica: el primero se refiere
propiamente al diseo metodolgico de la investigacin, y el segundo,
a la estructura del informe para comunicar los resultados.
7
Artculo 35 del Estatuto de la Organizacin Tcnica y Administrativa y del Servicio
de Carrera de la Cmara de Diputados.
42
8
C. Selltiz, Wrigtsman y Cook, Mtodos de investigacin en las relaciones sociales, Mxico,
Ediciones Rialp, 1980.
43
ciones de los conceptos, operacionalizacin y medicin de los conceptos y las relaciones entre los mismos.9
Hiptesis. Debe plantear, en forma clara y sucinta, cul es el resultado esperado. Es recomendable que la hiptesis prediga lgicamente la respuesta a la pregunta que se hizo en el planteamiento del
problema y que sea congruente con el objetivo principal.
Diseo de instrumentos y recoleccin de informacin. El rigor
cientfico se manifiesta en la coherencia lgica del proceso de investigacin, en el empleo de procedimientos y tcnicas adecuadas
al diseo metodolgico, en la relacin entre objetivo, problema,
proceso y resultados.
Datos. El proceso de investigacin implica la recoleccin de datos
pertinentes sobre las variables, sucesos, contextos, categoras, comunidades u objetos involucrados en la investigacin. Esta etapa implica cuatro actividades: a] seleccionar un instrumento o mtodo de
recoleccin de datos; b] aplicar ese instrumento o mtodo; c] preparar observaciones, registros y mediciones obtenidas, y d] anlisis
de los datos recopilados y procesados.
Anlisis de resultados. Un diseo de investigacin puede evaluarse
conforme a su validez interna y externa. Un diseo de investigacin
tiene validez interna cuando se controlan adecuadamente todas las
variables y existe control sobre las posibles explicaciones alternativas en la presentacin de resultados. La validez externa se produce
cuando los resultados obtenidos pueden ser generalizados a otras
unidades de anlisis, otras situaciones y casos distintos a aquel en
que se realiz la investigacin.10
9
Eva Anduiza Perea, Ismael Crespo y Mnica Mndez Lago, Metodologa de la ciencia
poltica, Madrid, Centro de Investigaciones Sociolgicas, serie 1999 (Cuadernos Metodolgicos, 28).
10
Francisco Alvira Martn, Diseo de investigacin social: criterios operativos, en
Manuel Garca Ferrando, Jess Ibez y Francisco Alvira (comps.). El anlisis de la realidad social. Mtodos y tcnicas de investigacin, 1a. reimpresin, Madrid, Alianza Editorial,
2002, p. 106.
44
45
46
47
Esperar lo contrario equivaldra a suponer que los servidores pblicos estn dispuestos a actuar en su contra. Existen instituciones en
el sector pblico de casi todos los pases cuyo nivel de eficiencia es tan
bajo que la introduccin de instrumentos de medicin de desempeo
se vera como una gran amenaza; en esos casos, aparecer una deformada lealtad institucional que generar todas las resistencias a la
implementacin de sistemas de evaluacin. Es aconsejable, en tales
circunstancias, introducir mecanismos de medicin externa con un
fuerte marco de estmulos, incentivos y premios al interior de la institucin.
taxonoma
La taxonoma de la evaluacin se construye a partir de tres dimensiones: el agente evaluador, el momento en que se evala y el objeto
por evaluar.
Segn el agente evaluador. Se puede distinguir entre evaluacin interna y evaluacin externa. La evaluacin externa es la que se realiza
por parte de alguien que no tiene que ver con el financiamiento ni
con la formulacin ni con la ejecucin del programa o poltica que
se evala. La evaluacin interna es la que se realiza por parte de
48
una institucin, unidad de evaluacin, equipo o agente que ha participado o participa en el programa o poltica en alguno o ms de los
aspectos antes mencionados. Por supuesto es posible la existencia de
evaluaciones mixtas.
Segn el tiempo de la evaluacin. Respecto del momento en que se
evala, en la versin ms sencilla, la evaluacin se divide en tres
categoras: ex ante, in va y ex post. La primera se realiza antes de que
un programa se ponga en marcha en sentido estricto; la segunda
es cualquier evaluacin que se realiza durante su desarrollo; y la
tercera, cuando la evaluacin se realiza una vez que el programa se
ha ejecutado, ser ex post.
Segn el objeto por evaluar. Tres son los conceptos que se utilizan en
la evaluacin segn el objeto por estudiar: evaluacin de proyectos,
evaluacin de programas y evaluacin de polticas pblicas.
Evaluacin de proyectos. Se habla de un proyecto cuando existe
una accin o decisin que requiere recursos pblicos para generar
supuestos beneficios en la produccin de bienes o servicios pblicos, o en la produccin de ambos para resolver o administrar un
problema que se ha subido a la agenda gubernamental.
La evaluacin de proyectos debe describir, analizar y explicitar
la razonabilidad de stos, y se sustenta en el anlisis del costo-beneficio; por lo que en la medida en que los beneficios superen los
costos, la evaluacin deber recomendar su ejecucin.
La evaluacin de proyectos y el anlisis de polticas se intersecan
en que indagan para la toma de decisiones; la primera para cuestiones acotadas en tiempo, espacio y cobertura; y el segundo, para
lneas de actuacin gubernamental para mbitos ms amplios, horizontes ms abiertos y tiempos de largo plazo.
Evaluacin de programas.12 La literatura sobre evaluacin habla en
general de programas, servicios y polticas pblicas, sin distinguir,
12
Programa: Instrumento normativo del sistema nacional de planeacin democrtica, cuya finalidad consiste en desagregar y detallar los planteamientos y orientaciones
generales del Plan nacional, mediante la identificacin de objetivos y metas. Segn el
nivel en el que se elabora, puede ser global, sectorial e institucional, de acuerdo con su
temporalidad y con el mbito territorial que comprende puede ser nacional o regional
y de mediano y corto plazos, respectivamente. Conjunto homogneo y organizado de
actividades por realizar para alcanzar una o varias metas, con recursos previamente determinados a cargo de una unidad responsable. Vase Secretara de Hacienda y Crdito
49
consideraciones finales
El quid del funcionamiento racional del sector pblico puede considerarse como una serie de transferencias del poder adquisitivo de los ciudadanos a las autoridades y, luego, como una serie de transferencias
de stas a aqullos. El Estado emplea este poder adquisitivo en los
programas de transferencias de ingresos hacia unos grupos del sector
privado, o bien, lo utiliza para adquirir bienes y servicios que a su vez
rinden beneficios a los particulares. stos son los dos modos de disPblico, Glosario de Trminos ms usuales de la Administracin Pblica Federal, Mxico,
2001.
50
51
prembulo
Las ciencias sociales se han esforzado por comprender el comportamiento poltico del hombre, la sociedad y el Estado. Por medio de
distintos enfoques y metodologas, han intentado dar respuesta al
porqu de los actos y de las decisiones polticas pero, sobre todo, han
dedicado tiempo muy valioso para intentar cambiar aquellas decisiones y situaciones que han alejado al hombre y al Estado de actos y
comportamientos poco ticos en el ejercicio del poder.
Este proceso, intuitivo en sus inicios y sistematizado en la actualidad, ha sido y es parte medular de toda agenda poltica. Los procedimientos se han transformado, pero en el fondo mantienen su misma
esencia: conocer, comprender y transformar el desempeo pblico,
con base en un profundo conocimiento de la poltica y de los intereses
que conforman el proyecto de un rgimen en cada momento de su
historia.
Este ejercicio comprende el conocimiento del pasado y del presente de una nacin, para poder conducir al pas hacia un rumbo
que permita aumentar los niveles de responsabilidad, creatividad y
eficacia del gobierno. Hoy en da, la suma de estos elementos constituye el pilar para garantizar la sobrevivencia y la legitimidad de todo
rgimen poltico.
Bajo esta tnica, en 1978 se publica The Breakdown of Democratic
Regimes, de Juan Linz y Alfred Stepan, en el cual se analizan las causas
del fracaso de las democracias latinoamericanas y europeas estable-
1
Auditora Superior de la Federacin, Auditora Especial de Desempeo. Anlisis y
Evaluacin de las Polticas Pblicas, en Auditora Superior de la Federacin, Elaboracin de las polticas pblicas. Lectura para auditores, Mxico, 2009, pp. 159-186.
[52]
53
cidas en la dcada de los setenta y los golpes de Estado que les sucedieron. En esta investigacin se plantearon tres causas que explicaban
el fracaso de estos gobiernos.
La primera, era la incapacidad de estos regmenes de construir
un conjunto de polticas pblicas que pudieran ser implementadas
de acuerdo con los criterios de eficacia, eficiencia y economa que
deban caracterizar toda democracia. A grandes rasgos esto implica
que el gobierno debe ser eficaz para disear una poltica pblica,
eficiente para implementarla y econmico para hacerlo con el menor
costo posible.
La segunda, era la incapacidad de alcanzar los arreglos necesarios sobre los acuerdos y negociaciones polticas que se requieren para legitimar un gobierno democrtico. Esto dificulta
la definicin de objetivos, la generacin de nuevas polticas pblicas y la garanta de un justo equilibrio entre los poderes ejecutivo, judicial y legislativo.
La tercera, era la enorme dificultad por construir un espacio
legtimo entre la sociedad civil y la sociedad poltica, en el cual se
pudiera consolidar la democracia, realizar la revisin del ejercicio pblico, establecer los equilibrios y tejer los cambios de una sociedad.
Una sociedad civil robusta, con capacidad de generar y proponer alternativas polticas y de monitorear y supervisar al gobierno, es esencial
para consolidar una democracia.
Estos tres elementos constituyen el eje sobre el cual descansa la
legitimidad democrtica. sta es la garanta para que los grupos y partidos polticos puedan agregar y representar a toda la inmensa gama
de diferencias que existen en la sociedad e institucionalizar y resolver
los conflictos polticos que siempre fluyen en ella. Esto implica una
sociedad poltica informada, presionada y renovada por la sociedad
civil conforme el arreglo institucional para conducir una democracia
en un contexto legal.
La vigencia de este estudio es notoria. En la actualidad, ninguna
democracia puede sobrevivir sin conciliar estos tres elementos. Son el
sustento de los nuevos arreglos polticos que se requieren para garantizar la viabilidad de las nuevas democracias.
54
el poder legislativo
55
56
57
Las auditoras que desarrollan la mayora de las instituciones requieren de mucho trabajo, de profesionalismo, precisin y rigor; el
auditor de desempeo deber estar capacitado para proponer estrategias que impacten positivamente la gestin pblica.
La actividad del auditor es esencialmente tcnica, sin embargo, no
puede limitarse al anlisis de los datos por s mismos, sino que debe
forzosamente analizar el cumplimiento integral de los programas. El
objetivo final es encontrar las mejores frmulas, y obligar al gobierno
a cumplir los objetivos y las metas que se ha trazado. Por ello, la auditora de desempeo tiene que ser un vehculo de cambio de la forma y
velocidad con que trabaja el gobierno.
Las auditoras de desempeo deben revelar informacin pertinente a partir de un enfoque multidisciplinario y demostrar la
manera en que se ejercieron los recursos pblicos; las desviaciones
realizadas en el ejercicio presupuestal; los errores en el diseo de los
58
59
60
los modelos
61
Ex ante
En esta fase se estudia la manera en que un gobierno estructura e integra su agenda de trabajo, y la forma en que se pactan y recomponen
los intereses que intervienen en la conformacin de un proyecto de
gobierno. La agenda revela la manera en que se negocia la inclusin
y la exclusin de un asunto o de un problema, por ello su estudio es
fundamental.
En la agenda se analizan las causas que dieron origen a cada decisin de gobierno, los motivos por los cuales se opt por una estrategia y no por otra; los grupos e intereses polticos que intervinieron
para que la decisin se tomara de esa forma y el cmulo de situaciones
internas que lograron que ese problema se atendiera y se enfrentara
de una manera especfica.
En esta fase se estudia con detenimiento la manera en que se
disea cada poltica pblica. El diseo es fundamental para el xito o
el fracaso del programa. Muchas decisiones sobre el diseo contienen
elementos que garantizan su viabilidad: en otros casos, el diseo ser
causante del fracaso. El diseo y sus mecanismos de implementacin
indican las posibilidades reales que tiene el programa para cumplir
con sus objetivos, por ello es fundamental estudiar ambos procesos.
El momento ex ante est incluido en el Marco Operativo de la Auditora Especial de Desempeo, en el apartado de la auditina y concretamente en la comprensin de la poltica pblica y en el mapa de tesis.
In tempo
Esta fase se centra en el anlisis de la implementacin. No es un procedimiento posterior, sino que implica la posibilidad de que el grupo de
auditores participe observando el proceso de puesta en marcha de un
programa. En este momento se pueden percibir los problemas de ope-
62
Ex post
Se denomina evaluacin ex post porque tiene por objeto calificar los
resultados de un programa, proyecto u operacin, en trminos de
sus efectos directos o impactos producidos, una vez concluida la actividad; se trata de una evaluacin retrospectiva que permite conocer
en detalle el proceso de implementacin de las polticas pblicas. En
un sistema de evaluacin ex post se reconocen dos tipos de anlisis: ex
post simple; ex post en profundidad.
Estos anlisis se diferencian bsicamente en la oportunidad de
su aplicacin y en el nivel de detalle de la informacin analizada. El
anlisis ex post simple se realiza inmediatamente que finaliza la fase
de ejecucin del programa o proyecto, y en la que slo ser posible
realizar un anlisis de los resultados de corto plazo, registrados en variables como costos y tiempo de ejecucin y conocer las desviaciones.
Adems, en algunos casos, se podr estimar el cambio en la rentabilidad social de las iniciativas de la poltica pblica.
Se entiende por anlisis ex post en profundidad a la revisin que
detalla, analiza y compara el comportamiento de lo estimado contra
lo real en las variables relevantes. Se realiza cuando las etapas e iniciativas de la poltica pblica estn en operacin plena y permite, por
una parte, establecer si la ejecucin y puesta en operacin de los programas o proyectos cumplieron con las proyecciones especificadas
en el anlisis ex ante, si generaron los beneficios y costos sociales
esperados, adems de validar las metodologas aplicadas. Mediante
este proceso es posible constatar la validez de las proyecciones de las
variables relevantes, la validez de los supuestos y parmetros adoptados y la magnitud de los resultados estimados en los estudios de
evaluacin ex ante.
63
Es necesario tener en cuenta la revisin dentro del ciclo de la poltica pblica, junto con los distintos momentos en que pueden recogerse datos evaluativos y juicios valorativos que de ella se derivan. Se
elabora un cuadro sinptico:
Acciones anlisis en el ciclo de vida de la poltica pblica
Etapa
Diseo
(antes)
Actividades
propias
Identificacin,
formulacin,
planificacin
Accin evaluativa
Temporalidad
Evaluacin de
necesidades y
potencialidades
Evaluacin ex ante
Implementacin Ejecucin y
(durante)
seguimiento
Evaluacin del
progreso
Evaluacin in tempo
(intermedia)
Evaluacin
(despus)
Evaluacin de
resultados e
impacto
Evaluacin ex post
fuente:
hegoa,
Evaluacin
64
momento de redisear una poltica pblica. La informacin que generan es un arsenal que debe formar parte del ejercicio pblico y debe
servir para beneficiar a la sociedad transparentando y mejorando el
desempeo del gobierno.
El fin ltimo de la auditora de desempeo es que sta sea un ejercicio que contribuya al mejoramiento de la calidad de vida de la ciudadana, informando sobre las decisiones tomadas y acciones ejecutadas
por el gobierno y sus instituciones.
La informacin que generan las auditoras de desempeo tiene un
gran impacto. El auditor debe convertirse en un interlocutor legtimo
entre el Legislativo y el Ejecutivo, y debe participar en los debates en
donde se evalan las polticas pblicas.
65
66
67
68
reflexin capitular
La evaluacin de la funcin pblica debe ser un esfuerzo sistematizado por comprender y explicar cada decisin y cada poltica
pblica. El ciudadano espera que las auditoras se realicen con imparcialidad, honestidad, profesionalismo y con criterios claros, objetivos
y racionales. Toda auditora de desempeo debe indicar con claridad
en dnde se localizan los focos rojos de cada programa, e indicar con
precisin qu debe realizar la institucin para superar sus errores u
omisiones. La informacin que generan debe ser pblica, debe ser el
soporte sobre el cual se tomen las futuras decisiones y debe incluir
un componente de censura cuando los resultados obtenidos no concuerdan con los establecidos en el diseo.
La auditora de desempeo es un ejercicio racional, ordenado, disciplinado y objetivo sobre el desempeo de un programa, de una poltica pblica o una institucin.
Ningn gobierno puede preciarse de ser democrtico slo por informar. ste es un concepto vaco que se pierde en la vorgine de informacin que toda sociedad genera, lo importante en la rendicin de
cuentas es la evaluacin de lo que se logra confrontado contra lo programado. En este contexto, las instituciones responsables de evaluar y
fiscalizar el desempeo de los gobiernos deben realizar su trabajo con
las mejores herramientas posibles, con los mejores y ms rigurosos
diseos metodolgicos y los mejores cuadros profesionales.
69
bibliografa
Bardach, Eugene, Los ocho pasos para el anlisis de las polticas pblicas, Mxico,
cide, 1999.
Lasswell, Harold, The Emerging Conception of the Policy Sciences, Policy Sciences,
1971.
Linz, Juan J. y Alfred Stepan, The Breakdown of Democratic Regimes, Baltimore,
John Hopkins University Press, 1978.
Nagel, Stuart, Handbook of Public Policy Evaluation, California, Sage Publications, 2000.
Newcomer, Kathryn E., Handbook of Practical Program and Evaluation, San
Francisco, Jossey-Bass Publishers, 1994.
Sabine, George H. y Thomas L. Thorson, A History of Political Theory, Illinois,
Dryden Press, 1973.
Sowell, Thomas, A Conflict of Visions: Ideological Origins of Political Struggles,
U.S. Basic Books, 2002.
70
Sylvia, Ronald D. y Kathleen M. Sylvia, Program Planning and Evaluation for the
Public Manager, U.S. Waveland Press, 1997.
Theodoulou, Stella Z. y Mathew Cahn, Public Policy: the Essential Readings,
New Jersey, Prentice Hall, 1995.
Varios autores, Historia General de Mxico, Versin 2000, Mxico, El Colegio
de Mxico, 2000.
Weimer, David y Aida Vining, Policy Analysis, New Jersey, Prentice Hall, 1990.
INDICADORES DE DESEMPEO1
auditora superior de la federacin
auditora especial de desempeo
[71]
72
2
Robert Kaplan y David Norton, Using the Balanced Scorecard as a Strategic System, Harvard Business Review, 996.
3
Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social (ilpes),
Indicadores de Desempeo en el Sector Pblico, Naciones Unidas, Juan Cristbal Bonnefoy y
Marianela Armijo, Serie Manuales 45, Santiago de Chile, noviembre de 2005.
indicadores de desempeo
73
74
indicadores de desempeo
75
76
Se pone especial nfasis, entonces, en la necesidad de que se establezcan criterios claros y precisos para la construccin de indicadores.
La idea es que la informacin que emane de dichos indicadores sea
correctamente interpretada. Es fundamental asegurar el requisito de
idoneidad y calidad de la informacin base referida a los insumos para
la construccin de indicadores.
Otro tipo de dificultad que enfrenta la construccin de indicadores
es la que se deriva de la intangibilidad del tipo de produccin como,
por ejemplo, la actividad artstica, la diplomacia o la investigacin.
En otros casos en que no es significativo medir los resultados absolutos, ya que no son controlables por la institucin, es relevante medir
aspectos tales como:
Calidad de los servicios: oportunidad o accesibilidad.
La cobertura.
La regularidad del servicio.
Por lo que se refiere a la dificultad para la construccin de un
sistema de control de la gestin y las resistencias que se crean en el
interior de las organizaciones, la revisin de la documentacin seala
algunas recomendaciones para definir una estrategia de implantacin
participativa del sistema.
Disponer de un sistema contable presupuestario adecuado: la contabilidad presupuestaria clsica no es suficiente, como mnimo se
necesita un presupuesto estructurado en lo posible por objetivos.
Tambin se precisa tener conocimiento de costos de los servicios
prestados.
Fomentar la colaboracin del personal afectado: los sistemas de
retribucin flexibles, condicionados a resultados, podran ser un
modelo a seguir.
Lograr una voluntad poltica de mejorar a la Administracin Pblica: la voluntad poltica dirigida a conseguir una administracin
pblica moderna, gil, eficaz y eficiente permitir impulsar las acciones tendientes a la consecucin de estos objetivos.
Buscar el apoyo de personas influyentes y clave dentro de la organizacin que apoyen el proyecto.
Proporcionar los medios adecuados para el xito de la implantacin
de acuerdo con la cultura de la organizacin.
indicadores de desempeo
77
78
Tambin existe una serie de dificultades estructurales en la administracin pblica que dependen del desarrollo que tenga cada pas.
Entre las principales limitaciones se mencionan la debilidad de los
procesos de concursabilidad para el nombramiento de directivos pblicos, los escasos incentivos para asumir mayores niveles de responsabilidad, las escasas consecuencias respecto del desempeo logrado.
Junto a ello se verifica, en la mayor parte de los pases, que los sistemas
de personal no han desarrollado mecanismos de incentivos a los funcionarios, vinculados a los estndares comprometidos en el mbito
institucional, tales como sistemas de reconocimiento, remuneraciones
vinculadas al desempeo, entre otros.
Los indicadores de desempeo son un conjunto de medidas que tabulan, calculan y registran una actividad o un esfuerzo de un trabajo
realizado. La informacin obtenida se expresa de manera cuantitativa
o cualitativa y explica el grado de desempeo de una institucin para
la consecucin de sus objetivos. Los indicadores sirven para medir
cmo trabaj una institucin y si la manera de hacerlo contribuye
a que la institucin cumpla con sus objetivos y metas o se aleje de
ellos. La informacin que obtiene a partir de los indicadores debe ser
confiable, ya que su clasificacin debe garantizar objetividad e imparcialidad. stos sirven para entender errores y aciertos, y sobre todo
predecir las posibilidades de xito de todo programa en el largo plazo.
Todas las instituciones deben contar con sus propios indicadores
de desempeo. Las economas ms desarrolladas y sus gobiernos
cuentan con sistemas eficientes de medicin. Esto ha servido para mejorar la calidad de su servicio y mejorar la manera en que operan sus
gobiernos.
A grandes rasgos, los indicadores de desempeo estructuran un
proceso de monitoreo continuo de los logros de cada programa pblico. Los indicadores de desempeo son la herramienta ms importante y confiable que existe para clasificar informacin y explicarla en
trminos de resultado. Un sistema de indicadores nos permite:
indicadores de desempeo
79
80
En la auditora practicada a las acciones de regulacin de los servicios de telecomunicaciones, a cargo de la Secretara de Comunicaciones y Transportes, se determin que debido a que la informacin y
los elementos presentados en los indicadores incorporados en el Presupuesto de Egresos de la Federacin y en la Cuenta Pblica no incluyeron conceptos para evaluar la eficacia de la Direccin General de
Poltica de Telecomunicaciones, la Auditora Superior de la Federacin
(asf) construy otros seis indicadores para complementar la evaluacin
del cumplimiento de los objetivos, como se presenta a continuacin:
Cuadro de indicadores estratgicos construidos para evaluar
las acciones de regulacin de los servicios de telecomunicaciones
Vertiente
de revisin
Eficacia
Objetivo
Indicador
ndice de ampliacin
de la cobertura
Cobertura
ndice de cobertura
por servicio de
telecomunicaciones
ndice internacional
de cobertura de
los servicios de
telecomunicaciones
ndice de calidad
por servicio de
telecomunicaciones
Calidad
81
indicadores de desempeo
Objetivo
Indicador
Competencia en
la prestacin de
los servicios de
telecomunicaciones
fuente:
82
En la actualidad, la mayora de las instituciones pblicas y privadas utilizan los indicadores de resultados o estratgicos para
medir su propio desempeo, y han sido de gran utilidad para las
auditoras de desempeo. La incorporacin de estos indicadores ha
implicado un enorme esfuerzo para reorganizar las tareas internas
de la mayora de las instituciones pblicas y privadas, en funcin de
los resultados que esperan obtener y su impacto ha sido decisivo.
Lo primero que han hecho es obligar a las dependencias a plantear
metas anuales realistas, y despus a comprometerse para alcanzarlas.
Trabajar a partir de resultados estratgicos implica dejar de lado los
trabajos al vapor y las presiones polticas por atender asuntos de coyuntura y a concentrarse en disear metas a largo plazo y programas
anuales, que de manera conjunta servirn para cumplir las metas
establecidas.
A continuacin se presenta un ejemplo sobre la eficacia en la sustentabilidad de los bosques.
4
Las plntulas se siembran durante todo el ao y se contabilizan en el ao que se
consideran aptas para las acciones de reforestacin.
indicadores de desempeo
83
5
Para 2007, la conafor indic que los resultados del ndice de supervivencia de rboles
plantados no se haban concluido por parte de la Universidad Autnoma de Chapingo.
84
2005
2006
2007
179086
91692
87394
51.2
195742
100807
94935
51.5
322320
175065
147255
54.31/
34.2
38.2
29.8
3.121/
(8.8)
(8.5)
(5.7)
2.822/
tmca
(%)
fuente:
Comisin Nacional Forestal, Informe de Cierre Definitivo Prorbol Reforestacin, 2005, 2006 y 2007, Mxico, 2006-2008; y nota informativa tema supervivencia de
la reforestacin, del 27 de septiembre de 2008.
1/
Cifras estimadas con base en los ndices de supervivencia de los aos 2003, 2004,
2005 y 2006.
2/
Variacin en puntos porcentuales.
Variacin
Absoluta
%
(2.2)
(0.4)
20052006
20062007
549.7
547.5
212.7
341.4
128.7
60.5
337.0
206.1
(130.9)
38.8
85
indicadores de desempeo
20052006
20062007
0.4
0.6
Variacin
Absoluta
%
0.4
n.a.
fuente:
6
Tomo vi, volumen 1, vi.4. Sector Medio Ambiente y Recursos Naturales,
Secretara de Medio Ambiente y Recursos Naturales, pp. 349-356.
vi.4.1.
86
indicadores de desempeo
87
88
indicadores de desempeo
89
90
91
indicadores de desempeo
Concepto
ndice de
ingreso y
egreso
100
Alumnos
2478302
Egreso de
primaria
88
Ingreso a
secundaria
83
Egreso de
secundaria
62
838500
92
Cobertura
(%)
Escolarizado
(Miles
de pesos)
Eficiencia terminal
Primaria
(%)
Secundaria
(%)
Pruebas pisa
2003
Comprensin
lectora y de
matemticas
(1600 puntos)
Absoluta
(%)
Nacional
88.6
12.5
90.0
78.6
785
49.1
Baja
California
Sur
90.6
17.0
95.7
85.3
762
47.6
Oaxaca
91.6
11.9
85.9
77.1
672
42.0
Quertaro
89.8
10.8
96.1
76.3
836
52.2
indicadores de desempeo
93
que se analicen procedimientos, inspecciones y los procesos administrativos y humanos para obtener los resultados esperados. Es importante que las estrategias incluyan un apartado donde se analicen los
requerimientos tecnolgicos.
El programa deber describir tanto las estrategias nuevas, como
las viejas para alcanzar las metas. Los aspectos nuevos reflejan un
esfuerzo de innovacin de la empresa que podra impactar positivamente la gestin de su trabajo. Asimismo, debe reconocer las limitantes legales que existen para alcanzar las metas. 8
Qu debe hacer el auditor para obtener esta informacin?
Establecer los vnculos entre las estrategias de corto plazo y las
metas de largo plazo.
Distinguir las estrategias vigentes y las nuevas.
Verificar que existen mtodos alternos para mejorar su trabajo.
stos pueden ser, entre otros, las reingenieras financieras, privatizaciones o cualquier otro que sirva para mejorarlo.
Verificar si la institucin est estudiando el uso de nuevas regulaciones, por ejemplo, exenciones fiscales, o cualquier otra.
Verificar si la institucin est promoviendo algn cambio legislativo para mejorar su trabajo.
Verificar si se ha contrastado esta estrategia con otras propuestas
por la institucin, para que de manera conjunta sirvan para mejorar su trabajo.
Supervisar si algunos de los cambios efectuados en la institucin
son resultado de las recomendaciones hechas anteriormente por la
Auditora Superior de la Federacin.
Verificar si alguna institucin solicit obviar algn procedimiento
administrativo que para efectos del cumplimiento de la meta fuera
contraproducente.
En caso de solicitar las exenciones el auditor deber:
8
United States General Accounting Office, Managing for Results: The Statutory
Frameword for Performance-Based Management and Accountability, gao/ggd/aimmd-98- 52, 1998, Washington, D.C.
94
Realizar una discusin con la institucin para explicar por qu solicit la exencin.
Describir cules seran las ventajas administrativas si se exime de
este paso.
Proponer los cambios que se efectuarn en caso de que se autorice
la exencin.
Variables externas
La institucin deber verificar si en el programa de trabajo se establece el impacto de alguna variable externa en su desempeo. Existen
variables externas que pueden cambiar por completo el rumbo de un
programa. El auditor deber investigar si existen programas de contingencia en caso de presentarse alguna de ellas.
Para ello, el auditor deber verificar que la institucin:
Proporcion una explicacin de la manera en que estas variables
afectarn su desempeo.
Evalu el impacto de dichas variables.
Determin en forma adecuada los impactos derivados de estas variables.
Cuenta con una estrategia que mitigue su impacto.
Todos los programas pblicos debern contar con una estrategia
que incluya la manera en que se financia y administra un programa.
Si ste requiere cambios adicionales, deber especificar la cantidad de
recursos que se necesitarn. Asimismo, deber incluir los montos de
los recursos utilizados en aos anteriores a los del ao fiscal en curso,
as como los que necesitar en un futuro para alcanzar sus metas. La
experiencia demuestra que los programas ms exitosos son aquellos
que detallan la cantidad de recursos necesarios para alcanzar las
metas. No siempre es sencillo desglosar o etiquetar los recursos que
se necesitan para alcanzar una meta. Generalmente, las instituciones
incorporan rubros generales en sus programas de trabajo.9
Otro asunto que deber analizar el auditor en este rubro es si la institucin ha optado por incorporar la compra de bienes de capital para
9
Meter Drucker, The Information Executives Truly Need, Harvard Business Review,
1998, pp. 1-24.
indicadores de desempeo
95
96
indicadores de desempeo
97
98
10
Auditora Superior de la Federacin, Informe del Resultado de la Revisin y Fiscalizacin Superior de la Cuenta Pblica, 2007, Mxico, 2008, pp. 185-189.
99
indicadores de desempeo
Observaciones
Efectos
No son confiables las
cifras reportadas en
el sistema
Falta de informacin
relevante
Falta de informacin
de consulta
No son confiables las
cifras reportadas en
el sistema
fuente:
100
indicadores de desempeo
101
102
indicadores de desempeo
103
13
Mark Graham Brown, Keeping Score: Using the Right Metrics to Drive World-Class Performance, Nueva York, Productivity Press, 1996, pp. 95-99.
104
3] Todos los nios recibirn las raciones antes de iniciarse las clases,
para tener un impacto en el rendimiento escolar.
Tambin se identific que el Desarrollo Integral de la Familia (dif)
estableci dos tipos de desayuno: fro, que consista en: 1] leche entera
de vaca, 2] galleta adicionada o pan de dulce, y 3] postre o fruta; y
caliente: 1] leche entera de vaca, 2] un platillo fuerte (se selecciona del
men con base en la cultura alimentaria de la regin) y 3] pan, tortilla
y fruta.
Los resultados de la auditora revelaron que:
El aporte diario de protenas y caloras del desayuno fro era de
20.0%, inferior al comprometido por el programa de 30.0%; en
tanto que el caliente se ajustaba al estndar.
Ms del 50.0% de los desayunos se entregaron despus de haberse
iniciado las clases.
Lo primero que debe invocar un programa pblico es la innovacin.
Los auditores debern prestar especial atencin al tipo de procedimientos que se implementen, ya que muchos de ellos resultan obsoletos y poco prcticos para cumplir con eficacia las metas trazadas.
Lo segundo es analizar si la institucin ha incorporado la opinin
de los funcionarios medios en la toma de decisiones, ya que uno de
los errores ms frecuentes es que las cpulas de una institucin toman
decisiones esperando que se cumplan, cuando en realidad saben que
no cuentan con el personal, ni con la capacidad para hacerlo.
Lo tercero es conocer la manera en que el contexto interno afecta
un programa. Esto es fundamental, ya que ejerce una enorme influencia en los resultados. Sin embargo, no todas las instituciones
pueden detectar estos problemas. Algunos de ellos incluso son difciles de rastrear.
Los hechos demuestran que las empresas ms exitosas son las que
dedican tiempo para comprender la compleja red de situaciones e
intereses que fluyen y se tejen en las burocracias. En contraste, las
menos exitosas son aquellas que privilegian la informalidad en el
trabajo. En las instituciones pblicas, los factores polticos tienen un
peso adicional, an ms fuerte que en el sector privado, pero normalmente dedican pocos esfuerzos para entender esta funcin, cuando es
la de ms peso en toda institucin.
105
indicadores de desempeo
Aos
Facturado
Cobrado
(1)
(2)
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
Acum.
13979.9
16593.7
19977.8
21388.4
23417.2
27893.0
31037.9
34127.4
38332.2
40188.4
266935.9
13391.6
15732.3
18492.2
20232.9
22442.1
26297.1
29784.9
32628.6
36495.5
39012.7
254509.9
Monto facturado no
Monto no
Monto recuperado
cobrado
recuperado
Relativo
Relativo
Relativo
Absoluto
Absoluto
Absoluto
(%)
(%)
(%)
(3)=(1-2) (4)=(3/1)
588.3
861.4
1485.6
1155.5
975.1
1595.9
1253.0
1498.8
1836.7
1175.7
12426.0
4.2
5.2
7.4
5.4
4.2
5.7
4.0
4.4
4.8
2.9
4.6
(5)
114.9
129.4
122.0
150.3
143.6
298.7
130.2
240.3
285.6
259.1
1874.1
19.5
15.0
8.2
13.0
14.7
18.7
10.4
16.0
15.5
22.0
15.1
473.4
732.0
1363.6
1005.2
831.5
1297.2
1122.8
1258.5
1551.1
916.6
10551.9
80.5
85.0
91.8
87.0
85.3
81.3
89.6
84.0
84.4
78.0
84.9
fuente:
Elaborado por la asf con base en el Reporte del ndice de Cobranza por Cuenta de Consumidores, 1998-2007.
106
La entidad seal que las causas que inciden en el monto no recuperado son las siguientes:
La existencia de servicios con adeudos acumulados, los cuales a los
3 meses son integrados en un listado denominado suspensos, que
representan el 1.0% del monto total no recuperado.
La cartera vencida, que se refiere a aquellos adeudos incobrables,
debido a que los deudores se cambiaron de domicilio y el adeudo
no puede ser cobrado a los nuevos usuarios, representa el 97.6%
del monto total no recuperado, del cual el 51.9% corresponde a los
adeudos de gobiernos municipales y estatales, el 32.5% a los particulares y el 13.2% a los adeudos del gobierno federal.
Facturacin errnea, que si bien puede corregirse tambin se encuentra desfasada. Esto corresponde al 1.4%.
Los factores externos tambin tienen un peso enorme. Generalmente son los que impactan negativamente el desarrollo de un programa. Estas variables pueden ser de tipo econmico, como lo seran
las restricciones presupuestales, los cambios tecnolgicos, una crisis
financiera o las presiones sociales para implementar o cancelar un
programa, por citar slo algunas.
Ambas variables pueden ser medidas con base en auditoras internas, encuestas internas, auditoras independientes y mediante la
revisin de los procesos internos.
Por ejemplo, en la auditora practicada al proceso de recaudacin
fiscal realizado por el Servicio de Administracin Tributaria (sat),
la asf determin que en materia de eficiencia en la recaudacin
fiscal, en el periodo 2004-2007 la recaudacin total administrada
por el sat, en trminos nominales, aument 482689.7 millones de
pesos (36.3%), lo que signific una tasa media de crecimiento anual
de 10.9%, donde la proveniente de los grandes contribuyentes, que
incluye a Pemex, explica el 55.9% (269962.6 millones de pesos) del
incremento.
La recaudacin proveniente de grandes contribuyentes, que incluye
a Pemex, registr una tasa media de crecimiento anual de 8.7%, al
pasar de 952380.0 millones de pesos en 2004 a 1222342.6 millones
de pesos en 2007, incremento inferior en 2.2 puntos porcentuales al
crecimiento registrado en la recaudacin total administrada por el
sat, de 10.9 por ciento.
indicadores de desempeo
107
Id.
108
entre metas y objetivos. Ninguna institucin puede trabajar correctamente si no conoce las demandas, es decir, lo que los ciudadanos esperan obtener de cada poltica pblica. Slo as podrn trabajar con
calidad.
Otro problema que surge con estas variables es que todas las instituciones muestran una enorme preocupacin por los resultados que
esperan alcanzar, sin preocuparles los medios que se requieren para
lograrlo. Si un funcionario alcanza los resultados esperados por la
institucin, poco le importa si para hacerlo utiliza mecanismos poco
convencionales.
Evaluar procedimientos de control interno garantiza informacin
importante para predecir y controlar la calidad del servicio prestado.
Asimismo, sirve para explicar los motivos del incumplimiento de las
metas. Muchos piensan que no importa cmo se lleguen a obtener
los resultados siempre y cuando se cumplan. Otros consideran que
siempre es mejor detenerse a monitorear y analizar el proceso partiendo del supuesto de que siempre es mejor conocer el detalle de la
operacin, que suponer ciertos comportamientos.
Generalmente, la mayora de las instituciones evala estos procesos
despus de que se cumple el ciclo anual de trabajo. Este elemento
retrospectivo genera informacin importante, pero no garantiza que
se desarrollen cambios que impacten favorablemente el desempeo
de la instititucin. Normalmente, explican cmo se alcanzaron ciertas
metas, pero no incide de manera directa sobre el desempeo de la
organizacin interna de la institucin.
Por ello, una auditora de desempeo deber dedicar tiempo a conocer la manera en que la institucin trabaja. La informacin que se
obtiene mediante este procedimiento servir a los funcionarios pblicos para mejorar los procesos organizacionales, identificar brechas
en el desempeo y mejorar sus formas de trabajo. sta es informacin
valiosa para la Cmara de Diputados, ya que la deteccin de fallas en
la gestin interna debe incidir en la siguiente aprobacin del presupuesto. Esta informacin sirve para que los programas cumplan con
sus objetivos, se fortalezca la eficiencia interna y se implementen prcticas de innovacin y calidad de su gestin.
El monitoreo de las prcticas administrativas y la incorporacin
de prcticas innovadoras han servido mucho para alcanzar objetivos.
Esto demuestra que la planeacin estratgica no es suficiente para
garantizar la calidad. Por ello, el anlisis de la gestin interna tiene
indicadores de desempeo
109
110
indicadores de desempeo
111
para evitar que el personal trabaje de acuerdo con tradiciones y convicciones, ms que con principios y reglas.
La clave para contar con buenos sistemas de medicin de gestin
interna se determina sobre la base del impacto que la organizacin
tendr sobre la obtencin de resultados. Las mediciones deben estar
sustentadas en realidades y no en supuestos difciles de comprobar.
La gestin interna debe crear un nuevo paradigma para la prestacin de servicios a la ciudadana. Esto implica implementar nuevos
modelos organizacionales y de operacin en la administracin pblica
para permitir el uso de la tecnologa adecuada de informacin y comunicacin.
La auditora de desempeo deber verificar si las instituciones auditadas han incorporado nuevas tcnicas y procesos administrativos
para mejorar la calidad de su trabajo. En un mundo tan competitivo
es imposible que un programa se implemente mediante prcticas administrativas obsoletas y que han probado su ineficacia para cumplir
con sus objetivos. Una institucin no puede transitar en pleno siglo xxi
con procesos de trabajo ineficientes y que adems absorben la mayora
de sus recursos financieros.
c] La innovacin a prcticas organizacionales
Los aos noventa se caracterizaron por esfuerzos importantes para reformar la manera en que operan los gobiernos. Qu implicaba esto?
A grandes rasgos se trataba de transformar los procesos administrativos de las instituciones pblicas hacia uno que privilegiara la calidad
de los servicios que se prestan y la oportunidad para proporcionarlos
en tiempo y con la eficiencia esperada por el usuario. Esto implic
un cambio en la manera de acceder a los servicios pblicos, aunado a
una exigencia por transparentar el ejercicio pblico. La reinvencin
implicaba el ejercicio de nuevos modelos organizacionales y de operacin para permitir el uso adecuado de la tecnologa de punta en
materia de informacin y comunicacin.19
La auditora deber verificar si la institucin auditada implement
nuevos reglamentos y leyes para transformar su manera de trabajar.
19
John Case, Open-Book Management: Comming Business Revolution, Nueva York, Har
per Business, School Press, 1995.
112
indicadores de desempeo
113
4.0
n.d.
9.5
3.0
2.0
6.0
Instituto
Nacional de
Pediatra
8.9
2.5
5.0
Instituto
Nacional de
Cardiologa
13.5
2.5
8.0
Instituto
Nacional de
Neurologa
12.4
2.3
10.0
6.0
2.0
5.0
11.0
2.0
n.d.
Instituto
Instituto
Instituto
Nacional de
Nacional de Nacional de
Enfermedades
Nutricin Cancerologa
Respiratorias
Auditora Superior de la Federacin, Informe del Resultado de la Revisin y Fiscalizacin Superior 2002-2005, Instituto Nacional de Ciencias Mdicas y Nutricin Salvador Zubirn, Indicadores Bsicos de Gestin Comparativos e Instituto Nacional de Cancerologa, Indicadores de
Servicios de Atencin Mdica Proporcionados.
n.d.: No disponible.
fuente:
1. Promedio de das de
espera para obtener
una preconsulta
2. Promedio de das
de espera para una
intervencin quirrgica
3. Promedio de das de
estancia hospitalaria
Indicador
Valor
estndar
Resultado
114
auditora superior de la federacin
indicadores de desempeo
115
Salud estableci un valor estndar ptimo de 3.0 das; el segundo indicador valora el promedio de das que un enfermo debe aguardar
para que se realice una ciruga, y para ello se fij un estndar ptimo
de 2.0 das; y el tercer indicador coadyuva a evaluar el tiempo de permanencia de un enfermo en el servicio hospitalario de los institutos,
su valor estndar es de 6.0 das.
Como se observa en el cuadro anterior se detallan los resultados
que los seis institutos nacionales auditados entre 2004 y 2008 obtuvieron en esos tres indicadores:
De los resultados reportados por los 6 institutos auditados, se concluye que el tiempo de espera de los pacientes para recibir la atencin
mdica que requieren fue superior a los estndares ptimos establecidos por la Secretara de Salud.
Otro ejemplo. En el servicio de energa elctrica, la continuidad del
servicio es un aspecto importante y para medirla la Comisin Federal
de Electricidad (cfe) y Luz y Fuerza del Centro (lfc) utilizan el ndice
de tiempo de interrupcin por usuario de distribucin.
En comparacin con la cfe el tiempo de interrupcin por usuario
de lfc es superior, como se muestra en la grfica siguiente:
Comparativo del tiempo de interrupcin por usuario de distribucin,
lfc/cfe (minutos/usuario)
fuente:
Reporte del Tiempo de Interrupcin por Usuario de Distribucin de lfc, 20032007 y Cuenta de la Hacienda Pblica Federal 2007.
116
indicadores de desempeo
117
nmicos son utilizados de manera eficiente. Los ndices de productividad siempre son medidas y proporciones de algn tipo sobre los
resultados obtenidos.
La productividad sirve para conocer lo que las escuelas de administracin han llamado el valor del dinero. Es decir, si el costo por lo que
se paga por un servicio tiene una correlacin directa con la calidad
con la que se presta.
El indicador de gestin interna, como su nombre lo dice, seala
si los procesos internos de gestin han sido construidos para que la
institucin cumpla con sus metas y objetivos, o si por el contrario, se
trata de un proceso que obstaculiza el cumplimiento de metas con la
calidad que esperan los usuarios. Brindar servicios de salud con una
enorme deficiencia de calidad y ofrecer programas educacionales que
no siempre impactan positivamente a los receptores es una enorme
irresponsabilidad. La auditora de desempeo tiene el compromiso
de evitar que las instituciones pblicas continen administrando con
parcialidad y sin capacidad los recursos pblicos. Es un reto difcil y
de gran envergadura.
Medir la calidad con la que se prestan los servicios pblicos es
siempre una accin compleja y siempre ser difcil. Si al tratar de
evaluar la calidad y la productividad de un escritor lo hiciramos midiendo el nmero de pginas que escribe diariamente, el reporte tal
vez dira algo as. El escritor es prolfico. Hoy logr escribir ciento
cincuenta pginas. Como resultado de esta proeza, el escritor recibe
un aumento de sueldo de su casa editorial, es felicitado y contina
semana tras semana repitiendo esta hazaa hasta completar las mil
pginas que tena contratadas con la empresa editorial.
Si la evaluacin del trabajo del escritor se hiciera solamente a partir
del nmero de pginas escritas la conclusin sera contundente. El escritor cumpli con la meta y la editorial se congratula por la eficiencia
con la que desarroll su trabajo. Sin embargo, el problema que se present no estaba considerado por la editorial.
Una vez publicado el libro, tal como lo estipulaba el contrato, la
editorial se percat de que nadie se interes por comprarlo. Investig
las causas y encontr varias. En primer lugar, que el tema seleccionado
no era del inters de los lectores, que la redaccin era psima, y que
el autor tena una imagen muy negativa en el medio debido a ciertos
asuntos personales que mermaban su credibilidad. Como resultado
de estos factores, el libro no se vendi y la empresa editorial perdi
118
Indicador de economa
El tercer indicador mide lo que toda institucin espera: que sus nmeros estn correctos, que no existan fallas y que los recursos asignados
para cumplir con los objetivos de un programa sean los adecuados, los
justos, y los que ms valor agreguen a los recursos asignados para ese
propsito.
La economa mide el costo o recursos aplicados para lograr los objetivos de un programa o una poltica pblica contra los resultados
indicadores de desempeo
119
(12.7)
(11047.7)
22409.7
19973.0
17979.0
16424.9
14701.0
11362.0
Sobrecosto de operacin
(3)=(1)-(2)
Instituto Mexicano del Transporte. Anlisis del sobrecosto de operacin vehicular, en las carreteras de la red federal libre de peaje, 20012006.
1/
En trminos reales a pesos de 2006.
2/
Se refiere a los costos de operacin vehicular en funcin del estado fsico real de las carreteras (bueno, aceptable y deficiente).
3/
Se refiere a los costos de operacin vehicular asumiendo un estado fsico bueno en las carreteras de la red federal libre de peaje.
fuente:
2001
2002
2003
2004
2005
2006
Variacin absoluta
2006-2001
tmca(%)
Ao
Sobrecosto de operacin vehicular en las carreteras de la red federal libre de peaje, 2001-2006
(millones de pesos) 1/
120
auditora superior de la federacin
121
indicadores de desempeo
a los recursos adicionales que eroga un usuario por transitar por esas
carreteras dadas sus condiciones fsicas, la asf obtuvo los resultados
siguientes para el periodo 2001-2006:
Sobrecosto de operacin por vehculo-kilmetro recorrido en las
carreteras de la red federal de libre de peaje, 2001-2006 (pesos)1/
Ao
2001
2002
2003
2004
2005
2006
Variacin absoluta
2006-2001
tmca(%)
Costo de
operacin
vehicular real 2/
(1)
4.36
4.05
3.73
3.46
3.27
3.13
Costo de
operacin
vehicular real 3/
(2)
4.09
3.82
3.52
3.28
3.11
3.01
(1.23)
(6.4)
(1.08)
(5.9)
Sobrecosto de
operacin
(3)=(1)-(2)
22409.7
19973.0
17979.0
16424.9
14701.0
11362.0
(11047.7)
(15.0)
fuente:
En el periodo de anlisis decreci el costo de operacin por vehculo-kilmetro recorrido real en 6.4%, as como el normal en 5.9%,
en promedio anual, pero cada usuario que transit por las carreteras
de la red federal libre de peaje tuvo que erogar un costo operativo adicional de 0.22 centavos promedio por vehculo-kilmetro recorrido,
durante los aos de 2001 a 2006.
Del anlisis de la informacin sobre el costo de operacin vehicular
por circular en las carreteras de cuota de la red propia de Caminos y
Puentes Federales de Ingresos y Servicios Conexos (capufe) y del Fideicomiso de Apoyo para el Rescate de Autopistas Concesionadas (farac)
122
en los aos de 2005 y 2006, la asf obtuvo los resultados siguientes para
el periodo 2005-2006:
Sobrecosto de operacin vehicular por vehculo -kilmetro recorrido
en las autopistas de cuota, 2005-2006 (pesos)1/
Concepto / Concesionario
2005
(1)
2006
(2)
Variacin
absoluta
(3)=(2)-(1)
Variacin (%)
(4)=(2)/(1)
3.41
3.16
3.01
2.89
(0.40)
(0.27)
(11.7)
(8.5)
3.10
3.10
2.97
2.84
(0.13)
(0.26)
(4.2)
(8.4)
0.31
0.06
0.04
0.05
(0.27)
(0.01)
(87.1)
(16.7)
Costo de operacin
por vehculo-kilmetro
recorrido real 2/
capufe
farac
Costo de operacin
por vehculo-kilmetro
recorrido normal 3/
capufe
farac
Sobrecosto de operacin
vehicular
capufe
farac
fuente:
indicadores de desempeo
123
red de autopistas cada usuario que transit por la red farac tuvo que
erogar un costo operativo adicional de 0.05 centavos promedio por
vehculo-kilmetro, durante los mismos aos.
En el periodo de anlisis disminuy el sobrecosto de operacin vehicular por transitar en las carreteras de la red federal libre de peaje
en 11047.7 millones de pesos pero se registr un costo de operacin
vehicular real de 65903.3 millones de pesos, debido a las condiciones
fsicas deficientes en esas carreteras. Cada usuario que utiliz estas carreteras tuvo que erogar un costo operativo adicional de 0.20 centavos
promedio por vehculo-kilmetro recorrido.
En 2006 se registr un sobrecosto de operacin vehicular en las
carreteras de la red propia de capufe de 15.0 millones de pesos, y en
la red de carreteras del farac fue de 637.1 millones de pesos. Por los
resultados anteriores se observ que no se alcanzaron los objetivos
establecidos en el psct 2001-2006, en lo relativo a vigilar que el estado
fsico de las carreteras reduzca los costos de operacin de los vehculos
de los usuarios.
Tradicionalmente, todas las instituciones acumulan ms informacin financiera que ninguna otra. Por este motivo, tanto las instituciones privadas como las pblicas miden el desempeo econmico
de la misma manera en los ltimos 30 aos. Los ejecutivos y los funcionarios pblicos han aprendido a jugar con los nmeros para aparentar que todo marcha viento en popa. Esto ha provocado un enorme
nmero de especialistas en este tema, pero tambin ha minado el
trabajo, delegado decisiones, y disminuido el rendimiento de los empleados y la calidad de los servicios prestados. Ello ha ocasionado que
los ciudadanos perciban una incapacidad generalizada del gobierno
para cumplir con sus responsabilidades.22
Por ello, en la actualidad, este indicador se ha modificado con la
adicin de los puntos siguientes:
Verificar que los recursos asignados a las instituciones pblicas y
administrados por los funcionarios pblicos se apliquen de manera
responsable, eficiente y econmica, para alcanzar las metas establecidas por la institucin.
22
Meter Drucker, The Information Executives Truly Need, Harvard Business Review,
1985.
124
23
General Accounting Office, Financial Audit Manual, gao/pcie, Washington, D.C.
2001.
24
De conformidad con el Clasificador por Objeto del Gasto para la Administracin
Pblica Federal publicado en el Diario Oficial de la Federacin del 13 de octubre del 2000
y modificado el 1 de febrero de 2008, el Captulo 1000 Servicios Personales incluy:
remuneraciones al personal de carcter permanente; remuneraciones al personal de
carcter transitorio; remuneraciones adicionales y especiales; erogaciones del Gobierno Federal por concepto de seguridad social; pagos por otras prestaciones sociales
y econmicas; pago por estmulos a servidores pblicos, y previsiones para servicios
personales.
125
indicadores de desempeo
2004
2005
2006
2007
(2) Presupuesto
ejercido captulo
1000 (millones de
pesos)
136.1
134.7
141.1
128.5
Rentabilidad de
la fiscalizacin
(pesos)
(3) =(1) / (2)
263.3
136.1
229.9
227.4
Variacin
2004-2007
Absoluta
%
(6610) (18.4)
(7.6)
(5.6)
(35.9) (13.6)
fuente:
Informe Mensual Enero-Diciembre, 2006-2007, correspondiente a la Administracin de Grandes Contribuyentes, proporcionado por el sat, mediante el oficio nm.
103-06-2008-0207 del 23 de abril de 2008.
126
Para la construccin de indicadores de economa se deben relacionar variables de insumos con variables de productos, con lo cual se
pueden obtener indicadores de costos de produccin por unidad de
producto o de servicio.
Costo-beneficio (Value for Money)
La relacin costo-beneficio es uno de los instrumentos que se pueden
emplear para la medicin de la economa. Esta relacin tambin es
conocida como Value for Money (vfm) o valor por dinero, que se define
como la mejor relacin precio-calidad, es decir, como la ptima relacin entre el valor del producto o servicio, segn el mercado, y la calidad del mismo, teniendo en cuenta la satisfaccin del inters pblico
y de los derechos de los usuarios del bien o servicio.
Para la determinacin de la relacin costo-beneficio, se relacionan
las variables del costo del bien o servicio producido respecto del beneficio recibido por el usuario cuantificado en dinero.
Un ejemplo de la medicin del costo beneficio es el relacionado con
el costo de la operacin de la Auditora Superior de la Federacin en
cada ejercicio presupuestal frente al beneficio medido en dinero de
los resultados de su gestin fiscalizadora. En el periodo 1999-2007, el
resultado de las recuperaciones derivadas de la accin fiscalizadora de
la asf fue de 33717.8 millones de pesos, que en valores nominales represent aproximadamente 33 veces el presupuesto original de la asf
aprobado por la H. Cmara de Diputados para el ejercicio 2009, por lo
cual la asf ha mostrado una buena relacin costo-beneficio.
Otro ejemplo de la relacin costo-beneficio lo encontramos en
la auditora de desempeo del Programa Carrera Magisterial (pcm),
realizada con motivo de la revisin de la Cuenta Pblica de 2007, en
la cual el grupo auditor se dio a la tarea de: verificar el nmero de
plazas docentes de educacin bsica incorporadas a dicho programa,
as como el pago de los estmulos autorizados para el efecto; realizar
un estudio de impacto con base en los resultados de la prueba enlace
2007, considerando 152112 registros, 38.6% de las plazas evaluadas;
y determinar el gasto promedio anual por docente incorporado. Los
resultados de la revisin revelaron que:
En 2007 se haban incorporado al pcm 600782 plazas docentes de
educacin bsica, 57% del total de las plazas federales.
indicadores de desempeo
127
128
129
indicadores de desempeo
Por lo que respecta a los otros servicios, aduana, migracin y sanidad, la mayor parte de los encuestados no contest debido a que
dichos servicios se aplican slo para pasajeros que llegan en vuelos
internacionales; de los que emitieron su opinin, el 19.8% se encontr
satisfecho con esos servicios y el 1.6% se mostr insatisfecho.
Los niveles de satisfaccin observados denotaron reas de oportunidad para la Gerencia de Calidad, que revelaron la necesidad de que
esa gerencia mejorara la calidad de los servicios que presta, sobre todo
en el manejo y entrega de equipaje y en el tiempo de atencin.
El tiempo en el que se presta el servicio. Si un servicio no es prestado
en tiempo y forma, es imposible pensar que fue hecho con calidad.
Como ejemplo se tienen los resultados de la auditora al Programa
Normal de Operacin del Servicio Postal Mexicano (sepomex), con
motivo de la revisin de la Cuenta Pblica 1999.
En dicha revisin, la Auditora Superior de la Federacin realiz
una evaluacin de la oportunidad en la entrega de la correspondencia,
para los aos de 1997, 1998 y 1999, en la que se determin lo siguiente:
Tiempos promedio de entrega de correspondencia despus
del depsito, 1997-1999 (das)
Servicio
Tiempo
estndar
1997
1998
1999
Local
Urbano
Semiurbano
Rural
2
3
5
10
2.35
4.90
5.50
10.35
2.36
4.68
5.80
10.40
3.04
5.80
5.10
10.40
Variaciones porcentuales
de 1999 respecto del
tiempo estndar
52.0
93.3
2.0
4.0
fuente:
130
Precio
B
R
A
Oportunidad
Mm M
B
Mb
fuente:
Particular (Naucalpan,
Edo. de Mxico)
Productor independiente
(Garza Garca, N.L.)
Mb
X
Mm
Volumen
M
B
Productor independiente
(pesquera, N.L.)
Tipo de Cliente
Mm
Calidad
M B
Mb
indicadores de desempeo
131
132
Volumen
De los clientes encuestados, el 70% opin que es muy bueno el abastecimiento del gas, ya que han recibido las cantidades requeridas y
que de presentarse contingencias en el abasto les son notificadas con
tiempo y de inmediato se restablece el suministro. El 30.0% calific el
abastecimiento como bueno.
Precio
El 70% de los encuestados calific de alto el precio del gas que les
vende el organismo, en razn de que la poltica de precios que aplica
Pemex Gas y Petroqumica Bsica est indexada a los precios del gas
del sur del estado de Texas, que indicaron que son de los ms altos
del mundo. El 30% restante determin como bueno el precio del gas
adquirido.
Oportunidad
El 80.0% de los encuestados calific de muy buena la recepcin del
gas natural, ya que durante 2003 no se registraron contratiempos en
el suministro del combustible. El 20.0% restante seal que fue buena
la oportunidad con la que reciben el gas natural.
Calidad
El 60% de las empresas encuestadas calific de buena la calidad del
gas natural que les suministr Pemex Gas y Petroqumica Bsica durante 2003; tambin manifestaron que en algunos casos no se cumpli
la norma porque se presentaron variaciones en la composicin del gas
por la presencia de hidrocarburos lquidos. El otro 40% contest que
fue muy buena la calidad del gas natural suministrado durante 2003,
ya que el combustible cumpli con la norma establecida y las caractersticas ofrecidas en el contrato y su poder calorfico fue superior al
convenido.
De lo anterior se obtuvo que la percepcin del cliente-ciudadano
es que el gas natural que les suministr pgpb durante 2003 se abasteci en el volumen y con la oportunidad requerida, que su precio es
indicadores de desempeo
133
elevado y que en general cumple con la calidad requerida, ocasionalmente hubo presencia de hidrocarburos lquidos que no cumplen
con la norma.
La innovacin. Es esencial para analizar la calidad. Cuando una
persona toma un vuelo, espera que el piloto que est volando el
Boeing 747 aterrice como siempre lo ha hecho, y que no decida innovar su tcnica de aterrizaje en ese momento. Todas las innovaciones
tienen que ser estudiadas con detenimiento, pero pocas son las que se
implantan. Generalmente privan los intereses polticos, lo cual impide
que las decisiones para mejorar la calidad sean creativas y prcticas.
Esto slo reproduce un patrn que repite errores y que no eleva la
calidad de vida de los ciudadanos.
b] Calidad de los productos y servicios
En una empresa privada es fcil detectar lo que se vende y dnde estn
ubicados los productos. En la Comisin Federal de Electricidad no es
tan fcil, aunque es un servicio fundamental. Para efectos prcticos
es lo mismo producir una bebida embotellada, que producir energa
elctrica. Por ambos productos se paga, pero con la particularidad de
que el ciudadano consumidor de energa elctrica es un consumidor
cautivo del gobierno. Aunque el servicio que presten las autoridades
sea de nfima calidad, no existen opciones en el mercado para cambiar
de compaa y el ciudadano est obligado a continuar pagando por un
servicio, independientemente de su calidad. Esta variable en un servicio
siempre es ms difcil de cuantificar que la calidad de un producto.25
Por ejemplo, la calidad en el suministro de la energa elctrica en
cuanto a la continuidad del fluido elctrico, se mide con el ndice de
tiempo de interrupcin por usuario, cuyo anlisis respecto de empresas internacionales fue el siguiente:
25
James Cortada, Balancing Performance Measurements and Quality, Quality Digest, 1994.
134
57.6%
101.4%
fuente:
135
indicadores de desempeo
Participacin
Resultados
20
20
25
10
10
15
85
64
77
82
70
56
62
Resultados
ponderados
12.8
15.0
20.5
7.0
5.6
9.3
70.6
136
Participacin
Resultados
20
25
10
15
20
10
90
96
84
100
68
76
94
86.4
Metas cumplidas
Relacin clientes
Uso de metodologa
ndice de innovacin
Diseo de calidad
Formato de informe
Meta
Resultados
ponderados
19.0
21.0
10.0
10.2
15.2
9.4
85.0
Ambas tablas sirven para segmentar informacin. Cada una incorpora las variables que se espera analizar para obtener la mejor
informacin. La segmentacin de las variables permite detectar
dnde radican las fallas y trata de mejorar cada uno de los puntos
dbiles. Estos ejemplos son ilustrativos de empresas privadas, pero
demuestran la importancia de la segmentacin de cada una de las
fases que de manera conjunta detonan la calidad de un bien o servicio prestado.
d] La medicin de la calidad
Cmo mide el gobierno la calidad de sus productos o servicios?
Las instituciones siguen seis pasos:
Definen los ndices de medicin de calidad con base en las expectativas que los ciudadanos o los clientes tienen sobre el servicio final.
Recopilan informacin con base en muestras amplias de los productos y servicios. Nunca se emiten opiniones basadas en informacin emitida por pocos usuarios.
Precisan el peso que cada uno de los segmentos tendr en la calificacin final.
Elaboran un ndice correcto en el cual se vierte el peso especfico de
cada una de las variables seleccionadas.
Fijan estndares de calidad con base en lo que esperan los usuarios
del producto final.
indicadores de desempeo
137
138
indicadores de desempeo
139
140
141
indicadores de desempeo
medicin sirven para medir tendencias y las abiertas para obtener informacin especfica que puede ser utilizada para mejorar la calidad
del servicio prestado.
b] El uso de las escalas para determinar el grado de satisfaccin del
ciudadano-usuario
Existen varias formas para medir esta informacin mediante una
encuesta. La primera puede ser una escala tradicional en donde los
valores van de extraordinarios a malos. La escala que se recomienda
utilizar es la siguiente:
Cuadro 3. Escala de medicin de satisfaccin del usuario
5
Extraordinaria
4
Muy buena
3
Satisfactoria
2
Regular
1
Mala
142
143
indicadores de desempeo
Dimensin
Calidad
Oportunidad
Confiabilidad
Empata
Descripcin
Se refiere a la certeza del cliente de que el servicio
cumple con las especificaciones establecidas
Considera la prontitud para atender los requerimientos
del cliente, as como el cumplimiento de sus necesidades
en tiempo, conforme a lo acordado
Se refiere a la confianza del cliente en la experiencia
y profesionalismo del personal, as como en el nivel
tecnolgico del imp utilizados para cumplir con el
servicio.
Capacidad de comprender las necesidades del cliente
por medio de la atencin personalizada.
Amarillo
De 79% a 60%
Nivel de puntos de
mejora
Rojo
De 59% a 0%
Nivel de puntos de
correccin
Instituto Mexicano del Petrleo, ndice de Satisfaccin del Cliente por organismo de
Pemex, 2006.
1/
Cada encuesta considera un valor mximo de 100% para cada una de las dimensiones.
144
indicadores de desempeo
145
146
Misin
Visin
Objetivos
Capacidad ejecutoria
Infraestructura
Recursos materiales
Recursos financieros
Cabe sealar que el esquema es enunciativo, no limitativo. Sin embargo, se considera que para un estudio de desempeo, enfatiza su importancia y permitir orientar el conocimiento, anlisis y evaluacin
de la claridad, capacidad e infraestructura del actor institucin.
Las instituciones y sus atributos
Como todo producto social, las organizaciones acumulan atributos de
muy variadas dimensiones y caractersticas. Las instituciones pblicas
comparten con otros tipos de organizaciones una amplia gama de elementos (vase esquema 2).
Esquema 2. Atributos
Propsito
Diseo
Cultura
Campo de accin
mbito de competencia.
Estructura
indicadores de desempeo
147
En el caso de las entidades responsables de la aplicacin de las polticas pblicas y de los mecanismos que posibilitan la convivencia e
interaccin social, presentan adems atributos sui generis que estn
dictados por su condicin de entidades de gobierno, no circunscritas
necesariamente a la competitividad en los mercados o a las exigencias
de mayores ganancias o rendimientos de capital. Su misin, objetivos
y trascendencia social justifican, por s mismos, su existencia.
Las instituciones, como estructuras de orden social, formal y de gobierno, estn orientadas a atender las necesidades de un amplio conjunto de individuos y sus competencias se encuentran ntimamente
vinculadas con la potestad o aptitud legal para ejercer las atribuciones
y facultades que les son conferidos por la ley. Aqu resulta imprescindible considerar el estudio de los instrumentos que permiten y definen sus modos de operacin: estructuras, manuales de organizacin
y procedimientos, planes y programas de trabajo.
Por lo que respecta a los manuales, es menester reconocer la importancia fundamental que tiene el conocimiento de la organizacin, su
estructura operativa (procesos), as como la estructura orgnica (atribuciones). stas debern guardar congruencia con la misin, visin
y objetivos del organismo. Es decir, se requiere conocer el marco
normativo, las atribuciones, estructuras, funciones, canales de comunicacin y coordinacin; esto es, la informacin detallada del funcionamiento general y especfico de la entidad.
El auditor de desempeo deber enfocar su atencin primaria
hacia los sistemas de control, que son las instancias en las cuales descansa y se refleja la operacin de las instituciones en forma detallada.
Comnmente se conforman de sistemas de informacin, medicin de
resultados y rendicin de cuentas, los cuales incluyen informacin no
nicamente financiera, sino sobre la operacin general de los organismos, medios y fines, resultados por rea, actividad o proceso y, en
conjunto, tambin cmo y a qu instancias se reporta.
La necesidad de vincular las entidades pblicas con esquemas de
operacin que busquen continuamente su perfeccionamiento responde, por un lado, a la finitud de los recursos del Estado como en
cualquier otra organizacin y, factor no menos importante, al ineludible compromiso tico y responsabilidad social del gobierno que implica, entre muchos otros aspectos, evitar el derroche, la dispersin y
la aplicacin ineficiente de recursos y esfuerzos.
En el mismo sentido y por las caractersticas de su naturaleza, las
148
instituciones pblicas ostentan un marcado desarrollo normativo. Normalmente sustentan su existencia en ordenamientos legales y su funcionamiento en regulaciones de niveles diversos. Adems, se les exige
el desarrollo, aprobacin y publicacin de su reglamentacin interna.
El auditor de desempeo deber considerar los atributos de la institucin que analiza: su actualizacin, su pertinencia y su claridad.
La conjugacin de los atributos determina, en alto grado, las competencias de la organizacin.
b] Desempeo de los servidores pblicos
El trmino recurso humano se refiere al conjunto de personas,
sin distingo de nivel jerrquico o de especializacin, que prestan sus
servicios en el mbito de alguna institucin y conforman su fuerza
laboral. Los recursos humanos son tambin un elemento dinmico,
no esttico. Su desarrollo y el ejercicio de sus competencias pueden
presentar grandes desigualdades.
Bajo este concepto, uno de los temas que ms preocupan a los
funcionarios es la competencia del personal que labora en las instituciones. ste es un tema polmico, ya que los empleados son la cara
pblica de una institucin. A partir de su comportamiento se emiten
juicios automticos sobre una dependencia, organizacin o institucin
pblica. Se asume normalmente que su actitud es el reflejo de lo que
piensa y realiza cada una de las dependencias pblicas, pero pocos
se detienen a analizar los motivos de cada una de las acciones que a
diario enfrentan los ciudadanos.27
Cuando se trata de evaluar el desempeo de un empleado pblico,
los juicios son ms severos. Influyen muchos motivos para ello. El ms
comn es que el ciudadano percibe que el sueldo que reciben es fruto
de los ingresos que paga va impuestos. El otro que aparece de manera
recurrente, es que la burocracia es una masa amorfa de personas sin
ms inters que el de obtener una canonja por realizar un servicio
que estn obligados a prestar por ley. El tercero, es que esta misma
masa amorfa trabaja a partir de la ley de los mnimos esfuerzos y que
har todo lo posible para obstaculizar cualquier procedimiento.
Muchas de estas apreciaciones son justas. Otras no lo son. Lo que
es un hecho es que los empleados y funcionarios realizan muy poco
27
indicadores de desempeo
149
esfuerzo por entender las causas de este bajo desempeo y hacen aun
menos para medirlas e intentar mejorarlas.
c] Servicio civil de carrera
Los recursos humanos representan la fuerza laboral de una institucin. Son elementos dinmicos no estticos, cuyo desarrollo y competencias pueden ser desiguales, as como su ciclo de vida dentro de
una institucin, que comprende tres etapas: 1] la seleccin y el reclutamiento; 2] su vida laboral y desarrollo, y 3] el egreso.
Generalmente, los servicios de carrera dan respuesta a esas tres
etapas, al regular por lo menos cinco procesos: 1] el ingreso (reclutamiento y seleccin); 2] el desarrollo profesional (capacitacin); 3] la
evaluacin del desempeo; 4] el ascenso o promocin, y 5] el retiro.
El servicio civil de carrera es una forma de gestionar los recursos
humanos de la administracin pblica para formar servidores pblicos cuyo compromiso sea con el inters comn, sin consideraciones
polticas de grupo o partido, basada en el mrito, la imparcialidad y la
igualdad de oportunidades.
Hablar de servicio civil de carrera en Mxico implica necesariamente hablar de la tradicin administrativa del pas y de su relacin
con la evolucin y consolidacin del Estado, ya que, como cualquier
otra institucin (o poltica pblica, vale mencionar), la profesionalizacin de la funcin pblica en Mxico es producto de una historia
acumulada. sta hace referencia ya no slo a las necesidades que justifican su tardo origen, sino a su forzosa relacin con otras instituciones y prioridades de la vida pblica.
Mxico puede ser considerado dice Omar Guerrero como una
excepcin dentro de la regla en la formacin profesional en administracin pblica, por lo que toca al papel activo de los gobiernos en
pro de la preparacin de sus servidores.28 Ciertamente el tema de
la profesionalizacin en Mxico ha tenido una mayor difusin en los
ltimos aos, lo que ha llevado a una mayor preocupacin, tanto de
practicantes como estudiosos, por el tema. Pero otro resultado de esta
publicidad ha sido la percepcin (no tan errada) de que el tema sim28
La experiencia de la formacin profesional y el servicio pblico en Mxico, en
Nstor Fernndez (coord.), Servicio pblico de carrera en Mxico: experiencias y perspectivas,
Mxico, inap, 2001, p. 15.
150
plemente estuvo ausente durante mucho tiempo en la agenda gubernamental. No obstante, a pesar de lo que se pueda creer, los intentos
por profesionalizar la gestin pblica mexicana tienen sus inicios
desde los primeros intentos de formacin del Estado mexicano, e incluso algunos van ms all para encontrar los primeros atisbos de una
funcin pblica profesional en el periodo virreinal.
El servicio civil de carrera ha sido definido por la Organizacin de
las Naciones Unidas (onu) como el cuerpo apoltico, permanente, de
servidores pblicos que forma la espina dorsal de una administracin
dada. Los elementos de un sistema civil son: una ley bsica de administracin de personal de servicio civil; y un organismo responsable
de su aplicacin.29
De conformidad con el documento Servicio Civil de Carrera del
Servicio Exterior Mexicano elaborado por la Secretara de Relaciones
Exteriores en agosto de 2001, el servicio civil de carrera es definido
como un sistema integral de administracin del personal pblico, que
comprende desde el ingreso del trabajador hasta su separacin del
servicio, crea condiciones de trabajo y de vida adecuada para los trabajadores que deben responder a la realidad existente en el pas, por
lo que su diseo e implementacin debe partir de bases tcnico-metodolgicas slidas que permitan darle coherencia y viabilidad.
Asimismo, el servicio civil se define como un conjunto de reglas
y procedimientos administrativos que regulan el precio del trabajo y
su divisin en una unidad administrativa. Este conjunto de reglas controla y dirige los recursos humanos de la unidad, y crea un mercado laboral cerrado que se conecta con el mercado laboral nacional a travs
puntos de entrada y salida. Las reglas de la entrada y la salida, de la
permanencia y la movilidad dentro del sistema, de la asignacin de las
actividades y funciones de sus integrantes, y de los premios y castigos
a los mismos, constituyen las caractersticas del servicio civil.30
En Mxico se han sentado las bases para el servicio civil, en especfico, el artculo 123, apartado B, fracciones vii y viii, de la Constitucin Poltica de los Estados Unidos Mexicanos, establece:
29
Organizacin de las Naciones Unidas, Manual del Servicio Civil. Administracin Pblica, Departamento de Asuntos Econmicos y Sociales, 1961.
30
Juan Pablo Guerrero Amparan, Consideraciones sobre la instauracin del servicio civil
en Mxico, Mxico, cide, septiembre de 2000.
indicadores de desempeo
151
vii.La
Como antecedentes del servicio civil de carrera en la administracin pblica, en 1934 se cre el Instituto de Formacin Profesional
como rgano desconcentrado de la Procuradura General de Justicia
del Distrito Federal.
En 1960 se adicion el apartado B al artculo 123 Constitucional
para incluir los derechos constitucionales burocrticos sobre jornada
de trabajo, descansos, vacaciones, salarios, designaciones, escalafn,
suspensin, cese, derecho a asociacin, seguridad social y conflictos
laborales. Posteriormente, en 1963 se promulg la Ley Federal de los
Trabajadores al Servicio del Estado.
En la misma dcada, se comenz a considerar la administracin de
personal al servicio del Estado como fundamental para llevar a cabo
acciones tendientes a garantizar los derechos de los trabajadores, as
como su desempeo honesto y eficiente, lo que propici que en 1965
se creara la Comisin de Administracin Pblica, que fue la base del
Programa de Reforma Administrativa del Poder Ejecutivo Federal
(1971-1976), en el que se ponder la idea del cambio de actitudes, ms
que cambios estructurales formales.
El Plan Nacional de Desarrollo 1983-1988 dej de lado la implantacin del servicio civil de carrera; sin embargo, se registraron algunos
avances respecto al establecimiento de mecanismos eficientes de reclutamiento, seleccin e induccin de personal, as como la bsqueda
de mejores resultados en la prestacin de los servicios y la atencin al
pblico.
El Plan Nacional de Desarrollo 1983-1988, pretendi mejorar la
capacidad tcnica y administrativa del personal federal. Para tal propsito, se adoptaron las lneas de accin siguientes:
Instaurar el servicio civil de carrera, en colaboracin con la Federacin de sindicatos de Trabajadores al Servicio del Estado;
Promover la seguridad de los empleos de los trabajadores de base;
Continuar con la simplificacin de la estructura y organizacin administrativa del sector pblico;
152
indicadores de desempeo
153
154
155
indicadores de desempeo
Plazas
Participacin %
11805
17
100.0
0.1
11788
10
34
44
85
174
499
1058
1255
5573
1419
778
850
9
99.9
0.1
0.3
0.4
0.7
1.5
4.2
9.0
10.6
47.3
12.0
6.6
7.2
0.1
fuente:
Auditora Superior de la Federacin, Informe del Resultado de la Revisin y Fiscalizacin Superior de la Cuenta Pblica 2004, Mxico, 2006.
156
157
indicadores de desempeo
Plazas
Participacin
%
103
100.0
77
26
74.8
25.2
158
Descripcin
Fuerzas armadas
Seguridad pblica
Salud
Relaciones exteriores
Otros 1/
Plazas
2
10
3
5
6
Participacin
%
7.7
38.5
11.5
19.2
23.1
fuente:
Auditora Superior de la Federacin, Informe del Resultado de la Revisin y Fiscalizacin Superior de la Cuenta Pblica 2005, Mxico, 2007.
1/
Centro de Investigacin y Seguridad Nacional, Servicio de Administracin Tributaria, Tribunales Agrarios, Tribunal Federal de Conciliacin y Arbitraje, Tribunal Federal
de Justicia Fiscal y Administrativa, y Consejo Nacional de Ciencia y Tecnologa.
indicadores de desempeo
159
160
indicadores de desempeo
161
162
paraciones. Para ello, se tienen que utilizar los mismos medidores que
emplean las empresas de clase mundial.
Los estudios de benchmarking permiten a una organizacin identificar los principales indicadores bajo los cuales la prctica internacional mide el desempeo de las empresas internacionales. Por
ejemplo, en materia de energa elctrica, se presentan tres casos:
El primero, se refiere al estudio comparativo de los resultados de
la cfe con los resultados de empresas de clase mundial de los indicadores de disponibilidad propia, eficiencia trmica y confiabilidad en
el arranque para el proceso de generacin, en los que se registraron
los resultados siguientes:
Comparativo de los resultados de la cfe en el proceso de generacin
respecto de estndares internacionales, 2006 (porcentajes)
fuente:
Los resultados de la grfica anterior muestran que la disponibilidad de la infraestructura de generacin de la cfe fue superior en 0.9
puntos porcentuales al estndar internacional; el ndice de eficiencia
trmica de la cfe fue inferior en 1.7 puntos porcentuales al estndar
internacional; y la confiabilidad en el arranque de la cfe fue inferior
en 1.3 puntos porcentuales al estndar internacional.
Por lo que se refiere a productividad por trabajador, los resultados
del ndice de ventas por trabajador de cfe respecto de siete empresas
de clase mundial fueron los siguientes:
indicadores de desempeo
163
fuente:
2006.
fuente:
cfe
Mxico
Estados Unidos
Japn
Canad
Espaa
Estados Unidos
Estados Unidos
Pas de origen
2.5739
2.1593
1.7858
1.0582
0.0478
0.7487
1.56
0.96
Residencial
Precios medios
Mediana
Comercial
industria
2.5224
2.2040
1.3267
1.2285
1.6894
0.9583
1.2988
1.1537
0.9126
0.7990
0.8173
0.6517
1.43
1.17
1.31
1.14
2.3632
0.8946
0.8401
0.7612
0.7221
0.4862
1.01
0.86
Gran industria
Comisin Federal de Electricidad, Reporte de Precios Medios de Empresas de Clase Mundial 2006, y Reportes de Precios Medios de la cfe,
Empresa
164
auditora superior de la federacin
indicadores de desempeo
165
166
prcticas operativas las organizaciones que utilizan estudios de benchmarking determinan sus metas de desempeo futuro, a fin de mejorar la operacin dentro de la organizacin y reducir las brechas
existentes.
Los estndares deben estar actualizados permanentemente en un
mercado de condiciones cambiantes, de manera que se asegure el desempeo excelente. Para ello, es importante realizar una evaluacin en
aspectos como la comprensin del proceso de benchmarking, la comprensin de las mejores prcticas, la importancia y valor; lo adecuado
para fijar metas es ver qu aspecto necesita una recalibracin. Por
ejemplo, en el Programa Sectorial de Energa (prosener) 2001-2006,
se estableci como objetivo estratgico asegurar el abasto suficiente
de energticos con estndares internacionales de calidad y precios
competitivos, y contar para ello con empresas energticas pblicas y
privadas de clase mundial.
Los resultados de las auditoras practicadas a los organismos subsidiarios de Petrleos Mexicanos han evidenciado brechas importantes
del desempeo de esos organismos respecto de los estndares internacionales.
En Pemex Exploracin y Produccin, el resultado de la tasa anual
de incorporacin de reservas es del 60%, en tanto que la prctica internacional es de entre 100 y 105%; en tanto que el ndice de envo de
gas a la atmsfera en ese organismo es del 5% de la produccin anual,
el estndar es del 2 por ciento.
En Pemex Refinacin, de acuerdo con un estudio de posicionamiento referenciado del periodo 2000-2004 realizado por la Compaa Salomn, el valor estndar de personal equivalente del Sistema
Nacional de Refinacin (snr) para el ao 2004 fue de 38.9 trabajadores por cada 100 mil unidades de destilacin equivalente (edc).
Se precis que el ndice de personal equivalente alcanzado en 2004
por Pemex Refinacin en el snr fue de 187.9 personas por cada 100
mil edc, valor superior en 383.0% al estndar de las refineras de la
cngm, e inferior en 12.4% al resultado promedio del periodo 20002002, como se observa en el cuadro siguiente:
167
indicadores de desempeo
Promedio
2000-2002 Estndar
(3)
(4)
37.1
34.0
214.6
38.9
191.2
34.7
333.3
38.9
323.7
42.5
199.6
42.5
158.0
38.9
180.8
34.7
2004
Resultado
Brecha
(5)
(6)=(5)-(4)
n.d.
n.a.
187.9
149.0
132.7
98.0
214.5
175.6
230.8
240.8
230.8
188.3
149.4
110.5
183.0
148.3
fuente:
Pemex Refinacin, Reporte de los resultados del posicionamiento referenciado en materia de produccin, 2000-2004.
n.d.: No disponible.
n.a.: No aplicable.
El organismo precis que la brecha en el ndice de personal equivalente respecto del estndar de las refineras de la cngm se debe a
que las plantillas de personal que se tienen en el Sistema Nacional de
Refinacin son ms amplias que las de las refineras de la cngm, ya que
estas ltimas no incluyen personal de mantenimiento y tienen una
menor cantidad de personal administrativo en comparacin con el
que se tiene en el snr.
4. reflexin capitular
De lo expuesto en este captulo se concluye que medir el desempeo
de los entes fiscalizados en la aplicacin de las polticas pblicas es
una tarea compleja y vasta, en la cual se enfrentan diversos retos como
la insuficiencia de indicadores para realizar la medicin y la falta de
objetivos, metas o informacin para su determinacin.
La tarea de medicin del desempeo requiere de herramientas
bsicas, como los indicadores de desempeo que conforman el ta-
168
Escribir sobre la evaluacin de las polticas pblicas es una tarea difcil, principalmente porque todava no existe un acuerdo acadmico
o profesional definitivo sobre el significado y los alcances de la evaluacin como tal. Por el contrario, durante los ltimos veinte aos del
siglo pasado y el principio del siglo xxi, la evolucin de los medios para
allegarse y procesar informacin, la dilucin paulatina de los viejos
parmetros polticos que solan utilizarse para emitir juicios sobre el
desempeo de los gobiernos y la prdida de identidades ideolgicas y
propsitos nacionales de largo aliento, han despertado una discusin
indita sobre el sentido, los alcances y los usos de las distintas formas
que puede tomar una evaluacin. Si ya era difcil antes, no es casual,
por ejemplo, que en las muy conocidas antologas sobre polticas pblicas editadas por Luis F. Aguilar hacia inicios de los aos noventa,
los temas fueran los problemas pblicos y el estudio, la hechura y la
implementacin de polticas, pero no la evaluacin, en nuestros das
es an ms arduo estar seguros de lo que estamos pidiendo, cuando
solicitamos una evaluacin de polticas.2
La Auditora Superior de la Federacin ha editado varios manuales
cuidadosos y de carcter pedaggico que se emplean en el estudio de
los mtodos cuantitativo y cualitativo, en el anlisis e interpretacin
de la informacin. Otras publicaciones recientes se han hecho a consecuencia de las evaluaciones obligadas por el Consejo Nacional de
Evaluacin de la Poltica de Desarrollo Social (coneval) en materia
1
Mauricio Merino, Sobre la evaluacin de polticas pblicas. Lectura para auditores,
Mxico, Auditora Superior de la Federacin, Auditora Especial de Desempeo, 2009,
pp. 3-41.
2
Luis F. Aguilar (ed.), La implementacin de las polticas, Mxico, Miguel ngel Porra,
1993; El estudio de las polticas pblicas, Mxico, Miguel ngel Porra, 1992; La hechura de
las polticas, Mxico, Miguel ngel Porra, 1992; Problemas pblicos y agenda de gobierno,
Mxico, Miguel ngel Porra, 1993.
[169]
170
mauricio merino
de polticas de desarrollo social;3 se han realizado esfuerzos por definir el sentido de la evaluacin de la funcin pblica en Mxico o
de la fiscalizacin superior, emprendidos por autores como Alejandro
Oropeza o Aime Figueroa,4 de la Universidad de Guadalajara, y, en
otro sentido, por organizaciones sociales de muy diversa ndole, entre
los que se destacan los trabajos emprendidos por Gestin Social y
Cooperacin (gesoc, A.C.),5 dirigida por Alejandro Gonzlez; o por
fundar, que ha realizado esfuerzos muy encomiables por evaluar
las polticas de subsidios y el gasto pblico mexicano.6 De la misma
manera, el cide ha emprendido esfuerzos para evaluar las decisiones
econmicas del pas y la orientacin de sus polticas sociales.7 stos
son slo algunos de los esfuerzos recientes por definir, comprender y
utilizar con la mayor utilidad posible las herramientas de investigacin
3
En particular, el trabajo publicado por Fernando Corts, Agustn Escobar y Mercedes Gonzlez, Mtodo cientfico y poltica social. A propsito de las evaluaciones cualitativas de
programas sociales, Mxico, El Colegio de Mxico, Centro de Estudios Sociolgicos, 2008.
4
Aime Figueroa Neri (directora), Cuenta Pblica en Mxico. Evaluando el laberinto
legal de la fiscalizacin superior, Mxico, Universidad de Guadalajara, 2005. Alejandro
Oropeza Lpez, La evaluacin de la funcin pblica en Mxico, Mxico, Barcelona, Plaza
y Valds, 2005.
5
gesoc, A.C. public en 2008 Gobernar por resultados? Implicaciones de la poltica de evaluacin del desempeo del gobierno mexicano, coordinado por Alejandro Gonzlez Arreola,
en el que analiza la pertinencia del diseo de las reformas deevaluacin del desempeo
en Mxico ysu potencial para mejorarlacalidad delgastopblicoyla modernizacin
de la administracin pblica.
6
fundar encabeza el proyecto Subsidios al campo en Mxico, disponible en lnea en:
www.subsidiosalcampo.org.mx. Adems, ha publicado varios estudios relevantes sobre
el gasto pblico en distintas ramas y temticas, disponibles en lnea en: www.fundar.
org.mx.
7
Los esfuerzos ms recientes son: Alejandro Villagmez y Juan Ignacio Hernndez,
Impacto de la reforma al sistema de pensiones en Mxico sobre el ahorro, Divisin de Economa,
Documento de Trabajo nm. 453, Mxico, cide, 2009. John Scott, Agricultural Policy and
Rural Poverty in Mexico, Divisin de Economa, Documento de Trabajo nm. 395, Mxico,
cide, 2007. Kurt Unger, El desarrollo econmico y la migracin mexicana: el tlcan e impactos en
las regiones, Divisin de Economa, Documento de Trabajo nm. 361, Mxico, cide, 2006.
Judith Mariscal, Convergencia tecnolgica y armonizacin regulatoria en Mxico: una evaluacin
de los instrumentos regulatorios, Divisin de Administracin Pblica, Documento de Trabajo
nm. 201, Mxico, cide, 2007. Teresa Bracho Gonzlez y Giulianna Mendieta Melgar, El
proceso de focalizacin y las estrategias estatales de seleccin de beneficiarios: El caso del Programa
Escuelas de Calidad, Divisin de Administracin Pblica, Documento de Trabajo nm. 177,
Mxico, cide, 2006. Mauricio Merino e Ignacio Macedo, La poltica autista. Crtica a la red
de implementacin municipal de la Ley de Desarrollo Rural Sustentable, Divisin de Administracin Pblica, Documento de Trabajo nm. 168, Mxico, cide, 2005.
171
172
mauricio merino
173
174
mauricio merino
175
10
Giandomenico Majone, Evidencia, argumentacin y persuasin en la formulacin de polticas, Mxico, Colegio Nacional de Ciencias Polticas y Administracin Pblica/Fondo
de Cultura Econmica, 1998.
11
Imre Lakatos, The methodology of scientific research programmes, Cambridge, Cambridge University Press, 1978.
176
mauricio merino
177
178
mauricio merino
179
eso no slo es grave en cuanto a la prdida de medios fundamentales para resolver problemas pblicos de manera eficiente, eficaz
y econmica, honesta y transparente (valores todos enunciados,
por cierto, en la Constitucin del pas), sino porque una vez instalada en la trampa de los procedimientos,15 una vez instalada esa
lgica, el resultado inevitable y empricamente verificable ser que
los objetivos de la burocracia dominarn sobre los propsitos pblicos del Estado. En una secuencia interminable, las oficinas pblicas velarn porque otras oficinas pblicas hagan lo que dicen
los manuales y los procedimientos que, al mismo tiempo, otras
oficinas pblicas han redactado.
Paradjicamente, no se trata de un fenmeno nuevo. Al contrario,
Franz Kafka lo describi en El castillo y en El proceso hace poco menos
de un siglo. Esas burocracias inconmovibles y ajenas a la vida pblica
(pblica en el sentido estricto del trmino y no solamente gubernamental), que toman decisiones incomprensibles, con rutinas y procedimientos que nadie conoce, excepto quienes forman parte de las
oficinas que las siguen. Que incluso construyen sus propios lenguajes
y su cultura (siglas y palabras incomprensibles para quienes no forman
parte del grupo) y que se justifican a s mismos gracias a la repeticin
incansable e intil de rutinas y procedimientos cuyo propsito original ya nadie recuerda, pero que sirve para cobrar el salario, para
establecer jerarquas y para ejercer el poder burocrtico que de otra
manera tendra que rendir cuentas claras.
Pero la tica importa, adems, porque es indispensable para que
las polticas pblicas respondan al adjetivo que les estamos dando;
es decir, para ser realmente pblicas. Me refiero a las tres caractersticas del sentido pblico que ha sintetizado con mucho tino Nora
Rabotnikof: a lo pblico como lo que es comn, lo que es de todos;
a lo pblico como lo que se conoce, lo que sabemos, lo que es del
conocimiento pblico; y a lo pblico como lo que est abierto y es
accesible, lo que no est cerrado.16 Lo pblico que, para serlo de veras,
15
Como bien ha advertido Dennis Thompson, al hablar del problema de las muchas
manos y Amy Gutmann, al advertir el riesgo de la discrecionalidad otorgada a los funcionarios que controlan a funcionarios, que a su vez controlan a funcionarios, etctera.
Amy Gutmann y Dennis Thompson, Ethics and politics: cases and comments, Chicago,
Nelson-Hall, 1990.
16
Nora Rabotnikof, En busca de un lugar comn. El espacio pblico en la teora poltica
contempornea, Mxico, Instituto de Investigaciones Filosficas-unam, 2005.
180
mauricio merino
181
182
mauricio merino
183
cuando suceda, que una poltica no tiene ncleo duro, ni argumentacin slida; es decir, que no sabe qu quiere obtener ni qu resultados promueve. Y producir, en cambio, experiencias para apreciar y
calcular el valor de aquellas otras polticas que hayan establecido con
nitidez sus propsitos, los valores a los que se atienen, el ncleo duro
de su definicin y una argumentacin difana, clara.
Cuando todo esto suceda, la evaluacin podr convertirse en
la piedra de toque de la transparencia y la rendicin de cuentas en
Mxico. Pero tambin en la nica forma posible de utilizar nuestros
escasos recursos para la mejor seleccin y para la gestin ms comprometida y ms atinada de los problemas pblicos que nos agobian.
No debemos evaluar para cumplir una obligacin y para sancionar a
quienes no cumplen trmites, procedimientos o rutinas establecidas,
sino para valorar, corregir, trasmitir. Para hacer pblicas, de verdad
pblicas, las polticas pblicas.
bibliografa
Aguilar, Luis F. (ed.), La hechura de las polticas, Mxico, Miguel ngel Porra,
1992.
, La implementacin de las polticas, Mxico, Miguel ngel Porra, 1993.
, El estudio de las polticas pblicas, Mxico, Miguel ngel Porra, 1992.
, Problemas pblicos y agenda de gobierno, Mxico, Miguel ngel Porra,
1993.
Bardach, Eugene, The implementation game: what happens after a bill becomes a
law, Cambridge, mit Press, 1977.
Bell, Daniel, Las contradicciones culturales del capitalismo, Madrid, Alianza Editorial, 1989.
, Las muchas facetas del siglo xx, Letras Libres, nm. 10, octubre de
1999, pp. 10-19.
Bracho Gonzlez, Teresa y Giulianna Mendieta Melgar, El proceso de focalizacin y las estrategias estatales de seleccin de beneficiarios: El caso del Programa
Escuelas de Calidad, Divisin de Administracin Pblica, Documento de
Trabajo nm. 177, Mxico, cide, 2006.
Corts, Fernando, Agustn Escobar y Mercedes Gonzlez, Mtodo cientfico y
poltica social. A propsito de las evaluaciones cualitativas de programas sociales,
Mxico, El Colegio de Mxico, Centro de Estudios Sociolgicos, 2008.
Figueroa Neri, Aime, Cuenta Pblica en Mxico. Evaluando el laberinto legal de
la fiscalizacin superior, Mxico, Universidad de Guadalajara, 2005.
184
mauricio merino
Garca Cotarelo, Ramn, Del estado del bienestar al estado del malestar: la crisis
del estado social y el problema de legitimidad, Madrid, Centro de Estudios
Constitucionales, 1990.
Gonzlez Arreola, Alejandro (coord.), Gobernar por resultados? Implicaciones
de la poltica de evaluacin del desempeo del gobierno mexicano, Mxico,
gesoc, A.C., 2008.
Gutmann, Amy y Dennis Thompson, Ethics and politics: cases and comments,
Chicago, Nelson-Hall, 1990.
Lakatos, Imre, The methodology of scientific research programmes, Cambridge,
Cambridge University Press, 1978.
Majone, Giandomenico, Evidencia, argumentacin y persuasin en la formulacin de polticas, Mxico, Colegio Nacional de Ciencias Polticas y Administracin Pblica / Fondo de Cultura Econmica, 1998.
, La implementacin como evolucin, en: Aaron Wildavsky y Jeffrey
Pressman, Implementacin, cmo grandes expectativas concebidas en Washington se frustran en Oakland, Mxico, Fondo de Cultura Econmica y Colegio Nacional de Ciencias Polticas y Administracin Pblica, 1998.
Mariscal, Judith, Convergencia tecnolgica y armonizacin regulatoria en Mxico:
una evaluacin de los instrumentos regulatorios, Divisin de Administracin
Pblica, Documento de Trabajo nm. 201, Mxico, cide, 2007.
Merino, Mauricio, La importancia de la tica en el anlisis de las polticas
pblicas, Revista del clad, Reforma y Democracia, nm. 41, junio de 2008.
, La importancia de las rutinas, Documento de Trabajo nm. 160, cide,
2005.
e Ignacio Macedo, La poltica autista. Crtica a la red de implementacin municipal de la Ley de Desarrollo Rural Sustentable, Divisin de Administracin
Pblica, Documento de Trabajo nm. 168, Mxico, cide, 2005.
Oropeza Lpez, Alejandro, La evaluacin de la funcin pblica en Mxico,
Mxico, Barcelona, Plaza y Valds, 2005.
Rabotnikof, Nora, En busca de un lugar comn. El espacio pblico en la teora poltica contempornea, Mxico, Instituto de Investigaciones Filosficas-unam,
2005.
Scott, John, Agricultural Policy and Rural Poverty in Mexico, Divisin de Economa, Documento de Trabajo nm. 395, Mxico, cide, 2007.
Villagmez Alejandro y Juan Ignacio Hernndez, Impacto de la reforma al
sistema de pensiones en Mxico sobre el ahorro, Divisin de Economa, Documento de Trabajo nm. 453, Mxico, cide, 2009.
introduccin
[185]
186
poniendo en cuestin, incluso, la idea de que la evaluacin tiene un exclusivo carcter retrospectivo y esto sea lo que la diferencia del anlisis
de polticas pblicas. Por ltimo, se discute una visin ms integrada
del anlisis de polticas pblicas y se seala el papel que la evaluacin
tiene en la misma.
En una segunda parte del captulo, se revisa, elabora y discute
sobre el concepto y el sentido de la evaluacin de programas y polticas pblicas. Una vez discutido el concepto, se exponen y elaboran
las funciones de la evaluacin, diferencindolas de sus propsitos y objetivos. En la literatura especializada y los manuales sobre evaluacin
se suele hablar indistintamente de la evaluacin de proyectos, programas, planes y polticas; sin embargo, se han querido sealar aqu
las diferencias que existen, en nuestro parecer, entre el concepto de
evaluacin de programas (y que incluye proyectos, planes, medidas,
servicios pblicos, etc.) y el de evaluacin de polticas pblicas.
Una vez que se ha explicado el concepto de evaluacin en sus aspectos ms importantes, se define la evaluacin diferencialmente, poniendo nfasis en lo que la evaluacin tiene de especfico respecto
a otras formas de anlisis e indagacin. Para esto, se presentan, en
primer lugar, las diferencias existentes entre evaluacin e investigacin, con la idea de reforzar la identidad propia de la evaluacin de
programas y porque en la todava incipiente prctica de la evaluacin
de programas en las administraciones pblicas espaolas tienden, en
algunas ocasiones, a confundirse esos dos extremos.
Tambin en esta tercera y ltima parte del captulo, se insiste en
el elemento valorativo de la evaluacin y en la importancia del concepto de enjuiciamiento sistemtico como una de las claves de la
identidad de la evaluacin de programas y polticas pblicas. Paralelamente, se discute sobre el eminente carcter prctico y aplicado
de la evaluacin, y se elabora sobre el cuarto nivel de anlisis en la
evaluacin el establecimiento de recomendaciones, exponiendo el
debate existente sobre si deben los evaluadores o no establecer dichas
recomendaciones. Finalmente, se trata la preocupacin por el uso y la
utilizacin que tradicionalmente ha ocupado a los profesionales y acadmicos de la evaluacin de programas y que se concreta, entre otros
aspectos, en la importancia creciente en la literatura especializada de
la fase de presentacin de la informacin y comunicacin de los resultados de la evaluacin.
187
Precisamente, esa capacidad e intencin del anlisis de polticas pblicas de estudiar y explicar los procesos concretos de actuacin de los
poderes pblicos dando repuesta a los problemas sociales, es lo que
hace que se ponga nfasis en su aplicabilidad y utilidad para un mejor
gobierno y tratamiento de los asuntos pblicos.
Adems, el anlisis de polticas pblicas ha ido ampliado su objeto
de estudio, sobre todo a partir de la dcada de los aos setenta. sta,
entre otras, es una forma en la que se ha ido dando respuesta a las
188
cada vez mayores dificultades de gobierno y al abordaje de los mltiples problemas sociales en sociedades cada vez ms complejas. Se ha
pasado del simple anlisis de la decisin pblica y sus implicaciones,
al estudio de las complejas acciones que se derivan de la misma y sus
efectos sobre el planteamiento del problema original (Subirats, 1992:
14), o en trminos de Wayne Parsons, se ha pasado del exclusivo inters en el anlisis de la decisin (decision analysis), es decir, el anlisis
del proceso de toma de decisiones y el anlisis de polticas para la toma
de decisiones, al anlisis de la entrega o reparto (delivery analysis), es
decir, al anlisis de la ejecucin o implementacin, la evaluacin, el
cambio y el impacto (Parsons, 1995).
189
anlisis de las polticas pblicas) son interdependientes y complementarias, adems de interdisciplinarias y contextuales. Sin embargo, en
el desarrollo posterior de los estudios de polticas pblicas hubo una
escisin en dos corrientes: por un lado, de los interesados exclusivamente en el estudio positivo de la elaboracin de la poltica (ms ligado
a los estudios de las policy sciences o el policy making), ms contextualizadores y relacionados con lo poltico-administrativo y, por otro, los
normativo-tcnicos (ms ligados a los estudios de policy analysis), ms
dados a las tcnicas cuantitativas y de anlisis econmico (Aguilar,
1996: 54 y ss).
Estas dos tradiciones se van desarrollando y, a partir de la dcada
de los aos setenta, y paradjicamente por los resultados desalentadores para las dos corrientes, hubo una expansin en Estados Unidos
de escuelas y programas de polticas pblicas (Ban, 1997: 41). De
todas formas, aunque haya habido tradiciones separadas de estudio,
tambin ha habido posturas eclcticas e integradoras. Hogwood y
Gunn (1984) plantean el doble componente descriptivo y prescriptivo
desde la misma definicin del anlisis de polticas pblicas. Consideran
ambos componentes necesarios, aunque consideran como inapelable
y definitorio el carcter prescriptivo, por su aspecto novedoso y valioso respecto a la aplicacin. Para estos autores, con este carcter, el
anlisis de polticas pblicas tiene una naturaleza aplicada, relevante
socialmente, multidisciplinaria, integral y dirigida hacia los problemas
(Hogwood y Gunn, 1984: 3). Efectivamente, la administracin pblica
y los subcampos de polticas pblicas y de gestin pblica tienen una
tendencia a la accin o vocacin profesional y una tendencia o vocacin a prescribir. Hay que evitar, sin embargo, la tendencia a extraer
enseanzas prescriptivas de enseanzas insuficientes (Ban, 1997:
44). Es decir, la prescripcin debe basarse necesariamente tambin en
la descripcin y ambos componentes, utilizados de forma conjunta,
pueden tener una mayor potencia, utilizndose de forma sinrgica.
Este carcter integrador tambin se detecta en otros autores, como
por ejemplo Dunn, que veremos ms adelante.
Desde nuestro punto de vista y para enmarcar la evaluacin, conviene asumir una visin integradora de estos dos componentes. La
evaluacin, al igual que el anlisis en general, se ve tambin en la
disyuntiva de si el anlisis de la poltica debe mantenerse al margen
del anlisis para la poltica. Sin embargo, la evaluacin est ms directamente vinculada a la doble exigencia de conocimiento y accin, ya
190
191
192
193
Efectivamente, sta es una diferencia general entre evaluacin y anlisis, pero el propio Rist reconoce que lo que aparece a primera vista
como una dicotoma clara retrospectivo y prospectivo se convierte,
si miramos ms de cerca, en dos pasos de un proceso interactivo: se
toman decisiones, se recoge informacin sobre los efectos de dichas
decisiones, se toman ms decisiones con los datos disponibles de los
resultados de decisiones previas, etctera (Rist, 1990: 4).
En definitiva, aunque el carcter retrospectivo sirva como elemento
diferenciador del anlisis de polticas pblicas en general, que tiene
un carcter ms prospectivo, hay que reconocer la amplitud de miras
cada vez mayor de la evaluacin. Es esta amplitud, precisamente, la
que permite que la evaluacin sea parte integrante de la vida de una
poltica y que sirva como herramienta metodolgica til para la totalidad de dicho proceso.
194
ejemplo sera la descripcin, explicacin o prediccin del gasto pblico en sanidad o educacin.
2] Evaluativa, que determina el valor de una poltica pblica. Las
cuestiones son de valor y el tipo de informacin que se genera es de
carcter evaluativo. Como ejemplo, la evaluacin de las diferentes
maneras de distribucin de la carga fiscal segn sus consecuencias
ticas y morales.
3] Normativa, que recomienda futuras acciones que pueden resolver
los problemas pblicos. Las cuestiones estn relacionadas con la
accin y el tipo de informacin que se genera es de recomendacin
o consejo (advocative). As, se puede recomendar, por ejemplo, una
poltica de ingresos mnimos garantizados como una forma de
paliar los problemas de desigualdad social.
Cuadro 1.1. Tres perspectivas para el anlisis de polticas publicas
Perspectiva
emprica
evaluativa
normativa
Cuestin principal
Existe? (hechos)
Qu valor tiene? (valores)
Qu debe hacerse?
(acciones)
Tipo de informacin
Designativa
Evaluativa
De recomendacin
(advocative)
195
Tipo de cuestin/
Momento
Antes de la
accin
Despus de la
accin
Designativa
Evaluativa
prediccin
evaluacin
descripcin
evaluacin
De
recomendacin
prescripcin
fuente:
2] Pronstico (prediccin): produce informacin sobre las consecuencias futuras de las polticas.
3] Evaluacin (evaluacin): produce informacin sobre el valor de polticas pasadas o futuras.
4] Recomendacin (prescripcin): produce informacin sobre la probabilidad de que acciones futuras produzcan consecuencias valiosas.
Adems hay otros dos mtodos que no tienen correspondencia directa con ningn procedimiento analtico general:
5] Estructuracin de problemas: basndose en procedimientos de
clasificacin, produce informacin especulativa sobre las soluciones potenciales de un problema. Implica todo el resto de mtodos, siendo un metamtodo que funciona como una especie de
regulador central de todo el proceso de anlisis.
6] Deduccin prctica: permite llegar a conclusiones sobre el grado
en el que los problemas se han solucionado.
Estos mtodos analticos estn relacionados jerrquicamente y
son interdependientes. Algunos, como por ejemplo, el seguimiento
se pueden utilizar por s solos mientras otros, como la evaluacin,
requieren de la utilizacin previa de otro mtodo. La recomen-
196
197
198
199
niveles de anlisis en evaluacin, que aparecen en el cuadro 1.3.: resultados o hallazgos, interpretaciones, juicios y recomendaciones.
Segn la definicin apuntada, se pretende emitir juicios sobre
el valor y el mrito del objeto (programas, polticas, etc.) evaluado.
Conviene aqu definir y distinguir entre los dos trminos sealados:
mrito y valor (o vala). Quien primero distingue estos trminos es
Michael Scriven, cuya aportacin terica al campo de la evaluacin
es calificada, precisamente, como la ciencia de la valoracin
(Shadish, Cook y Levinton, 1991), pero tambin se recoge en la obra
de Stufflebeam y Shinkfield (1987), y en una propuesta tan diferente
como es la de Guba y Lincoln (1989). Para estos autores, el mrito depende de las caractersticas intrnsecas del evaluando y tiene que ver
con si hace bien lo que se supone que debe hacer, el valor depende de
lo extrnseco, del uso que se hace en el contexto. Es decir, mientras el
mrito podra ser valorado aisladamente, el valor slo podra ser considerado respecto a un contexto y a unas necesidades particulares. Es
decir, el evaluando podra ser meritorio aunque no vlido (puede que
algo sea bueno en s mismo pero que no sea adecuado para un contexto determinado). Esta circunstancia de estar interesados no slo
en el mrito sino tambin en el valor de lo que se evala abunda en el
carcter prctico y aplicado de la evaluacin.
Precisamente es este carcter aplicado y prctico, as como el cuarto
nivel de anlisis sealado por Patton (el de las recomendaciones), lo
que recuerda la necesidad de incluir en la definicin de evaluacin
su porqu o razn de ser, es decir, sus funciones. Efectivamente, la
evaluacin no se hace en abstracto sino con la intencin de mejorar
los programas y polticas evaluadas, rendir cuentas y/o ejemplificar
o ilustrar acciones futuras (ms adelante, tratamos las funciones de
la evaluacin). Es decir, la informacin que se pretende arroje la evaluacin tiene vocacin de ser utilizada para dichas funciones. sta es
la razn por la cual el evaluador extrae tambin recomendaciones
para la accin a la luz de los hallazgos, interpretaciones y juicios establecidos.
As, el sentido ltimo de la evaluacin es su utilidad para el proceso
de intervencin social. Esta utilidad debe ser concebida, adems, en
dos sentidos. Por un lado, la evaluacin debe ser capaz de generar
una informacin til para el programa o poltica que est evaluando,
es decir, la informacin ha de ser pertinente al objeto evaluado y a su
contexto determinado. Por otro, debe ser una informacin con ca-
200
201
lidad (accountability) y ejemplificacin o iluminacin para acciones futuras (enlightenment). En sus diferentes versiones, creemos que stas
son las tres funciones bsicas de la evaluacin.
La primera funcin, la de mejora del programa o poltica evaluada, significa que la evaluacin se concibe como un artefacto metodolgico que permite la retroalimentacin y el aprendizaje sobre la
propia prctica. En este sentido, la evaluacin resulta imprescindible
como instrumento de mejora y perfeccionamiento y como garante
de la calidad de un servicio o programa. Lgicamente esta funcin
refuerza la atencin al contexto concreto y determinado de lo que se
est evaluando, a las necesidades y naturaleza de las personas destinatarias de dicho servicio y de todos los agentes crticos en el mismo,
especialmente el personal que lo atiende y la organizacin que lo
promueve.
El rendimiento de cuentas o responsabilidad sera la segunda funcin
de la evaluacin. La evaluacin debe servir como instrumento que
permita, en los diferentes niveles de responsabilidad, rendir cuentas
sobre la gestin y los resultados de un programa. Esto adquiere un
mayor sentido cuando se refiere a programas y polticas pblicas,
ya que el rendimiento de cuentas debe formar parte indiscutible del
sistema democrtico. Este rendimiento de cuentas debe darse a varios
niveles, incluyendo de forma especial a la ciudadana: el ciudadano/a
tiene derecho a saber no slo en qu se estn empleando los fondos
pblicos sino tambin con qu grado de idoneidad, eficacia y eficiencia
se estn asignando, gestionando y empleando dichos fondos.
Adems de estas dos funciones, la evaluacin puede cumplir una
tercera que es la de dar luz o iluminar acciones futuras. Aunque el
sentido ltimo de la evaluacin tiene que ver, esencialmente, con el
programa concreto evaluado en un contexto, situacin y momento determinado de forma que se contribuya a su mejora y se rindan cuentas
sobre el mismo, las evaluaciones arrojan una informacin sistemtica
que contribuye al acervo cientfico no slo de ese programa, servicio o poltica concreta sino tambin del abordaje general de determinados problemas pblicos. Como dice Carol Weiss,
el estudio de las polticas y programas en accin es una oportunidad para
estudiar los estmulos que conducen al cambio y las condiciones ambientales
bajo las cuales es ms probable que ocurran cambios (Weiss, 1998a: 28).
202
Es claro que si se evalan sistemticamente los diferentes programas de prevencin de drogodependencias, por ejemplo, dichas
evaluaciones contribuirn en su conjunto a construir conocimiento
sobre las diferentes formas de hacer prevencin, cules son los contextos y grupos adecuados, quines son los agentes intervinientes necesarios, qu respuestas han dado los poderes pblicos en diferentes
momentos y por qu, etc. En definitiva, se sabr ms sobre cmo
hacer prevencin y esto servir de orientacin general a los poderes
pblicos sobre cmo abordar el problema de las drogodependencias.
En este sentido, en la actualidad, en la comunidad cientfica internacional algunos evaluadores reclaman ms experiencias de sntesis de
evaluaciones, meta-anlisis y metaevaluaciones para aprovechar todo
el cmulo de estudios de evaluacin realizados en determinadas reas
en los ltimos aos (Cook, 1997). Desgraciadamente, esta peticin
no puede ser trasladada a muchos pases como Espaa, en donde lo
primero que tiene que ocurrir es que se hagan suficientes estudios
como para poder ser sintetizados.
Vedung (1997) tambin se centra en estas tres funciones bsicas
de la evaluacin: mejora (o perfeccionamiento), responsabilidad (o
rendimiento de cuentas) y conocimiento bsico (que equivaldra a
la funcin de enlightenment propuesta por Stufflebeam y Shinkfield).
Dos cuestiones nos parecen especialmente destacables y novedosas
en su discurso. Por un lado, el autor parte de la consideracin del
conocimiento bsico como objetivo subordinado a los otros dos. Efectivamente, la mejora de las polticas evaluadas y el rendimiento de
cuentas sobre las mismas destacan como las razones fundamentales
para llevar a cabo una evaluacin, ya que los conocimientos bsicos
deberan considerarse ms bien como un efecto colateral de los dos
anteriores (Vedung, 1997: 131). Esto nos parece un punto particularmente importante en la diferenciacin de evaluacin e investigacin,
como se ver ms adelante.
En segundo lugar, Vedung analiza con profundidad la funcin de
la responsabilidad, cuestin que normalmente se obvia en la literatura
al uso. En su anlisis, distingue cuatro perspectivas distintas respecto
de la responsabilidad. Desde la perspectiva poltica, la evaluacin
es un instrumento clave para que los representantes polticos comprueben que la administracin est realmente ejecutando las tareas
que se le han asignado. Desde una perspectiva tcnico-organizativa,
la evaluacin es un instrumento para que los directivos de los orga-
203
204
205
206
207
208
209
210
Dimensiones
objeto de
estudio
agente
evaluador
aplicacin
metodologa
tiempos
ejemplos
Evaluacin de programas
Planes, programas, proyectos
Servicios, medidas
Consultores externos
Responsables internos
Mejora del programa
o servicio
Control de responsabilidades
Contribucin a la evaluacin
de una poltica
Flexibilidad metodolgica
Evaluacin de politicas
Polticas pblicas
Analistas
Iluminacin para
acciones futuras
Ayuda a las decisiones
sobre continuacin o
terminacin
Flexibilidad
metodolgica (relativo
mayor apoyo en anlisis
secundario de datos)
Temporalidad ajustada
Puede tomarse ms
tiempo aunque debe
reflejar el carcter
dinmico de la poltica
Programa Deporte y droga Poltica de juventud en la
Red de albergues juveniles
comunidad de Madrid
3. lo especfico de la evaluacin
3.1. Las diferencias con otras prcticas de anlisis: Evaluacin vs investigacin
Durante los primeros aos del desarrollo de la disciplina de la evaluacin de programas en los aos sesenta y setenta, no se encuentran
en la literatura especializada distinciones entre investigacin y evaluacin. Entonces, se conceba la evaluacin como un tipo de investigacin de carcter aplicado y que debe guiarse por los estndares de la
misma. En realidad, se consideraba la evaluacin como una hermana
menor de la investigacin, siendo a veces desprestigiada en la comu-
211
nidad cientfica de entonces. La utilizacin de trminos como investigacin evaluativa (Rossi y Freeman, 1989; Weiss, 1975, etc.), aunque
contribuan a dar una mayor seriedad y a obtener legitimidad para
el nuevo campo, no ayudaban al esclarecimiento o diferenciacin de
los dos conceptos.
Respecto a la naturaleza de la investigacin y de la evaluacin, es
evidente que ambas son modos de indagacin sistemtica. Esto implica que, como requisito mnimo, son actividades que se hacen de
forma consciente y con un sistema, es decir, siguiendo unos pasos o
aplicando algn mtodo o forma sistemtica de actuacin. Adems,
para Lincoln y Guba (1986: 547) se trata de tipos de indagacin disciplinadas. Por indagacin disciplinada (disciplined inquiry), estos autores entienden algo que es confirmable pblicamente y que permite
explicitar la naturaleza de los datos, las fuentes y el contexto en el
que fueron recogidos, as como los procesos de transformacin de
los datos en informacin (interpretaciones, conclusiones, extrapolaciones, recomendaciones).
A caballo entre el criterio de la naturaleza de cada actividad y el
criterio de su finalidad, estara su posible carcter bsico o aplicado.
Ambos tipos de actividad investigacin y evaluacin pueden ser de
carcter aplicado; pero la evaluacin es siempre de carcter aplicado,
nunca bsico. La investigacin, por el contrario, puede ser tanto de
carcter bsico como aplicado. Sin embargo, el hecho de que se d
una investigacin aplicada (cuyo fin primario sea la solucin de un
problema o la respuesta a una necesidad concreta, ms que el desarrollo de teora en abstracto) no la convierte automticamente en una
actividad evaluativa. Tampoco el hecho de ser aplicada no significa
que sea una investigacin de categora inferior; muy al contrario, el carcter aplicado de la investigacin dota de contenido y utilidad social
a la actividad cientfica. Como sealan Lincoln y Guba es posible
afirmar que muchos avances bsicos en las ciencias han sido ocasionados por esfuerzos para resolver problemas prcticos (1986: 548).
Lo que s parece claro es, como se ha dicho antes, que la evaluacin es
siempre de carcter aplicado ya que se hace para valorar el mrito y/o
valor de un evaluando en su contexto, para resolver determinadas necesidades de informacin y con la intencin de mejorar el evaluando,
rendir cuentas sobre el mismo o ilustrar sobre acciones futuras. Es
ms, se puede afirmar que la evaluacin es un tipo de indagacin
sistemtica especialmente aplicada.
212
El criterio de la diferente finalidad de la investigacin y la evaluacin es el que proporciona una base ms amplia para su distincin.
En trminos generales, la investigacin se hace con el fin ltimo de
construir conocimiento. La evaluacin, sin embargo, se hace para mejorar los programas evaluados, rendir cuentas sobre los mismos y generar una informacin que permita ilustrar posibles acciones futuras.
Es cierto que, de alguna manera, la evaluacin tambin construye
conocimiento, pero ste es siempre de carcter ms aplicado o concreto. La realizacin de evaluaciones sistemticas en un determinado
sector o de un determinado tipo de polticas (por ejemplo, de cooperacin al desarrollo) es evidente que contribuye a la acumulacin de
conocimiento sobre el problema que se trata de resolver y la forma
de hacerlo. Pero tambin es claro que sta no es su funcin principal.
La evaluacin nunca se hace con el fin de comprobar proposiciones
tericas, aunque s sea, en cierto modo, una aplicacin de la teora ya
que las evaluaciones siempre tienen como teln de fondo y referencia,
adems del contexto especfico del evaluando, el marco terico en
torno al tipo de intervencin evaluado. Esta diferencia de propsito es
la primordial a la hora de distinguir entre investigacin y evaluacin
y la que hace que los dos tipos de indagacin sean distintos respecto
a otras dimensiones y caractersticas. As, la investigacin es un modo
de indagacin de carcter acadmico, mientras la evaluacin lo es de
carcter prctico (Cordray y Lipsey, 1987). Esto quiere decir que la
evaluacin de programas pone nfasis en la valoracin y el enjuiciamiento del evaluando, su significado para los destinatarios, patrocinadores y responsables, en ser relevante y sensible ante el contexto
y, sobre todo, en ofrecer una informacin oportuna en el tiempo y
til para la toma de decisiones relacionada con dicho evaluando. Por
lo tanto la utilidad es el sentido ltimo o leitmotiv de la evaluacin de
programas. La evaluacin se hace con la intencin de ser utilizada.
En su forma ms simple, la evaluacin se lleva a cabo por parte de un cliente
que tiene decisiones que tomar y que busca en una evaluacin una informacin en la que basar sus decisiones. Incluso cuando el uso es menos directo
e inmediato, la utilidad de algn tipo es la fundamentacin de la evaluacin
(Weiss, 1998: 15).
El hecho de que la utilidad sea una caracterstica central de la evaluacin implica una serie de condicionantes que deben darse en este
213
214
215
216
217
Como se puede observar, estas definiciones vuelven a hacer hincapi en las diferentes finalidades.
Una de las semejanzas que siempre se aducen al hablar de investigacin y evaluacin es la utilizacin de la misma metodologa (Weiss,
1998). Es ms, en ocasiones se ha definido la evaluacin como la utilizacin de los mtodos de la investigacin para valorar programas.
Para Weiss, la utilizacin de los mtodos de las ciencias sociales tiene
como fin hacer que el proceso valorativo sea ms exacto y sistemtico.
De nuevo, como muchos otros autores, Weiss seala que lo que distingue la investigacin evaluativa no es el mtodo o la materia de
la que se ocupa, sino la intencin o el propsito para la que se hace
(Weiss, 1998: 15). Como ya se ha visto, ni siquiera Lincoln y Guba,
quienes enmarcan su discusin con pautas de carcter epistemolgico,
insisten en las diferencias metodolgicas, sino que se centran en las diferencias de propsito, y mencionan algunas cuestiones respecto a los
destinatarios y los resultados o productos. Ms adelante, se argumenta
que tambin existen diferencias de mtodo, aunque ambos tipos de
actividad utilicen las mismas tcnicas de recopilacin y anlisis de informacin e incluso las mismas metodologas en ocasiones. De esta
manera, hacemos eco del smil utilizado por Lincoln y Guba: el hecho
de que utilicen las mismas herramientas (martillos, desarmadores y
llaves) no hace iguales a carpinteros, electricistas y plomeros (Lincoln
y Guba, 1986: 537).
Carol H. Weiss, adems de la utilizacin de las mismas tcnicas
y mtodos, e incluso los mismos diseos de investigacin, menciona
otra semejanza relacionada con el criterio metodolgico. Para Weiss,
la evaluacin pretende, como cualquier otra investigacin, describir,
entender relaciones entre variables y seguir la secuencia causal de una
variable con otra. Sin embargo, para la autora, no siempre se pueden
aplicar los mtodos con el mismo rigor que en la investigacin ya que
las dependencias del tiempo, el espacio, la gente y los recursos disponibles son ms estrechas y evidentes en situaciones de evaluacin. As,
los mtodos de evaluacin a menudo representan un trmino medio
entre lo ideal y lo posible (Weiss, 1998: 18). En definitiva, lo que las
diferencia, pues, no es la metodologa en s misma sino las circunstancias y condicionantes con los que se aplica.
Segn nuestro punto de vista, la idea de metodologa de Weiss
tiene que ver con una visin tradicional y acotada del mtodo y que
se limita a la forma en la que se recopila y analiza la informacin.
218
Esto tambin tiene que ver con la necesaria diferencia que se debe
establecer entre los niveles metodolgico y tecnolgico (referido a las
tcnicas para la recopilacin y anlisis de la informacin). La metodologa se refiere al razonamiento lgico que vincula la informacin
que se recopila al conocimiento general. Las tcnicas son las que
permiten recopilar la informacin. Como veremos ms adelante, si
consideramos que la metodologa de evaluacin comprende algo ms
que la recopilacin y el anlisis de la informacin, se pueden tambin
encontrar diferencias de mtodo entre los dos tipos de indagacin.
En lo que se refiere a la distincin entre la metodologa de investigacin y la de evaluacin, es interesante insistir en la diferencia entre
los niveles metodolgico y tecnolgico. De esta manera, la utilizacin de
las mismas tcnicas de recopilacin y anlisis de informacin no
significa la utilizacin de una misma metodologa. Como se ha comentado antes, Guba (1990) dice que la metodologa se refiere a la
forma en la que se busca el conocimiento; nosotros aadiramos en
que se busca y se ofrece el conocimiento. As, creemos que cuando
se habla de metodologa de evaluacin estamos hablando de algo
ms que la forma en la que se recopila y analiza la informacin;
hablamos, al menos, de 1] cmo se selecciona la informacin que
se quiere recopilar, teniendo en cuenta y respondiendo al contexto
especfico del programa que se pretende evaluar (diagnstico de la
situacin evaluativa, diseo de la estrategia general de evaluacin
y establecimiento y definicin de los criterios o preguntas de evaluacin), 2] cmo se recopila y trata la informacin que nos va a
permitir contestarnos a las preguntas de evaluacin, y 3] cmo se
valora dicha informacin y, por lo tanto, se juzga el mrito y/o valor
del evaluando. En una visin amplia de la metodologa podramos
aadir, adems, otros dos pasos: 4] cmo se traducen dichas valoraciones en recomendaciones para la accin y 5] cmo se transmiten
y comunican los resultados de la evaluacin para que stos sean los
ms tiles y utilizados. Aunque estos dos ltimos pasos pueden ser
tambin considerados como resultados esperados de los procesos de
evaluacin. Por lo tanto, hay varias caractersticas que distinguen
la metodologa de evaluacin de la de investigacin y la hacen, de
alguna forma, especfica.
En primer lugar, esta especificidad tiene que ver con la definicin
del problema a resolver y con el primer paso sobre cmo se seleccionan los criterios o preguntas de evaluacin. Weiss (1998:15) seala
219
220
221
222
223
Criterio
objeto
contexto
condicionantes
finalidad y
concepto
naturaleza/
Investigacin
Referido a problemas
(qu se aborda)
Se interesa por la evolucin de un
problema en abstracto
Se puede centrar en algunos aspectos
concretos
Escenario de investigacin
(lo prioritario es la investigacin)
El contexto es un factor ms a tener en
cuenta (no necesariamente determinante)
Carcter ms tcnico
Evaluacin
Es un tipo de investigacin disciplinada que se lleva
a cabo para determinar el valor (mrito y/o vala) del
objeto evaluado (programa, proyecto, servicio o poltica)
con el fin de mejorarlo, rendir cuentas y/o ilustrar
acciones futuras
Modo de indagacin prctico
Siempre es aplicada
Mejora de los programas
Rendimiento de cuentas
Ilustracin de acciones futuras
utilidad
Debe tener capacidad de respuesta ante y cierta
lealtad hacia los responsables de los programas
Debe ser oportuna en el tiempo
temporalidad ajustada
Escenario de accin (lo prioritario es el programa
evaluado y no su evaluacin)
El contexto es determinante. La evaluacin es
dependiente del contexto y tiene por objetivo la
respuesta a dicho contexto especfico
Carcter marcadamente poltico
Referido a las intervenciones para abordar dichos
problemas (cmo se aborda)
Se interesa por la evolucin de un problema a
consecuencia de la intervencin en el mismo
Tiende a considerar la intervencin de forma global
224
mara bustelo ruesta
Publicacin de resultados
Aportacin a y reconocimiento de la
comunidad cientfica
Grupos abstractos
Comunidad cientfica
De forma secundaria, comunidad de
poltica o programa
agentes
Capacidad investigadora:
(investigadores Conocimientos bsicos sobre metodologa
y evaluadores) de la investigacin
Necesario conocimiento previo y
exhaustivo del sector
esperados
y efectos
productos
resultados:
destinatarios
mtodo
225
226
227
228
229
230
la evaluacin sistemtica es particularmente importante si los programas son complejos, las decisiones a tomar son importantes y caras
y si se necesita informacin para convencer a otros de la validez de las
conclusiones.
En la misma lnea, Evert Vedung (1997) configura la evaluacin
como una funcin que pueden cumplir los acadmicos y cientficos
para que gobernantes y poderes pblicos reflexionen, comprendan
mejor y tomen decisiones ms slidas y fundamentadas. En definitiva,
aunque la evaluacin se lleve a cabo en y para un ambiente poltico,
evaluacin y poltica son dos realidades separadas; la primera cumple
una funcin de ayuda y control sobre la segunda. Ambas son necesarias y se mezclan con frecuencia. As, el evaluador debe reconocer y
ser consciente que su trabajo puede verse afectado por determinadas
luchas de poder.
Sin embargo, otros autores como Monnier (1995) van un paso ms
all, y consideran que no slo se trata de que la evaluacin se desarrolla inevitablemente en un contexto poltico que hay que reconocer
y tener en cuenta, sino que es una actividad poltica en s misma y, por
lo tanto, forma parte integrante de dicho contexto poltico. Es decir,
evaluacin y poltica no son dos realidades fcilmente separables. De
esta manera, la evaluacin, al margen del rigor metodolgico, debe
procurarse una legitimidad poltica. Y muchas veces, la credibilidad
de una evaluacin depende ms de dicha legitimidad poltica que
supone el reconocimiento y consideracin de los distintos actores
sociales que de una exclusiva legitimidad cientfico-tcnica. Para
Monnier, la evaluacin sirve, entonces, como elemento negociador
entre Estado y sociedad civil y, por lo tanto, elemento generador e
integrante de la realidad poltica.
Este reconocimiento del contexto poltico y su interaccin determinante con los procesos de evaluacin ha ido aumentando en los
ltimos aos. De esta manera, el carcter poltico de la evaluacin deja
de ser un tema relacionado con la prctica evaluativa para ser parte
crucial de la teora de la evaluacin. Buen exponente de ello es la
conferencia dictada por Eleanor Chelimsky en el encuentro anual de
1997 de la aea (Asociacin Americana de Evaluacin) en San Diego,
titulada El papel de la experiencia en la formulacin de teoras sobre
la prctica de la evaluacin (Chelimsky, 1998) y en la que considera
que una de las cuestiones aprendidas con la experiencia, y que deben
ser incorporadas a la teora de la evaluacin, es la inequvoca relacin
231
En general, los evaluadores deben ser ms conscientes del dinamismo poltico que rodea cualquier situacin evaluativa y reconocer
su centralidad para la prctica profesional.
La segunda implicacin de esta naturaleza poltica es la necesidad de credibilidad para la prctica evaluativa. Si los resultados de
la evaluacin deben ser tiles y sobrevivir a los avatares polticos, la
evaluacin misma debe ser percibida como creble e imparcial. En
definitiva, el evaluador debe ser el proveedor de informacin honesta
en un mar de partidismos (Chelimsky, 1998: 51). Esta idea choca parcialmente con el reciente planteamiento, muy extendido en parte de
la comunidad cientfica, que considera que cierto compromiso partidario del evaluador con un ideal (advocacy evaluation) es inevitable
(Greene, 1997). Este panorama era distinto diez aos antes cuando
Palumbo deca que el dilema poltico con el que se enfrentan los evaluadores es seguir un rumbo entre el reconocimiento de la realidad
poltica de la evaluacin y mantener el simbolismo de la neutralidad
(Palumbo, 1987: 20). Es decir, parece que la comunidad cientfica al
menos parte de ella reconoce en la actualidad que la neutralidad
en evaluacin es prcticamente imposible. En cualquier caso, parece
adecuado seguir el planteamiento de Chelimsky, quien seala que reconocer que el evaluador tiene sus valores y creencias no quiere decir
232
233
234
235
236
237
238
239
Esta atencin a las recomendaciones ha hecho que se hayan desarrollado una serie de orientaciones y sugerencias prcticas para su
elaboracin (Torres, Preskill y Piontek, 1996; Patton, 1997; Chelimsky,
1998), las cuales nos parece importante sealar porque ellas son reflejo de las teoras de la evaluacin que se han ido construyendo con
una importante base prctica (Shadish, Cook y Levinton, 1991). Todas
estas sugerencias denotan la importancia concedida a la elaboracin
de recomendaciones como colofn de los procesos de evaluacin. Al
fin y al cabo, cuando se incluyen recomendaciones en un informe de
240
241
La idea de desarrollar varias opciones puede resultar especialmente interesante. El propio Patton insiste en que algunos decisores
prefieren recibir opciones mltiples que verse abocados a una nica
posibilidad de accin, y en cualquier caso seala la conveniencia de
que, siempre que sea posible, hay que incluir en las recomendaciones
algunas consideraciones sobre los costos y beneficios de seguir dichas
recomendaciones. Tambin Chelimsky seala que, en su experiencia
como responsable de los estudios de evaluacin de la gao (General
Accounting Office), han llegado a la conclusin de que es muy importante medir los costos de las recomendaciones para aumentar la probabilidad de su uso. Para ella, la inclusin de la cuestin de los costos
en el proceso de evaluacin mejora la percepcin de credibilidad del
estudio, ayuda a las evaluaciones a resistir los ataques polticos y aumenta la probabilidad de que los resultados sean utilizados con el
tiempo (Chelimsky, 1998: 47). Estas sugerencias hacen que se d una
mayor importancia a esta fase final de las recomendaciones: no slo
el evaluador puede tener capacidad para hacerlo sino que tiene que
dedicarle especial tiempo, esfuerzos y cuidado (aumentando, por lo
tanto, los costos de los estudios de evaluacin). Esto resalta el papel
del evaluador no slo como metodlogo e investigador, sino como
asesor y consultor.
Otras cuestiones relacionadas con las recomendaciones y que se
encuentran en la literarura (Patton, 1998; Torres, Preskill y Piontek)
son las siguientes:
1] Las recomendaciones deben seguir claramente y deben ser apoyadas por los hallazgos de la evaluacin.
2] El tipo de recomendaciones que van a aparecer en un informe
final es materia de negociacin con los clientes de la evaluacin
(patrocinadores de la evaluacin y agentes crticos stakeholders
implicados en el programa). En realidad se debe negociar la naturaleza y la totalidad del contenido de los informes, una vez que el
propsito de la evaluacin ha sido clarificado y antes de que se recopile la informacin. Las recomendaciones no son una excepcin.
3] Hay que distinguir entre diferentes tipos de recomendaciones.
La cuestin aqu estriba en que las listas largas e indiscriminadas
difuminan el foco de atencin y disminuyen el poder de las recomendaciones cruciales. Patton (1997) sugiere seis formas de diferenciarlas:
242
centrales y secundarias
sumativas y formativas
de aplicacin inmediata/a mediano plazo/a largo plazo
segn a quin van dirigidas: patrocinadores, gestores del programa, profesionales, clientes o participantes
si estn slidamente apoyadas por los datos (y todos los miembros
del equipo de evaluacin estn de acuerdo) o menos slidamente
apoyadas y existe algn disenso respecto a las mismas
si implican una creencia slida sobre que se deba actuar o simplemente pretenden estimular la discusin o hacer sugerencias que
pueden formar parte de la agenda en un futuro.
4] Las recomendaciones deben ser realistas, o mejor dicho, se deben
enfocar hacia acciones bajo el control de los destinatarios de la evaluacin, es decir, sobre lo que puedan hacer algo. En esta misma
lnea, se sugiere ofrecer datos y descripciones que tengan que ver
con los elementos clave del contexto del programa evaluado.
5] Al escribir las recomendaciones, hay que ejercitar la sensibilidad
poltica. Se recomienda ponerse en la piel de los destinatarios de
la evaluacin y trabajar con ellos, de forma anticipada las implicaciones polticas de cada recomendacin.
6] Poner especial cuidado en la redaccin de las recomendaciones,
ya que se pueden diluir en un lenguaje vago y obtuso. Se debe
intentar evitar palabras que confundan o distraigan del mensaje
central.
7] Dedicarle suficiente tiempo a la redaccin de las recomendaciones,
para trabajarlas con los destinatarios y para comprobar su claridad, comprensin, carcter prctico, utilidad y significado. Se insiste en que, a menudo, el problema es que los evaluadores acaban
haciendo las recomendaciones deprisa y corriendo, sin dedicarle el
tiempo suficiente para hacer un buen trabajo.
8] Desarrollar estrategias para que las recomendaciones se tomen en
serio. Se sugiere que el evaluador ayude a los decisores a tomar
decisiones sobre las recomendaciones con, por ejemplo, sesiones
de trabajo que asignen responsabilidades de seguimiento y fechas
tope para la puesta en prctica de dichas recomendaciones.
243
244
245
idea de clasificar y relacionar los cuatro factores anteriormente mencionados (funciones, destinatarios y necesidades de informacin, momento de la poltica y tipo de evaluacin) puede ser especialmente
clarificadora y fructfera para analizar los procesos de utilizacin de
las evaluaciones.
Adems de a la diferenciacin y clasificacin de los posibles usos de
la evaluacin, la preocupacin por la utilizacin tambin ha llevado
a la identificacin de elementos prcticos facilitadores de dicha utilizacin en los procesos de evaluacin. As, la literatura sobre uso y utilizacin de la evaluacin (Alkin, 1985; Joint Committee, 1994; Patton,
1985, 1997; Shadish, Cook y Levinton, 1991) coincide en que los evaluadores deben:
tener en cuenta el contexto especfico de la evaluacin
identificar los destinatarios (audiencias) de la evaluacin e implicarles (especialmente a clientes y agentes crticos stakeholders)
en el diseo de la evaluacin
mantener un fuerte y frecuente contacto y aportar resultados intermedios a lo largo del proceso de evaluacin
ajustar los informes a las necesidades de los destinatarios, usando
una variedad de formatos, incluyendo informes cortos y resmenes, presentaciones orales y oportunidades para la interaccin
presentar ilustraciones reales y concretas de los hallazgos
presentar los resultados con una temporalidad adecuada a una variedad de destinatarios
usar un lenguaje simple y claro
Efectivamente, una respuesta tpica a esta preocupacin ha sido la
atencin prestada a los procesos de comunicacin de los resultados de
evaluacin, incluyendo la importancia de la elaboracin de un buen
informe, legible y claro, y su seguimiento y de otras formas alternativas de comunicacin. Un buen exponente de esta preocupacin
por el elemento comunicativo es la obra de Torres, Preskill y Piontek
(1996). Una consecuencia de esto es el aumento de responsabilidades
en el papel del evaluador: la responsabilidad del evaluador no acaba
con la entrega del informe, sino que tambin tiene responsabilidades
de comunicacin, difusin y seguimiento de dicho informe. De hecho,
tiene todo el sentido esta preocupacin con los procesos de comunicacin ya que, segn demuestra una encuesta realizada a evaluadores
246
247
248
humanos, y su utilidad puede ir ms all del programa o poltica concreta que evala, no slo respecto al mbito o campo que toque, sino
tambin respecto a los propios procesos de evaluacin. Cada proceso
de evaluacin puede y debe contribuir y ofrecer una informacin til
sobre cmo evaluar determinadas polticas en determinados contextos, qu enfoques, perspectivas, metodologas y tcnicas han sido
adecuadas, etctera.
En definitiva, se puede pensar en el concepto de uso de la evaluacin
en un sentido amplio. A este respecto, nos parece clara la definicin
que hacen Torres, Preskill y Piontek (1996: 2). Para ellas, el uso en
evaluacin es cualquier consecuencia o resultado de una evaluacin
e incluye:
a] Los efectos de los mismos procesos de evaluacin, como una mayor
comprensin y/o apreciacin de la evaluacin.
b] Una mayor comprensin o nuevas perspectivas en una situacin,
programa u organizacin.
c] Las acciones que se llevan a cabo como resultado de una evaluacin.
En la misma lnea, para Carol H. Weiss (1998b), bajo esta visin
ampliada sobre los usos de la evaluacin, se puede hablar de cuatro
tipos de uso:
1] Uso instrumental: se usan los resultados para tomar decisiones.
2] Uso conceptual: se utiliza la evaluacin para cambiar la comprensin de lo que el programa o poltica es, hace o pretende.
3] Uso persuasivo: la evaluacin sirve para movilizar apoyos para conseguir cambios necesitados en el programa.
4] Influencia en otras instituciones y eventos, ms all del programa
o poltica evaluada. Las conclusiones de una evaluacin pueden influir en las redes de poltica (policy networks) y en los profesionales,
alterar paradigmas de poltica, y producir cambios en la agenda
poltica.
De esta manera, para Weiss (1998b: 27), adems de utilizarse los resultados, hallazgos y recomendaciones de un estudio de evaluacin, se
usan las ideas y generalizaciones extradas de la evaluacin, el mismo
hecho de evaluar (ya que la gente en torno de un programa se hace
249
7
Este efecto se describi por primera vez en 1939 por dos investigadores (Roethlisberger y Dickson, 39) que pretendan hallar la intensidad de luz ptima para la productividad de unas obreras que trabajaban con piezas elctricas pequeas, en la planta
de la Western Electric Company en Hawthorne. Constataron que cualquier cambio en
la intensidad de la luz produca un aumento de la productividad. Concluyeron que el
hecho de pertenecer al grupo experimental y ser observadas significaba una seal de
atencin personalizada de la empresa hacia ellas o hacia su bienestar personal.
250
bibliografa
Aguilar Villanueva, L.F. (ed.) (1996), El estudio de las polticas pblicas, Coleccin Antologas de Poltica Pblica, Mxico, Miguel ngel Porra.
Aguilar Villanueva, L.F. (1996), Estudio introductorio 1a., en L.F.A. Villanueva (ed.), El estudio de las polticas pblicas, Coleccin Antologas de Poltica Pblica, Mxico, Miguel ngel Porra, pp. 15-74.
(1997), Estudio introductorio 2a., en L.F.A. Villanueva (ed.), La hechura de las polticas pblicas, Mxico, Miguel ngel Porra, pp. 15-84.
(1996), Estudio introductorio 3a., en L.F.A. Villanueva (ed.), Problemas
pblicos y agenda de gobierno, Mxico, Miguel ngel Porra, pp. 15-72.
(1996), Estudio introductorio 4a., en L.F.A. Villanueva (ed.), La implementacin de las polticas, Mxico, Miguel ngel Porra, pp. 15-92.
(ed.) (1996), La hechura de las polticas pblicas, Coleccin Antologas de
Poltica Pblica, Mxico, Miguel ngel Porra.
(ed.) (1996), La implementacin de las polticas, Coleccin Antologas de
Poltica Pblica, Mxico, Miguel ngel Porra.
(ed. ) (1996), Problemas pblicos y agenda de gobierno, Coleccin Antologas de Poltica Pblica, Mxico, Miguel ngel Porra.
Alkin, M.C. (1985), A Guide for Evaluation Decision Makers, Beverly Hills, C.A.,
Sage.
Alvira, F. (1991), Metodologa de la evaluacin de programas, Madrid, cis.
Ballart, X. (1993), Evaluation de polticas. Marco conceptual y organizacin
institucional, Revista de Estudios Polticos, 80 (abril-junio 1993), pp. 199224.
Ban, R. (1997), Los enfoques para el estudio de la administracin pblica:
orgenes y tendencias actuales, en R. Ban y E. Carrillo (eds.), La nueva
administracin pblica, Madrid, Alianza Universidad, pp. 17-50.
y E. Carrillo (ed.) (1997), La nueva Administracin Pblica, Madrid,
Alianza Universidad.
Chelimsky, E. (ed.) (1985), Program Evaluation: Patters and Directions,
Washington, D.C., American Society for Public Administration.
(1987), What We Have Learned About the Politics Program Evaluation, Educational Evaluation and Policy Analysis, 9, 1992: 213.
(1998), The Role of Experience in Formulating Theories of Evaluation
Practice, American Journal of Evaluation, 19(1): 35-55.
Cook, T.D. (1997), Lessons Learned in Evaluation Over the Past 25 Years,
en E. Chelimsky y W.R. Shadish (ed.), Evaluation for the 21st Century. A Handbook, Thousand Oaks, Sage, pp. 30-52.
Corday, D.S. y W. Lipsey (1987), Evaluation Studies for 1986: Program Evaluation and Program Research, Evaluation Studies Review Annual, 11(1986):
17-44.
Dunn, W.N. (1981), Public Policy Analysis An Introduction, Englewood Cliffs,
N.J., Prentice-Hall.
251
252