CIDE CLEAR-De Las Recomendaciones A Las Acciones PDF

De las recomendaciones
a las acciones:
La experiencia del
Premio 2011
Programas Federales
C
Proceso de Evaluacin
Guillermo M. Cejudo
Claudia Maldonado Trujillo (editores)
ndice
7 Prlogo
Guillermo M. Cejudo y Javier Gonzlez Gmez
11 Sobre el uso de las evaluaciones

De las recomendaciones a las acciones: El uso de la
evaluacin en la mejora del desempeo del gobierno.
Guillermo M. Cejudo
29 La evaluacin como instrumento de cambio

Cmo se utilizan las evaluaciones en los
programas gubernamentales en Mxico?
M J M
67 Anlisis de las experiencias reconocidas

El programa SICALIDAD: Ejemplo de gestin pblica
anclada en la evaluacin para la mejora continua.
Claudia Maldonado Trujillo
117 Programa de Atencin a la Demanda

de Educacin para Adultos y Modelo de
Educacin para la Vida y el Trabajo (INEA)
Erndira Avendao y Mariana Garca
133 Monitoreo y evaluacin en
S E N
El uso de informacin en el Programa Escuelas de Calidad,
el Programa Escuelas de Tiempo Completo y el Programa
de la Atencin a la Demanda de Educacin de Adultos
y Modelo de Educacin para la Vida y el Trabajo
Sergio Crdenas Denham
151 Mejorando la expedicin de

pasaportes y los servicios consulares
Ignacio Lozano
A
como herramientas de cambio: el programa
de becas de posgrado del CONACYT.
Rodrigo Velzquez Lpez Velarde
211 Prorbol, FAPPA, JERFT y Promusac: la
agrcola en Mxico: balance de resultados

Brasil Acosta
227 Balance general de la experiencia

P
Prlogo
Guillermo M. Cejudo y Javier Gonzlez Gmez
En pocos aos, el Estado mexicano ha ido avanzando en la construccin

de un complejo sistema de evaluacin. Desde la Constitucin hasta los
programas operativos anuales, existen ya normas que buscan que la
evaluacin se vuelva un componente decisivo en el trabajo administrativo.
Pese a ello, todava existen desafos enormes respecto al diseo de las
evaluaciones, la calidad de los resultados, y la utilizacin que se pueda
hacer de ellas en la gestin de los programas, as como en las decisiones
presupuestarias. Este libro reconoce la necesidad de fortalecer el proceso
de evaluacin en las polticas pblicas, y en l se recuperan las experiencias
inalistas en un premio convocado para incidir en uno de los retos centrales:
la atencin que los programas federales dan a las recomendaciones de las
evaluaciones externas, y su conversin en acciones concretas que mejoren
los resultados de cada programa.
La historia de este libro arranca en febrero de 2011, cuando
la Secretara de la Funcin Pblica, en colaboracin con el Centro de
Investigacin y Docencia Econmicas (CIDE) y la asociacin civil Mxico
Evala, convoc al Premio 2011 Programas Federales Comprometidos
Programas Federales Comprometidos con el Proceso de Evaluacin | 7

con el Proceso de Evaluacin, con el propsito de reconocer a los
programas federales que hubieran implementado las acciones de mejora
ms relevantes para sus beneiciarios, derivadas de los resultados de un
proceso de evaluacin. A esta convocatoria se inscribieron 14 programas
correspondientes a 8 instituciones pblicas del gobierno federal. Despus
de un proceso de valoracin, en marzo de 2011, el Comit Evaluador
--integrado por miembros de las instituciones convocantes-- seleccion a
10 programas para continuar en el concurso.
En este premio, vale la pena enfatizarlo, no se pretenda evaluar a
las dependencias ni a los programas. Tampoco se valoraba la calidad de las
evaluaciones o el desempeo relejado en los indicadores o en la experiencia
de los beneiciarios. El objetivo era ms modesto, pero crucial: identiicar
el compromiso de los programas para atender las recomendaciones de las
evaluaciones en 2011.
La metodologa utilizada para el anlisis de los programas se centr
en dos aspectos fundamentales. En primer lugar, se valor si los programas
seleccionaron los hallazgos con implicaciones prcticas factibles y con
potencial de mejorar el desempeo y los resultados del programa. En
segundo lugar, se valor el diseo de acciones de mejora que, con base en los
hallazgos de las evaluaciones, condujeran a mejores procesos de gestin y a un
mejor desempeo del programa. Adems, se buscaba valorar el compromiso
asumido con la utilizacin de la evaluacin para mejorar el programa,
mismo que no acaba con el cumplimiento de trmites administrativos, sino
que requiere de una adecuada estimacin de las implicaciones organizativas
de las acciones de mejora (qu rutinas, procesos, actitudes, etc. habrn de
cambiar para que dichas acciones puedan tener el resultado esperado), as
como de un trabajo directivo encaminado a implementar esa estrategia
para asegurar que las acciones de mejora se realicen conforme a lo previsto.
Ms all de reconocer a programas concretos algo que se hizo en
la ceremonia de premiacin en septiembre pasado el propsito central
del Premio 2011 fue el de incentivar a las dependencias y entidades que
operan programas federales para usar los hallazgos y las recomendaciones
de las evaluaciones, tanto externas como de fuentes internas, con miras
a mejorar la operacin misma de los programas y el mejor uso de los
recursos. Este libro busca contribuir tambin a este objetivo al presentar las
experiencias de los programas inalistas participantes en el Premio 2011.
Uno de los resultados ms importantes de esta iniciativa es haber
podido comprobar que es posible orientar la evaluacin hacia la mejora, sin
simulaciones, con base en el compromiso decidido y la voluntad de cambio
de los responsables de los programas. Otro hallazgo relevante de este
concurso fue que las evaluaciones son sin duda tomadas en consideracin
por los programas, y sus recomendaciones, cuando son utilizadas, tienen
gran potencial para mejorar el desempeo de los programas.
8 | La experiencia del Premio 2011

La utilizacin de las evaluaciones es uno de los engranajes
necesarios para que la apuesta que el Estado mexicano ha hecho para
construir un sistema de evaluacin se realice. Este libro busca contribuir
a este propsito, al mostrar tanto experiencias de utilizacin, como los
retos que se enfrentan y las oportunidades para aprovechar la informacin
derivada de las evaluaciones. Tambin busca avanzar en una agenda de
investigacin ms soisticada en materia de evaluacin, que de cuenta de
las prcticas y la gestin que, de manera cotidiana, se desarrollan en las
oicinas gubernamentales en torno a las acciones de evaluacin.

De las recomendaciones a las acciones:
El uso de la evaluacin en la mejora
del desempeo del gobierno
Guillermo M. Cejudo
La construccin de un sistema de evaluacin de las polticas pblicas en

Mxico es un proceso inacabado, aunque con avances innegables.1 En pocos
aos, el pas ha consolidado en el mbito federal un complejo entramado
de normas y de prcticas en materia de evaluacin de polticas pblicas. Lo
que en su momento era una prctica exitosa, pero aislada (la evaluacin de
Progresa-Oportunidades, por ejemplo) se ha convertido, paulatinamente, en
una prctica cotidiana en los programas federales. Las disposiciones sobre
monitoreo y evaluacin en la Ley General de Desarrollo Social de 2004, la
creacin del Consejo Nacional de Evaluacin de la Poltica Social (CONEVAL),
la Ley de Federal de Presupuesto y Responsabilidad Hacendaria de 2006
y el Sistema de Evaluacin del Desempeo (SED) entretejen una serie de
1 John Scott, Evaluacin de polticas y programas pblicos: de las evaluaciones a las polticas.
Mxico, Centro de Investigacin y Docencia Econmicas, DTE 444, 2008; Manuel F. Castro,
et al, El Sistema de Monitoreo y evaluacin de Mxico: Un salto del nivel sectorial al nacional,
Independent Evaluation Group (IEG), Serie de documentos de trabajo DCE, Nm. 20, Washington,
D.C., Banco Mundial, 2009; Claudia Maldonado Trujillo, Evaluacin de programas sociales
en Mxico. Relexiones sobre un sistema emergente, Buen Gobierno, Nm. 7, 2009.

obligaciones, procesos y rutinas que, no sin diicultades y ciertas lgicas
contrapuestas, intentan situar la evaluacin en el centro de las acciones del
gobierno, para generar una orientacin a resultados.
Los resultados de la operacin de este sistema son evidentes: en 2011,
el Programa anual de evaluacin --el documento en el que CONEVAL y las
Secretaras de Hacienda y Crdito Pblico y de Funcin Pblica establecen
las evaluaciones a realizar cada ao, prevea 189 evaluaciones (12 de
diseo, 2 de procesos, 173 de consistencia y resultados, y 2 comprensivas
del gasto). La atencin centrada en los programas sociales se ha ampliado
a otros programas del gobierno federal (relacionados con infraestructura,
energa, seguridad pblica, entre otros).2
Antes de la discusin presupuestaria, la Cmara de Diputados
recibe informacin detallada (y con varios niveles de agregacin) sobre el
desempeo de los programas pblicos y sobre la conexin entre ellos y las
carencias sociales. CONEVAL emite un informe sobre la evaluacin de la
poltica social.3 Hay un debate pblico --an reducido, pero inluyente--
derivado de los hallazgos de las evaluaciones;4 y hay evaluadores soisticados
en las instituciones de educacin superior, los think tanks y las irmas
especializadas de consultora en poltica pblica, as como organizaciones
de la sociedad civil que prestan atencin a las evaluaciones, tanto en sus
procesos como sus resultados.5
Hay, en pocas palabras, un sistema en pie, con un marco normativo,
instituciones con un rol deinido (aunque an con zonas grises en
la distribucin de competencias entre Hacienda, Funcin Pblica y
CONEVAL) oicinas de evaluacin en las secretaras de la administracin
pblica federal, rutinas y procedimientos para contratar evaluaciones, y
mecanismos incipientes para darle salida pblica a los resultados de las
evaluaciones.6
No obstante, si bien es innegable la importancia de que el sistema
de evaluacin tenga repercusiones en el debate pblico sobre el desempeo
gubernamental y en las discusiones en el legislativo sobre la asignacin
del presupuesto pblico, hay un tercer efecto de las evaluaciones: el uso
de sus resultados para mejorar el diseo o la operacin de los programas
2 Secretara de la Funcin Pblica (SFP), Programa Anual de Evaluacin, 2011.

3Consejo Nacional de la Poltica de Desarrollo Social, 2011. En lnea: http://www.coneval.gob.mx/
cmsconeval/rw/pages/evaluacion/informe_de_evaluacion_politica_desarrollo_social_2011.es.do
4Vase, por ejemplo: Jonathan Fox y Libby Haight (Coords.), Subsidios para la
desigualdad: Las polticas pblicas de maz en Mxico a partir del libre comercio, Mxico:
Woodrow Wilson International Center for Scholars/CIDE/US Santa Cruz, 2010.
5 Notablemente, Mxico Evala y Gesoc.
6Javier Gonzlez Gmez, La evaluacin de la actividad gubernamental: premisas bsicas y algunas
anotaciones sobre la experiencia mexicana en Jos Luis Mndez (Coord.), Los grandes problemas
de Mxico, Vol. XIII, Polticas Pblicas, Mxico, El Colegio de Mxico, 2010, pp. 143- 178.
12 | De las recomendaciones a las acciones: la experiencia del Premio 2011

de gobierno.7 Una evaluacin que no genera informacin relevante para
mejorar el contenido o los procesos de una poltica pblica es probablemente
una evaluacin sin sentido. Al mismo tiempo, la mera existencia de
recomendaciones puntuales derivadas de una evaluacin no signiica que
sern procesadas adecuadamente por los operadores del programa. Existe
una larga serie de obstculos para convertir los resultados de una evaluacin
en acciones de mejora en los programas de gobierno.
Precisamente por ello, en el sistema de evaluacin del gobierno
federal, se ha instituido un mecanismo para el seguimiento a los aspectos
susceptibles de mejora derivados de informes y evaluaciones a los programas
presupuestarios de la administracin pblica federal, coordinado por las
secretaras de Hacienda y Crdito Pblico, Funcin Pblica y CONEVAL.
El propsito de este mecanismo es que los programas hagan efectivamente
uso de los resultados de la evaluacin. El instrumento para lograrlo es
la rutinizacin de la atencin a las recomendaciones de la evaluacin.
Esto, sin embargo, es un arma de dos ilos, pues as como la rutinizacin
puede entenderse como la internalizacin de la lgica de la evaluacin en
las organizaciones pblicas y en el comportamiento de los funcionarios,
puede signiicar tambin la apropiacin de los procedimientos, pero no
de la sustancia. Es decir, existe el riesgo de que los programas sigan los
procedimientos para cumplir con las disposiciones que les obligan a
atender las recomendaciones de las evaluaciones, pero que no hagan un
esfuerzo real por convertir esas recomendaciones en acciones que deriven
en mejores resultados del programa.8
En vista de este riesgo, la Secretara de la Funcin Pblica invit
al CIDE y a la organizacin Mxico Evala a convocar a un Premio para
aquellos programas comprometidos con el proceso de evaluacin, que es
el origen de este libro. El propsito del premio fue valorar el compromiso
de los programas federales con el uso de la evaluacin. El ejercicio no
buscaba evaluar el funcionamiento de los programas, ni medir la calidad
de las evaluaciones. Su propsito era identiicar el uso inteligente de
los hallazgos de las evaluaciones, lo que signiicaba, de acuerdo con la
metodologa diseada para tal propsito, seleccionar hallazgos que tuvieran
implicaciones prcticas factibles y con potencial de mejorar el desempeo
y los resultados del programa y disear acciones de mejora que, con base
en los hallazgos de las evaluaciones, condujeran a mejores procesos de
gestin y mayores resultados derivados del programa. Tras seleccionar diez
inalistas entre los programas postulados por las dependencias federales,
se hizo meses despus una veriicacin del grado de implementacin de las
acciones de mejora comprometidas por los programas participantes.
7 Vese el captulo de Mara Jos Montiel, en este volumen.

8 Peter Dahler-Larsen, Surviving the routinization of evaluation: he administrative use of evaluations
in Danish municipalities en Administration and Society, Vol. 32, No. 1, 2000, pp. 70-92.

Cada una de las experiencias inalistas est analizada en los captulos
de este volumen. En este primer captulo, lo que se busca, antes de presentar
las diez experiencias, es enmarcarlas en la discusin contempornea sobre la
utilizacin de las evaluaciones y, principalmente, sobre los obstculos para
convertir recomendaciones de una evaluacin en una mejora sustantiva de
una poltica pblica.
En las siguientes pginas, se presenta una discusin sobre la
utilizacin de las evaluaciones y una revisin de los principales problemas en
el uso de los hallazgos de una evaluacin. Tras ello, se presenta un resumen
de las experiencias analizadas en este libro, y se cierra con una relexin
sobre las estrategias para aumentar el uso sustantivo de las evaluaciones.
Los usos de la evaluacin

Un sistema de evaluacin y monitoreo puede tener muchos propsitos,
vinculados con procesos internos del gobierno (el control presupuestal,
el desarrollo de mecanismos de seguimiento a la gestin, el control del
desempeo de funcionarios o agencias) o externos a l (las decisiones
legislativas sobre asignacin del gasto, la iscalizacin por parte de entidades
externas, la rendicin de cuentas). En todos los casos, sin embargo, existe
un denominador comn: la intencin de que el monitoreo y la evaluacin
sirvan para mejorar el desempeo de los programas. Es sta la preocupacin
detrs de la abundante literatura sobre uso o utilizacin de las evaluaciones,
que se plantea diversas preguntas: cmo se utilizan las evaluaciones? Para
qu se utilizan? Qu hace que una evaluacin tenga ms probabilidades de
ser utilizada para mejorar el desempeo de una poltica pblica?
Una evaluacin puede tener muchos usos. Como explica Carol
Weiss: muchos aspectos de una evaluacin pueden ser usados: ideas y
percepciones, seales que se envan por el solo hecho de evaluar, los procesos
de aprendizaje al cooperar con la evaluacin, la seleccin de indicadores
de resultados que anuncian un xito, incluso el diseo del estudio. Uso
abarca un amplio espectro de efectos por mltiples tipos de usuario.9 Esta
multiplicidad de usos y usuarios hace que una misma evaluacin pueda
responder a distintas lgicas (e, inevitablemente) que deba responder a
varias preguntas (incluso cuando no son planteadas explcitamente en el
diseo de una evaluacin).
En el caso del gobierno federal mexicano, las evaluaciones se han
utilizado en varias de estas formas: para aianzar el programa Progresa-
Oportunidades frente a cambios en los gobiernos; para incidir en las
negociaciones presupuestales; para inluir en el debate pblico sobre
las decisiones de gasto, etc. En este libro se pone atencin en una forma
9Carol H. Weiss, Have we learned anything new about the use of evaluation?,
American Journal of Evaluation, Vol. 19, Nm.1, 1998, p.21.

especica de utilizar las evaluaciones: la conversin de los hallazgos de una
evaluacin en acciones de mejora que contribuyan a los resultados de un
programa. ste es quiz el uso menos llamativo, pero de mayor potencial:
las evaluaciones son ejercicios que desmenuzan la lgica causal de los
programas,10 identiican fallas en la gestin, problemas en los indicadores de
resultados, desafos de implementacin o conceptualizaciones equivocadas
de los beneiciarios. Una evaluacin difcilmente generar conclusiones
contundentes sobre si debe aumentarse o reducirse el presupuesto
asignado a determinada poltica, pero s puede identiicar oportunidades de
mejora concretas y realizables. Ahora bien, no todas las mejoras potenciales
identiicadas se convertirn en decisiones y acciones de los programas de
gobierno, pues, para ello, debe haber un proceso de atencin a los hallazgos
de las evaluaciones, que es precisamente el tema de este libro: cmo
actores concretos asimilan los hallazgos de una evaluacin; cmo toman
decisiones para responder a las recomendaciones; cmo se implementan
esas decisiones, y qu consecuencias tienen en los resultados del programa.
En pocas palabras, los hallazgos de una evaluacin, para incidir en los
resultados de un programa, tienen que ser (como se muestra en la igura
1) convertidos en recomendaciones aplicables; estas recomendaciones, a su
vez, deben ser incorporadas en la toma de decisiones y dichas decisiones
han de derivar en acciones concretas. Finalmente, dichas acciones, si la
lgica causal que las motiva es correcta y la implementacin adecuada,
llevarn a mejores resultados en el programa.
Figura 1
Hallazgos Recomendaciones Decisiones
Resultados Acciones
Fuente: Elaboracin propia.
Esta puede parecer una vinculacin simple. No obstante, la

conexin entre una evaluacin que identiica oportunidades de mejora y las
acciones que los programas hacen para atender sus recomendaciones no es
automtica. No existe un lujo directo entre las sugerencias de un evaluador
y las decisiones de un funcionario. Si bien cada hallazgo de una evaluacin
tiene el potencial de convertirse en una accin de mejora, existen numerosos
obstculos para que ello ocurra, tanto del lado de la evaluacin como del
programa. Cada uno de los pasos en esta relacin supone un ejercicio de
10 Fernando Corts, et al., Mtodo cientico y poltica social. A propsito de las evaluaciones
cualitativas de los programas sociales. Mxico, El Colegio de Mxico, 2008.

mediacin, cuya efectividad depender de diferentes atributos: la capacidad
del evaluador para identiicar oportunidades de mejora en el desempeo
de un programa; el conocimiento detallado de la operacin del programa
por parte del evaluador para derivar recomendaciones relevantes de esos
hallazgos; la soisticacin tcnica, el inters y la capacidad administrativa
de los decisores para entender y procesar esos hallazgos para convertirlos
en decisiones; la capacidad administrativa para implementar efectivamente
dichas decisiones de acuerdo con los criterios y procedimientos deinidos; y
la solidez de la lgica causal (y la inexistencia de perturbaciones externas)
que permitan llegar a los resultados previstos. Como la literatura sobre toma
de decisiones11 e implementacin de polticas pblicas12 ha demostrado, en
cada paso en esta cadena pueden haber desviaciones, retrasos y fallas.
Los obstculos al uso de las evaluaciones

Como explica Scott Bailey en su revisin de la discusin sobre uso de la
evaluacin la literatura internacional identiica un conjunto de factores
que afecta la utilizacin. Estos factores pueden ser categorizados en dos
grupos: (i) caractersticas de la evaluacin --la forma en que la evaluacin
es realizada; y (ii) caractersticas del espacio organizacional donde los
hallazgos han de ser utilizados --factores dentro de la organizacin en
las que se realiza la evaluacin.13 En efecto, la revisin que hace Bailey
se concentra en atributos de la evaluacin (su relevancia, credibilidad,
calidad y los propios hallazgos, as como las prcticas de comunicacin del
evaluador y la oportunidad de los reportes) y en atributos organizacionales
(compromiso, necesidades de informacin, informacin en competencia,
caractersticas personales, clima organizacional, clima poltico y clima
inanciero). Estos atributos genricos son tiles para encontrar las posibles
fuentes de obstculos, pero no necesariamente son todos relevantes para el
caso mexicano, debido a dos diferencias especicas. En primer lugar, hay un
sistema relativamente estandarizado de evaluaciones en el gobierno federal,
donde, por ejemplo, no se encontrarn muchas variaciones en los tiempos
de las evaluaciones (al ser deinidas por un Programa Anual de Evaluacin
centralizado), y los propios formatos de las evaluaciones han alcanzado
una homogeneidad notable (aunque no necesariamente deseable). En
segundo lugar, el entorno institucional promueve que los funcionarios
11 Herbert Simon, El comportamiento administrativo, Madrid, Aguilar, 1963;
Charles E. Lindblom, La ciencia de salir del paso , En Luis F. Aguilar (Ed.), La

hechura de las polticas, Mxico, Miguel ngel Porra, 1996, pp. 201-225.
12 Eugene Bardach, he Implementation Game, Cambrige, MIT Press, 1979; Merilee S. Grindle,
La brecha de la implementacin, en Freddy Mariez Navarro y Vidal Garza Cant (coords.),

Poltica pblica y democracia en Amrica Latina: Del anlisis a la implementacin, Mxico, Miguel
ngel Porra, 2009, pp. 33-51; Jefrey L. Pressman y Aaron Wildavsky, Implementation: How great
expectations in Washington are dashed in Oakland, Los ngeles, Berkeley University Press, 1984.
13 John Scott Bailey, Maximizing the Use of Evaluation Findings, Asian Development Bank, 2008, p.2.

pongan ms atencin en cumplir con el tiempo y la forma de los procesos
administrativos que con la generacin de valor pblico. En consecuencia,
las oicinas de evaluaciones y los operadores del programa suelen estar
ms interesados en que las evaluaciones arrojen datos positivos sobre el
desempeo del programa, que en generar lecciones tiles para su mejora.14
Estas caractersticas del sistema de evaluacin mexicano (en el
gobierno federal) dan lugar a retos peculiares para convertir los resultados
de las evaluaciones en acciones de mejora. El primer conjunto de obstculos
se deriva de la calidad de la evaluacin (que, a su vez, es funcin de la calidad
de los procedimientos para contratar la evaluacin, de la evaluabilidad del
programa, de la calidad15 y coniabilidad de la informacin generada para
realizar la evaluacin, y de la solidez tcnica y metodolgica del evaluador).
La calidad de las evaluaciones no est garantizada de antemano. Para que una
evaluacin sea de calidad, es necesario que haya un proceso de contratacin
que permita distinguir buenos evaluadores de los malos. En Mxico el
mercado de evaluacin es an incipiente: muchos de los evaluadores son
relativamente nuevos en el trabajo de evaluacin, no existen suicientes
seales que permitan conocer la calidad de las evaluaciones, ni una instancia
que caliique la solidez de los evaluadores o una Asociacin de Evaluadores
que salvaguarde la reputacin de sus miembros. An ms: los procesos de
contratacin de evaluadores externos estn atados a los procedimientos de
adquisiciones del gobierno federal, que son buenos para identiicar buen
precio, pero no necesariamente buena calidad. Finalmente, los procesos
de control interno y auditora sobre la contratacin de las evaluaciones
estn, de nuevo, concentrados en los tiempos y los procedimientos, no en
su calidad.
Por todo ello, existen desafos para la utilizacin de las evaluaciones.
En primer lugar, para que puedan convertirse en mejoras reales en el
diseo, la operacin y los resultados de un programa, los hallazgos deben
ser pertinentes, es decir, deben estar conectados con la lgica causal de la
poltica pblica, y no slo aludir aspectos secundarios que, si bien pueden
ser problemticos, no sean relevantes para los propsitos de la poltica
pblica.
En segundo trmino, las recomendaciones derivadas de una
evaluacin han de ser factibles. La literatura sobre factibilidad de poltica
pblica que alerta sobre la importancia de que el diseo de una poltica
pblica se haga cargo de inevitables desafos polticos, administrativos,
14 Mauricio Merino, Sergio Lpez Aylln y Guillermo Cejudo (Coords.), La estructura
de la Rendicin de Cuentas en Mxico, Mxico, UNAM-IIJ, CIDE, 2010.

15 Joseph S. Wholey Exploratory Evaluation en Handbook of practical program evaluation, Joseph S.
Wholey, Harry P. Hatry y Kathryn E. Newcomber (Eds.), E.U.A., John Wiley & Sons, 2010, pp. 81-99.

presupuestales y legales,16 aplica por igual a las recomendaciones de una
evaluacin: una recomendacin que implica decisiones polticas poco
viables, capacidades administrativas inexistentes, recursos presupuestales
no disponibles, o modiicaciones legales poco probables no pasar de ser
una buena idea, que no llegar a una mejora en el programa.
Un tercer atributo deseable es la claridad y precisin en las
recomendaciones. Existe un conjunto de recomendaciones genricas que
aplican casi a cualquier programa (aumentar el nmero de beneiciarios,
deinir con claridad la poblacin objetivo, asegurar la oportunidad en el
lujo de la informacin); para que sean tiles tendran que ser especicas
al programa, con recomendaciones puntuales que deinan no slo los
propsitos, sino los instrumentos que podran utilizarse. En el mismo
sentido, en cuarto lugar, es necesario, para fomentar la utilizacide las
evaluaciones, que haya mayor claridad en los responsables de atender las
recomendaciones: que las recomendaciones del evaluador no sean verbos
en ininitivo, sino con un sujeto identiicable. Esto ltimo, desde luego,
implica un conocimiento soisticado acerca de la operacin del programa y
de la organizacin pblica a cargo de su implementacin.
El segundo conjunto de desafos se compone de los relacionados con
la capacidad de las organizaciones a cargo de atender las recomendaciones.
En primer lugar, existe el desafo de convertir la evaluacin en un proceso
internalizado en la gestin de las oicinas pblicas y no slo en un tema
secundario que debe atenderse por obligacin o por presin externa.
Como explica Gonzlez, esto no se ha logrado an, pues los instrumentos
de evaluacin que se han implementado en Mxico en los ltimos aos
no han venido acompaados de otro tipo de estrategias (sistemas de
incentivos, ordenamientos legales ad hoc, etc.) que faciliten el proceso de
aprendizaje organizacional y poltico, que a su vez aseguren el uso de la
informacin generada en las evaluaciones por los principales agentes. En
el mbito organizacional se observa cmo persiste en las dependencias
gubernamentales una idea de la evaluacin como un tema de control legal y
de poca utilidad prctica.17
Desde luego, como muestran las experiencias analizadas en este libro,
esta generalizacin oculta prcticas y actitudes que s promueven la cultura
de la evaluacin, pero que no necesariamente estn institucionalizadas. Son
ejemplos de que puede reaccionarse de manera inteligente y comprometida
con las evaluaciones, y no solamente atenderlas para cumplir los trmites
y llenar los formatos exigidos. Esto, desde luego, supone romper muchos
de los patrones en la burocracia federal. Para empezar, hay que revertir la
16 Arnold J. Meltsner, La factibilidad poltica y el anlisis de polticas, En Luis F. Aguilar
(Ed.), La hechura de las polticas pblicas, Mxico, Miguel ngel Porra, 1996, pp. 367-392;
Giandomenico Majone, La factibilidad de las polticas sociales, En Luis F. Aguilar (Ed.),
La hechura de las polticas pblicas, Mxico, Miguel ngel Porra, 1996, pp. 393-432.
17 Javier Gonzlez, Op. Cit., p. 171.

lgica de control, incluso dentro del sistema de evaluacin; como explica
Zabaleta: los mismos entes coordinadores de la estrategia de evaluacin
federal (en este caso la SHCP y la SFP [y podra aadirse a la Auditora
Superior de la Federacin]) han sido las secretaras que tradicionalmente
han reproducido los esquemas de control presupuestal y legal-jerrquico.
Buena porcin de las estructuras organizativas de estas dos ltimas
dependencias estn orientadas al control ms que a la promocin del buen
desempeo organizacional.18
En segundo trmino, las organizaciones a cargo de la implementacin
de las acciones de mejora deben contar la capacidad de realizar los cambios
en los programas. Este es quiz uno de los principales cuellos de botella en
el proceso de utilizacin de las evaluaciones: puede ser que exista voluntad
de realizar las adecuaciones sugeridas por los evaluadores, pero no siempre
existe la concurrencia de capacidad de decisin que los operadores del
programa puedan efectivamente deinir las caractersticas del diseo o las
reglas de ejecucin del programa a su cargo--, capacidad administrativa
que la organizacin o el conjunto de organizaciones a cargo de implementar
el programa cuente con el personal, los procesos y los instrumentos de
gestin necesarios para realizar las mejoras propuestas en las evaluaciones
y disponibilidad presupuestal que se cuente con los recursos inancieros
para asumir los costos asociados a las recomendaciones de mejora y para
hacerlos sostenibles en el tiempo. La ausencia de uno de estos tres atributos
diicultar que, pese a la intencin de hacerlo, las oicinas de operacin de
los programas puedan realizar las acciones derivadas de las evaluaciones.
Precisamente por ello, es indispensable distinguir los distintos
destinatarios de las recomendaciones de la evaluacin. Hay recomendaciones
que no se reieren a ajustes menores a la operacin, sino a modiicaciones
sustantivas a la lgica causal del programa, a los mecanismos de control
y vigilancia, a sus beneiciarios o a los montos presupuestales y reglas
de gastos asociadas. As, en tercer lugar, es claro que no siempre son los
operadores del programa quienes estn en posicin de decidir y actuar para
responder a las recomendaciones de los evaluadores. Son los funcionarios
en puestos directivos, las dependencias coordinadoras como las secretaras
de Hacienda o Funcin Pblica o los legisladores quienes tendran la
responsabilidad de reaccionar a los hallazgos de las evaluaciones. Hasta
ahora, como se seala en el captulo siguiente, ha habido avances notorios
en la incorporacin de hallazgos en la operacin del programa dentro de los
espacios de accin de las organizaciones operadoras, pero an queda un largo
trecho hacia la institucionalizacin de la atencin a las evaluaciones desde
otros mbitos. En suma, se trata de lograr que los gobiernos reaccionen
efectivamente cuando las recomendaciones de los evaluadores se reieren
18 Dionisio Zabaleta Una mirada institucional a la poltica federal de evaluacin en
Mxico: Algunas implicaciones a la luz del paradigma gerencialista, en Alejandro

Gonzlez (Coord.), Gobernar por resultados?, Mxico, GESOC, 2008, p.72.

a ajustes marginales, pero tambin cuando suponen el involucramiento de
otros agentes de decisin para modiicaciones sustanciales a las reglas, los
presupuestos o la lgica del programa.
Finalmente, para institucionalizar la utilizacin de las evaluaciones,
para que stas sean tiles efectivamente para mejorar los resultados de los
programas pblicos y para que, en conjunto, el sistema de evaluacin sirva
para mejorar el desempeo gubernamental, es indispensable que las normas
y las prcticas que estructuran el funcionamiento del sistema de evaluacin
estn articuladas con el resto de los sistemas de rendicin de cuentas: los
sistemas asociados a transparencia y acceso a la informacin, contabilidad
gubernamental y control del gasto; control interno; iscalizacin. La
fragmentacin actual de la rendicin de cuentas en Mxico es, por una parte,
una limitante a la efectividad del sistema de evaluacin pero, por la otra, es
consecuencia directa de la falta de articulacin del sistema de evaluacin
con el resto.19 En las experiencias revisadas en los captulos siguientes, ms
de una vez los funcionarios encargados de los programas hicieron alusin
a las diicultades de tener que lidiar con mandatos encontrados, reglas
confusas y controles inconexos cuando tienen que informar, explicar o
rendir cuentas a CONEVAL, a Funcin Pblica, a la Secretara de Hacienda o
a la Auditora Superior de la Federacin. Se trata, desde luego, de un desafo
que rebasa al sistema de evaluacin, pero que est detrs de muchos de los
obstculos para la utilizacin efectiva de los hallazgos de las evaluaciones.
Como introduccin para el anlisis de los diez casos en los captulos

siguientes, con base en la revisin que durante varios meses se realiz
de la seleccin de los hallazgos, la deinicin de acciones de mejora y su
implementacin,20 a continuacin se presenta una sntesis de cada programa
y de los resultados obtenidos tras la implementacin de las acciones de
mejora. Los logros fueron importantes, aunque con avances diferenciados.
Destaca, sin embargo, que cada uno de los programas muestra que el uso
inteligente de los hallazgos de las evaluaciones sirve efectivamente para
mejorar el diseo y la operacin de los programas; y que la implementacin
de las acciones de mejora contribuye sustantivamente a mejorar los
resultados del programa y, con ello, a la calidad de vida de los beneiciarios.
19 Mauricio Merino et al., Op. Cit.

20Esta revisin estuvo a cargo de un equipo con integrantes de las tres instituciones convocantes del
premio: Mariana Garca, Edna Jaime y Erndira Avendao por Mxico Evala; mltiples funcionarios
de la Unidad de Evaluacin de la Secretara de la Funcin Pblica, liderados por Javier Gonzlez y
Blanca Maynez; y Claudia Maldonado, Roberto Gerhard y Guillermo M. Cejudo por el CIDE.

Sistema Integral de Calidad en Salud (primer lugar)
El programa busca contribuir a mejorar la calidad de los servicios de salud.
Esta se reiere al trato que reciben los pacientes dentro del hospital; desde
las salas de espera hasta los quirfanos, y puede involucrar detalles como
que haya sillas y baos en las salas de espera, prcticas de higiene por parte
del personal y la instalacin de comits de calidad. Con base en cuatro
evaluaciones -evaluacin diseo (2008), dos especicas de desempeo (2009
y 2010) y una de consistencia y resultados- el programa se comprometi a
realizar 10 acciones de mejora.
Los principales resultados de estas acciones se pueden concentrar
en cuatro grandes rubros: 1) Instalacin de comits y gestores de calidad
en hospitales y unidades mdicas, 2) medicin de la cultura de la calidad, 3)
acreditacin y capacitacin en temas de calidad, y, por ltimo, 4) difusin
del programa. En la mayora de los casos se superaron las metas que se
tenan planeadas al inicio del ao, por ejemplo, la instalacin de comits
de calidad de seguridad del paciente (COCASEP) alcanz en agosto la meta
planeada para diciembre. En el mediano plazo se espera que estas acciones
tengan un efecto positivo sobre el fomento y la documentacin del avance
de la cultura de la calidad en el pas, que mejoren los estndares de calidad;
que se agilice la transferencia de recursos, que mejore la coordinacin entre
reas tcnicas de calidad con reas administrativas, que se avance en la
medicin del impacto de la acreditacin en los servicios de calidad y que se
utilicen las encuestas de los avales ciudadanos para realizar mejoras en la
participacin de los avales ciudadanos.
Expedicin de pasaportes y servicios
El Programa de Expedicin de Pasaportes y Consulares busca ofrecer a

los connacionales y extranjeros servicios de documentacin consular
de manera expedita y segura, tomando en cuenta la enorme cantidad de
mexicanos que reside o se encuentra en el exterior y los nuevos retos de
seguridad trasnacional.
Con base en la evaluacin que se le hizo al programa en 2010, ste
se comprometi a realizar 17 acciones de mejora. Todas ellas tuvieron un
avance de entre 70-100% a agosto de 2011, incluyendo el establecimiento
del Programa de Citas MEXITEL, inicio de la primera fase del Sistema
Integral de Registro de Mexicanos en el Extranjero, realizacin de
cursos de capacitacin 2011 en los consulados de Canad, Texas y
California, actualizacin de dos captulos de la nueva Gua Consular, y
reestructuracin de la Matriz de Indicadores por Resultados (MIR). En el
mediano plazo se espera que las medidas implementadas contribuyan a
mejorar sustantivamente la calidad de los servicios consulares que prestan

las Representaciones de Mxico en el Exterior, simpliicando o reduciendo
la normatividad y aplicando nuevas herramientas tecnolgicas. Todas las
acciones implementadas muestran un claro compromiso con mejorar la
atencin al usuario inal de los servicios consulares.
Atencin a la Demanda de Educacin para Adultos y Modelo

E V T
El Programa de Atencin a la Demanda de Educacin para Adultos (INEA)
y Modelo de Educacin para la Vida y el Trabajo ofrece a las personas de 15
o ms aos que se encuentran en condicin de rezago educativo, servicios
educativos gratuitos de alfabetizacin, primaria y secundaria, as como
servicios de acreditacin y certiicacin de los conocimientos y aprendizajes
para contribuir a disminuir las desigualdades en las oportunidades
educativas entre grupos sociales incrementando la escolaridad de los
beneiciarios.
Con base en una evaluacin de consistencia y resultados, hecha en
2008 y otra de procesos realizada en 2009 el programa se comprometi
a realizar 3 acciones de mejora. En agosto de 2011, a pesar de las
restricciones presupuestales del INEA y de las difciles condiciones
sociales, econmicas y polticas de los estados, se logr la valoracin
de 33,969 asesores (es decir, 52.6% del total). Asimismo, se logr
un avance de 44% de la valoracin y revaloracin diagnstica, lo que
implica la aplicacin del instrumento en 13 Institutos o Delegaciones
estatales. La iniciativa del INEA promueve el uso de los resultados de
la evaluacin a diferentes niveles derivando en acciones de formacin
y superacin de los asesores, involucrndolos en una nueva experiencia
de aprendizaje para conocer sus capacidades y mejorar sus habilidades.
El objetivo es consolidar la prctica de evaluacin de los asesores de
manera permanente para que mejoren los efectos de las acciones de
formacin en las que participan.
Prorbol- Programa de Pago por Servicios Ambientales

Prorbol es un programa que otorga subsidios a los legtimos poseedores
de terrenos forestales para realizar acciones encaminadas a proteger,
conservar, restaurar y aprovechar de manera sustentable los recursos
forestales, con el objeto de disminuir los ndices de pobreza y marginacin
en reas forestales, mediante la induccin a un manejo y uso adecuado
de sus recursos naturales; generar desarrollo y expansin econmica a
partir de la valoracin, conservacin y aprovechamiento sustentable de los
recursos de los bosques.

Con base en las evaluaciones del programa (Especica de Desempeo
y de Consistencia y Resultados) se comprometieron a realizar 11 acciones
de mejora. Las acciones realizadas sientan las bases para un mejor proceso
de toma de decisiones as como de una lnea basal sobre la cual comparar el
desempeo de los indicadores del programa y as comenzar a implementar
un sistema de monitoreo que arroje datos peridicos que permitan evaluar el
impacto del programa. El establecimiento de mecanismos de inanciamiento
ms adecuados (en los que intervengan los tres rdenes de gobierno) es otro de
los resultados que se espera en el mediano plazo de las acciones implementadas.
Escuelas de Tiempo Completo

El Programa Escuelas de Tiempo Completo tiene como objetivo contribuir
a mejorar las oportunidades de aprendizaje de los alumnos de las escuelas
pblicas de educacin bsica mediante la ampliacin del horario escolar. Con
base en una evaluacin de diseo de 2008, el programa se comprometi a
realizar 5 acciones para agosto de 2011 relativas al seguimiento cualitativo
de la implementacin de la propuesta pedaggica y de gestin de escuelas
de tiempo completo. Para agosto de 2011 el programa haba diseado
e implementado el SIMAETIC, establecido un campus virtual para dar
asesora permanente a distancia con los coordinadores y responsables de
dar seguimiento al PEC en cada entidad federativa, tambin desarroll
competencias y habilidades para el registro de informacin entre los
responsables del proceso y, por ltimo, dise instrumentos para el trabajo
de campo y realizacin de visitas a 125 escuelas del PETC para revisar el
reporte de resultados.
El PETC incorpor recomendaciones de las evaluaciones para mejorar
su gestin. El SIMAETIC es, sin lugar a dudas, un insumo fundamental para
guiar la toma de decisiones y el diseo de polticas educativas en el pas.
La existencia de esta herramienta permite tambin mayor coordinacin
entre el nivel federal y estatal. No obstante, para que el tiempo que se
adiciona la jornada educativa en el PETC mejora la enseanza y ample las
oportunidades de aprendizaje de los alumnos, es fundamental tomar en
cuenta otros hallazgos de las evaluaciones relacionados con el principio de
equidad para elegir a las escuelas ms vulnerables, as como a la necesidad
de realizar sondeos de opinin para conocer la percepcin de los beneicios
entre la comunidad educativa, los padres y los alumnos.
Escuelas de Calidad
El Programa Escuelas de Calidad tiene como objetivo mejorar el logro
educativo en los alumnos de las escuelas pblicas de educacin bsica
beneiciadas por el programa mediante la transformacin de la gestin
educativa.

Con base en una evaluacin complementaria realizada en 2008 as
como en una especica de desempeo en 2009, el programa se comprometi
a realizar acciones de mejora. Para agosto de 2011, public el Plan
Estratgico de Trasformacin Escolar Simpliicado (PETE) y se distribuy
en las 32 Coordinaciones Generales Estatales del PEC, se prepar el Mdulo
de Orientaciones para activar la participacin social en las escuelas de
educacin bsica y su tiraje se envo a las 32 Coordinaciones Generales
Estatales; se implementaron conferencias e intercambios presenciales y
en lnea para promover el uso de las tecnologas de informacin como una
estrategia de formacin entre pares. Tambin se realiz un encuentro de
seguimiento y evaluacin de la Red Nacional de Formadores. Por ltimo
se integraron ichas con informacin y estadsticas por entidad federativa
para lograr una mejor focalizacin del PEC.
El PEC muestra consistencia en las acciones implementadas como
resultado de las evaluaciones. No obstante, siguen existiendo retos
fundamentales para lograr un mayor impacto, en trminos de la focalizacin
hacia las escuelas que forman parte de la poblacin objetivo, as como en la
capacitacin de la Red Nacional de Formadores y la necesidad de fortalecer
la participacin social dentro de las escuelas.
Fondo para el Apoyo a Proyectos

P N A
El Fondo para el Apoyo a Proyectos Productivos en Ncleos Agrarios
(FAPPA) es un programa que busca generar alternativas de desarrollo
econmico para los habitantes de ncleos agrarios que no son titulares de
tierras; a travs de proyectos que detonen el desarrollo econmico y social
de las comunidades rurales ubicadas en zonas con alto nivel de marginacin.
Con base en una evaluacin complementaria de Fin y Propsito (2009) el
programa se comprometi a llevar a cabo 4 acciones de mejora.
Una de las acciones ms relevantes fue el de supervisin previa.
El hecho de revisar la veracidad de la informacin proporcionada en la
solicitud de apoyo permiti identiicar 48 proyectos que no cumplan con
los requisitos y que permiti la reasignacin de 9.6 millones de pesos.
Destaca tambin el hecho de que 64% de los proyectos apoyados no son
pecuarios. En el mediano plazo se espera que la supervisin previa tenga
una incidencia positiva en la supervivencia de los proyectos, misma que
se probar con la supervisin de seguimiento que se pretende extender
a dos aos despus de haber sido apoyados; por otro lado, tambin se
tiene planeado ofrecer capacitaciones por tipo de giro para fomentar un
aumento en la diversidad de proyectos. Los esfuerzos realizados por el
programa muestran su voluntad para apropiarse de las recomendaciones
de las evaluaciones y realizar los cambios indicados para tener un mejor
desempeo y llevar a cabo un mejor uso de los recursos pblicos.

Programa de la Mujer en el Sector Agrario
El PROMUSAG se cre con el in de crear apoyos dirigidos a mujeres
que habitan en un ncleo agrario del medio rural, con el propsito de
insertarlas en las actividades productivas y as combatir las condiciones
de pobreza existentes en este sector. Con base en una evaluacin externa
complementaria para medir los indicadores de in y propsito, el programa
se comprometi a realizar 6 acciones de mejora. En este programa, destac
la supervisin previa como un elemento sustantivo que permite seleccionar
a los proyectos ms apropiados. Otro resultado destacable es el hecho de que
63% de los proyectos apoyados no fueran de tipo pecuario. Los resultados
en el mediano plazo son similares a los de FAPPA, la diferencia se encuentra
entre los resultados que se esperan obtener del indicador de igualdad de
trato entre hombres y mujeres el cual proporcionar informacin sobre
la forma en la que las beneiciarias transitan de cualquier situacin de
opresin, desigualdad, discriminacin, explotacin o exclusin a un estado
de conciencia, autodeterminacin y autonoma.
Las acciones realizadas por el PROMUSAG muestran que ha
comprendido la utilidad de las evaluaciones para justiicar y llevar a cabo
acciones de mejora. El programa se volver de mayor importancia ante la
difcil situacin que se vive en el campo mexicano, en ese sentido deber
seguir trabajando por aumentar su impacto as como supervisar y hacer
ms eiciente el uso de los recursos pblicos.
Becas de Posgrado y otras modalidades
El Programa de Becas de Posgrado y otras modalidades de apoyo a la

calidad tiene como objetivo que los estudiantes accedan a oportunidades
educativas y de formacin de calidad en Mxico o en el extranjero en ciertas
reas y sectores estratgicos para el propio programa. Con base en una
evaluacin de impacto inanciada por el banco mundial en 2007, junto con
dos evaluaciones especicas de desempeo de 2008 y 2009 el programa se
comprometi a realizar 3 acciones. El Programa de Becas de Posgrado de
CONACYT se muestra alineado con las recomendaciones elaboradas en la
evaluacin y muestra un claro compromiso con la necesidad de contar en el
pas con capital humano altamente caliicado, as como atraer estudiantes
del extranjero que vean en el pas una opcin de calidad para continuar
sus estudios de posgrado. Sin embargo, en mediano plazo seguirn
habiendo retos importantes en materia de acceso a mejores esquemas de
inanciamiento, incorporacin de alumnos nuevos al sistema educativo
nacional y el avance en la generacin de bases de datos coniables para
mejorar la calidad educativa en Mxico y contribuir al desarrollo econmico
y social del pas.

Joven Emprendedor Rural y Fondo de Tierras
El programa de Joven Emprendedor busca facilitar el relevo generacional en
el sector del campo mexicano a travs de subsidios para apoyar proyectos
agroempresariales de jvenes emprendedores. Con base en una evaluacin
especica de desempeo y una complementaria el programa se comprometi
a realizar 10 acciones de mejora. El principal resultado del programa se vio
relejado en el estudio que realiz la FAO el cual les permiti identiicar
los factores que determinan el xito de una agroempresa, conocer detalles
como la rentabilidad y productividad de estos proyectos y inalmente
documentar casos de xito que servirn al programa como insumos para
hacer mejoras en su operacin. Tambin se logr organizar con Financiera
Rural cursos de capacitacin a los beneiciarios en temas de responsabilidad
inanciera y en una eiciente administracin de sus proyectos. Por otro lado,
las nuevas medidas de supervisin ofrecieron informacin fundamental
sobre temas como porcentaje del ingreso de los jvenes beneiciarios,
sobrevivencia empresarial y cumplimiento de salvaguardas ambientales. En
el mediano plazo se espera que estas medidas aumenten la supervivencia de
las empresas y puedan as facilitar un relevo generacin en las comunidades
dedicadas a la actividad pecuaria.
Conclusiones
Como conclusin, vale la pena insistir en lo importante del trabajo hecho
por estos programas para darle contenido sustantivo al trabajo de atender
las evaluaciones. Como ocurre en cualquier componente de nuestro sistema
de rendicin de cuentas, en materia de evaluacin se enfrenta da a da un
riesgo grave: la simulacin. En nuestro pas existen cotidianamente ejercicios
que podemos llamar coreogricos para hacer parecer que se rinde cuentas
sin hacerlo: sistemas de control de gestin que no tienen consecuencias,
auditoras que identiican problemas que nunca son corregidos o
responsables que nunca son investigados, investigaciones que nunca se
concluyen, mecanismos de transparencia utilizados para ocultar informacin
y responsables que nunca son identiicados y llamados a cuentas.
En evaluacin existe el riesgo constante de que ocurra lo mismo:
que se realicen evaluaciones que no son utilizadas para tomar decisiones
que mejoren los programas o que no se utilicen para informar el debate
presupuestal. Lo que las experiencias presentadas en este libro muestran
es que es posible ir contracorriente y hacer que las evaluaciones sean tiles.
Muestran tambin que el uso inteligente de sus hallazgos tiene efectos
demostrables en la gestin de los programas y en los resultados que se
entregan a los ciudadanos. En suma, son experiencias atpicas, pero que
sirven para encontrar las vas por las que, a pesar de un entorno institucional
y organizacional que puede ser adverso, las evaluaciones pueden cumplir su
propsito de incidir en la mejora del desempeo del gobierno.

B
Bardach, Eugene, he Implementation Game, Cambrige, MIT Press, 1979
Consejo Nacional de la Poltica de Desarrollo Social, (CONEVAL), 2011.

En lnea: htp://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/
informe_de_evaluacion_politica_desarrollo_social_2011.es.do
Corts, Fernando y Orlandina de Oliveira (Coords.), Desigualdad social

en: Los grandes problemas de Mxico, Vol. V., Mxico, El Colegio de Mxico,
2010.
Gonzlez, Alejandro (Coord.), Gobernar por resultados?, Mxico, GESOC,

2008.
Gonzlez Gmez, Javier, La evaluacin de la actividad gubernamental:

premisas bsicas y algunas anotaciones sobre la experiencia mexicana
en Jos Luis Mndez (Coord.), Los grandes problemas de Mxico, Vol. XIII,
Polticas Pblicas, Mxico, El Colegio de Mxico, 2010, pp. 143- 178.
Grindle, Merilee S., La brecha de la implementacin, en Freddy Mariez

Navarro y Vidal
Garza Cant (coords.), Poltica pblica y democracia en Amrica Latina: Del

anlisis a la implementacin, Mxico, Miguel ngel Porra, 2009, pp. 33-51.
Majone, Giandomenico, La factibilidad de las polticas sociales, En Luis
F. Aguilar (Ed.), La hechura de las polticas pblicas, Mxico, Miguel ngel
Porra, 1996, pp. 393-432.
Manuel F. Castro, et al, El Sistema de Monitoreo y evaluacin de Mxico:

Un salto del nivel sectorial al nacional, Independent Evaluation Group (IEG),
Serie de documentos de trabajo DCE, Nm. 20, Washington, D.C, Banco
Mundial, 2009.
Meltsner, Arnold J., La factibilidad poltica y el anlisis de polticas, En

Luis F. Aguilar (Ed.), La hechura de las polticas pblicas, Mxico, Miguel
ngel Porra, 1996, pp. 367-392.

Merino, Mauricio, Sergio Lpez Aylln y Guillermo Cejudo (Coords.), La
estructura de la Rendicin de Cuentas en Mxico, Mxico, UNAM-IIJ, CIDE,
2010.
Pressman, Jefrey L. y Aaron Wildavsky, Implementation: How great

expectations in Washington are dashed in Oakland, Los ngeles, Berkeley
University Press, 1984.
Scott, John, Campo en Mxico siembra opacidad en subsidios, El

Semanario, Octubre 14, 2010.
--------------- Gasto Pblico para la Equidad: Del Estado Excluyente hacia un

Estado de Bienestar Universal, Mxico, Mxico Evala, 2011.
--------------- Subsidios agrcolas en Mxico: Quin gana, y cunto? en

Jonathan Fox y Libby Haight (coords.) Subsidios para la desigualdad: Las
polticas pblicas de maz en Mxico a partir del libre comercio Mexico, DF,
Santa Cruz, Woodrow Wilson International Center for Scholars/CIDE/US
2010.
Secretara de la Funcin Pblica (SFP), Programa Anual de Evaluacin, 2011.
Simon, Herbert, El comportamiento administrativo, Madrid, Aguilar, 1963;

Charles E. Lindblom, La ciencia de salir del paso , En Luis F. Aguilar (Ed.)
La hechura de las polticas, Mxico, Miguel ngel Porra, 1996, pp. 201-225
Weiss, Carol H., Have we learned anything new about the use of
evaluation?, American Journal of Evaluation, Vol. 19, Nm. 1, 1998.

La evaluacin como instrumento de cambio.
C
programas gubernamentales en Mxico?
M J M
Introduccin
La importancia con la que se ha colocado a la evaluacin en el quehacer
pblico es evidente. La pregunta que recurrentemente se plantea en las
organizaciones pblicas acerca de por qu evaluar parece tener una respuesta
consensuada; nadie se opondra hoy a considerar la etapa de evaluacin
como un aspecto integral del ciclo de las polticas pblicas. Sin embargo, a
pesar del acuerdo en torno a la importancia de la evaluacin y la tendencia
creciente hacia evaluar a los gobiernos por sus resultados y monitorear
su desempeo,1 el impulso de la evaluacin no se ha correspondido
estrictamente con su utilizacin y con su conversin efectiva en una
1Sonia Ospina, Evaluacin de la gestin pblica: conceptos y aplicaciones en el caso latinoamericano, En: V
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Santo
Domingo, Repblica Dominicana, 24-27 Octubre de 2000, pp.13.

herramienta de gestin.2 Es as que a la primera interrogante se suma la
cuestin de por qu utilizar la evaluacin. Para que las evaluaciones puedan
transformar es necesario que los resultados de los ejercicios prcticos y los
reportes de recomendaciones, se utilicen efectivamente;3 lo cual signiica
establecer una conexin entre el proceso de evaluacin con todo el ciclo
de las polticas pblicas y con otros sistemas, como el presupuestario, de
planeacin y operacin de los programas.4
El punto de partida que ha motivado a varias instituciones a organizar
el certamen Programas federales comprometidos con el proceso de
evaluacin para premiar a las instancias que incorporan la evaluacin dentro
de la gestin de sus programas, es entender por qu en Mxico, a pesar de que
existe un amplio repertorio de evaluaciones, la utilidad de stas en ocasiones
se remite a ser informativa o incluso simblica. Las evaluaciones se difunden
y se publican, pero es difcil observarlas como un factor determinante en
la transformacin de las polticas pblicas. El problema es que si bien en
Mxico actualmente se realizan una multiplicidad de evaluaciones, stas no
necesariamente se utilizan como herramientas de cambio.
El presente captulo parte precisamente de las dos preguntas
planteadas al inicio: (1) para qu evaluar? y (2) para qu utilizar la
evaluacin? De modo prctico, la discusin se desarrolla a partir de las
evaluaciones a los programas gubernamentales en el mbito federal
en Mxico. La pregunta central es: qu factores explican el uso de las
evaluaciones como herramienta de cambio en la operacin de los programas
gubernamentales? Estas modiicaciones pueden estar plasmadas en
el rediseo de los programas, a travs de las reglas de operacin, en los
documentos de planeacin estratgica; as como en otros instrumentos
que pongan en evidencia la atencin a las recomendaciones. El supuesto de
entrada es que el diseo institucional del sistema de evaluacin en Mxico
carece de incentivos que conduzcan a que las unidades responsables de los
programas utilicen instrumentalmente los resultados de la evaluacin. El
captulo contiene seis secciones. La primera presenta el marco conceptual
acerca de la importancia de la evaluacin y sus diferentes usos. En la segunda
seccin se describen brevemente los antecedentes de la evaluacin en
Mxico. El tercer apartado contiene una descripcin del diseo institucional
del sistema de evaluacin en Mxico, as como algunas relexiones
sobre cmo ste induce, o no, al uso instrumental de los resultados de
2Para algunos autores como Hintze, la herramienta de gestin es la capacidad de una evaluacin
para incidir sobre las decisiones poltico-tcnicas de transformacin de un programa. Susana Hintze,
Relexiones sobre el conlicto y la participacin en la evaluacin de polticas sociales, En: VI Congreso
Internacional del CLAD sobre la Reforma del Estado y la Administracin Pblica, Buenos Aires, Argentina,
Noviembre de 2001.
3Carol Weiss, Have we learned anything new about the use of evaluation?, American Journal of
Evaluation, Vol. 19, Nm. 1, 1998, pp.24.
4Ricardo Toledo Silva, Fortalecimiento de la funcin evaluacin en los pases de Amrica del Sur. Informe
Tcnico: Eiciencia y eicacia de la accin gubernamental: un anlisis comparativo de sistemas de evaluacin,
Cooperacin Tcnica BID-IPEA, 2005;Ospina, Op. Cit.

la evaluacin. En el cuarto apartado se explica el funcionamiento del
Mecanismo de Seguimiento de los Aspectos Susceptibles de Mejora, 2008
y muestra algunos resultados de este ejercicio. En la quinta seccin se
analiza qu otros factores fuera del diseo institucional favorecen el uso
de las evaluaciones, y en la ltima seccin se presentan los principales
argumentos desarrollados a lo largo del captulo.
L
P
En un sentido amplio, la evaluacin debera servir para cuestionar a los
gobernantes sobre sus acciones y sobre el rumbo que orienta el Estado.
Algunos autores explican que esta herramienta es til para demostrar la
efectividad de la intervencin pblica; para lograr consenso sobre los
objetivos de los programas y sobre el rediseo de los mismos; as como
informar a la sociedad del cauce que llevan las polticas pblicas.5
En parte, los ejercicios de evaluacin surgieron por la necesidad de
que el Estado se responsabilizara de sus acciones y orientara su desempeo
de forma eicaz y eiciente hacia los resultados, ms que a los procesos de
gestin. Se transit as, de una responsabilidad basada principalmente
en la observancia de procedimientos normativos y tcnicos, a otra basada
en la obtencin de resultados e impactos relevantes y apreciados por la
comunidad poltica.6
Gradualmente, los objetivos de la evaluacin se han diversiicado, las
evaluaciones de desempeo hoy en da tambin tienen implicaciones para la
rendicin de cuentas. En este contexto, la evaluacin no sirve nicamente
para lograr el propsito de mejorar la eiciencia en la gestin pblica, sino que
--en un sentido ms amplio-- persigue contrapesos polticos.7
Por otra parte, los procesos evaluativos involucran tambin
consideraciones distributivas con respecto a la equidad; a los modelos
econmicos; a la asignacin presupuestal; a la justicia; y a la libertad de los
individuos. La evaluacin tambin signiica construir consensos alrededor
de valores sociales y poner en evidencia las bondades y defectos del sistema
existente.8
5Sebastin Galiani, Polticas sociales: instituciones, informacin y conocimiento, Serie polticas

sociales, Divisin de Desarrollo Social, CEPAL-Naciones Unidas, Santiago de Chile, 2006.
6Alejandro Gonzlez, (Coord.), Gobernar por resultados? Implicaciones de la poltica de evaluacin del
desempeo del gobierno mexicano, Mxico, GESOC, Gestin Social y Cooperacin A.C., 2008, pp.12.
7Sonia Ospina et al, Performance evaluation, public management improvement and democratic
accountability, Public Management Review, Vol. 6, Nm. 2, 2004, pp. 229-251.
8Leonardo Solarte Pazos, La evaluacin de programas sociales en el Estado Liberal, En: VII Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa, Portugal,
2002, p.7.

En resumen, y dada la multiplicidad de beneicios que puede tener
la evaluacin, consideremos tres objetivos principales. La evaluacin
sirve para: (1) valorar la efectividad y eiciencia de las polticas y, con
ese diagnstico, motivar la mejora continua de los programas; (2)
fortalecer los procesos de rendicin de cuentas a travs del monitoreo
sobre el desempeo del gobierno; y (3) medir el impacto de la asignacin
presupuestaria de los programas pblicos. El alcance de estos tres objetivos
depende de si la evaluacin se utiliza como un verdadero instrumento de
cambio.
C
Dentro de la literatura especializada encontramos diferentes clasiicaciones
sobre el uso de la evaluacin de los programas gubernamentales. Algunas
deiniciones son el uso conceptual9 y el uso instrumental10. En primer lugar, al
darle un uso conceptual a la evaluacin, a pesar de contar con informacin
relevante que contribuye al aprendizaje social, no se logra un vnculo entre
esta informacin y la toma de decisiones.11 En contraste, el uso instrumental
de la evaluacin es la condicin a la cual debera encaminarse todo sistema
de evaluacin, en concreto signiica que los resultados sirvan realmente
como herramienta para reformular o redisear proyectos, programas y
polticas.
Para entender mejor estos conceptos en el mbito de las
organizaciones pblicas, podemos relacionarlos con dos fases: (1) la
adopcin y (2) la implementacin, respectivamente.12 La primera se reiere
al desarrollo de mecanismos de medicin de resultados, productos y de
eiciencia; mientras que la segunda se reiere al estricto uso de estas medidas
o de estos resultados- sea para la planeacin estratgica; el rediseo del
programa; la asignacin de recursos; o el monitoreo a la administracin
interna.
9 Peter Dahler-Larsen, Surviving the Routinization of Evaluation: he Administrative Use of Evaluations

in Danish Municipalities, Administration and Society, Vol. 32, Nm. 1, 2000, pp. 70- 92.
10 Weiss, Op. Cit. pp.24.
11 Algunos autores atribuyen a la evaluacin un uso perverso y una herramienta de la que se sirven los gobiernos para controlar
a sus ciudadanos. Aunque este uso estratgico no necesariamente es negativo, las evaluaciones como armas polticas pueden ser
relevantes para los partidos polticos y el gobierno, en la medida en que sus resultados sean conocidos por la opinin pblica,
contribuyendo a generar confianza. Para conocer ms sobre otros usos de la evaluacin vase: Solarte Pazos, Op. Cit.; Ian
Sanderson, Evaluation, Policy Learning and evidence-based policy making, Public Administration, Vol. 80, Nm. 1, 2002, pp. 1-22.
12 Patria de Lancer Julnes, y Marc Holzer, Promoting the Utilization of Performance Measures in Public
Organizations: An Empirical Study of Factors Afecting Adoption and Implementation, Public Administration
Review, Vol. 61, Nm. 6, 2001, pp. 693-708.

Tabla 1: Fases del proceso de utilizacin de las evaluaciones
dentro de las organizaciones pblicas
FASES CARACTERSTICAS INSTRUMENTOS TIPO DE USO
1.Adopcin Contribucin al proceso Desarrollo de Conceptual

de aprendizaje sobre los mediciones de
programas (Desarrollo de resultados, productos
conocimiento para actuar) y eiciencia
2.Imple- Utilizacin de los Planeacin estratgica, Instrumental
mentacin instrumentos derivados rediseo del programa,
en la fase de adopcin asignacin de recursos,
(Conocimiento gestin del programa
convertido en accin) y monitoreo a la
administracin interna
Fuente: Elaboracin propia con base en: Julnes De Lancer y Marc Holzer13
Entonces, a lo largo del captulo relacionaremos al uso conceptual

con la fase de adopcin, mientras que el uso instrumental se reiere a la
fase de implementacin; en especial cuando los resultados derivados de
los ejercicios de evaluacin se utilizan para la planeacin estratgica y el
rediseo del programa. Es este tipo de uso el que me interesa analizar para
el caso mexicano.
Evidentemente, no hay guas prcticas acerca de cmo lograr que
los operadores de los programas pblicos utilicen la evaluacin de modo
instrumental. Sin embargo, se han desarrollado algunas recomendaciones
para fortalecer el uso de las evaluaciones en diferentes contextos
institucionales. La preocupacin comn en los estudios sobre evaluacin
sigue siendo cmo garantizar su utilidad.14
Por ejemplo, es bsico relexionar sobre quines necesitan la
evaluacin y sobre quines la ofrecen. Algunas variables que intervienen en
el uso de la evaluacin son: la demanda, la oferta, y la vinculacin en la toma
de decisiones. Otro factor clave es la credibilidad de la independencia de las
evaluaciones; no tanto su posicin jerrquica dentro de los programas.15
Por el lado de la demanda, son fundamentales las peticiones de
distintos niveles de gobierno; del poder legislativo, as como de la sociedad
civil, quienes fungen como mandantes de la evaluacin. As, en la medida
en que los equipos que operan los programas demanden datos sobre
13 Ibdem.
14 Vase tambin el trabajo de Nerio Neiroti, La funcin de evaluacin de programas sociales en Chile, Brasil
y Argentina, VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin
Pblica, Buenos Aires, Argentina, 5-9 de Noviembre 2001.
15 Osvaldo Feinstein, Institucionalizacin de la evaluacin en Iberoamrica: desafos y oportunidades, En: XIII
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Buenos
Aires, Argentina, 4-7 Noviembre 2008.

ciertos fenmenos o actividades, su monitoreo va a adquirir una relevancia
automtica. [E]n tanto los decisores estipulen que van a prestar atencin
a la evolucin de ciertas actividades, van a animar a los gestores a prestar
atencin tambin.16
En cuanto a la oferta, vemos que el sencillo acto de enviar informacin
para cumplir con los requisitos de la operacin del programa, sin importar el
cuidado de la calidad del dato, impone un riesgo en el proceso de evaluacin:
() si los que proveen la informacin no ven la relevancia y no ven ningn
beneicio directo de participar en la recopilacin de datos, poca motivacin
van a tener para invertir esfuerzos en la recopilacin y el registro.17 Asimismo,
el rol de las instituciones del sector pblico, universidades, institutos, ONGs
y consultores, puede motivar a que la oferta de evaluaciones se ajuste a las
necesidades de evaluacin de cada pas en su propio contexto.
Otro argumento recurrente en la literatura es la articulacin o
vinculacin de los procesos de evaluacin con los dems procesos de
las polticas pblicas. Para que se utilice la evaluacin se requiere, como
condicin necesaria, la articulacin de las acciones y los actores involucrados.
Algunos autores sugieren que la evaluacin ser ms efectiva en la medida
en que abarque los tres niveles de la accin social- el macro, meso y micro- y
en tanto genere capacidad para establecer conexiones entre estos niveles. De
este modo, se garantiza que quienes toman decisiones a nivel macro puedan
utilizar informacin de los niveles inferiores y viceversa, crendose as una
mayor coherencia en los distintos niveles de la administracin pblica.18
El problema es que faltan los incentivos para utilizar la evaluacin,
por lo tanto, a las variables anteriores habra que agregar el diseo
institucional. Para comprender el uso de las evaluaciones es fundamental
revisar las reglas del juego que plantean estmulos institucionales y que
desde afuera permean a los actores involucrados con la evaluacin.
Consideremos que dentro de las organizaciones pblicas hay siempre un
clculo a cargo de los individuos que las integran:
El compromiso de los actores burocrticos con los objetivos

organizativos depende del costo total de adaptar el
comportamiento ante un cambio de objetivos. Si tal cambio
requiere de un drstico reacomodo de sus comportamientos, esto
representa un costo psicolgico o incluso econmico demasiado
grande, que diiculta el proceso del cambio organizacional.19
16 K. Marie Mokate, Convirtiendo el monstruo en aliado: la evaluacin como herramienta de la gerencia social,
Instituto interamericano para el Desarrollo Social (INDES), 2000, p. 9.

17 Ibdem, p. 30.
18 Ospina, Op. Cit.
19 Anthony Downs, Inside Bureaucracy, Boston, Little, Brown and Co., 1967 p.87.

Entonces, para analizar la experiencia mexicana tomemos en cuenta
que de los diferentes usos que puede tener la evaluacin, el que nos interesa
analizar es el uso instrumental, pues slo al utilizar as los resultados de
la evaluacin se puede cumplir con los tres objetivos principales: mejora
continua de los programas; rendicin de cuentas; y ajustes en la asignacin
presupuestal. Para ello es importante conocer cul es el referente
institucional en el que se hace y se utiliza la evaluacin en Mxico.
Antecedentes de la evaluacin en Mxico

Las primeras evaluaciones a los programas federales en Mxico se remontan
hacia inales de la dcada de 1970, a cargo de la Subsecretara de Evaluacin,20
dependiente de la entonces Secretara de Programacin y Presupuesto.21
Posteriormente, en la dcada de 1990 se realizaron algunas evaluaciones a
los proyectos del Programa Nacional de Solidaridad (PRONASOL), as como
las evaluaciones ex ante y de impacto del Programa de Educacin, Salud y
Alimentacin (PROGRESA), hoy Oportunidades.22
Para 1999, con la inclusin de las Reglas de Operacin (ROP) de
los programas federales, el Congreso de la Unin dio el mandato para
la evaluacin de los programas sujetos a dichas reglas. Ello represent
alrededor de 25 a 30 por ciento del presupuesto federal, con la evaluacin
de ms de 100 programas para 2001.23 El presupuesto para evaluacin
alcanz cerca de 15 millones de dlares anuales, sin incluir las evaluaciones
de impacto.24
Otro antecedente del actual sistema de evaluacin fue el denominado
Acuerdo 2002, establecido entre la Secretara de Hacienda y Crdito
Pblico (SHCP) y la entonces Secretara de la Contralora y Desarrollo
20 Carola Conde Bonil, Evaluacin de programas sujetos a reglas de operacin. Un ejemplo de rendicin
de cuentas horizontal?, Documentos de Investigacin, Mxico, El Colegio Mexiquense, 2007.

21 Hacia la dcada de 1970, uno de los programas evaluados fue el Programa de Inversiones Pblicas para
el Desarrollo Rural (PIDER), como uno de los primeros ejercicios para la reduccin de la pobreza rural. Para
conocer ms sobre las evaluaciones emanadas de la Secretara de Programacin y Presupuesto remtase al
trabajo de Myriam Cardozo Brum, La evaluacin de polticas y programas pblicos: el caso de los programas de
desarrollo social en Mxico, Mxico, Miguel ngel Porra- Cmara de Diputados, 2006.
22 En efecto, uno de los programas sociales federales ms evaluados es PROGRESA-OPORTUNIDADES.
Gracias a ello, Mxico se posicion como pas pionero en el uso de metodologas robustas para evaluar el
desempeo de la poltica social en la regin latinoamericana. Vase: Manuel F. Castro, et al, El Sistema de
Monitoreo y evaluacin de Mxico: Un salto del nivel sectorial al nacional, Independent Evaluation Group (IEG),
Serie de documentos de trabajo DCE, Nm. 20, Washington, D.C., Banco Mundial, 2009.
23 Gabriela Prez Yarahun, Entrevista realizada a la ex directora adjunta de Evaluacin en la sede del
Banco Mundial en Washington, D.C., Mesas redondas de expertos sobre herramientas de medicin del
desempeo, 3 de febrero de 2009, en Castro et al., Op. Cit.
24 Gonzalo Hernndez Licona, Sistema de Monitoreo y Evaluacin en Mxico, presentacin en el Banco
Mundial, Series sobre casos de estudio de Monitoreo y Evaluacin en Amrica Latina, Unidad de Pobreza y
Gnero, Banco Mundial, Junio de 2007.

Administrativo (SECODAM), hoy Secretara de la Funcin Pblica (SFP).
Este acuerdo estableca las bases para elegir a instituciones acadmicas
u organismos especializados interesados en evaluar los resultados de los
programas gubernamentales sujetos a ROP para el ejercicio iscal 2002.25
Aunque para 2002 ya se haba avanzado en la elaboracin de diversas
evaluaciones, la obligatoriedad y la sistematizacin de la evaluacin, al
menos la evaluacin de los programas sociales federales, se deriv de la
aprobacin de la Ley General de Desarrollo Social (LGDS). Esta ley establece
explcitamente la obligacin de evaluar a los programas que reciben recursos
iscales y que estn sujetos a ROP, de manera externa y sistemtica. A
diferencia de los aos previos, se determin que: los programas, fondos
y recursos destinados al desarrollo social son prioritarios y de inters
pblico, por lo cual sern objeto de seguimiento y evaluacin de acuerdo
con esta Ley.26
La aprobacin en 2003 de la LGDS27 fue signiicativa para la nueva
comprensin de la evaluacin dentro del ciclo de las polticas pblicas en el
pas, tanto por su orientacin a resultados, como por la obligatoriedad de la
misma; as como por su carcter sistemtico. A partir de estas nuevas reglas
del juego, se estandarizaron los requisitos de las evaluaciones y se modiic
la normatividad de los propios programas.
El cambio institucional, ha sido paulatino. Tras la aprobacin de la
LGDS, se detect la divergencia de opiniones entre el Ejecutivo y el Legislativo
respecto de las responsabilidades y las atribuciones sobre la evaluacin de
los programas sociales federales. A pesar de que la LGDS concentraba las
funciones de evaluacin en el Consejo Nacional de Evaluacin de la Poltica
de Desarrollo Social (CONEVAL),28 en el reglamento se debilit el papel de
esta entidad y se le atribuyeron obligaciones concurrentes en materia de
evaluacin con otras dependencias, concretamente con la SHCP y la SFP.
El inicio de las evaluaciones se aplaz hasta 2006 con la aprobacin
de la Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH).
El sustento de esta Ley es la toma de decisiones presupuestarias con
informacin sobre el desempeo y el resultado de los programas, proceso
conocido como Presupuesto Basado en Resultados.
25 Conde, Op. Cit.

26Diario Oicial de la Federacin (DOF), Ley General de Desarrollo Social (LGDS), Captulo III, Art. 18.
Publicada el 20 de enero de 2004.
27 La LGDS se public en el Diario Oicial de la Federacin en enero de 2004.
28El Consejo es un organismo pblico descentralizado de la [APF] con personalidad jurdica, patrimonio
propio, autonoma tcnica y de gestin, agrupado en el sector coordinado por la Secretara de Desarrollo
Social (SEDESOL), y funge como principal instancia normativa en materia de evaluacin, Decreto
de creacin del Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social, Diario Oicial de la
Federacin, 2005 (nfasis aadido).

Derivado de este instrumento, se cre el Sistema de Evaluacin
del Desempeo (SED). Este sistema es liderado por la SHCP y fue creado
precisamente con el objetivo de utilizar los indicadores de desempeo y de
gestin en la planeacin del presupuesto; busca articular los indicadores
que componen el Programa de Mejora de la Gestin (PMG), por una parte,
con las evaluaciones mandatadas en el decreto de creacin del CONEVAL.
El primer ejercicio que se realiz con este nuevo marco normativo fue el
Presupuesto de Egresos de la Federacin para el ejercicio iscal 2008.
En el SED, el CONEVAL comparte atribuciones con la SHCP, tanto en
la planeacin de la Matriz de Marco Lgico (MML), como en la evaluacin
de los programas. Dentro de esta estructura, se aspira a que la informacin
de las evaluaciones coordinadas por el CONEVAL se combine con los
resultados de gestin, responsabilidad de la SHCP y la SFP, y se integre en
un Sistema Comprehensivo de indicadores del Desempeo (por programa y
por dependencia) (igura 1).
Figura 1: Vertientesprincipales del sistema de

evaluacin del desempeo mexicano
Sistema de Evaluacin del Desempeo
Evaluacin de programas Evaluacin de la gestin pblica

(CONEVAL-SHCP) (Coneval-SHCP)
EVALUACIONES
Evaluacin de programas
Programa de mejora de la gestin
(Coneval-SHCP)
Sistemas de monitoreo y
evaluacin por dependencias
Sistema comprehensivo de indicadores del

desempeo por programa o dependencia
Sistema integral de monitoreo y Compromisos de mejor de la

evaluacin basado en resultados gestin por dependencia
de los PF
Presupuesto basado en Resultados
Fuente: Gonzlez y Serdn, 2008

A lo largo de esta trayectoria, el diseo institucional ha mostrado visos
de un sistema orientado hacia asegurar que exista la evaluacin como rutina
en el quehacer gubernamental, en el que se han hecho explcitos los beneicios
de la evaluacin. En este sentido, algunos expertos han destacado la labor
del CONEVAL29, principalmente en el rea de evaluacin de los programas
sociales, incluso como referencia para otros pases latinoamericanos.
E M
Como vemos, la tarea de evaluar a los programas federales de manera
regular, estandarizada, y dentro de un sistema como el SED es reciente. Las
dos leyes de las que se desprende la evaluacin son la LGDS y la LFPRH, con
la intencin a que conluyan en el proceso presupuestario. El CONEVAL
tiene atribuciones para evaluar la Poltica de Desarrollo Social, mientras
que la SHCP y la SFP son responsables de la evaluacin de programas
presupuestarios (indicadores de gestin y estratgicos).
Figura 2: Marco Institucional de la Evaluacin en Mxico
Ley General de Evaluacin de la

Desarrollo Social CONEVAL Poltica de Desarrollo
(LDGS) Social
Presupuesto de
Egresos Federacin
2007
Ley de Presupuesto y Evaluacin de programas
Responsabilidad SHCP presupuestarios por
Hacendaria (LFPRH) SFP medio de indicadores
estragicos y de gestin
Matriz de Indicadores
Tipos de evaluacin Lineamientos
Seguimiento a Generales de
recomendaciones Evaluacin
Planeacin de las
evaluaciones (PAE)
Fuente: hania de la Garza, Evaluacin de la Poltica y los Programas de

Desarrollo Social, Presentacin realizada en el CIDE, Enero 2010.
Adems de las dos leyes federales referidas, los principales dispositivos

normativos en los que se circunscribe la evaluacin son: (1) Lineamientos Generales
para la Evaluacin de los Programas Federales de la Administracin Pblica Federal
(Lineamientos de aqu en adelante), de los cuales se han derivado los (2) Programas
Anuales de Evaluacin (PAE), as como el (3) Mecanismo de Seguimiento de los
Aspectos Susceptibles de Mejora 2008 (Mecanismo, de aqu en adelante).
29 Burdescu et al., Institucionalizar los sistemas de seguimiento y evaluacin: cinco experiencias de
Amrica Latina, en Boletn del Banco Mundial, Nm. 78, Septiembre de 2005.

En cuanto a los Lineamientos, stos incluyen previsiones para la
evaluacin de los programas, en trminos presupuestarios y de indicadores
estratgicos, as como especiicaciones en materia de la Poltica de Desarrollo
Social. La deinicin de estos Lineamientos es responsabilidad compartida
de la SHCP, la SFP y del CONEVAL. Su objetivo es regular la evaluacin de los
programas federales, la elaboracin de la matriz de indicadores y los sistemas
de monitoreo, as como la elaboracin de los objetivos estratgicos de las
dependencias y entidades. Un principio general de los Lineamientos es la
observancia obligatoria para todas las dependencias y entidades30 de la APF.31
Los Lineamientos establecen que los programas sujetos a ROP, y
en su caso, aquellos que determinen conjuntamente el CONEVAL, la SHCP
y la SFP, debern ser evaluados. En el mismo documento se especiican los
siguientes tipos de evaluacin:
Tabla 2: Tipo de evaluaciones de los programas federales en Mxico
Tipos de evaluacin Descripcin
Evaluacin de Da la posibilidad de tener un diagnstico sobre la

Consistencia y capacidad institucional, organizacional y de gestin
Resultados (ECR) de los programas para alcanzar resultados
Evaluacin Permite evaluar la consistencia y lgica
de Diseo interna de los programas presupuestales
Evaluacin Mide los efectos netos del programa
de impacto en la poblacin que atiende
Evaluacin de Analiza mediante trabajo de campo si el programa
procesos lleva a cabo sus procesos operativos de manera eicaz y
eiciente, y si contribuye al mejoramiento de su gestin
Evaluacin Es una sntesis de la informacin que las dependencias
especica del integran en el Sistema de Evaluacin del Desempeo
desempeo (EED) (SED) de la Secretara de Hacienda y Crdito Pblico
Evaluacin de Revisa mediante trabajo de campo la pertinencia
indicadores y el alcance de los indicadores de un programa
para el logro de sus resultados
Evaluaciones Son aquellas que los propios programas y dependencias realizan
complementarias para profundizar sobre aspectos relevantes de su desempeo
Evaluacin estratgica Son una valoracin de las polticas y estrategias de
desarrollo social, tomando en cuenta diversos programas
y acciones dirigidos a un objetivo comn
Fuente: Elaboracin propia con base en CONEVAL, sitio web oicial disponible
en: www.coneval.gob.mx Consultado el 02 de marzo de 2010
30 Lineamientos Generales para la Evaluacin de los Programas Federales de la Administracin Pblica Federal,
Diario Oicial de la Federacin, Art. I, 2007.

31 Ibdem., Art. II.

Estos Lineamientos tambin deinen las reglas del juego para
la elaboracin de la matriz de indicadores; para la contratacin de los
evaluadores y el diseo de los trminos de referencia (TR); as como para
la difusin de la evaluacin. Sin embargo, las normas acerca del uso y
seguimiento de las evaluaciones son ambiguas. Por una parte todas las
dependencias y las entidades de la Administracin Pblica Federal (APF)
estn obligadas a dar seguimiento a las evaluaciones y, por otro lado, las
normas establecen que nicamente aqullas que requieran signar convenios
para el seguimiento de las evaluaciones debern informarlo.
Derivado de los Lineamientos publicados en 2007, el CONEVAL,
la SHCP y la SFP delinearon los elementos centrales para la planeacin
anual a travs de los Programas Anuales de Evaluacin (PAE). El primer
ejercicio se realiz en 2007, cada programa contiene informacin sobre
el tipo de evaluaciones que se realizarn durante cada ao. Destaca la
Evaluacin Especica de Desempeo (EED) como la evaluacin externa
anual obligatoria para todas las entidades y las dependencias de la APF.
Igualmente, en los PAE se incluyen los TR para cada tipo de evaluacin a
realizar.
Dentro del PAE 2007 se estableci que a partir del PAE 2008 los
resultados de las evaluaciones se tomaran en cuenta en el proceso de
planeacin y presupuestacin.32 En contraste, en la prctica el presupuesto
basado en resultados es una asignatura pendiente y con muchos retos para
su consolidacin.33
El resto de los PAE contiene disposiciones para el establecimiento
del calendario de ejecucin de las evaluaciones de los programas federales
en operacin, as como de los que vayan a comenzar su implementacin;
la vinculacin del calendario de las evaluaciones con el calendario de
actividades de programacin y presupuestacin de los siguientes ejercicios
iscales; la determinacin sobre el tipo de evaluaciones a realizar por
programa; y la articulacin de los resultados de las evaluaciones de los
programas federales en el marco del presupuesto basado en resultados.34
Esta ltima condicin parece apuntar hacia el uso instrumental de la
evaluacin, a pesar de ello, nicamente se enuncia como una consideracin
general en el texto introductorio de los PAE y no se respalda con la deinicin
concreta de los procedimientos a seguir para lograrla.
Hasta aqu podemos hacer dos relexiones: por una parte estos
programas anuales promueven la sistematizacin de la evaluacin, en
tanto que todos los programas sujetos a ROP deben contar con la EED,
32 Para los efectos del Programa Anual de Evaluacin 2008, la Secretara determinar los recursos y
previsiones necesarias, a in de incorporar sus resultados dentro del proceso presupuestario Numeral 7
consideraciones generales, Programa Anual de Evaluacin 2007.
33 Gonzlez, Op. Cit.
34 Planes Anuales de Evaluacin 2007, 2008, 2009 y 2010.

este es otro principio general del sistema de evaluacin. Por otro lado, las
consideraciones sobre el uso de la evaluacin, contenidas en los PAE, al
igual que en los Lineamientos son limitadas. Ms bien las reglas se orientan
a detallar cmo hacer la evaluacin y no a cmo utilizar sus resultados.
Adems de la obligatoriedad y la sistematizacin de las evaluaciones,
la estandarizacin es otro eje del diseo institucional. Para ello, se adapt
como instrumento transversal para la evaluacin de los programas federales
la MIR con base en la metodologa de marco lgico (MML).35 Esta matriz
debe elaborarse para cada programa sujeto a ROP y debe actualizarse e
incluirse dentro de dichas reglas; el objetivo es alinear el in, propsito,
componentes y actividades de cada programa al instrumento federal de
planeacin, es decir, al Plan Nacional de Desarrollo Social.36 En efecto, las
Evaluaciones de Consistencia y Resultados (ECR) partieron de las MML
elaboradas por cada entidad y dependencia.
Algunos servidores pblicos consideran que adoptar esta herramienta
implic acoplar a los programas en una estructura de planeacin para la
cual no fueron originalmente diseados. Por ejemplo, en el caso de los
programas de la Comisin Nacional para el Desarrollo de los Pueblos
Indgenas (CDI), a excepcin del PIBAI (Programa de Infraestructura Social
Bsica para el Desarrollo de los Pueblos Indgenas) y el POPMI (Programa de
Opciones Productivas para Mujeres Indgenas), el resto de los programas se
disearon hace ya varias dcadas, lo que represent un trabajo de alineacin
forzada.37 A pesar de las diferentes opiniones al respecto, es indudable que
se ha avanzado en la estandarizacin. Hoy en da, las evaluaciones anuales
(EED) parten de la revisin de la MML y la MIR, de manera homognea
para todos los programas federales evaluados.38
Adicionalmente, otro principio general del sistema de evaluacin es
la difusin de los resultados. Contrario a lo que suceda en aos anteriores
a la creacin del CONEVAL, a la fecha es posible identiicar un espacio
destinado a la publicacin de las evaluaciones externas. As los Lineamientos
35 Esta metodologa se ha difundido por organismos internacionales como la Agencia de los Estados
Unidos para el Desarrollo Internacional (USAID) en la dcada de 1970 y, posteriormente, la Comisin

Econmica para Amrica Latina y el Caribe (CEPAL) la incorpor a travs del Instituto Latinoamericano
de Planeacin (ILPES). Regularmente el inanciamiento otorgado por estos organismos requiere de la
presentacin de los proyectos a travs de esta matriz. Los gobiernos de Chile y Per lo utilizan como
mecanismos de planeacin y evaluacin de programas y proyectos pblicos.
36 Este rasgo empata con la alineacin programtica de sistemas nacionales de evaluacin como el
SINERGIA colombiano. Sonia Ospina, et al., y Ricardo Toledo explican que el rasgo principal del sistema
colombiano es la alineacin de la evaluacin a la planiicacin de los programas del gobierno central con
claros propsitos polticos (political accountability). En este caso, la evaluacin est diseada para proveer
a los tomadores de decisiones y altos funcionarios con informacin sobre el desempeo organizacional y
sectorial, con la expectativa de que esta informacin se considere en los procesos de toma de decisiones y
planiicacin. Vase: Ospina, et al. y Toledo, Op. Cit.
37 Opinin de funcionarios de la CDI. Comunicacin personal establecida el 17 de mayo de 2010.
38Otro ejemplo que sirve para ilustrar la estandarizacin es la elaboracin de las ECR bajo los mismos
trminos de referencia, lo mismo ocurre con las Evaluaciones de Diseo y las Especicas de Desempeo.

determinan que despus de diez das hbiles de haberse entregado la
informacin al CONEVAL, a la SHCP y a la SFP, las dependencias y entidades
deben dar a conocer de manera permanente en sus pginas de Internet en
un lugar accesible y visible- los documentos y resultados de las evaluaciones
externas realizadas a sus programas.39
Este elemento ha sido uno de los principales cambios desde la
coniguracin del sistema de evaluacin y la entrada en vigor de la LGDS.
Como sugieren algunos funcionarios, previo a la labor del CONEVAL, las
evaluaciones se archivaban en un cajn, no necesariamente se lean y, si
alguien las requera, encontrarlas era todo un reto.40 De hecho, gracias a la
publicidad y difusin de las evaluaciones, hoy es posible hacer valoraciones
sobre la calidad metodolgica de las mismas, revisar las recomendaciones
recurrentes a los programas federales, y que los propios operadores lean
cmo otras instancias valoran el desempeo de los programas a su cargo.
Sin duda este principio es una de las mayores aportaciones del sistema de
evaluacin al quehacer de la APF.
En 2008, el CONEVAL, la SHCP y la SFP emitieron el Mecanismo
de Seguimiento de los Aspectos Susceptibles de Mejora. La preocupacin
que dio origen a este instrumento fue el destino de la evaluacin y
el mejoramiento de los programas con base en los hallazgos de las
evaluaciones.41 El Mecanismo es el ltimo eslabn de la cadena de las reglas
del juego del sistema de evaluacin.
Para explicarlo mejor, hasta ah llega el diseo institucional de la
evaluacin en Mxico, ms all del Mecanismo no hay pautas que orienten u
obliguen a las unidades responsables de los programas a utilizar la evaluacin
de cierto modo. Grosso modo el proceso de evaluacin es el siguiente: (1) El
sistema de evaluacin contempla Lineamientos y Programas Anuales de
Evaluacin; (2) la elaboracin de la Matriz de Indicadores de Resultados (o
metodologa de Marco Lgico) es un insumo bsico para las evaluaciones;
(3) con base en esta matriz, se realiza la evaluacin de los programas;
(4) posteriormente se publican los resultados; y (5) las entidades y
dependencias se sujetan al Mecanismo. Al inalizar este proceso se da paso
a un espacio de discrecionalidad que, como se analiza ms adelante, lleva a
distintos comportamientos entre dependencias y entidades.
39 Lineamientos generales para la evaluacin de programas federales de la APF, Diario Oicial de la
Federacin, Captulo VII, Art. 26, 2007.

40 Opinin de ex-funcionarios del CONEVAL y SEP. Comunicacin personal establecida el 19 y 21 de mayo
de 2010.
41 CONEVAL, Oicio Nm. 307-A-1981, Oicio Nm. VOZSE 273/08 y Oicio Nm.
SCAGP/200/821/2008. Sobre el mecanismo de seguimiento de los aspectos susceptibles de mejora.

Figura 3: El ciclo de la evaluacin en Mxico
Evaluacin Difusin de
Lineamientos para Elaboracin
externa anual resultados de la
la evaluacin y (Actualizacin) Mecanismo de
obligatoria + evaluacin en
publicacin del de MIR por seguimiento
otras los sitios web
PAE dependencia
evaluaciones institucionales
Fuente: Elaboracin propia.
Con esta resea vemos que en Mxico se ha logrado la transicin

de un esquema acotado de evaluacin hacia un esquema en el que se
evala la totalidad de los programas de la APF: se ha conducido desde un
sistema sectorial hasta un sistema de alcance nacional.42 El camino iniciado
se orienta tambin hacia la estandarizacin de la evaluacin y a la inclusin
de estos ejercicios en un sistema que intenta impactar en las decisiones
presupuestarias, que como airman los especialistas, es una condicin
necesaria para el xito de los sistemas nacionales de evaluacin.
Por otro lado, los actores involucrados han experimentado un proceso
de cambio que los ha inscrito en una nueva manera de hacer la evaluacin. En los
primeros aos del sistema se observa con xito la difusin de las evaluaciones,
en parte gracias al desempeo del CONEVAL. Asimismo, al conformarse el
Consejo por especialistas investigadores y acadmicos, as como convocar
a organismos externos, se ha apostado por la profesionalizacin del sistema.
Ha sido muy importante que el CONEVAL d la seal de ser un organismo
profesionalizado, transparente e imparcial. Por ejemplo, la integracin de su
Comit Directivo conformado por seis investigadores acadmicos,43 que son
elegidos de manera externa por la Comisin Nacional de Desarrollo Social44, y
a travs de convocatoria pblica, sugiere el valor de la objetividad del Consejo.
De esta composicin colegiada tambin se puede inferir la especializacin y el
carcter tcnico de las actividades de evaluacin al interior del organismo.45
La obligatoriedad, la sistematizacin, la difusin, y el carcter externo
de las evaluaciones empatan con el uso conceptual planteado al inicio del
captulo (fase de adopcin). No obstante, queda an por valorar la utilidad de
las evaluaciones en la planeacin y la operacin de los programas, es decir,
42 Castro et al., Op. Cit.

43Decreto de creacin del Consejo Nacional de Evaluacin de la Poltica Social, Diario Oicial de la
Federacin, Art. VII, 2005.
44 La Comisin Nacional de Desarrollo Social est integrada por los 32 titulares de las dependencias
responsables del desarrollo social de los gobiernos de las entidades federativas; por los presidentes de las
comisiones de Desarrollo Social de las Cmaras de Diputados y de Senadores; por un representante de
cada una de las asociaciones nacionales de autoridades municipales, y por los titulares de las secretaras de
Desarrollo Social; Educacin Pblica; Salud; Trabajo y Previsin Social; Agricultura, Ganadera, Desarrollo
Rural, Pesca y Alimentacin, y Medio Ambiente y Recursos Naturales.
45 Adems del Comit Directivo, el CONEVAL est a cargo de un secretario ejecutivo. Desde 2005
este cargo lo asume Gonzalo Hernndez Licona. Las funciones en este cargo son coordinar, ejecutar y
supervisar los servicios tcnicos y la administracin de recursos con los que cuenta el CONEVAL.

saber si el uso tambin llega a la fase de implementacin. Es en ese punto
donde, de modo general, el sistema de evaluacin en Mxico presenta una
serie de desventajas.
En primer lugar, el ajuste incremental que ha seguido la conformacin
del sistema y la negociacin de diferentes actores en torno a quin debe
realizar la evaluacin, ha impuesto un obstculo para el propio diseo
institucional. En segundo lugar, las atribuciones compartidas en materia de
regulacin de la evaluacin, el bajo nivel presupuestario y, en proporcin,
el poco personal encargado de coordinar las funciones de evaluacin del
Consejo le han dado un carcter de baja jerarqua institucional.46
Por su parte, las reglas para el uso instrumental no son explcitas.
Por ejemplo, en el caso de los Lineamientos hay inconsistencias que eximen
de la obligacin para dar seguimiento y utilizar las evaluaciones, y pese a
la posterior emisin del Mecanismo 2008, el incentivo hacia modiicar los
programas en trminos de planeacin estratgica an no est claro.
Los nuevos instrumentos normativos no se refuerzan con incentivos
que lleven a los responsables a comprender el beneicio del uso de los ejercicios
de evaluacin en la modiicacin de los programas, o por el contrario a realizar
un balance de los costos de no utilizar dichos ejercicios. La responsabilidad del
uso, as como sus implicaciones, no quedan explcitas en estos instrumentos.
Por otra parte, existen asimetras de poder y capacidades entre los
mandantes de la evaluacin (SHCP, SFP y CONEVAL), hecho que pone de
maniiesto la desarticulacin en las atribuciones compartidas entre estas
instancias. Igualmente, la reaccin de las unidades responsables (UR)
puede ser diferente segn el mandante en cuestin, principalmente por las
diferentes atribuciones que los instrumentos normativos le otorgan a cada
entidad reguladora.
Si bien la evaluacin externa es un avance, ello ha provocado las
resistencias de algunas UR de la operacin de los programas, lo que puede
diicultar el uso de las evaluaciones. Por otro lado, las agencias evaluadoras
buscan asegurarse dentro de una nueva profesin y un nuevo mercado, as
pueden comportarse de manera estratgica para posicionarse dentro de la
nueva lgica del sistema de evaluacin para volver a ser contratadas.
En cuanto a las unidades de evaluacin (UE) dentro de las entidades
y dependencias, aunque stas fungen como intermediarias, la evidencia
demuestra su empata con las unidades que operan los programas.47
Igualmente, la conformacin heterognea de cada una de estas unidades
administrativas nos lleva a diferentes resultados sobre el uso de la evaluacin.
46 Para 2010, el CONEVAL cont con un presupuesto de alrededor de 176 millones de pesos, que
representan 0.22 por ciento del gasto total del Ramo 20 Desarrollo Social (SHCP, PEF) y con una plantilla
de alrededor de 70 funcionarios que incluyen personal administrativo.
47 Esta informacin se extrae de las entrevistas realizadas a funcionarios de algunas entidades de la APF.
Hacia el inal del captulo se describen ms a detalle las opiniones de los entrevistados.

En resumen, vemos que inicialmente hubo un incentivo poderoso, es
decir, se logr que existieran entidades reguladoras y que stas coordinaran
los procesos de evaluacin. Pero, en una segunda fase, la preocupacin
es saber si se utilizan y cmo se utilizan las recomendaciones de dichas
evaluaciones, en ese caso, es evidente que el diseo institucional del sistema
de evaluacin en Mxico resulta an limitado para ese in.
El uso de la evaluacin como instrumento de cambio

De 2006 a la fecha de publicacin de este libro, se han realizado las
siguientes evaluaciones: evaluaciones externas a 85 programas federales
(2006-2007)48; evaluaciones de diseo para 13 programas nuevos (octubre
2007); 106 Evaluaciones de Consistencia y Resultados-ECR (2007-
2008); Evaluaciones Especicas del Desempeo-EED a 131 programas
presupuestarios en 2008-2009; 127 en 2009-2010, y 133 programas en
2010-2011. Adems de dos evaluaciones estratgicas: al Ramo 33 y la
Evaluacin de Nutricin y Abasto; 14 evaluaciones de impacto,49 as como
la evaluacin integral del desempeo de programas federales 2009-2010.
Del universo de evaluaciones realizadas, esta investigacin se limit
a las recomendaciones de la Evaluacin de Consistencia y Resultados
(ECR) 2007-2008, publicadas en 2008, as como al cumplimiento de
los instrumentos de seguimiento correspondientes a este periodo de
evaluacin. La razn para elegir este periodo es porque fueron las primeras
evaluaciones en el marco del sistema de evaluacin conformado en el SED
y con la coordinacin del CONEVAL, tambin porque el Mecanismo 2008
representa una fuente oicial de informacin sobre las reacciones a los
resultados de las evaluaciones a cargo de las unidades responsables (UR);
este ejercicio incluy a un nmero considerable de programas sociales
federales (106), y, inalmente, el anlisis es pertinente por el inters en el
uso instrumental de la evaluacin.
Recordemos que este tipo de evaluaciones ofrece un diagnstico
sobre la capacidad institucional, organizacional y de gestin de los
programas hacia resultados.50 Asimismo, segn documentos oiciales, este
48 Estos ejercicios se realizaron previamente a la publicacin de los Lineamientos Generales para la
Evaluacin de los Programas Federales de la Administracin Pblica Federal (Marzo de 2007) y a la

metodologa de Evaluaciones de Consistencia y Resultados.
49 Para conocer la lista de los programas que han sido objeto de evaluacin de impacto en los aos
1992, 2000, 2004-2007 consulte el siguiente link: http://www.coneval.gob.mx/cmsconeval/rw/pages/

evaluacion/evaluaciones/impacto_060910.es.do;jsessionid=e1a48043b850289ddd76d0562114a5c27c2c2
a3357af6cea7395a54d233ed603.e34QaN4LaxeOa40Nbx10
50 CONEVAL, Informe de Seguimiento a los Aspectos Susceptibles de Mejora de Programas Federales
2008, proceso de evaluacin externa 2008 del Gobierno Federal. Disponible en: http://www.coneval.gob.
mx/contenido/eval_mon/2733.pdf Consultado el 02 de marzo de 2010.

tipo de evaluacin analiza sistemticamente el diseo y desempeo global
de los programas federales, para mejorar su gestin y medir el logro de sus
resultados con base en la matriz de indicadores [MIR].51
La aplicacin del Mecanismo 2008 se circunscribi a las dependencias
y entidades de la APF responsables de operar programas federales que
realizaron ECR o Evaluaciones de Diseo, para el ejercicio iscal 2007, y
que en 2008 tuvieron presupuesto asignado. Los objetivos del Mecanismo
son: (1) establecer el procedimiento general para dar seguimiento a los
aspectos susceptibles de mejora de los resultados de las evaluaciones de
Consistencia y Resultados y de las Evaluaciones de Diseo 2007;52 (2)
deinir a los responsables de establecer los instrumentos de trabajo para
dar seguimiento a los aspectos susceptibles de mejora, as como para
la formalizacin de los mismos; y (3) deinir las fechas de entrega de los
documentos de seguimiento a los aspectos susceptibles de mejora.53
Para la implementacin del Mecanismo, se establecieron cuatro
etapas: (1) Anlisis y seleccin; (2) Clasiicacin y priorizacin; (3)
Formulacin de instrumentos; y (4) Difusin (igura 4).
Figura 4: Procesodel Mecanismo de los

Aspectos Susceptibles de Mejora
Criterios de seleccin:
1. UE y UR, otras U Claridad
Anlisis y seleccin de Relevancia
los aspectos Justiicacin
susceptibles de mejora Factibilidad
2. UE y UR, otras U
Clasiicacin y
priorizacin de los
aspectos susceptibles
de mejora
3. UE y UR, otras U
Rubros de Clasificacin: Formulacin de
Especicos instrumentos
Institucionales susceptibles de mejora
Interinstitucionales
Intergubernamentales
4. Dependencias y
entidades
Difucin de los
Niveles de prioridad: instrumentos
Alta Plan de trabajo
Media Plan institucional
Baja Posicin institucional
Fuente: hania De la Garza, Op. Cit.
51 Lineamientos Generales para la Evaluacin de los Programas Federales de la Administracin Pblica
Federal, Diario Oicial de la Federacin, 2007, Captulo 1.

52 CONEVAL 2008, Op. Cit., p. 4.
53Vase el apartado sobre el Mecanismo en el sitio oicial de CONEVAL. Disponible en: http://www.
coneval.gob.mx/coneval2/htmls/evaluacion_monitoreo/HomeEvalMonitoreo.jsp?categorias=EVAL_
MON,EVAL_MON-mecanismos Consultado el 23 de marzo de 2010.

Para el monitoreo del Mecanismo se dise un sistema informtico en
lnea Sistema de Seguimiento de los Aspectos Susceptibles de Mejora (SSAS)
en el cual las entidades y dependencias incorporaron su opinin fundamentada
con respecto a los hallazgos y las recomendaciones de las ECR. Este sistema
se dividi en 4 apartados: posicin institucional; clasiicacin; priorizacin, y
formulacin de instrumentos (plan de trabajo y plan institucional).
C
Evaluaciones de Consistencia y Resultados?
En el proceso del Mecanismo 2008, a excepcin de la Secretara de Economa,
la Secretara de Medio Ambiente y Recursos Naturales (SEMARNAT) y el
Instituto Mexicano del Seguro Social (IMSS), la mayora de las entidades
cumplieron con los requisitos en cuanto a la difusin de sus resultados.54 Por
su parte, segn informacin oicial del CONEVAL, procedente de los hallazgos
de las ECR, en materia de planeacin estratgica se registra que poco ms de
la mitad (58%) de los programas utilizan los resultados de las evaluaciones
para mejorar su desempeo. Adems, las unidades responsables reconocen
la importancia de utilizar los resultados de la evaluacin, puesto que uno de
cada tres programas evaluados (32%), han clasiicado esta condicin como
Aspecto Susceptible de Mejora (ASM) (tabla 3).55
Tabla 3: Hallazgos de las recomendaciones derivadas

de las ECR (Planeacin estratgica)
ECR
Tema Subtemas Si No ASM

Orientacin Programas que utilizan los 58% 42% 32%
a Resultados resultados de las evaluaciones
para mejorar su desempeo
Programas que tienen metas 51% 49% 13%
pertinentes y plazos especicos para
sus indicadores de desempeo
Programas que tienen un nmero 49% 51% 13%
suiciente de indicadores orientados a
resultados que relejen su propsito
Planes que establecen claramente los 21% 79% 4%
resultados que se buscan alcanzar
Fuente: De la Garza, Op. Cit.
54 Ms explcitamente estas dependencias cumplieron con la publicacin de sus planes de trabajo, planes
institucionales y/o posiciones institucionales, en el sitio web oicial del CONEVAL.

55 hania De la Garza, Op. Cit.

En trminos generales, se registra una alta tasa de cumplimiento
del Mecanismo, pues de los 106 programas sujetos a ECR, 93 dieron
seguimiento en tiempo y forma a los ASM. Proporcionalmente, las
dependencias o entidades ms incumplidas fueron el Sistema Nacional para
el Desarrollo Integral de la Familia (SNDIF), la SEMARNAT y el Consejo
Nacional de Ciencia y Tecnologa (CONACYT), mientras que el resto de las
dependencias y entidades cumpli en 100% con las obligaciones derivadas
del Mecanismo (tabla 4).
Tabla 4: Porcentajede cumplimiento del Mecanismo

2008, por tipo de dependencia y entidad
DEPENDENCIA Pro- Cumplimiento % In- %

O ENTIDAD gramas ASM cumplimien-
Sujetos to ASM
a ECR
SALUD-DIF 1 0 0.00 1 100.00
SEMARNAT 14 5 35.71 9 64.29

CONACYT 4 2 50.00 2 50.00
SALUD 8 7 87.50 1 12.50
SAGARPA 11 11 100.00 0 0.00
SHCP- 6 6 100.00 0 0.00
AGROASEMEX
SEDESOL 16 16 100.00 0 0.00
SEP 26 26 100.00 0 0.00
IMSS 1 1 100.00 0 0.00
SE 6 6 100.00 0 0.00
SHCP-CDI 8 8 100.00 0 0.00
SRA 3 3 100.00 0 0.00
STPS 2 2 100.00 0 0.00
TOTAL 106 93 87.74 13 12.26
Fuente: Elaboracin propia con base en la informacin presupuestal, consulta a funcionarios

del CONEVAL y veriicacin de los sitios web institucionales de las dependencias.
En cuanto a los resultados generales publicados en el Informe de

Seguimiento del CONEVAL 2008, del total de los ASM, 73% fue emitido por tres
dependencias: la Secretara de Educacin Pblica (SEP) (33%), la Secretara de
Desarrollo Social (SEDESOL) (24%), y la SHCP (16%); mientras que la Secretara
de Trabajo y Previsin Social (STPS), el IMSS y la Secretara de Agricultura,
Desarrollo Rural, Pesca y Alimentacin (SAGARPA) son las dependencias que

identiican menos ASM. En la grica 1 se presenta el nmero de ASM por
dependencia coordinadora. Este porcentaje no signiica que las dependencias
coordinadoras que registran un mayor nmero de ASM tengan un mejor
desempeo, puesto que el nmero de programas evaluados vara entre cada una
de estas dependencias, slo demuestra la distribucin de los resultados.
G Nmero de Aspectos Susceptibles de

Mejora por dependencia coordinadora
350
303
300
229
250
200
149
150
100
68 64
36 35
50
14 14 11 7
0
SEP
SEDESOL
IMSS
SCHP
SALUD
SE
SEMARNAT
SRA
CONCAYT
STPS
SAGARPA
Fuente: CONEVAL, Informe de Seguimiento 2008.
Segn el nivel de priorizacin de los ASM, la mayora de estos

aspectos se clasiican como de alta prioridad, 66%, seguidos de 29% con
priorizacin media y 5% con baja prioridad (grica 2).
G Porcentaje de Aspectos Susceptibles

de Mejora segn nivel de prioridad
5%
ALTA
MEDIA
29%
BAJA
66%
Fuente: CONEVAL 2008, Informe de Seguimiento y Sistema de

seguimiento a Aspectos Susceptibles de Mejora (SSAS).

Estos datos pueden tener distintas lecturas, por una parte puede
signiicar que las UR perciben un diseo inadecuado de sus programas, por
lo que las recomendaciones derivadas de la evaluacin son prioritarias. Por
otra parte, puede representar que las UR reconocen las recomendaciones
como una actividad sustantiva dentro de la operacin del programa o
tambin que las recomendaciones estn orientadas a modiicar actividades
que son relevantes para el funcionamiento del programa, sin especiicar si
habr cambios o no. Por ello, no se puede establecer a-priori una conclusin
sobre estas cifras.
Al ver los resultados por tipo de actor, llama la atencin que 70%
de los ASM se consideraron especicos, es decir que las UR perciben que la
solucin se circunscribe a su propio mbito de accin y depende nicamente
de ellas. Los ASM institucionales representaron 22%, esto es que su
atencin est sujeta a diferentes unidades administrativas o reas dentro
de una misma entidad o dependencia que opera el programa; slo 5% se
clasiicaron como ASM intergubernamentales, lo que signiica que deben
involucrarse otros rdenes de gobierno, y, inalmente, 3% se perciben como
interinstitucionales, esto es que otras dependencias o entidades de la APF
deben estar involucradas para darles solucin.
G Porcentaje de Aspectos Susceptibles de Mejora

por clasiicacin segn actor responsable
70
52.5
35
17.5
0
ESPECFICOS
INTERGUBERNAMENTALES
INTERINSTITUCIONALES
INSTITUCIONALES


Sin embargo, esta priorizacin resulta compleja cuando vemos
el nivel de prioridad segn los actores encargados de atender la
recomendacin. As, la mayor parte de los aspectos intergubernamentales
(95%) es de alta prioridad, lo que supone un reto de mayor envergadura, ya
que las UR de los programas tienen la percepcin de que para hacer cambios
y mejoras prioritarias se debe recurrir a la cooperacin y coordinacin entre
diferentes niveles de gobierno (grica 4). Por su parte, cerca de 60% de los
ASM con carcter especico, es decir que permanecen dentro del control de
las unidades de los programas, es de alta prioridad, y nicamente 10% de
este tipo de aspectos es considerado de baja prioridad.
G Hallazgos del seguimiento a las recomendaciones

de las ECR (por tipo de prioridad)
Especicos
Institucionales
Interinstitucionales
Intergubernamentales
0% 25% 50% 75% 100%
ALTA MEDIA BAJA

Como deinen las reglas del Mecanismo, cuando algn aspecto es

de carcter intergubernamental y/o interinstitucional, el CONEVAL en
conjunto con la SHCP y la SFP, es el responsable de intervenir y deinir cmo
solucionar dichos aspectos, para lo cual emite el Informe de Seguimiento
a los Aspectos Susceptibles de Mejora. El 30 de enero de 2009 se remiti
el Informe a la Comisin Nacional de Desarrollo Social y a la Comisin
Intersecretarial de Desarrollo Social, con el in de que dichas instancias
analizaran los aspectos intergubernamentales e intersecretariales,
respectivamente, y se propusieran cursos de accin para atender las
problemticas identiicadas.56
56 Algunos aspectos que incluye el informe son: promover mecanismos para la identiicacin de la
poblacin potencial y de la poblacin objetivo de los programas federales; promover sinergias entre
instituciones y dependencias para potenciar los beneicios otorgados por los programas federales; contar
con evaluaciones externas rigurosas y sistemticas para las polticas y programas de desarrollo social de
estados y municipios; y mejorar la cobertura del conjunto de las acciones de la poltica social para acercarse
al cumplimiento de los derechos sociales de la poblacin. Para conocer ms sobre este tipo de aspectos
remtase al Informe, disponible en: http://www.coneval.gob.mx/contenido/eval_mon/2733.pdf

A la fecha en que se publica este libro, se desconoce el estatus
de los avances en los ASM clasiicados como interinstitucionales e
intergubernamentales en 2008, lo que pone en evidencia la falta de
reciprocidad del Consejo, la SHCP y la SFP para con las dependencias y
entidades.57 Si bien en los informes subsecuentes del Mecanismo 2009 y
2010 se hace alusin a estos ASM, no queda claro qu tipo de acciones se
implementarn para su mejora, nicamente se listan para identiicarlos.
Adems, la informacin que el CONEVAL public en el Informe de
Seguimiento contrasta, en algunos casos, con los documentos de trabajo
publicados por cada dependencia o entidad. Por ejemplo, en el caso del
Sistema de Proteccin Social en Salud- Programa de Seguro Popular existe
cumplimiento en el Mecanismo ASM, segn el sitio web del programa, pero
en el Informe del CONEVAL no se registra. De igual forma, en el caso de
la SEMARNAT, la mayora de los programas evaluados por ECR 9 de 14
programas- no aparecen en el registro que hace CONEVAL, sin embargo al
revisar el sitio electrnico de la dependencia todos los programas presentan
documentos de trabajo. A pesar de estas inconsistencias, en trminos
generales se registra una alta tasa de cumplimiento del Mecanismo 2008.
Debemos tener en cuenta que se han hecho algunas modiicaciones
en la dinmica de seguimiento de las evaluaciones y en el propio Mecanismo.
Por restricciones de espacio no es posible realizar un anlisis exhaustivo
sobre cmo las UR han reportado y clasiicado sus ASM para los ejercicios
de evaluacin subsecuente (2009-2010 y 2010-2011), pero vale la pena
destacar algunos ajustes.
En primer lugar, se observa una tendencia similar en cuanto a los
ASM que reportan las UR. Para 2009 el CONEVAL inform lo siguiente:58
1. En el Mecanismo 2008, segn el informe del CONEVAL,

participaron 91 programas de la APF; durante 2009 el nmero
ascendi a 150. Aunque ya vimos que el nmero real del
programas en 2008 fue de 106, an as la cifra de programas
objeto del Mecanismo aument considerablemente.
2. El nmero de ASM incorporados en el Mecanismo 2008
disminuy en 7% para 2009; la cifra pas de 930 aspectos a 871.
3. En cuanto a la clasiicacin de los ASM, en ambos aos la
mayor parte de stos se ubicaron dentro de la categora
de aspectos especicos (70% en 2008 y 83% en 2009); sin
57 Esta informacin se extrajo de la conversacin con un funcionario de la SEP. Comunicacin establecida
el 21 de mayo de 2010.
58 CONEVAL, Informe de Seguimiento a los Aspectos Susceptibles de Mejora, 2009. Disponible
en: http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/principales_recomendaciones_
eval_2009_2010/index.es.do Consulta realizada el 22 de septiembre de 2011.

embargo, se observ una disminucin en el porcentaje de
aspectos intergubernamentales e interinstitucionales respecto
del ao anterior: mientras en 2008 representaban 5% y 3%,
respectivamente, en el 2009 la cifras descendieron a 3% y 2%.
4. En cuanto al nivel de prioridad, en ambos aos ms de la mitad
de los ASM fueron clasiicados como de alta prioridad (66% en
2008 y 58% en 2009).
5. Acerca de los aspectos interinstitucionales e
intergubernamentales, en ambos aos se identiicaron temas
coincidentes, como la necesidad de mejorar la coordinacin entre
instituciones y rdenes de gobierno, as como la promocin de
sinergias para lograr mayores resultados en los programas
sociales.
Segn los datos del Informe de Seguimiento del Mecanismo en

2010, el total de ASM fue de 413 relacionados con el seguimiento de 103
programas. Esto signiica que mientras el nmero de programas se ha
mantenido constante, los ASM han disminuido signiicativamente. En
relacin con la categorizacin de estos ASM segn los actores responsables
de darles seguimiento, se registraron 370 aspectos especicos (90%); 17
aspectos institucionales (4%); 16 aspectos interinstitucionales (4%); as
como 10 aspectos intergubernamentales (2%), cuya solucin demanda
la intervencin de gobiernos estatales o municipales. Se observa que ha
aumentado el porcentaje de aspectos especicos en el tiempo y ha habido
una leve disminucin en la clasiicacin de los aspectos interinstitucionales
e intergubernamentales.
La clasiicacin de los ASM segn su nivel de prioridad tambin
registr un menor porcentaje para los aspectos de alta prioridad en 55%
(en comparacin con 66% en 2008 y 58% en 2009), as como un incremento
para las dos clasiicaciones restantes, 32% de media prioridad y 13% de
baja prioridad. Como se explic en prrafos anteriores, es difcil hacer una
lectura precisa de estas cifras, lo que s permiten discernir es que hacer
mejoras a la operacin y el diseo de los programas no parece ser una
prioridad.
En el Mecanismo 2010 se registra adems la inclusin del porcentaje
de avance en las acciones de mejora derivadas de las Evaluaciones Especicas
de Desempeo 2008-2009, as como de Mecanismos anteriores. Alrededor
de 45% de los programas reportaron acciones con un avance entre 80 y
100%, correspondientes a las EED 2008-2009.
Esta distribucin es similar para el reporte de avance de acciones de
mejora correspondientes a mecanismos anteriores. Segn la informacin
contenida en el SSAS reportada por las dependencias y entidades de la APF

hasta marzo de 2011, la mayora de las acciones reportadas registran un
avance entre 80 y 100%. Esto signiica que, paulatinamente, las entidades y
dependencias estn reportando ms acciones completadas.
En el caso de los aspectos especicos, aquellos responsabilidad de
las UR dentro de cada entidad y dependencia, se identiica que la mayor
parte de las acciones emprendidas se encuentran en proceso de realizacin
() destaca el caso de la CDI, la cual muestra que las acciones terminadas
representan alrededor de 50% de aquellas que se encuentran en proceso
de realizacin.59 Las acciones concluidas se reieren principalmente a los
avances en la MIR tales como revisin de indicadores, as como la alineacin
con las ROP, entre otras. Se subrayan los programas de la CDI, la SEMARNAT
y la SEDESOL.
Otro ajuste se reiere a la publicacin especica de los aspectos
institucionales, terminados y en proceso. Slo la SAGARPA registra ASM
terminados, mientras que el resto de las entidades participantes registra
todas sus acciones de mejora en proceso. Esta distribucin se entiende
debido a que los aspectos institucionales requieren de la participacin de
varias reas de una entidad y/o dependencia para mejorarlos.
El reporte 2010 incluye un apartado especial de los ASM
interinstitucionales e intergubernamentales que profundiza las
recomendaciones para su atencin. Asimismo, clasiica la temtica de los
ASM segn la fase del programa: cobertura, diseo, operacin, resultados,
o planeacin. Por ltimo, especiica cul es el impacto de los ASM; en la
opinin de las UR: 36% de los ASM adiciona, 22% corrige, 18% modiica,
22% reorienta y 2% suspende totalmente los programas.
Es una buena noticia contar con estas modiicaciones en el reporte de
los ejercicios de seguimiento, sin embargo, hay tres elementos a considerar.
En primer lugar, las reglas no han cambiado de manera sustancial,
efectivamente se observan ms esfuerzos del CONEVAL por caracterizar
y sistematizar el tipo de ASM que las entidades y dependencias reportan;
as como la difusin de las acciones de mejora concluidas y un listado ms
detallado de los aspectos interinstitucionales e intergubernamentales que
son responsabilidad de la Comisin Intersecretarial de Desarrollo Social y
de la Comisin Nacional de Desarrollo Social. En contraste, podemos inferir
que las implicaciones para el uso de la evaluacin se mantienen igual para
los tres ejercicios de seguimiento, aunque hoy existe un mayor anlisis de
las acciones reportadas, las entidades y dependencias se mantienen sujetas
a las mismas reglas. Tampoco hay un plan o programa de cmo atender los
ASM interinstitucionales e intergubernamentales.
59 CONEVAL, Informe de Seguimiento a los Aspectos Susceptibles de Mejora, 2010. Disponible
en: http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/seguimiento_recomendaciones/
ASM_2010_2011.es.do Consulta realizada el 24 de septiembre de 2011.

En segundo lugar, la evidencia plasmada en el ltimo Informe de
Seguimiento 2010 detecta un bajo nivel de cumplimiento de la totalidad
de los ASM y slo la CDI muestra un porcentaje de acciones terminadas
para sus aspectos especicos, alrededor de 20%, y en el caso de los aspectos
institucionales, ni siquiera la SEMARNAT, que es la dependencia que
reporta acciones terminadas, rebasa esta cifra. Si bien en el informe se
reportan algunos ejemplos de programas que han modiicado su diseo,
sus procesos de planeacin estratgica, o alguna otra fase de su programa,
la generalidad se mantiene en un bajo porcentaje de acciones concluidas y
es difcil vincular estas acciones con el porcentaje de avance reportado.
En tercer lugar, aunque parecera que este instrumento se dise con
el in de resarcir la ausencia de reglas en torno al uso de las evaluaciones, la
percepcin de algunos funcionarios del CONEVAL y de otras dependencias
es que el Mecanismo no se cre para iscalizar, ni para obligar, sino para
inducir hacia el uso de la evaluacin.60
En este punto es interesante destacar la percepcin que tienen
algunos actores de la APF sobre la importancia que el propio CONEVAL
ha dado al tema del seguimiento. As, en opinin de un funcionario de la
CDI, el Consejo dej abierta la opcin para sujetarse a este convenio de
compromisos, del cual no se aclar si era o no obligatorio.61 En la misma
lnea, funcionarios de la SEMARNAT reieren que el propio Secretario
Ejecutivo del Consejo tras las primeras evaluaciones y, al presentar los
resultados de las mismas, les exhort a un ejercicio de relexin sobre qu
se poda rescatar y qu aspectos de los programas a su cargo se podan
mejorar.62
Los datos sobre el cumplimiento de las obligaciones derivadas del
Mecanismo 2008 demuestran que casi todas las entidades o dependencias
(93%) han generado sus documentos, planes de trabajo y posiciones
institucionales en tiempo y forma. Los datos de 2009 y 2010 refuerzan
esta tendencia. En contraste, no se han hecho observaciones para las
unidades responsables de dependencias y entidades, que operando
programas sujetos a las ECR y con presupuesto 2008, no publicaron
sus documentos de trabajo, planes y posiciones institucionales. Ello
principalmente porque el Mecanismo no prev reglas a este respecto y
porque, tal como advierten los funcionarios entrevistados, el rol del
CONEVAL no implica iscalizar.
60 Esto se extrae de las opiniones de funcionarios y ex funcionarios de algunas dependencias como CDI,
CONEVAL, SEP, SHCP y SEMARNAT. Comunicacin personal establecida el 17, 18, 21, 26 y 28 de mayo de
2010, respectivamente.
61 Entrevista a funcionarios de la CDI. Comunicacin establecida el 17 de mayo de 2010.
62 Entrevista a funcionarios de la SEMARNAT. Comunicacin establecida el 28 de mayo de 2010.

Frente a esta evidencia es pertinente preguntarse entonces cmo el
Mecanismo favorece el uso de la evaluacin? La respuesta no se muestra tan
clara, si bien el Mecanismo releja una preocupacin que podra derivar en
el uso instrumental de las recomendaciones, parece que el camino que sigue
es un crculo burocrtico en el que se hacen esfuerzos para veriicar que las
entidades y dependencias redacten sus planes y posiciones institucionales
y las difundan, ms no que se utilice la evaluacin para la mejora de los
programas, incluso podra considerarse como un ejercicio de simulacin, de
cumplir por cumplir.
Las reglas emanadas del Mecanismo orientan a los responsables a
hacer un ejercicio de rplica hacia las recomendaciones de la evaluacin.
Tal como lo explica un ex funcionario del CONEVAL el Mecanismo le
dio voz a los programas,63 pero cmo se transita de la publicacin de
documentos (plan de trabajo, posicin institucional, etc.) hacia el uso
instrumental? Ciertamente, no se puede generalizar sobre el tipo de
uso posterior a la publicacin de estos documentos, para veriicar el uso
instrumental, tendramos que hacer un estudio de caso por cada programa
evaluado.
Con esta evidencia observamos que el diseo institucional del
sistema de evaluacin en Mxico modiica el comportamiento individual
en trminos de uso en la fase de adopcin. La lgica institucional que
mueve a las UR a cumplir con estas reglas es similar al que los indujo
en una primera fase a realizar, y dejar que se realizaran, las primeras
evaluaciones. Sin embargo, a simple vista es difcil asegurar que la sola
existencia de este Mecanismo conduce al uso en la fase de implementacin;
es decir que lleve a utilizar la informacin de las recomendaciones
para realizar cambios en la planeacin estratgica y el rediseo de los
programas. Adems, despus del Mecanismo ya no existen reglas, ste es
el ltimo eslabn institucional.
En resumen, si ms all del cumplimiento del Mecanismo no hay un
agente que veriique que se estn haciendo ajustes a los programas sociales
con base en las recomendaciones de los evaluadores o si el cumplimiento
implica aumentar los costos en la operacin de los programas, o incluso si
no se aclara quines son los responsables de hacer las modiicaciones de
los programas, la tendencia esperada ser el cumplimiento de lo que s est
claramente normado.
Qu otros factores favorecen el uso de la evaluacin?
63 Comunicacin establecida el 21 de mayo de 2010.

La ltima parte de este captulo presenta brevemente otros factores
que motivan al uso instrumental de la evaluacin, ms all del diseo
institucional del sistema de evaluacin. El ejercicio sirve para conocer
con ms detalle cmo usan las recomendaciones aquellas entidades y
dependencias que s cumplieron con las obligaciones del Mecanismo 2008
y qu hay detrs del incumplimiento de las que no remitieron a tiempo sus
instrumentos institucionales al CONEVAL. Este apartado sirve tambin
como prembulo para entender qu ha llevado a las UR ganadoras del
Premio 2011 a utilizar las evaluaciones para modiicar la operacin, el
diseo, la planeacin, o los instrumentos de sus programas.
Para conocer algunos comportamientos y percepciones de los
actores implicados en los procesos de evaluacin, se realizaron entrevistas
a funcionarios de las siguientes entidades y dependencias: la Comisin
Nacional para el Desarrollo de los Pueblos Indgenas; la Secretara de
Educacin Pblica y la Secretara de Medio Ambiente y Recursos Naturales.
La seleccin de estas dependencias se bas en el anlisis de los resultados
del Mecanismo 2008. El objetivo fue recuperar informacin de casos con
pleno cumplimiento como la CDI y la SEP, en contraposicin con casos de
alto incumplimiento, como fue el caso de la SEMARNAT.
La informacin que se presenta a continuacin es un resumen de
los hallazgos derivados de las entrevistas realizadas. Cabe advertir que no
representa informacin signiicativa que se pueda generalizar, ni siquiera a
todas las reas de las dependencias en cuestin, menos an a toda la APF.
Simplemente, es una exploracin de las opiniones de algunos funcionarios
en torno al uso de las evaluaciones.
Las entrevistas realizadas comprueban que adems de las reglas
formales (LGDS, LFPRH, Lineamientos, PAE, Mecanismo de Seguimiento)
y los incentivos planteados por el diseo institucional, hay otros factores
que llevan al uso de las evaluaciones en la fase de implementacin, es decir
a ajustar los programas sociales federales con base en las recomendaciones
de la evaluacin. A este respecto es posible destacar otros factores que
favorecen el uso de la evaluacin:
(1)Liderazgo, pues aunque todas las entidades y dependencias

debieron cumplir con la generacin de planes y posiciones
institucionales, en el caso de la CDI la conciencia sobre la
importancia y la utilidad de la evaluacin signiic un factor
muy importante, ya que esta visin perme desde de la Junta de
Gobierno hacia el resto de las reas de la Comisin.
(2)Calidad de la evaluacin, como explican los entrevistados importa
mucho el tipo de informacin que las UR reciben por parte de los
evaluadores. El seguimiento de las recomendaciones depende de
si los resultados relejan la informacin proporcionada por las
reas responsables, si se apega a la realidad de los programas, y,

sobre todo, si las UR consideran que la evaluacin es un trabajo
profesional. En el caso de la SEMARNAT la deiciencia de las
evaluaciones inhibi su utilizacin.
(3)Claridad en las reglas, este factor s tiene que ver con el diseo
institucional. El caso de SEMARNAT comprueba que fue la falta
de claridad, el cambio de enfoque sobre las reglas y la ausencia
de obligatoriedad lo que dej abierta la posibilidad para el
incumplimiento de la Comisin Nacional del Agua (CONAGUA),
que no report sus ASM a tiempo.
(4)Relaciones entre instancias administrativas, parte de la complejidad
para incorporar los resultados de la evaluacin tiene que ver con
la dinmica organizacional al interior de la dependencia. Ms
concretamente la relacin entre las UE y las UR o UPP (Unidades
de programacin y presupuesto). El caso de la SEMARNAT
nuevamente pone de maniiesto la descoordinacin como
factor que llev al incumplimiento. Por su parte, el caso de la
SEP demuestra que aunque se cumpli en tiempo y forma con
el Mecanismo 2008, la posicin de las UR ha sido muy crtica y
reactiva a las evaluaciones, condicin que ha dejado al margen a
la UE.
(5)Tiempos de cumplimiento, este factor tambin se atribuye al
diseo institucional. Es difcil vislumbrar las diferentes cargas
de trabajo entre cada dependencia o entidad, no obstante el
hecho de cumplir con los tiempos establecidos lleva a crculos
burocrticos que disminuyen las ventajas de la evaluacin. En
general el tiempo de reaccin a las evaluaciones se sujeta a los
calendarios de los PAE y los Lineamientos, lo que implica hacer
evaluacin y seguimiento en un solo ciclo presupuestal. Esta es
una de las quejas recurrentes sobre los procesos de evaluacin.
C
La evaluacin importa porque permite: (1) valorar la efectividad y eiciencia
de las polticas y, con ese diagnstico, motivar la mejora continua de los
programas; (2) fortalecer los procesos de rendicin de cuentas a travs del
monitoreo sobre el desempeo del gobierno; y (3) medir el impacto de la
asignacin presupuestaria de los programas pblicos. La conformacin
del sistema de evaluacin y el inicio de las evaluaciones a los programas
federales en Mxico coinciden con la tendencia internacional hacia valorar
estos beneicios de la evaluacin.
De esta manera, se ha consolidado un sistema en el que existen
instrumentos y ejercicios sistematizados de evaluacin. Ello representa un
gran avance, pues anteriormente las evaluaciones, en especial las evaluaciones

realizadas a los programas sociales federales, se realizaban de manera aislada
y espordica. A lo largo del captulo se destacaron los principios generales que
rigen al sistema de evaluacin y que permiten su funcionalidad. Entre estos
elementos est el alcance de la evaluacin a toda la Administracin Pblica
Federal; la existencia y difusin de las evaluaciones; la naturaleza externa
de las mismas; la profesionalizacin del sistema al convocar a especialistas
investigadores y acadmicos, as como a evaluadores externos; y, inalmente,
el carcter obligatorio de las reglas del juego para realizar la evaluacin.
Pero tambin se observ que el beneicio de la evaluacin y el alcance
de los tres objetivos planteados dependen de si la evaluacin se utiliza
como un verdadero instrumento de cambio. En ese sentido, y gracias al
recorrido sobre la conformacin del sistema de evaluacin en Mxico, es
posible airmar que las nuevas reglas se orientaron a lograr que se evaluara
la mayor parte de los programas federales, ms no necesariamente a que los
operadores de stos utilicen los resultados de la evaluacin.
Algunos de los obstculos son: que el CONEVAL tiene atribuciones
compartidas con la SHCP y la SFP que disminuyen su fuerza legal; que el
presupuesto con el que opera el Consejo es bajo en proporcin con el resto
de las entidades reguladoras; y a que tiene poco personal encargado de
coordinar las funciones que se le asignaron. Estos elementos denotan una
baja jerarqua institucional. A esto se suman las escasas atribuciones para
sancionar el incumplimiento de las dependencias y entidades de la APF.
Adems de los problemas en la conformacin del CONEVAL,
las reglas para el uso de la evaluacin no estn explcitas en los
instrumentos normativos. Por ejemplo, en el caso de los Lineamientos hay
inconsistencias que eximen de la obligacin para dar seguimiento y utilizar
las evaluaciones, y pese a la emisin del Mecanismo, el incentivo hacia
modiicar los programas en trminos de planeacin estratgica an no
est claro. La manera en que est diseado el marco institucional no lleva
necesariamente a las Unidades Responsables a observar el beneicio del uso
de los resultados de evaluacin, o por el contrario a realizar un balance de
los costos de no utilizar las recomendaciones para la operacin, planeacin
estratgica o diseo de los programas.
Durante la investigacin se constat que hay una alta tasa de
cumplimiento del Mecanismo de Seguimiento a los Aspectos Susceptibles
de Mejora, 2008. Sin embargo, el alcance del Mecanismo est muy acotado
y se resume en el control de lectura de los actores implicados, as como
una rplica a los ejercicios de evaluacin. El seguimiento lleva a un
crculo burocrtico en el que hay esfuerzos por veriicar que las entidades
y dependencias elaboren su plan y posicin institucional y los difundan,
ms no que se utilicen. De manera general, es difcil asegurar que la sola
existencia de este Mecanismo conduzca a que las Unidades Responsables
utilicen la informacin de las recomendaciones para realizar cambios en la
planeacin estratgica y el rediseo de sus programas.

Asimismo, al entrevistar a los funcionarios de la CDI, la SEP y la
SEMARNAT se encontr que hay elementos del diseo institucional que
limitan el uso instrumental de las recomendaciones. Los elementos que
llevaron al incumplimiento del Mecanismo fueron: la poca claridad de las
reglas, la escasa obligatoriedad, la ambigedad en las responsabilidades
de las dependencias, principalmente en trminos de concentracin de
informacin, y los tiempos establecidos.
Pese a que las reglas para el seguimiento no son del todo claras, s
hay entidades y/o dependencias que utilizan las recomendaciones de las
evaluaciones para modiicar sus programas. Algunos factores que podran
explicar el uso instrumental (fase de implementacin) son: el liderazgo,
y la sensibilidad implcita en los beneicios de la evaluacin -el caso de la
CDI demuestra que la Junta de Gobierno impuls la evaluacin y su uso
pero esta visin incluso perme al resto de la dependencia-, la calidad
metodolgica de las evaluaciones; el seguimiento de las recomendaciones
depende si los resultados relejan la informacin proporcionada por las
reas responsables, si se apega a la realidad de los programas, y, sobre todo,
si los depositarios consideran que la evaluacin es un trabajo profesional, y
inalmente las relaciones organizacionales al interior de las dependencias,
pues parte de la complejidad para incorporar los resultados de la evaluacin
tiene que ver con las relaciones entre los implicados.
Hoy podemos describir al sistema de evaluacin mexicano como un
sistema que muestra indicios de funcionalidad pero que no necesariamente
cierra el ciclo de las polticas pblicas. Es necesario apostar a la crtica
objetiva utilizando la evaluacin y ajustar lo necesario para que los
programas sociales federales realmente impacten en la calidad de vida de la
poblacin. Paralelamente, ser importante seguir desarrollando evidencia
en torno al uso de la evaluacin como instrumento de cambio en los
programas gubernamentales en Mxico.
Burdescu et al, Institucionalizar los sistemas de seguimiento y evaluacin:

cinco experiencias de Amrica Latina, Breve Boletn del Banco Mundial,
Nm. 78, septiembre 2005.
Caiden G. y Caiden N., Enfoques y lineamientos para el seguimiento, la

evaluacin y el desempeo en programas del sector pblico, Revista del
CLAD Reforma y Democracia, Nm. 12, Caracas, Oct. 1998.

Cardozo, Brum, Myriam, La evaluacin de polticas y programas pblicos:
el caso de los programas de desarrollo social en Mxico, Mxico, Cmara de
Diputados- Miguel ngel Porra, 2006.
Castro, Manuel Fernando, Gladys Lpez-Acevedo, Gita Beker Busjeet y

Ximena Fernandez, El Sistema de M&E de Mxico: Un salto del nivel sectorial
al nacional. IEG Independent Evaluation Group, Serie de documentos de
trabajo DCE Nm. 20, Banco Mundial, Washington, D.C, 2009.
Conde Bonil, Carola, Evaluacin de programas sujetos a reglas de

operacin. Un ejemplo de rendicin de cuentas horizontal?, Documentos
de Investigacin, Mxico, El Colegio Mexiquense, 2007.
CONEVAL (2008) Oicio No. 307-A-1981, Oicio No. VOZSE 273/08 y

Oicio No. SCAGP/200/821/2008. Sobre el mecanismo de seguimiento de
los aspectos susceptibles de mejora.
--------------- (2010) Oicio No. 307-A-0438, Oicio No. SSFP/

UEGDG/216/024/2010 y Oicio No. VQZ.SE.017/10. Mecanismo de
Seguimiento de los Aspectos Susceptibles de Mejor de los Programas
Federales, 2009. 17 de febrero de 2010. Elaboracin de Instrumentos de
Trabajo para el Seguimiento a los Aspectos Susceptibles de Mejora, art. 18
Gonzlez, Alejandro (Coord.), Gobernar por resultados? Implicaciones de

la poltica de evaluacin del desempeo del gobierno mexicano, Mxico,
GESOC Gestin Social y Cooperacin A.C, 2008.
Dahler-Larsen, Peter, Surviving the Routinization of Evaluation:

he Administrative Use of Evaluations in Danish Municipilaties,
Administration and Society, Vol.32, Nm. 1, 2000, pp. 70- 92.
De la Garza, Navarrete, hania, Evaluacin de la Poltica y los Programas de

Desarrollo Social, Presentacin realizada en el CIDE, Enero 2010.
De Lancer Julnes, Patria y Holzer, Marc, Promoting the Utilization of

Performance Measures in Public Organizations: An Empirical Study of
Factors Afecting Adoption and Implementation, Public Administration
Review, Vol. 61, Nm. 6, 2001, pp.693-708.

Diario Oicial de la Federacin, Ley General de Desarrollo Social. Publicada
el 20 de enero de 2004.
--------------- , Decreto por el que se regula el Consejo Nacional de la Poltica

de Desarrollo Social. Publicado el 24 de agosto de 2005.
--------------- , Lineamientos Generales para la Evaluacin de los Programas

Federales de la Administracin Pblica Federal. Publicados el 30 de marzo
de 2007.
Hernndez, Licona, Gonzalo, Sistema de Monitoreo y Evaluacin en

Mxico, presentacin en el Banco Mundial, Series sobre casos de estudio
de MyE en Amrica Latina, Unidad de Pobreza y Gnero, Banco Mundial,
Junio, en Manuel Fernando Castro et al. (2009) El Sistema de M&E de
Mxico: Un salto del nivel sectorial al nacional. IEG Independent Evaluation
Group, Serie de documentos de trabajo DCE Nm. 20, Washington, D.C,
Banco Mundial, 2007.
Hintze, Susana, Relexiones sobre el conlicto y la participacin en la

evaluacin de polticas sociales, VI Congreso Internacional del CLAD sobre
la Reforma del Estado y la Administracin Pblica, Buenos Aires, Argentina,
noviembre de 2001
Majone, Giandomenico, Evidencia, argumentacin y persuasin en las

polticas, Mxico, 1997.
Marcel, Mario, Presupuesto por resultados: Moda burocrtica o nuevo
paradigma en la gestin pblica? en Garca Lpez, Laguzzi y Guerrero (Eds.),
Presupuesto por resultados, conferencia internacional auspiciada por la
Secretara de Hacienda y Crdito Pblico (SHCP), el Banco Interamericano
de Desarrollo (BID), el Banco Mundial (BM), la Organizacin para la
Cooperacin y el Desarrollo Econmico (OECD) y el Centro de Investigacin
y Docencia Econmicas (CIDE), 2008.
Ospina, Sonia, Evaluacin de la gestin pblica: conceptos y aplicaciones

en el caso latinoamericano, V Congreso Internacional del CLAD sobre la
Reforma del Estado y de la Administracin Pblica, Santo Domingo, Rep.
Dominicana, 24-27 octubre de 2000

--------------- et al.,Performance evaluation, public management
improvement and democratic accountability, Public Management Review,
Vol. 6, Nm.2, 2004, pp. 229-251
Prez Yarahun, Gabriela, Comunicacin personal establecida el 19 de

mayo de 2010.
--------------- Entrevista realizada a la ex directora adjunta de Evaluacin

en la sede del Banco Mundial en Washington, DC., Mesas redondas de
expertos sobre herramientas de medicin del desempeo, 3 de febrero
de 2009, en Manuel Fernando Castro et al. (2009) El Sistema de M&E de
Mxico: Un salto del nivel sectorial al nacional. IEG Independent Evaluation
Group, Serie de documentos de trabajo DCE Nm. 20, Banco Mundial,
Washington, D.C.
Sanderson, Ian, Evaluation, Policy Learning and evidence-based policy

making, Public Administration, Vol. 80 Nm. 1, 2002, pp. 1-22.
Solarte Pazos, Leonardo, La evaluacin de programas sociales en el Estado

Liberal, VII Congreso Internacional del CLAD sobre la Reforma del Estado
y de la Administracin Pblica, Lisboa, Portugal, 8-11 Oct. 2002.
Toledo Silva, Ricardo, Fortalecimiento de la funcin evaluacin en los

pases de Amrica del Sur. Informe Tcnico: Eiciencia y eicacia de la
accin gubernamental: un anlisis comparativo de sistemas de evaluacin,
Cooperacin Tcnica BID-IPEA, 2005.
Weiss, Carol, Have we learned anything new about the use of evaluation?,
American Journal of Evaluation, Vol. 19, Nm. 1, 1998, pp.21-33.
Referencias electrnicas
AGROASEMEX (2010) Evaluacin de programas. Disponible en: http://

www.coneval.gob.mx/evaluaciones/evaluaciones.jsp?categorias=LINKS_
EVALUACIONES-shcp,LINKS_EVALUACIONES Consultado el 25 de mayo
de 2010.

CONEVAL (2008) Informe de Seguimiento a los Aspectos Susceptibles
de Mejora de Programas Federales 2008, proceso de evaluacin externa
2008 del Gobierno Federal. Disponible en: http://www.coneval.gob.mx/
contenido/eval_mon/2733.pdf Consultado el 02 de marzo de 2010.
---------------- (2008) Mecanismo de Seguimiento a los Aspectos Susceptibles

de Mejora de Programas Federales, 2008. Disponible en: http://www.coneval.
gob.mx/coneval2/htmls/evaluacion_monitoreo/HomeEvalMonitoreo.
jsp?categorias=EVAL_MON,EVAL_MON-mecanismos Consultado el 23 de
marzo de 2010.
---------------- (2009). Informe de Seguimiento a los Aspectos Susceptibles

de Mejora. Disponible en: http://www.coneval.gob.mx/cmsconeval/rw/
pages/evaluacion/principales_recomendaciones_eval_2009_2010/index.
es.do Consulta realizada el 22 de septiembre de 2011.
--------------- (2010) Informe de Seguimiento a los Aspectos Susceptibles

de Mejora. Disponible en: http://www.coneval.gob.mx/cmsconeval/rw/
pages/evaluacion/seguimiento_recomendaciones/ASM_2010_2011.es.do
Consulta realizada el 24 de septiembre de 2011.
SEMARNAT (2009) Posicionamiento institucional del programa

APAZSU. Disponible en: http://www.semarnat.gob.mx/queessemarnat/
evaluaciones/evaluacion2007/Documents/documento_S074_APAZU_
integral.pdf Consultado el 27 de abril de 2010
---------------(2009) Posicionamiento institucional del programa

PROSSAPYS. Disponible en: http://www.semarnat.gob.mx/
queessemarnat/evaluaciones/evaluacion2007/Documents Consultado el
27 de abril de 2010
-----------------(2010) Evaluaciones del PROCREAT. Disponible en: http://

www.semarnat.gob.mx/queessemarnat/evaluaciones/evaluacion2007/
Paginas/PROCREAT.aspx Consultado el 27 de abril de 2010.
--------------- (2010) Evaluaciones del Programa de Ampliacin de Distritos

de Riego. Disponibles en:

h t t p : / / w w w. s e m a r n a t . g o b. m x / q u e e s s e m a r n a t / e va l u a c i o n e s /
evaluacion2007/Paginas/ampliaciondistritosriego.aspx Consultado el 20
de mayo de 2010
SEP (2010) Reglas de operacin del programa Programa de Educacin

comunitaria y Fomento Educativo (CONAFE). Disponible en: http://
conafe.gob.mx/saro/index.html?fomento_educativo.htm Consultado el 27
de abril de 2010.
SHCP (2008) Catlogo de categoras programticas de la Administracin

Pblica Federal publicado por la SHCP. Disponible en: http://www.
apartados.hacienda.gob.mx/presupuesto/temas/lineamientos/2008/
documentos/psro_2008.pdf Consultado el 27 de abril de 2010.
SFP (2008) Reglas de Operacin de programas sociales federales, ejercicio

iscal 2008. Disponible en: http://www.funcionpublica.gob.mx/scagp/
dgorcs/reglas/2008/20%20SEDESOL%2008/desarrollo.htm Consulta
realizada el 23 de abril de 2010.

El programa SICALIDAD: Ejemplo
El objetivo de este captulo es describir la trayectoria reciente del Sistema

Integral de Calidad en Salud (SICALIDAD) para rescatar la experiencia
del programa1 en materia de utilizacin de las evaluaciones para la
mejora continua. El Sistema obtuvo el primer lugar del Premio 2011,
por su notable apropiacin de la lgica y del sentido de los resultados
de las evaluaciones para detonar procesos internos de mejora. Por esta
razn, la reconstruccin de la experiencia de SICALIDAD representa una
oportunidad nica para identiicar buenas prcticas y extraer lecciones de
poltica pblica para avanzar en la materia.
La utilizacin de las evaluaciones, lo sabemos bien, es quiz el
eslabn ms dbil de nuestro incipiente sistema de gestin por resultados.
An resueltos (y no airmo que lo estn) los aspectos institucionales
y gerenciales del proceso de evaluacin; y aseguradas las condiciones
1En sentido estricto, SICALIDAD es una estrategia que contempla muchos programas o proyectos. Sin
embargo, en este texto se utilizan ambos trminos (programa y estrategia) de manera intercambiable.

mnimas para la generacin de evaluaciones objetivas, coniables, de calidad
y, sobre todo, tiles para la toma de decisiones, la concrecin del ciclo de
retroalimentacin a partir de la evaluacin requiere un esfuerzo adicional
de gran complejidad. En la medida en que la utilizacin de los resultados
de la evaluacin no es automtica ni obligatoria en sentido estricto, y que
existen numerosas razones para que no lo sea,2 la apropiacin efectiva
de los resultados de las evaluaciones y su incorporacin sustantiva en
los esfuerzos de mejora de los programas depende de variables suaves
de decisin: capacidades, incentivos, compromisos; muchas de ellas de
carcter contingente.
La actualizacin de la promesa de la evaluacin como instrumento
de mejora requiere una combinacin favorable de condiciones materiales
e intangibles para llegar a buen trmino. Entre las condiciones materiales
destacan, por ejemplo, la disponibilidad de recursos inancieros y humanos,
las facultades expresas y la capacidad de decisin, as como las ventanas
polticas y administrativas de oportunidad para detonar los cambios
necesarios. Entre los factores intangibles se encuentran el liderazgo, el
grado de atencin organizacional, y el compromiso de los actores con el
sentido ltimo de la funcin evaluativa: la agregacin de valor pblico y la
rendicin de cuentas orientada a resultados. De poco sirve la generacin
de informacin puntual que permita orientar reformas gerenciales si no
existen condiciones materiales para su consecucin, ni presiones externas
de rendicin de cuentas que las motiven. Igualmente, las condiciones
materiales y normativas no aseguran el avance en la direccin deseada si
las premisas y los insumos con los que se articula el proceso de mejora son
imprecisos o provienen de valoraciones poco serias sobre el desempeo
de los programas. En la valoracin del desempeo y de los resultados, la
distancia entre lo obtenido, lo deseable y lo asequible no es una ecuacin
simple de automtico resultado. Esta ponderacin requiere un anlisis de
tejido ms ino desde la perspectiva de los actores involucrados en el rea de
poltica pblica de la que se trate: evaluadores, evaluados y, por supuesto,
los ciudadanos.
La motivacin del Premio 2011 tiene que ver precisamente con
el reconocimiento de que la apropiacin de los resultados de la evaluacin
requiere de la movilizacin de recursos y voluntades ms all del
cumplimiento puntual de las normas, y que opera en contextos especicos
que los funcionarios pblicos deben ponderar estratgicamente para
maximizar la utilidad de las evaluaciones y potenciar el impacto deseado de
los ajustes. En la ceremonia de entrega del Premio 2011, el Dr. Guillermo
Cejudo, en representacin del Jurado, seal:
2 En mi opinin, esto imprimira excesiva rigidez y costos de regulacin con una alta probabilidad de
resultar contraproducentes.

En forma unnime, los miembros del Jurado eligieron al
programa SICALIDAD como el programa merecedor del ms
alto reconocimiento en el marco de esta iniciativa, ya que
consideraron que el programa realiz un anlisis cuidadoso
de los hallazgos identiicados por las evaluaciones, incorpor
de manera asertiva, eicaz e informada, aqullos de mayor
relevancia e impacto esperado y dise una estrategia de
implementacin puntual para realizar las mejoras. Como
resultado de la claridad y determinacin con la que el equipo
de SICALIDAD utiliz la evaluacin y dio seguimiento de
manera comprometida a las acciones de mejora, el programa
cumpli plenamente con las metas planteadas. Ello permitir
avanzar en la consolidacin de una cultura de la calidad en el
Sistema Nacional de Salud y fortalecer el ejercicio del derecho
a la salud en Mxico. Adems, el programa SICALIDAD
dio muestras de una clara internalizacin del proceso de
evaluacin en el proceso de gestin del programa y un
compromiso muy notable por la mejora continua.
Esa ruta crtica cuidadosamente pensada y ejecutada por el equipo

de SICALIDAD demuestra que, en el marco de las restricciones vigentes, el
enorme esfuerzo que hemos realizado como sociedad para transitar hacia
un modelo de gestin por resultados ha abierto espacios prometedores de
reforma que pueden y han sido apropiados por los programas de manera
creativa y eicaz. De ah la importancia de documentar dicha experiencia
no slo para reconocer pblicamente los esfuerzos realizados sino, sobre
todo, para socializar y difundir las lecciones que de ella se desprenden para
contribuir a la relexin prctica que permita avanzar hacia una gestin
pblica ms eicaz y eiciente, aqu y ahora.
El derecho a la salud en Mxico

El pleno ejercicio del derecho a la salud en Mxico es una tarea pendiente.
A pesar de que en la ltima dcada se han realizado esfuerzos importantes
para lograr la cobertura universal en la proteccin en salud, es indiscutible
que la falta de equidad en el acceso a la atencin a la salud es quiz una de
las peores caras de nuestra profunda desigualdad. En nuestro pas, como
en muchos pases de la regin, el acceso a la seguridad social vinculado a
la participacin en el mercado laboral formal, a pesar de sus innegables
virtudes y logros, condujo a la creacin de un sistema limitado,3 con sesgo
urbano y de carcter regresivo. A principios de este siglo, Mxico gastaba
3Aunque es difcil contar con una estimacin precisa, la cobertura de la seguridad social en Mxico, de
acuerdo con diversas fuentes, no ha rebasado 50% de la poblacin.

5.1% del PIB en salud, muy por debajo del promedio latinoamericano de
7%, y el nivel de gasto de pases comparables como Argentina, Colombia o
Uruguay.4 Durante el Siglo XX no slo no se consigui construir un modelo
universal de proteccin a la salud como derecho de ciudadana; tambin
se contribuy, paradjicamente, a la acentuacin de la desigualdad en esa
materia. El estado de salud, como atributo individual y como bien colectivo,
es uno de los recursos ms poderosos con los que cuenta un pas, ya que
es una precondicin bsica para que la inversin social en otros rubros
como la educacinpueda rendir frutos econmicos y sociales. De manera
creciente, adems del imperativo moral de la proteccin social a la salud,
se reconoce que el capital humano es el activo ms importante para el
desarrollo de largo plazo de los pases. Constituye, por tanto, una prioridad
mxima de poltica pblica.
A diferencia de otros derechos sociales, el derecho a la salud
se explicita de manera tarda en la Constitucin (1983), y comienza a
articularse operativamente hasta la reforma de la Ley General de Salud, con
la creacin del Sistema Nacional de Proteccin Social en Salud en 2003. A
pesar de que, formalmente, la poblacin abierta (exenta de seguridad social)
ha contado con acceso a los servicios pblicos de salud desde la dcada de
1940, con la creacin de la Secretara de Salubridad y Asistencia (SSA), los
problemas de baja cobertura, desigualdad en el acceso, fragmentacin en la
provisin y problemas serios de calidad y heterogeneidad en los servicios
ofrecen un panorama desfavorable para el pleno ejercicio del derecho a la
salud en Mxico. En 2005, un estudio realizado por la Organizacin para
la Cooperacin y el Desarrollo Econmicos (OCDE)5 demostr que, a pesar
de las reformas descentralizadoras de los aos 1980 y 19906 e importantes
esfuerzos presupuestarios y operativos, prevalecen enormes disparidades
regionales de cobertura, gasto pblico y condiciones de salud en Mxico.
Adems de la herencia de subinversin pblica en salud y los crecientes
problemas inancieros del sistema de seguridad social, la estructura misma
del sistema imposibilit alcanzar la cobertura universal y el cumplimiento
de estndares de calidad que aseguraran la seguridad y la satisfaccin del
paciente, as como la prestacin de servicios en condiciones ptimas para
el personal mdico y administrativo responsables. Entre otros factores,
el estudio identiic serios problemas de coordinacin, fragmentacin,
inequidad en la inversin, baja capacidad tcnica y administrativa en el
personal mdico y de gestin, as como la ausencia de insumos e incentivos
para la mejora del desempeo individual y organizacional. En consecuencia,
existen rezagos importantes en los indicadores bsicos de salud.
4 Julio Frenk, La salud como derecho ciudadano, Nexos, Nm. 410, Febrero 2012, p. 45.
5 Organizacin para la Cooperacin y Desarrollo Econmicos (OCDE), Estudios de la OCDE sobre los
sistemas de salud-Mxico, Mxico, OCDE-Secretara de Salud, 2005.
6La primera reforma descentralizadora de 1983, interrumpida en 1988, y retomada a mediados de los
aos 1990; la creacin del Consejo Nacional de Salud en 1986, y la creacin de la Comisin Nacional de
Arbitraje Mdico (CONAMED) en 1996, entre otras.

En respuesta al problema dual de cobertura y calidad, el Estado
mexicano impuls una serie de reformas con el in de alcanzar la cobertura
universal en salud y detonar procesos endgenos de mejora continua en la
prestacin de dichos servicios. Como parte de la estrategia para alcanzar
el universalismo, en 2003 se cre el Sistema Nacional de Proteccin Social
en Salud y el esquema de inanciamiento del Seguro Popular, con el in de
asegurar el acceso a la salud de la poblacin abierta y prevenir la recurrencia
de gastos catastricos en salud, que generan un crculo vicioso entre
pobreza, barreras de acceso a los servicios de salud, y precario estado de
salud.7 En 2000 se estim que cerca de 4 millones de familias enfrentaron
gastos catastricos o empobrecedores relacionados con el pago de bolsillo
por servicios de salud.8 En ese marco, el debate sobre la ampliacin de
cobertura estuvo tambin anclado en la preocupacin creciente por el
concepto de calidad como eje fundamental de la prestacin de los servicios
en el Sistema Nacional de Salud.9
La creacin del programa SICALIDAD en 2007, en sustitucin de la
Cruzada Nacional de Salud (2001-2006), se inscribe en el proceso de trnsito
a la cobertura universal con un posicionamiento estratgico del concepto
de calidad. No obstante, es importante enfatizar que dichos esfuerzos se
realizan en un sistema sumamente fragmentado y con desafos formidables
de gobernanza y coordinacin. De ah la importancia y la promesa de
una apuesta integral, basada en incentivos y concientizacin para todos los
actores, como la del SICALIDAD. Slo en la medida en que todos los actores
del sistema incluidos los ciudadanos se apropien y movilicen el modelo
de calidad, podrn alcanzarse los objetivos esperados.
El concepto de calidad en salud y la creacin

del Sistema Integral de Calidad en Salud
Al igual que en otras reas de la administracin pblica, la prestacin de
servicios de salud pas de un modelo de control de calidad anclado en el
control directo, la iscalizacin y la auditora10, a un modelo de gestin
orientado a la rendicin de cuentas (por resultados), con mayor espacio y
responsabilidad para la participacin ciudadana. Este difcil trnsito, como
sabemos, requiere, en primer lugar, deiniciones conceptuales y operativas
7Se calcula que 51% del gasto en salud es gasto de bolsillo. F. Knaul et al., Evidence is good for your
health system: policy reform to remedy catastrophic and empoverishing health spending in Mexico, he
Lancet, Vol.368, Nm. 9550, Noviembre de 2006, pp. 1828-41, citado por Julio Frenk, Op. Cit., p. 46.
8 dem.
9 En los trminos de la Ley General de Salud, el Sistema Nacional de Salud est compuesto por todas las
instituciones pblicas de la administracin pblica federal y local, as como los organismos de los sectores
social y privado.
10 Las Auditoras Mdicas del Instituto Mexicano del Seguro Social (IMSS) durante la dcada de 1950
fueron la primera experiencia de Mxico en la materia.

sobre qu es calidad, cmo se mide (sistema de informacin) y cmo se
construye (modelo causal de intervencin), para reorientar la cadena de
produccin de los servicios. Por la naturaleza compleja y multidimensional,
la operacionalizacin de los conceptos de calidad y de los servicios de
atencin a la salud en una estrategia de implementacin concreta ha
representado un largo proceso de aprendizaje y ajuste organizacionales.
Cuadro 1: La evolucin de la agenda de calidad

en la atencin a la salud en Mxico
AUDITORAS MDICAS (IMSS 1950s)
CRCULOS DE CALIDAD (INPER 1985)
EVALUACIN DE LA CALIDAD DE LA ATENCIN MDICA (IMSS 1987)
FINANCIAMIENTO DE PROYECTOS DE MEJORA CONTINUA (PASSPA 1994)
PROGRAMA INTEGRADO DE CALIDAD (IMSS 1997)
PROGRAMA DE MEJORA CONTINUA DE LA CALIDAD

DE LA ATENCIN MDICA (SSA 1997-2000)
CRUZADA NACIONAL POR LA CALIDAD DE LOS

SERVICIOS DE SALUD (SALUD 2001-2006)
SISTEMA INTEGRAL DE CALIDAD EN SALUD (2007-2012)
Fuente: Elaboracin propia con base al Programa de Accin Especico 2007-2012 SICALIDAD, 2007.
A partir de la reforma de 1983, se crearon Grupos Bsicos

Interinstitucionales de Informacin, Evaluacin y Planeacin bajo la
coordinacin de la Secretara de Salud, en los que participaron el IMSS, el
Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado
(ISSSTE), el Sistema para el Desarrollo Integral de la Familia (SNDIF), la
Secretara de Programacin y Presupuesto y la Secretara de la Contralora
General de la Federacin; as como el Gabinete de Salud de la Presidencia
de la Repblica. En 1987, despus de una prueba piloto en el ISSSTE, las
Bases para la evaluacin de la calidad de la atencin en la unidades mdicas
del sector salud constituyeron el primer documento normativo inspirado
en el concepto multidimensional de calidad en salud.11 Sin embargo, cabe
recordar que ese periodo fue muy adverso para realizar reformas en esta
direccin por las presiones iscales, la inestabilidad econmica y las fuertes
presiones polticas derivadas del deterioro de los salarios reales, que
11 Sistema Integral de Calidad en Salud (SICALIDAD), Programa de Accin Especico 2007-2012,
Subsecretara de Innovacin y Calidad, Mxico, Secretara de Salud, 2007.

obligaron a poner en segundo trmino estas preocupaciones, y orientar
toda la atencin a lograr la estabilizacin macroeconmica. Desde entonces
han surgido mltiples iniciativas que, por la fragmentacin del sistema, por
resistencias al cambio y, sobre todo, por carecer de continuidad, tuvieron
efectos dispersos, desiguales e inconexos en el sistema.
En 2003, en el marco del Programa Nacional de Salud 2001-2006,
surgi la Cruzada Nacional por la Calidad de los Servicios de Salud como
una primera aproximacin integral al problema sectorial. Los objetivos
de la Cruzada fueron: a) mejorar la calidad y reducir las diferencias
interinstitucionales y entre niveles de atencin de la unidades mdicas del
pas; b) garantizar que los pacientes reciban un trato adecuado en funcin
de sus necesidades; y c) mejorar los niveles de satisfaccin entre el personal
encargado de la prestacin del servicio. Igualmente, la Cruzada cre el
sistema de informacin e indicadores (INDICA), con la participacin12 de las
unidades mdicas en auditoras, procesos de retroalimentacin y la creacin
de lneas de quejas. La Cruzada cre criterios explcitos de evaluacin para
la prctica profesional (con componentes ticos, cienticos y de calidad),
y una serie de espacios para fomentar la calidad y costo-efectividad de los
servicios de salud: los Comits Estatales de Calidad, los Observatorios de
Desempeo de Hospitales, el Foro Nacional para la Calidad y el Programa
Nacional de Certiicacin para Establecimiento de Atencin Mdica.
El Sistema Nacional de Calidad en Salud rescata las primeras
lecciones de la Cruzada13 para avanzar desde la lgica de programa sectorial
a una visin ms integral y de largo aliento: construir una poltica pblica
nacional para la calidad. Adems de perseguir un salto cualitativo en el
posicionamiento del tema de la calidad en la agenda de poltica pblica,
el Sistema se inspira directamente en la Resolucin de la 37 Reunin de
la Organizacin Panamericana de la Salud-Organizacin Mundial de la
Salud, en la que se vincula la calidad con la sostenibilidad de los servicios
pblicos de salud. El diagnstico realizado en dicho encuentro identiic
la falta de posicionamiento de los temas de calidad en la agenda del sector
como principal causa de las deiciencias en la prestacin del servicio. De esa
reunin surgi un acuerdo en torno a la siguientes cinco lneas de accin:
1) posicionar la calidad de la atencin sanitaria y la seguridad del paciente
como prioridad sectorial; 2) promover la participacin ciudadana en temas
de calidad; 3) generar informacin y evidencia en materia de calidad; 4)
12 La participacin en estas iniciativas federales es de naturaleza voluntaria, dada la gestin
descentralizada del sector y el marco normativo del Sistema Nacional de Salud en Mxico.
13 De la Cruzada Nacional se retoman, en otras, la igura del aval ciudadano, la iniciativa del premio, el
nfasis en Sistema Nacional de Indicadores, los acuerdos de gestin para inanciar las mejoras de calidad, y
el marcado nfasis en la acreditacin y la capacitacin.

desarrollar, adaptar y apoyar la implantacin de soluciones en calidad; y 5)
desarrollar una estrategia regional para el fortalecimiento de la calidad de
la atencin sanitaria y seguridad del paciente.14
El Programa Sectorial de Salud 2007-2012 (PROSESA) retoma
estos conceptos a partir de un diagnstico nacional e identiica la falta de
posicionamiento del tema de calidad en el sistema como principal obstculo
para la construccin de ciudadana en salud. Entre otros problemas,
destaca, en primer lugar, la elevada tasa de mortalidad materna vinculada
a problemas documentados de calidad en la atencin, la prevalencia en
infecciones nosocomiales, particularmente en terapia intensiva y en
unidades de atencin neonatal, el insuiciente abasto de medicamentos, los
largos tiempos de espera, las quejas documentadas por la CONAMED en
relacin a la falta de informacin proporcionada por el mdico, el recelo
de la instituciones frente a la igura del Aval Ciudadano, y la falta de
cumplimiento de la acreditacin de las unidades que prestan servicios al
Sistema de Proteccin Social en Salud, que establece de manera obligatoria
la Ley General de Salud. En ese diagnstico se parte tambin de una premisa
crucial del modelo de posicionamiento: el convencimiento y la participacin
activa de todos los actores como eje de la estrategia. Como resultado de la
experiencia de la Cruzada Nacional y de los trabajos realizados en las mesas
temticas del Foro Ciudadano de Calidad en Salud 2007, se identiicaron las
siguientes lneas de accin para posicionar, de manera permanente, el tema
de calidad en la agenda, a partir de la implantacin del Sistema: incorporar
programas de calidad en la formacin acadmica de tcnicos y profesionales
de salud e impulsar la utilizacin de las guas de prctica clnica y protocolos
de atencin mdica.
Cuadro 2: Justiicacin del programa SICALIDAD
AUDITORAS MDICAS (IMSS 1950s)
Dispersin de Proyectos sobre Calidad

Variabilidad en la prctica
Dbil posicin de las reas de calidad
Deiciente Capacitacin
Acadmica en calidad SISTEMA Atomizacin de
INTEGRAL los proyectos de la Cruzada
Escasa Alienacin de DE CALIDAD
Incentivos y Calidad EN SALUD Organizaciones de salud sin
Estrategias de voz
Fuente: Elaboracin propia con informacin del Plan Sectorial 2007-2012
14 SICALIDAD, Programa de Accin Especico 2007-2012, Op. Cit., p. 12.

SICALIDAD es el brazo operativo del sector para elevar la calidad
de los servicios con un enfoque de mejora continua anclado en tres
dimensiones interrelacionadas de la calidad: calidad tcnica y seguridad del
paciente, calidad percibida y calidad en la gestin de los servicios, con un
componente transversal de incentivos y reconocimientos.
Cuadro 3: Proyectos SICALIDAD
1. CALIDAD PERCIBIDA 2. CALIDAD TCNICA

1.1 Construir ciudadana en salud: Aval 2.1 Seguridad del paciente
Ciudadano 2.2 Prevencin y Reduccin de la Infeccin
1.2 Percepcin de los profesionales: Caminando Nosocomial (PREREIN)
con los trabajadores de la salud 2.3 Expediente Clnico Integrado y de Calidad (ECIC)
2.4 Calidad en la Atencin Materna
2.5 Cuidados Paliativos (PALIAR)
2.6 Uso Racional de Medicamentos (URM)
2.7 Servicios de Urgencias que Mejoran la
Atencin y Resolucin (SUMAR)
2.8 Medicina Basada en Evidencia: difusin de
Guas de Prctica Clnica (MGE-GPC)
2.9 Plan de Ciudados de Enfermera (PLACE)
2.10 Calidad de Atencin Odontolgica (CAO)
2.11 Programa de Atencin Domiciliaria (PAD)
CALIDAD
3. CALIDAD EN LA GESTIN DE LOS SERVICIOS 4. PROYECTOS DE APOYO Y RECONOCIMIENTO
DE SALUD. INSTITUCIONALIZACIN DE LA 4.1 Capacitacin en Calidad
CALIDAD 4.2 Compromiso de Calidad y Acuerdos de Gestin
3.1 Acreditacin y Garanta de Calidad 4.3 Premio Nacional de Calidad y Premio a la
3.2 INDICAS. Sistema Nacional de Indicadores de Innovacin en Calidad en Salud
Calidad en Salud 4.4 Foro Nacional e Internacional de Calidad en
3.3 Comit Nacional por la Calidad en Salud Salud
(CONACAS) 4.5 Reuniones Nacionales de SICALIDAD
3.4 Comits Estatales de Calidad en Salud (CECAS) 4.6 Red SICALIDAD: Boletn
3.5 Gestores de Calidad en Atencin Primaria y 4.7 Instrucciones de SICALIDAD
Hospitales
3.6 Creacin y fortalecimiento de los Comits de
Calidad y Seguridad del Paciente (COCASEP) en
Hospitales y Atencin Primaria
3.7 Componentes de calidad en Convenios de
Gestin de SPSS
3.8 Modelo de Gestin por la Calidad Total
3.9 Currcula de Calidad en la formacin de los
profesionales
3.10Vinculacin a SICALIDAD del programa de
estmulos a la calidad del desempeo del
personal de salud
Fuente: Plan Sectorial SICALIDAD 2007- 20012, p.26

Tabla 1: Poblacin objetivo de SICALIDAD
Tabla Poblacin objetivo de SICALIDAD
INSTITUCIN No. de Unidades

Instituto Mexicano del Seguro Social. 4137
Rgimen Oportunidades
Instituto Mexicano del Seguro Social 1387
Instituto de Seguridad y Servicios Sociales 568
para los Trabajadores del Estado
Petrleos Mexicanos 60
Secretara de la Defensa Nacional 245
Secretara de Marina 35
Servicios Mdicos Estatales 14264
Servicios Mdicos Municipales 42
Servicios Mdicos Privados 892
Fuente: Programa Sectorial 2007-2012
Bsicamente, en su vertiente de apoyos y reconocimientos,

SICALIDAD es un modelo diferenciado de transferencias monetarias en
las modalidades de inanciamiento y co-inanciamiento sujetos a libre
demanda, en los trminos de las convocatorias emitidas por la Direccin
General de Calidad en Salud (DGES) y premios y/o reconocimientos
monetarios y no monetarios. Los procesos de seleccin son competitivos,
mediante la evaluacin realizada por el equipo de la red de evaluacin y
acreditacin de la calidad (REACAL), de acuerdo a los criterios especicos
de cada convocatoria. De manera transversal, las Reglas de Operacin 2011
establecen los siguientes criterios de priorizacin:
1. Las unidades no acreditadas o con plan de contingencia que

prestan servicios al Sistema de Proteccin Social en Salud y
aquellas en vas de re-acreditacin.
2. Reduccin de muerte materna.
3. Acciones de calidad en municipios con el menor ndice de
desarrollo humano.
4. Unidades mdicas asociadas que participan de los proyectos de
SICALIDAD.
5. Los proyectos que contengan acciones interinstitucionales que
fortalezcan la rectora de la Secretara de Salud, a travs del
programa SICALIDAD.

Adems de ser un modelo multidimensional de intervencin, es
importante sealar que involucra a todos actores del sistema, con lgicas,
incentivos y dinmicas organizacionales distintos. El Sistema supone la
articulacin en red de diversos proyectos y componentes que dependen en
gran medida de la capacidad de concientizacin y movilizacin en torno a la
calidad en los distintos niveles jerrquicos y funcionales del sistema. Como
la participacin en alguno de los instrumentos de estmulo de SICALIDAD
es resultado de un proceso de autoseleccin competitiva, la distribucin
de los recursos del programa depende de la disposicin, la asertividad y
la creatividad de las unidades mdicas y la capacidad de la estrategia de
concientizar y motivar a todos los actores del sistema ms all de los
incentivos monetarios.
A pesar de que SICALIDAD parte de una propuesta conceptualmente
slida, con un diagnstico explcito y bien articulado15, y cuenta con una
serie de indicadores y mecanismos de planeacin y gestin que cumplen
con estndares nacionales, la ejecucin de los proyectos e iniciativas
inanciadas depende de una implementacin descentralizada con
importantes asimetras de informacin y costos de monitoreo. Por este
motivo, requieren de un muy alto nivel de coordinacin, comunicacin y
persuasin.
En ese sentido, la experiencia de SICALIDAD es particularmente
ilustrativa para la gestin de programas y proyectos en sectores
descentralizados con muy alto grado de heterogeneidad. Aunque los
proyectos estn alineados conceptualmente a cuatro dimensiones de la
calidad en salud, cada proyecto tiene su propio modelo de intervencin en
relacin a los actores, los instrumentos y la complejidad de los procesos
respectivos. La gestin del programa involucra desde aspectos relativamente
simples como la transmisin de informacin a la red a travs de un Boletn,
hasta el inanciamiento de procesos ms complejos de acreditacin de
unidades mdicas, y la gestin cotidiana de los Gestores de Calidad y/o
la movilizacin de la igura del Aval Ciudadano con diferentes grados de
aceptacin.
El programa se encuentra bajo la responsabilidad rectora de la
Direccin General de Calidad en Salud adscrita a la Subsecretara de
Innovacin y Calidad. La responsabilidad operativa directa del Sistema
recae en una Direccin General Adjunta de Calidad en Salud. De acuerdo a
las Reglas de Operacin 2011, la cobertura del Sistema incluye los Servicios
Estatales de Salud de todas las entidades federativas, la Secretara de Salud
del Gobierno del Distrito Federal, la Comisin Coordinadora de Institutos
Nacionales de Salud y Hospitales de Alta Especialidad, y otras instituciones
pblicas del Sistema Nacional de Salud. La poblacin objetivo del programa
son las unidades mdicas de primer nivel, los hospitales generales, los
15 La Evaluacin de Diseo, realizada por el Instituto Nacional de Salud Pblica (INSP) en 2008, llega a
esta conclusin despus de un cuidadoso anlisis de los documentos programticos de SICALIDAD.

hospitales regionales de alta especialidad, los Institutos Nacionales de Salud
y reas centrales de calidad y seguridad del paciente en las instituciones
pblicas del Sistema Nacional de Salud, que desarrollen proyectos en
cualquier de las cuatro dimensiones de calidad perseguidas por el programa.
El programa se difunde a travs de una red nacional, entre las que se
encuentran Responsables Estatales de Calidad (de la Secretara de Salud);
Responsables Institucionales de Calidad (IMSS, ISSSTE, SNDIF, Secretara
de la Defensa Nacional, Secretara de Marina, Petrleos Mexicanos, etc.) y
Gestores de Calidad en hospitales y jurisdicciones/delegaciones. A travs de
esta red se han realizado no slo las principales actividades del programa,
sino tambin las acciones de mejora derivadas de las evaluaciones externas.
Las principales actividades realizadas por SICALIDAD son16:
1. Apoyar inancieramente a las unidades mdicas que presentan

compromisos de calidad en acuerdos de gestin con proyectos de
mejora.
2. Fortalecer la cultura de calidad en los establecimientos de salud
mediante el reconocimiento del Premio Nacional de Calidad en
Salud (PNC).
3. Impulsar la constitucin de Comits Estatales de Calidad.
4. Adhesin al proyecto de capacitacin en calidad en salud.
5. Medicin de la satisfaccin de los prestadores de servicios de
salud.
6. Fortalecer y consolidar la igura de Aval Ciudadano para construir
ciudadana en el Sistema Nacional de Salud.
Los datos del Informe de Labores 2011 conirman el buen grado de

aceptacin de SICALIDAD en el sistema. En el primer cuatrimestre del ao
se reportaron Indicadores de Calidad en 9,818 unidades mdicas del sector,
casi 568 unidades ms que el ao anterior. Se reportaron 818 Gestores
de Calidad (586 en unidades hospitalarias y 250 en jurisdiccionales,
16 Lista completa de acciones: 1) Apoyar inancieramente a las unidades mdicas que presentan
compromisos de calidad en acuerdos de gestin con proyectos de mejora. 2) Evaluar y dictaminar unidades
de salud que prestan servicios al Sistema de Proteccin Social en Salud. 3) Fortalecer la cultura de calidad
en los establecimientos de salud mediante el reconocimiento del Premio Nacional de Calidad en Salud
(PNC). 4) Implementar el proyecto de alternativas de hospitalizacin para los pacientes con enfermedades
terminales (PALIAR), la hospitalizacin domiciliaria y la ciruga ambulatoria. 5) Implementar el proyecto
de uso racional de medicamentos. 6) Impulsar la constitucin de Comits Estatales de Calidad. 7)
Adhesin al proyecto de capacitacin en calidad en salud. 8) Implementacin del proyecto de prevencin
y reduccin de la infeccin nosocomial. 9) Medicin de la satisfaccin de los prestadores de servicios de
salud. 10) Revisin peridica de los expedientes clnicos por las unidades mdicas. 11) Vinculacin del
proyecto de seguridad del paciente a los hospitales pblicos de mediana y alta complejidad. 12) Fortalecer
y consolidar la igura de Aval Ciudadano para construir ciudadana en el Sistema Nacional de Salud.

respectivamente), y la participacin de 1,820 Avales Ciudadanos con
presencia en todas la entidades federativas del pas (en 8,868 unidades).
Como resultado de la creciente participacin ciudadana, se emitieron
6,495 sugerencias de mejora y se entregaron 4,572 Cartas Compromiso al
Ciudadano para mejorar la calidad y el trato a los usuarios.17 Igualmente,
se avanz satisfactoriamente en la instalacin de Comits de Calidad y
Seguridad del Paciente en las unidades mdicas, una condicin necesaria
para la institucionalizacin de la calidad en la gestin cotidiana de las
unidades.
En materia de capacitacin, particularmente vinculada a la
prevencin de infecciones nosocomiales, se capacit a 3,000 trabajadores
de hospitales de todo el sector en 15 estados del pas, y se integraron a
170 hospitales pblicos al Modelo de Gestin de Riesgos de Infeccin
Nosocomial, cifra muy cercana a la meta de 50% para 2011. En general,
las cifras son alentadoras respecto del avance de implementacin de la
estrategia, pero todava no permiten identiicar con precisin cules son
sus efectos directos en los indicadores de calidad y seguridad del paciente,
as como en la evolucin de la calidad percibida de los usuarios.
L SICALIDAD
SICALIDAD como respuesta gubernamental al problema de la calidad en
el sector salud es un programa relativamente nuevo que coincide con un
aumento signiicativo en el gasto pblico en salud con el in de alcanzar la
cobertura universal. La propuesta de SICALIDAD es muy ambiciosa, a pesar
de contar con un presupuesto modesto.18 Presumiblemente, el potencial de
los resultados de las evaluaciones en esta primera etapa de implementacin
es mayor, dado el grado de maduracin del programa. Esto se debe a que
por diversos factores de economa poltica y dinmica organizacional, los
programas tienden a volverse ms rgidos con el tiempo; por tanto, menos
susceptibles de realizar mejoras en el margen, en ausencia de evidencia
contundente en relacin a su fallido desempeo o una crisis de poltica
pblica con gran visibilidad. En la medida en que todas las intervenciones
pblicas implican decisiones distributivas que generan intereses y rutinas
con sesgos pro status quo, la primera etapa de maduracin de un programa
pblico puede ser la ms creativa y dinmica, si existen condiciones para un
proceso de aprendizaje derivado del adecuado monitoreo y la evaluacin.
Todo indica que SICALIDAD es un buen ejemplo de ello.
17 Quinto Informe de Labores 2011, Mxico, Secretara de Salud, p. 46.

18 Ver Tabla 2. de Presupuesto en Apndice.

SICALIDAD ha sido sometido a tres evaluaciones externas
realizadas por distintas instituciones. La evaluacin de diseo de 2008,
realizada por el Instituto Nacional de Salud Pblica, de carcter obligatoria
para todos los programas nuevos, arroja una valoracin positiva del
diagnstico del programa y sus principales caractersticas de diseo:
El diseo del programa SICALIDAD est suicientemente
sustentado en el Diagnstico realizado por la DGCES, se ha seguido
todo el procedimiento sealado por el CONEVAL para la elaboracin de
programas nuevos. En base al Diagnstico se elaboraron ichas tcnicas y
de ellas derivaron su propuesta de marco lgico y las reglas de operacin
del programa. Los indicadores con los cuales monitorearn y vigilarn se
encuentran bien identiicados as como el tiempo de duracin entre un
monitoreo y otro. En la versin preliminar de las ROP se seala de manera
sustantiva la forma como operar el programa, normando cada estrategia
en tiempos y forma. Los mecanismos para lograr mejorar la comunicacin
entre el nivel federal y el estatal estn en prueba y se han materializado
a travs del Boletn SCALIDAD, instrumento que difunde las principales
actividades de la DGCES, as como datos de relevancia del sistema nacional
de salud. Los lineamientos generales del programa se estn difundiendo
electrnicamente a travs de Instrucciones en las cuales se detalla el camino
a seguir para lograr la consolidacin de las estrategias propuestas. Ambas
formas de difusin son valoradas positivamente por el equipo evaluador.
El programa cuenta con todos los elementos para ponerse en marcha a
partir de enero de 2008, siendo sus planteamientos concretos y estando
bien identiicado el sistema de monitoreo de indicadores que les permitir
lograr los objetivos planteados.
En general la evaluacin identiica muchas fortalezas

de diseo, conceptualizacin y operacionalizacin de los
indicadores, as como un adecuado establecimiento de
metas y objetivos. No obstante, se sealan tambin algunas
amenazas o debilidades susceptibles de atencin. En primer
lugar, a pesar de que el modelo parte de una visin amplia de
lo que implica la generacin de una cultura de calidad entre
los prestadores de servicios a la salud y sus usuarios, las
estrategias de capacitacin explcitas del programa se reducen
a los aspectos tcnico-profesionales, sin que se mencione
cmo se incorporarn factores culturales y de contexto en
dicha estrategia, o si existirn componentes especicos de
capacitacin ms all de la dimensin tcnica. Igualmente,
el equipo evaluador concluye que, a pesar de que todos los
indicadores cumplen con los criterios propuestos por el Consejo
Nacional de Evaluacin de la Poltica de Desarrollo Social

(CONEVAL), no existen mecanismos coniables para veriicar
la veracidad de la informacin aportada por las unidades
mdicas y otros actores involucrados en los proyectos.19
En 2008, la Evaluacin Especica de Desempeo realizada por

Investigacin en Salud y Demografa S.C. (INSAD) ofrece conclusiones
consistentes con la evaluacin anterior: SICALIDAD cuenta con una
adecuada integracin de componentes y suicientes indicadores de gestin
que permitirn el adecuado monitoreo de la gestin. A solo un ao de
implementacin, el programa goza de gran aceptacin entre las unidades
de salud y los usuarios y ha desarrollado una buena coordinacin entre
programas (Seguro Popular, Oportunidades, Caravanas de Salud, entre
otros) e instituciones del sector: [SICALIDAD es] un programa integrador
que ha logrado revivir el inters por hacer mejor las cosas en las unidades
de salud.20 Por el lado de las debilidades, las principales amenazas para
SICALIDAD estn relacionadas con el potencial incumplimiento con
las expectativas generadas en los participantes, vinculados con factores
externos a la operacin del programa, como el serio problema de desabasto
de insumos y materiales en las unidades de salud. Adems de la necesidad
de realizar una evaluacin de impacto y generar ms indicadores a nivel
in y propsito, el equipo evaluador de SINAD recomienda que no se
incremente la complejidad operativa del programa con ms componentes,
sin que antes se tenga mayor certeza en torno a los riesgos de operacin del
modelo existente y sus potenciales impactos.
En 2009-2010, Instituto Nacional de Salud Pblica, con un
equipo evaluador distinto, realiz una segunda Evaluacin Especica
de Desempeo, en la que se reitera la valoracin positiva del desempeo
de SICALIDAD. En particular, la evaluacin seala que los aspectos
ms favorables de la gestin del programa se reieren a la expansin de
cobertura y al seguimiento de los aspectos susceptibles de mejora: [Este]
rubro evidencia el inters de los operadores del programa por identiicar
las reas de oportunidad de SICALIDAD y actuar en consecuencia.21 Entre
las fortalezas destaca la consolidacin de lneas de accin sumamente
consolidadas como la Acreditacin y los Acuerdos de Gestin, as como
evidencias innegables del inters de los operadores por identiicar las
reas de oportunidad, aprovechar los resultados de evaluacin y establecer
acciones de mejora.22 La mayor parte de las observaciones y hallazgos
derivados de las evaluaciones han detonado acciones concretas y han
informado la reforma de diversos procesos gerenciales, as como la revisin
de los documentos normativos y operativos de SICALIDAD, en particular los
19 INSP, Evaluacin de Diseo 2008, Op. Cit., p. 45.

20 Investigacin en Salud y Demografa (INSAD), Evaluacin Especica de Desempeo 2008, p. 15.
21 INSP, Evaluacin Especica de Desempeo 2009-2010, p. 18.
22 Ibdem, p. 19.

que estn relacionados con el fortalecimiento del control y la supervisin.
Al momento de la evaluacin, SICALIDAD haba cumplido con 60% de
las acciones de mejoras comprometidas, y el resto contaba con plazos de
cumplimiento de corto plazo que, en opinin del evaluador, haban sido
muy bien deinidos y conceptualizados.
SICALIDAD incorpora de manera explcita el papel de la evaluacin en
la seleccin de cursos de accin para la mejora continua en sus documentos
institucionales y en las instrucciones especicas que genera el programa, en
las que se establecen acciones correctivas y se deinen los plazos concretos
para su cumplimiento. Este nuevo ejercicio de evaluacin releja tambin
la preocupacin creciente por documentar los impactos concretos en
la calidad de la prestacin de los servicios de salud y la calidad percibida
por los usuarios, como resultado directo de las estrategias, programas y
proyectos vinculados a SICALIDAD.
La evaluacin realizada por la Universidad Autnoma
Metropolitana (Campus Xochimilco) en noviembre de 2009 concluye
tambin que SICALIDAD va por buen camino, a pesar de los notables
riesgos de operacin que conlleva un programa con una poblacin objetivo
tan heterognea y fragmentada:
La estrategia general de los componentes de SICALIDAD

analizados resulta innovadora por sus caractersticas
e incentivos propuestos. Adems, concuerdan con las
tendencias actuales impulsadas en diversos pases de la regin
y por organismos internacionales para vincular la dotacin de
recursos a proyectos concretos de apoyo para mejorar la calidad
de los procesos, incluidas estrategias de gestin de servicios
a determinados grupos de trabajadores.() SICALIDAD ha
constituido una red de procesos que abarcan los distintos
niveles de gobierno y de organizacin de los servicios mdicos
con potencialidades para mejorar la calidad de la atencin
mdica. Existe una slida consistencia de sus objetivos ()
Ha establecido una articulacin luida entre sus operadores
en los niveles estatal, jurisdiccional y de unidades de atencin,
respaldados por un soporte de asesora a nivel central de la
DGCES y DGACS que fortalece su aplicacin. El contenido de
sus estrategias estimula la conformacin de una cultura de
mejoramiento de la calidad en los servicios mdicos.23
23 Universidad Autnoma Metropolitana-Xochimilco, Evaluacin tcnico y inanciera de y de procesos de
SICALIDAD 2008, 2009, p. 55 y ss.

No obstante, al igual que en previas evaluaciones, la principal
preocupacin en torno a la efectividad de la estrategia tiene que ver con
las fuertes restricciones materiales de las unidades mdicas en las que
SICALIDAD no puede incidir directamente, pero de las cuales depende, en
gran medida, el cumplimiento de los objetivos sustantivos del Sistema. Por
ejemplo, a pesar de que la participacin de los responsables de calidad tiene
un efecto positivo innegable en los procesos de acreditacin de las unidades,
las enormes carencias de infraestructura, equipamiento y personal mdico
y administrativo son un obstculo para el cumplimiento de los planes
anuales de acreditacin de los Sistemas Estatales de Salud (SESA).
Como resultado directo de la gran aceptacin de SICALIDAD entre
la poblacin objetivo, y las carencias materiales y de calidad existentes en
el sistema, los lmites ms apremiantes para la articulacin efectiva de la
estrategia son inancieros, ya que la capacidad de respuesta de SICALIDAD a
la demanda articulada que se observa en estos primeros aos no es suiciente.
En consecuencia, el equipo evaluador recomienda ampliar el apoyo para
la compra de bienes y, en general, fortalecer la capacidad inanciera de
SICALIDAD. Evidentemente, las decisiones de orden presupuestario
rebasan el margen de maniobra directo de los responsables del programa.
Otro problema recurrente en los proceso clave de SICALIDAD tiene que
ver con el aparente retraso en el lujo de recursos del SICALIDAD entre las
autoridades estatales y las unidades mdicas, y la desigual documentacin
del ejercicio de los mismos. Claramente, este problema est relacionado
con la complejidad de la incidencia de un programa federal en un sector
descentralizado, y con enorme variacin en las capacidades de gestin y
el desempeo de las autoridades estatales de salud, as como las unidades
mdicas receptoras.
En sntesis, el anlisis de las evaluaciones realizadas a SICALIDAD
desde su creacin en 2007 arroja lecciones y recomendaciones operativas y
estratgicas consistentes: SICALIDAD es un programa bien diseado, con
un alto grado de aceptacin, y con potencial para incidir positivamente en
la calidad de los servicios de salud en Mxico. No obstante, el programa no
cuenta con elementos explcitos que permitan evaluar su impacto concreto,
de un lado, y enfrenta barreras materiales signiicativas que podran afectar
su incidencia entre la poblacin objetivo, del otro.
SICALIDAD
con el proceso de evaluacin
En los trminos de la convocatoria del Premio, SICALIDAD present una
estrategia de acciones de mejora anclada en una lectura y una valoracin
propia de los hallazgos derivados de las evaluaciones realizadas a
SICALIDAD, la identiicacin de prioridades y la seleccin estratgica que
permitiera maximizar su incidencia en el corto y mediano plazo.

Tabla 3: Cadena de Valor: Hallazgos, Acciones, Resultados
HALLAZGOS ACCIONES RESULTADO METAS Avance

ESPERADO Agosto
No existen 1.- Incrementar en Documentar el 20% (Dic. 60%

elementos 20% la instalacin nivel de avance 2011)
para valorar de los Comits de la cultura de
aspectos de Calidad calidad en los
culturales que y Seguridad profesionales de
inciden en la del Paciente la salud a travs
calidad ms all (COCASEP) en del programa.
de la capacidad hospitales y
tcnica. jurisdicciones
como foros de
anlisis y toma
de decisiones
para mejorar la
calidad de los
servicios de salud.
2.-Incrementar 20% (Dic. 60%
20% la igura del 2011)
gestor de calidad
en hospitales y
jurisdicciones
como brazo
coordinador de
las acciones para
mejorar la calidad
y seguridad de
los pacientes.
3.- Medicin 30 hospitales 80%
de la cultura (Dic. 2011)
de seguridad
del paciente en
al menos 30
hospitales del pas.
4.- Realizar 100% (Dic. 60%
encuesta de 2012)
calidad en los
profesionales
de salud para
evaluar el nivel
de conocimiento,
la aplicacin y
el impacto del
programa en
las unidades
mdicas y en el
personal, derivado
de la difusin
y capacitacin
desde 2007.

HALLAZGOS ACCIONES RESULTADO METAS Avance
ESPERADO Agosto
Falta presencia, 5.-Realizar planes Garantizar los Planes y 30% (al

supervisin y de re-acreditacin estndares de dictmenes menos 10
seguimiento de y de supervisin calidad que de re-acred- entidades
las DGES y de para garantizar permitieron la itacin y de federativas)
los REC para la calidad de los acreditacin e superivsin
mantener la servicios en las incrementar de unidades
eiciencia en unidades mdicas el nmero mdicas en
los procesos. acreditadas de unidades todas las
a la fecha. acreditadas. entidades
federativas.
(Nov. 2012)
Trmites lentos 6.- Publicacin Dictmenes de Dictamen 60%
y engorrosos de convocatorias inanciamiento del Comit
para el lujo y transferencias en el primer Tcnico en
de recursos a de recursos cuatrimestre apoyos inan-
las unidades inancieros en el del ao y cieros y com-
mdicas primer semestre transferencia probantes de
inanciadas. del ao. de recursos transferencias
en el primer de recursos
semestre. (Ene.2012)
Privilegiar la 7.-Establecer como Fomentar Criterios de 40%
acreditacin prioridades en aplicacin de prio-rizacin Criterios de
Establecer la convoctarias proyectos de en las con- priorizacin
prioridades. de Acuerdos SICALIDAD en vocatorias e y resultados
Realizar de Gestin y las unidades Informe de de impacto
evaluacin Capacitacin 2011 mdicas Resultados de de al menos
de impacto las prioridades de la Eva-luacin 10 entidades
los proyectos. de Impacto. federativas.
(Ene.2012)
8.-Desarrollar Medir el 100% (Ene. 40%
y aplicar impacto de la 2012) Informes de
instrumentos acreditacin resultados
para Evaluacin en los servicios de impacto
de Impacto de de salud en en al menos
la Acreditacin las entidades 10 entidades
en las unidades federativas, federativas.
mdicas de evaluando
las entidades tambin las
federativas prioridades de
los proyectos
SICALIDAD
9.- Desarrollar y Medir el 100% (Dic. 60% Resul-
aplicar Evaluacin impacto de la 2011) tados de
de la voz de los igura de aval encuesta y
ciudadanos en ciudadano en recomen-
donde exista igura las unidades daciones.
de aval ciudadano. mdicas
10.- Diseo y Medir la 100% (Dic. 60%
aplicacin de una conianza de los 2011) (Piloto y
nueva Encuesta ciudadanos en recomen-
de Satisfaccin la prestacin daciones)
y Conianza de los servicios
(ENCONSA) de salud
Fuente: Elaboracin propia con informacin de la Ficha de Inscripcin al Premio 2011.

Como resultado de una reunin con el Jurado del Premio 2011, y
el subsecuente proceso deliberativo al interior del equipo responsable de
los procesos clave de SICALIDAD, el programa present un compromiso
de mejora y una estrategia de implementacin ms detallada, en la que
se ainaron las metas y los plazos idneos para su cumplimiento. Las diez
acciones de mejora comprometidas fueron las siguientes:
Tabla 4: 10 Acciones de Mejora
Accin de Mejora Meta comprometida Alcanzada

Agosto
1.- Avanzar en la instalacin de Incremento de 20% en >20% . 20% uni-

Comits de Calidad y Seguridad su operacin a nivel dades de atencin
del Paciente (COCASEP) en nacional en el sector. primaria. 1.3%
hospitales y jurisdicciones. en hospitales
2.- Apoyar la igura del Gestor Incremento de 12% en 9.7%
de Calidad en hospitales y el nmero de hospitales
jurisdicciones como brazo y jurisdicciones con
coordinador de las acciones Gestor de Calidad.
para mejorar la calidad y
seguridad de los pacientes
3.- Medir la Cultura de Seguridad Implementacin del 40%
del Paciente para evaluar el Instrumento de Medicin
avance de las campaas Est en al menos 30 hospitales
en tus Manos y Ciruga del pas de mediana y
Segura Salva Vidas alta complejidad (80%)
4.- Realizar la Encuesta de Sistematizacin de 80%
Calidad en los Profesionales resultados (60%)
de Salud para evaluar el inivel
de conocimiento, aplicacin
e impacto del programa,
derivado de la difusin y
capacitacin realizada en 2008.
5.- Realizar Planes de 30% 23%
Acreditacin, Re-Acreditacin y
de Supervisin para garantizar
la calidad de los servicios
en las unidades mdicas
acreditadas hasta agosto 2011.
6.- Publicacin de Convocatorias 60% 71.1%
y transferencia de recursos
dinancieros en el primer
semestre del ao para Acuerdos
de gestin y Proyectos de
Capacitacin en Calidad.

Accin de Mejora Meta comprometida Alcanzada
Agosto
7.- Establecer como Prioridades 100% 100%

en la convocatoria de acuerdos
de gestin y Capacitacin en
calidad 2011 las prioridades
de SICALIDAD.
8.- Desarrollar y aplicar el Al menos 4 entidades 60%
instrumento para la Evaluacin federativas (40%)
de Impacto de la Acreditacin.
9.- Desarrollar y aplicar el Todas las unidades 80%
instrumento para la Evaluacin mdicas de las entidades
de las voz de los ciudadanos. federativas que cuentan
con Aval Ciudadano. (60%)
10.- Disear y aplicar una nueva 60% 100%
Encuesta de Satisfaccin y
Conianzas de los usuarios de los
servicios de salud )ENCONSA)
Fuente: Elaboracin propia con base en el Resumen Narrativo presentado por SICALIDAD en la segunda
etapa del Premio. Las metas de 100% se reieren a acciones de mejora discretas (no procesales).
Adems, SICALIDAD dise un mapa de ruta en el que asign

responsables directos por la instrumentacin de cada lnea de accin,
identiic riesgos potenciales y dise medidas de contingencia
para asegurar el seguimiento de las acciones. La calidad del ejercicio,
ciertamente perfectible24, releja una lectura cuidadosa del entorno
directo de implementacin y una actitud resolutiva para responder a las
contingencias. Por ejemplo, el equipo considera que an en ausencia
de la informacin necesaria para hacer una evaluacin del impacto de la
acreditacin, debern considerarse alternativas (second-best), para no
renunciar a esta necesidad por falta de informacin completa. Tambin
es importante enfatizar que el equipo entiende el potencial peligro de
la simulacin o dbil posicionamiento de los espacios para la promocin
de la calidad, y no se limita a fomentar su constitucin formal, sino que
busca incidir directa e indirectamente en su empoderamiento con medidas
administrativas e incentivos suaves de persuasin.
24 Por ejemplo, algunas de las medidas de contingencia que se proponen no resuelven el problema de
fondo. Como respuesta a la baja participacin en la Encuesta de Voz para los Avales y la posibilidad de
que la muestra no sea representativa a nivel nacional, se plantea ampliar el universo de participantes a
diversos actores sociales. Aunque esto permite incorporar otras percepciones que son importantes para la
formacin de ciudadana en salud, no resuelven el problema de atribucin ni de poca representatividad de
la muestra per se.

Tabla 5: Mapa de riesgos
ACCIN RESTRICCIONES RIESGOS MEDIDAS DE CONTINGENCIA
COCASEP Resistencia de los Simulacin. Seguimiento trimestral,

directivos para e incentivos para realizar
instalar el Comit la Memoria Anual.
y sesionar de
manera continua.
Gestor de Rotacin de Falta de Establecer un peril
Calidad personal elevada. posicionamiento mnimo para el gestor.
del gestor en la
unidad mdica.
Cultura de Baja participacin Retraso en Desarrollar el
Seguridad en en la encuesta. distribucin y instrumento va internet
el Paciente levantamiento para llegar a todas las
del instrumento. unidades hospitalarias.
Encuesta de Baja participacin, Prdida de conianza Difundir resultados de
profesionales y limitantes en del personal en la encuesta a nivel estatal
la interconexin participacin en y solicitar planes de
a internet. encuestas, derivado accin especicos y
de que no se realicen difundir avances.
las recomendaciones
de las encuestas
anteriores.
Planes de Deiciencia de Falta de Preparar un plan
acreditacin, infraestructura presupuesto en la de acreditacin por
re- y de personal en unidades. Falta de entidad federativa,
acreditacin algunas unidades presupuesto de la de comn acuerdo
y supervisi mdicas DGES para salidas con el responsable
de acreditacin, estatal de calidad.
re-acreditacin Solicitar ampliacin
y supervisin. presupuestaria
para viticos.
Acuerdos de Falta de Modiicaciones Fomentar en su
Gestin y documentacin de por parte de SHCP momento otros medios
Capacitacin cuentas bancarias al presupuesto de inanciamiento en las
en Calidad por parte de asignado, por entidades federativas.
las entidades cambios en
federativas la poltica de
para realizar las hacienda.
transferencias
o entrega tarda
de documentos.
Priorizacin Ninguna Ninguna Ninguna
en
Convocatorias
Medicin del Que los Falta de datos pre- Considerar alternativas
impacto de la responsables de acreditacin y/o de evaluacin.
acreditacin calidad estatales sobre el proceso
no acepten la de acreditacin.
evaluacin de
impacto.

ACCIN RESTRICCIONES RIESGOS MEDIDAS DE CONTINGENCIA
Evaluacin Baja participacin Que la muestra Dirigir la encuesta a

de la voz ciudadana. de avales todas las entidades
de Avales ciudadanos no federativas y considerar
Ciudadanos sea representativa a todos los grupos
a nivel nacional; representativos de los
que no exista avales (ciudadanos
comunicacin a ttulo individual,
efectiva con asociaciones,
los avales. escuelas, etc.)
ENCONSA Que haya baja Fala de personal Incentivos la
participacin de en las unidades participacin en la
la ciudadana mdicas para prueba piloto, a travs
aplicar la de gestores, emitiendo
ENCONSA una constancia de
participacin.
Fuente: Elaboracin propia con base en la Ficha de Compromisos de SICALIDAD.
Antes de describir las estrategias diseadas por el programa para

alcanzar los objetivos que se plantearon, es importante sealar que las
acciones seleccionadas estn directamente vinculadas con las preocupaciones
ms relevantes identiicadas por varias evaluaciones y, sobre todo, tienen una
clara relacin con la bsqueda de mayor incidencia del programa.
Conceptualmente, estas acciones tienen que ver, en primer lugar,
con la generacin de informacin coniable y sistemtica que permita
evaluar los impactos concretos de la estrategia, as como garantizar que
los procesos de acreditacin y re-acreditacin cumplan con los estndares
establecidos; en segundo lugar, avanzar en la adopcin de los mecanismos
institucionales y de voz que permitan ampliar la cobertura y el nivel de
apropiacin de los conceptos de calidad en las unidades mdicas; en tercer
lugar, revisar los documentos normativos de SICALIDAD para asegurar que
se articulen de mejor manera la prioridades centrales del mismo, evitando
as la dispersin de procesos, proyectos y esfuerzos.
En conjunto, esta combinacin de medidas normativas y esfuerzos
de medicin parecen acciones de simple ejecucin. No lo son. Por el
contrario, es importante enfatizar que toda la estrategia depende de la
colaboracin voluntaria de las unidades mdicas, de la generacin de
consensos y la colaboracin para el intercambio de informacin, y del
concurso de una compleja red de actores para llegar a buen trmino. Por
esta razn, la efectiva instrumentacin de las acciones depende de una labor
de gestin descentralizada y de movilizacin de recursos, informacin y
concientizacin con gran complejidad. Una vez analizadas las implicaciones
operativas y organizacionales detrs de cada compromiso puntual del
programa, result evidente que las acciones eran no slo necesarias y
pertinentes, sino que las metas establecidas por el programa eran, a la vez,
realistas y ambiciosas.

De manera paralela al mapa de ruta de cada lnea de accin de mejora,
SICALIDAD dise una estrategia dual de implementacin para todas las
acciones, identiicando los actores clave para su efectiva realizacin y los
mecanismos necesarios para inducir la colaboracin y el involucramiento
proactivo de los actores. El primer componente de la estrategia fue fortalecer
la gestin con el personal de salud a nivel estatal e interinstitucional a travs
de la comunicacin constante con los Responsables Estatales de Calidad
(RECs), los Responsables Institucionales de Calidad y con visitas del equipo
de SICALIDAD a las entidades federativas. Adems, se estableci un intenso
intercambio de informacin va correo electrnico y telefnico, con el in de
establecer los planes de acreditacin, aumentar la participacin en proyectos
de mejora, promover la instalacin de Comits de Calidad y Seguridad del
Paciente (COCASEP)25, de gestores de calidad y la aplicacin adecuada de las
encuestas por Internet. El principal mecanismo de transmisin de informacin
fue el Gestor de Calidad, quien tuvo a su cargo coordinar las acciones en
las unidades mdicas, apoyar y dar seguimiento a la instrumentacin de
las mejoras. Adems, se estableci la igura de enlace administrativo en la
entidades federativas, para que desde las reas inancieras y de adquisiciones
existiera un actor local que pudiera dar seguimiento a la entrega de los recursos
provenientes de SICALIDAD y que pudiera establecer responsabilidades
tcnicas y administrativas a nivel estatal, para que el lujo de recursos sea gil y
permita el monitoreo en forma descentralizada. De igual manera, SICALIDAD
intensiic la celebracin de reuniones, eventos de capacitacin y la creacin
de espacios interinstitucionales de discusin para promover las acciones de
mejora directamente y un mayor conocimiento de los apoyos del programa
SICALIDAD. En esa misma lgica, se busc incidir en los niveles jerrquicos
estratgicos para mejorar la coordinacin entre las principales instituciones del
sector. Por ejemplo, se gestion directamente con el IMSS que se autorizara el
Manual de Integracin y Funcionamiento del Comit Institucional de Calidad y
Seguridad del Paciente (CICASEP) en perfecta alineacin con el COCASEP. Esto
ltimo, cabe sealar, es un avance muy importante ya que, histricamente,
estas instituciones cuentan con sistemas e indicadores propios con un nivel de
consolidacin organizacional muy alto, lo que hace muy difcil su coordinacin
con otros miembros del sistema y, en consecuencia, la adaptacin lexible de
sus estrategias y la adopcin de un lenguaje comn.
El segundo componente de la estrategia se concentr en el
fortalecimiento de los elementos de gestin y coordinacin basados en
Internet y otras tecnologas de la informacin. Se intensiic la difusin y
la promocin de la participacin en las acciones del programa a travs de
la RED SICALIDAD, con la transmisin constante de informacin, por va
electrnica, a ms de 20,000 profesionales en salud de todo el sector. Por esta
25 Las Reglas de Operacin 2011 as lo deinen: Comit colegiado de carcter tcnico consultivo orientado
al anlisis de la problemtica en materia de calidad de la atencin de los establecimientos de salud, que

propone y recomienda a los directivos, acciones de mejora continua de la calidad y seguridad del paciente,
pero no deine explcitamente su composicin ni la forma en la que estos deben constituirse y operar.

va tambin se emitieron instrucciones con lineamientos especicos para
cada accin y se veriic que fuera socializada en toda la Red. Utilizando las
ventajas de las tecnologas de informacin, se aplicaron diversas encuestas
a los profesionales de la salud y a los avales ciudadanos en todo el pas. Se
publicaron todas las convocatorias en la pgina WEB y se promovi la
utilizacin de la pgina y la diseminacin de la informacin a travs de la RED
SICALIDAD. Igualmente, se realiz una prueba piloto de la Encuesta Nacional
de. Conianza y Satisfaccin (ENCONSA) y se valid estadsticamente para
asegurar la coniabilidad del instrumento.26 Se realiz tambin una nueva
encuesta de satisfaccin con el software INDICAS II, con el in de analizar los
resultados y realizar los ajustes necesarios en la encuesta para todo el sector.
Las estrategias de SICALIDAD para mejorar sus procesos y sus
resultados, aqu y ahora, a partir de una compleja red, son notables porque
trabajan de manera simultnea en la infraestructura bsica de informacin y
fomentan, de manera concurrente, la apropiacin de estos insumos por parte
de los actores en dos dimensiones: a nivel jerrquico institucional (top-down)
y desde los enlaces administrativos y gestores de calidad en cada unidad
(bottom-up). El equipo de SICALIDAD asumi un liderazgo organizacional
decisivo y busc fortalecer a la red en diversos niveles, con mltiples insumos
e incentivos, de manera simultnea. No es una exageracin airmar que el
equipo ha sabido sortear las resistencias organizacionales y las limitaciones
de recursos con el in de posicionar de manera permanente la preocupacin
por la calidad en la agenda del sector salud.
Un primer paso para alcanzar el objetivo ha sido perfeccionar los
instrumentos de gestin y monitoreo y fortalecer las capacidades de apropiacin
y gestin de la red, con incentivos de diversa ndole, que van ms all de los
apoyos inancieros del programa. Todo esto, es importante sealar, a partir del
trabajo en equipo de un grupo comprometido de funcionarios pblicos.27
Cumplimiento de los compromisos de SICALIDAD

Al momento del cierre de la convocatoria del Premio 2011, SICALIDAD haba
documentado el avance de todas las acciones comprometidas. El programa
cumpli las metas de 7 de las 10 acciones comprometidas, y rebas las metas en
6 de ellas; las tres restantes demostraron avances, pero estuvieron por debajo
de las metas establecidas. En primer lugar, destaca la instalacin de 1,461
Comits de Calidad y Seguridad del Paciente, con lo que se alcanz en agosto la
meta proyectada para diciembre de 2011. La instalacin de los Comits asegura
un espacio permanente para la deliberacin en torno a temas de calidad en las
26 Se utiliz el alpha de Cronbach para valorar la coniabilidad de los instrumentos (anlisis de correlacin
de los tems de una encuesta).

27 En el marco de las reuniones e intercambios derivados del Premio 2011, el Jurado identiic de manera
consistente, que el grado de motivacin, compromiso y sentido de misin del equipo es muy sobresaliente.

unidades, y releja cierto grado de aceptacin por parte de los grupos directivos.
Esto representa en s mismo, que se han vencido resistencias internas de las
organizaciones, se han resuelto problemas de accin colectiva y que el mensaje
va permeando en espacios estratgicos de las unidades. Sin embargo, nada nos
dice sobre la operacin e inluencia de los comits en la variable de inters: la
calidad de los servicios de salud y la formacin de ciudadana en salud.
Tabla 6: Nmero de Comits de Calidad y Seguridad

del Paciente (COCASEP) por tipo de unidad
10000
9000 8726
8000 7273
7000
6000 ATENCIN
5000 PRIMARIA
4000 HOSPITALES
3000
2000
1000 250 218 378 225 391 607 615
0
0
2007 2008 2009 2010 2011
Fuente: Elaboracin propia con datos de SICALIDAD.
La encuesta nacional Calidad de Vida Profesional y Compromiso

con la Calidad de los Trabajadores en Salud, todava en proceso al
momento del cierre de la convocatoria, pero con un avance mayor a la meta
comprometida para agosto, contaba con un corte preliminar de 14,790
profesionales de salud participantes provenientes de todas las entidades
federativas, el Distrito Federal, el IMSS, el ISSSTE e instituciones privadas.
Esta encuesta cont con una batera de preguntas muy relevantes para la
operacin y evaluacin de SICALIDAD con relacin a la Calidad de Vida
Profesional y al Compromiso con la Calidad. El informe preliminar de
resultados revela informacin sumamente til para la toma de decisiones
en diversos aspectos del programa y arroja un diagnstico preciso de
la percepcin, el conocimiento y el grado de aceptacin de las diversas
estrategias de SICALIDAD. Entre otros aspectos, la encuesta indica
que la estrategia dual de intervencin (entre directivos y desde la base)
es adecuada, ya que a pesar de que existe un alto reconocimiento de las
capacidades tcnicas del equipo directivo entre los profesionales de salud,
tambin existe una percepcin baja del apoyo de los mismos para la mejora
de la prestacin de servicios, y de la receptividad de las autoridades frente
a propuestas de mejora planteada por los profesionales. Apenas una tercera
parte de los participantes consider que el equipo directivo se compromete
con la calidad de la atencin a la salud. Esto ltimo es, sin duda, uno de
los indicadores clave de la institucionalizacin y el posicionamiento de la
calidad en las prioridades del sector.

Cuadro 4: Resultados encuesta profesionales
Tiene conianza en la capacidad tcnica de su equipo directivo?
5% 13% 40% 43%
Recibe apoyo del equipo directivo para mejorar la calidad de su trabajo?

9% 25% 43% 24%
Cuenta con el apoyo de sus compaeros para la realizacin de su trabajo?

3% 11% 45% 41%
En su establecimiento mdico le informan sobre los objetivos de los programas de salud?

8% 20% 42% 30%
Sus propuestas de mejora son escuchadas y aplicadas en su establecimiento mdico?

15% 28% 42% 15%
Dira usted que el equipo directivo de su centro laboral

se compromete con la calidad de la atencin a la salud?
6% 17% 44% 33%
NUNCA CASI NUNCA CASI SIEMPRE SIEMPRE
Fuente: Informe de Encuesta a Profesionales (SICALIDAD)
Otro dato relevante, derivado de la encuesta, tiene que ver con los
niveles de estandarizacin y adopcin de las guas prcticas clnicas en la toma
de decisiones cotidiana. Aunque SICALIDAD ha puesto particular nfasis en
un modelo de medicina basado en evidencia, y la adopcin de protocolos y
guas profesionales para las diversas etapas de la atencin mdica, incluyendo
el manejo adecuado de los expedientes y la actualizacin y la regularizacin de
las prcticas clnicas, existe todava un nmero importante de profesionales
que toma decisiones en funcin de su experiencia personal. Si a este hecho se
agrega que la mayora de los participantes cuenta con menos de 10 aos de
antigedad, esto puede ser la fuente de mucha variacin en el manejo clnico.
A la pregunta, cmo toma usted las decisiones en su prctica profesional?
menos de uno de cada diez profesionales hizo alusin a las Guas de Prctica
Clnica, y slo 4.1% suele consultar las publicaciones cienticas.
Cuadro 5: Prctica clnica basada en evidencia?

Mediante artculos
cienticos, revistas 4.1%
y publicaciones
Libros de texto 5.3%
Utiliza Planes de Cuidados
de Enfermera (PLACE) 7.3%
Utiliza Guas de
Prctica Clnica (GPC) 9.7%
Consulta a otros colegas

17.7%
y compaeros de trabajo
Uso de las Normas Oiciales
Mexicanas o Lineamientos 26%
de los Programas
Experienca 30%
0% 5% 10% 15% 20% 25% 30%

En general, a pesar de que el nivel de satisfaccin con la calidad de
vida profesional en el sector salud es alto, la mayora de los participantes
considera que el nivel ingreso no corresponde con las responsabilidades y
las capacidades tcnicas que implica el ejercicio profesional. Esto coincide
con el sealamiento de la OCDE (2005) sobre la necesidad de vincular el
ingreso de los profesionales con variables de desempeo. Los datos relevan
tambin un alto grado de sentido de pertenencia y orgullo profesionales en
el sector, lo que constituye un capital social que puede y deber ser movilizado
a travs de la Red SICALIDAD para posicionar los temas de calidad: 7 de
cada diez profesionales de la salud se sienten orgullosos de su adscripcin
institucional y de la labor que realizan. A pesar de las carencias materiales
de equipamiento y medicamentes, el nivel de motivacin y compromiso
profesional es relativamente alto.
Cuadro 6: Satisfaccin y ambiente laboral

Se siente satisfecho con el trabajo que realiza?
1% 2% 24% 73%
Se siente orgulloso de pertenecer a su organizacin laboral?

1% 3% 19% 77%
Se desconecta del trabajo cuando est en su entorno familiar?

1% 5% 37% 48%
Tiene buen balance entre su vida personal y profesional?

1% 4% 32% 63%
Existe concordancia entre su puesto y sus capacidades profesionales?

3% 6% 29% 62%
NUNCA CASI NUNCA CASI SIEMPRE SIEMPRE
En el Componente de Compromiso con la Calidad, la encuesta

permite contar con un barmetro de todas las actividades de SICALIDAD,
desde la perspectiva de los profesionales. Esta informacin permitir
valorar los niveles de aceptacin de la estrategia y entender si el modelo
de intervencin percibido corresponde al modelo funcional de incidencia
que se persigue. De igual manera, permitir identiicar las reas de menor
percepcin favorable e identiicar sus determinantes. En suma, esta
informacin permitir operacionalizar, a partir de evidencia actualizada,
cules son las variables y determinantes ms importantes para avanzar en
los temas de calidad desde la perspectiva de los profesionales en salud. 76
% de los profesionales dice conocer SICALIDAD, lo que concuerda con el

alto grado de aceptacin reportado por otras evaluaciones. No obstante, el
grado de conocimiento de los proyectos especicos de la estrategia es muy
heterogneo, como se muestra en el Cuadro 7.
Cuadro 7. Conocimiento de SICALIDAD
Premio a la Innovacin y Calidad

(CALINNOVA) 11.8%
Programa de Atencin Domiciliaria (PAD) 14.4%
Cuidados Paliativos(PALLAR) 14.5%
Apoyos de SICALIDAD a la Capacitacin en 15.4%
Calidad, Investigacin Operativa y Publicaciones
Calidad en la urgencia (SUMAR) 16.4%
Calidad en la Atencin Materna,
Experanza de la Vida (CAMEV) 21.9%
Acuersdos de Gestin 22%
Boletn SICALIDAD 26.2%
Premio Nacional de Calidad en Salud 26.5%
Uso Racional de Medicamentos (URM) 29.%8
Planes de Cuidados de Enfermera (PLACE) 30.9%
Prevencin y Reuccin de Enfermedades
Nosocomiales (PREREIN 31.1%
Gestores de Calidad 38.4%
Guas de Prctica Clnica (GPC) 39.3%
Modelo de Expediente Clnico
Integrado y de Calidad (MEOIC) 39.4%
Modelo de Gestin de Quejas,
Felicitaciones y Sugerencias (MANDE) 43.5%
Acreditacin - Reacreditacin de Unidades 45.5%
Comits de Calidad y Seguridad
de Paciente (COCASEP) 52.5%
Programa de Estmulos a la Calidad 52.6%
Seguridad del Paciente 55.4%
Aval Ciudadano 63.2%
Sistema Nacional de indicadores
de Calidad en Salud (INDICAS) 67.2%
A pesar de que el Sistema Nacional de Indicadores de Calidad en Salud

(INDICAS) es el rubro ms conocido por los profesionales, el indicador es
bajo en vista de que la internalizacin de un sistema de indicadores es la
columna vertebral de las institucionalizacin de los temas de calidad. Un

buen sistema de informacin utilizada para la toma de decisiones es una
condicin absolutamente necesaria para detonar procesos endgenos de
mejora continua orientada a la calidad de los servicios. De la misma manera,
es preocupante que la dimensin de innovacin de calidad (conocimiento
del Premio a la Innovacin y Calidad) es muy baja, ya que puede ser un
relejo de condiciones adversas para la innovacin en el ambiente laboral
cotidiano de los prestadores de servicios.
La encuesta tambin incluy preguntas sobre la cobertura y la
percepcin de las iguras clave del programa, como el Comit de Calidad y
Seguridad del Paciente y el Aval Ciudadano, y ofrece pistas importantes para
entender tanto el potencial transformador como las fuertes restricciones
que enfrentan estas iguras en la dinmica organizacional de las unidades.
Por ejemplo, 53% respondi saber de la existencia del Aval Ciudadano en su
unidad, 9% airm que no exista, y el 38% restante no sabe o no contest.
Entre quienes saban de la existencia de dicha igura, slo 16% consider que el
Aval Ciudadano no ha tenido efecto alguno en la calidad de la unidad mdica,
mientras que al menos la tercera parte de los profesionales seala que el Aval
Ciudadano: ha promovido mejoras en las instalaciones (34.2%); ha contribuido
a mejorar el trato y la informacin otorgada por el personal (34.8%); permite
conocer la opinin real que tienen los ciudadanos sobre la calidad (43.9%); y
contribuye a la reduccin de tiempos de espera (44.2%). Estos datos son de
difcil interpretacin, al menos en ausencia de mayor informacin de contexto.
No obstante, en combinacin con los datos derivados de la Encuesta realizada a
los Avales Ciudadanos, podra no slo dar cuenta del papel y grado de aceptacin
de esta igura, sino tambin informar estrategias para fortalecer y diversiicar
la contribucin de este importante actor de la estrategia en la promocin de
la ciudadana en salud. Cabe recordar que esta igura es voluntaria, por lo que
seguramente presentar niveles altos de rotacin y discontinuidad, al menos
durante la primera etapa de implementacin de SICALIDAD; es decir, en
tanto no se logren condiciones bsicas de institucionalizacin de la calidad en
la agenda del sector y existan mejores condiciones para el empoderamiento
efectivo de la igura del Aval.
Otro de los compromisos cumplidos se reiere a la agilizacin de
trmites y la agilizacin de la transferencia de recursos. Para agosto de 2011
se haba realizado con xito la transferencia de recursos por un monto de
$20,972,220.00 (71.1% del total), con el in de apoyar 95 proyectos derivados
de Acuerdos de Gestin en igual nmero de unidades mdicas y 45 proyectos
de Capacitacin en Calidad en las entidades federativas. Dicho avance
rebas la meta comprometida inicialmente (60%). Un monto adicional de
$4,860,560.00 estaba proyectado para ser transferido a poco das del cierre
de la convocatoria del Premio 2011. Todo esto sugiere, en suma, que
SICALIDAD logr transferir la mayora de los recursos asignados durante el
primer semestre de ao. Este avance, sin duda, permitir que el ciclo natural
de los proyectos de desarrolle de mejor manera, al contar con mayor tiempo
para su adecuado ejercicio en las unidades mdicas respectivas.

Tabla 7: Transferencia de recursos SICALIDAD
$1,600,000
$1,400,000
$1,200,000
$1,000,000
$800,000
$600,000
$400,000
$200,000
$0
AGUASCALIENTES
CHIHUAHUA
NAYARIT
ISSSTE
JALISCO
QUINTANA ROO
SINALOA
BAJA CALIFORNIA
CAMPECHE
COLIMA
CHIAPAS
DISTRITO FEDERAL
DURANGO
GUANAJUATO
MICHOACN
QUERTARO
SONORA
TAMAPULIPAS
TLAXCALA
YUCATN
DIF TULTITLN
ZACATECAS
COLIMA
GUERRERO
MXICO
MORELOS
NUEVO LEN
PUEBLA
OAXACA
TABASCO
VERACRUZ
Fuente: Elaboracin propia con informacin proporcionada por SICALIDAD.
Como resultado de la publicacin de convocatorias en Internet y un

mayor esfuerzo de comunicacin se logr la participacin de 1,005 proyectos
en Acuerdos de Gestin y 201 Proyectos Estatales de Capacitacin en
Calidad, todo ellos con pleno cumplimiento de los criterios de priorizacin
establecidos, en seguimiento a las recomendaciones de la evaluacin.
En materia del anlisis de impacto de los procesos de acreditacin28
tambin se rebas la meta de 40% de avance, con un cierre al mes de agosto de
60%. SICALIDAD entreg Reportes de Medicin de Impacto de la Acreditacin
en Hidalgo 2004-2010, Tabasco 2004-2010, Distrito Federal 2004-2010,
Aguascalientes 2004-2010, Tlaxcala 2004-2009 y Guerrero 2004-2009. Al
momento del cierre de la convocatoria se encontraban ya en proceso de anlisis
los siguientes reportes: Estado de Mxico 2004-2010, Oaxaca 2044-2010, y en
proceso de medicin 4 entidades federativas ms. Para la realizacin de estos
reportes se recopila informacin de acuerdo a los siguientes instrumentos:
1) Gua de Medicin de Impacto de la Acreditacin, e 2) Instrumento de
Percepcin del Usuario. De manera complementaria se utiliza la informacin
de la Encuesta de Conianza y Satisfaccin en el Sistema Nacional de Salud
para pacientes ambulatorios en unidades de atencin primaria, y de consulta
externa hospitalaria. Tambin se utilizan fuentes de informacin secundaria
proveniente de las encuestas disponibles y las evaluaciones realizadas por la
Direccin General de Evaluacin del Desempeo.
28 La acreditacin es una auditora a las unidades mdicas que contempla condiciones iniciales para la
prestacin de los servicios del catlogo en funcin de tres criterios principales: capacidad, seguridad y
calidad. La vigencia de la acreditacin es de 5 aos. Todos los prestadores de servicios del Seguro Popular
deben contar con dicha acreditacin. La acreditacin se concibe como un elemento de Garanta de Calidad
() dirigida a garantizar los servicio que integran el Catlogo Universal de Servicios de Salud (CAUSES)
y del Fondo de Proteccin contra Gastos Catastricos (FPGC), Manual de Acreditacin 2008, Mxico,
Secretara de Salud, p. 4.

Los resultados de los reportes relejan, en general, efectos
positivos de la acreditacin e ilustran que el proceso se ha desarrollado de
manera muy desigual en distintas entidades federativas. Cabe mencionar
que las diferentes fuentes de informacin no siempre son representativas
en el mbito estatal, y no siempre arrojan resultados consistentes. En este
sentido, resulta deseable seleccionar un nmero reducido de indicadores
globales que permitan comparar los efectos de la acreditacin entre
entidades federativas, y permitan informar estrategias para mejorar
el proceso, particularmente en las entidades con notable rezago en
acreditacin, como el estado de Guerrero.
Tabla 8: Sinttica de resultados acreditacin29
DIMENSIONES/ HIDALGO GUERRERO TABASCO AGUASCALIENTES

ENTIDAD
Nmero de 5 6 6 8
Procesos
Mejorados
Percepciones 84% trato 84% trato 90% percibe 93.4% trato
digno digno mejora digno
93% 98%reco- secundaria 96.7%
recomendara mendara 78% la recomendara
la unidad unidad acreditacin la unidad
34.8% mejor 89.8% percibe
acreditacin percepcin mejora
trae mejoras de usuarios secundaria
Expedientes 80% glucosa 80% glucosa 63% control 75% glucosa
32% presin 55% presin de glucosa, 55% presin
arterial 57% presin
Personal y 3,406 contra- 47,722 2,906 contrata- 29
Equipamiento taciones (alta profesionales ciones (Alta contrataciones
especialidad) Ampliacin y especialidad) (Consulta
Amplicacin y obra nueva en Remodela- Externa)
obra nueva en 43 unidades ciones y obra
486 unidades nueva en 491
unidades
Medicamentos 82% 64% 65%-75% 70%
(Recetas
surtidas)
Avance 80.1% 23.8% 89.9% 105%
Acreditacin
Financia- $ 600, $13,815,736.35 $466,107,273.89 $9,161,075.35
miento Global 323,539.88
Fuente: Elaboracin propia con informacin de los Reportes de Impacto de la Acreditacin.
29 El porcentaje de expedientes con revisin de glucosa capilar en pacientes diabticos, y la revisin
de tensin arterial en aquellos que se encuentran fuera de rango es un buen proxy de la adopcin de
estndares de manejo clnico de estos pacientes.

La Encuesta de Profesionales releja percepciones relativamente
bajas del vnculo entre acreditacin y mejora sustantivas en las unidades
de salud. El cambio ms notable, en la percepcin de los profesionales, es
al aumento en la disponibilidad de medicamentos para la atencin de los
ailiados al Seguro Popular.
Cuadro 8: Efectos percibidos de la acreditacin

Con la acreditacin ha impulsado la
capacitacin o actualizacin acadmica del 6%
personal mdico y paramdico
La unidad mdica cuenta con los servicios a
los que tienen derecho los usuarios ailiados 10%
al Seguro Popular
La acreditacin ha signiicado cambios en la

calidad de la atencin 13%
La acreditacin ha supuesto mejoras en los

procesos de atencin mdica 14%
La acreditacin no ha representado un cambio

en las condiciones de la unidad de salud 15%
Con la acreditacin se ha podido cumplir

con requisitos de infraestructura, 16%
equipamiento, mobiliario o instrumental
La unidad acreditada cuenta con aumento
en la cantidad de medicamentos para los 27%
usuarios ailiados al Seguro Popular
Fuente: Encuesta a Profesionales (SICALIDAD).
Durante el mes de julio se aplic la Evaluacin de Voz a los Avales

Ciudadanos, con la participacin de 30 entidades federativas y el Distrito
Federal. En esta encuesta participaron 3,732 avales ciudadanos con el in
de identiicar las facilidades o restricciones que ha tenido su intervencin
para la mejora de la calidad en salud. El avance de 80% rebas la meta
comprometida (60%). El Reporte de la Evaluacin seala que la tasa de
participacin en dicho instrumento fue baja y muy desigual entre entidades
federativas (rango de participacin de 0.03% en Coahuila a 18,84% en el
Estado de Mxico). Esto releja un incipiente, pero importante nivel de
articulacin de la igura del Aval como actor clave del sistema. La mayora de
los avales tiene acceso a espacios institucionales para informar a usuarios y
pacientes sobre la igura del Aval y transmitir informacin del programa, y
la trasmitida por pacientes y familiares en la unidad respectiva. Los avales
conocen al Gestor de Calidad de la unidad y han sido invitados a participar
en los Comits de Calidad y Seguridad del Paciente. Esta informacin es muy
importante para valorar y profundizar la densidad de la colaboracin de
los diversos actores del sistema. En ausencia de una preocupacin explcita
por la integracin de las vertientes complementarias de la estrategia, todos

estos esfuerzos se pueden atomizar si no existe colaboracin directa entre
usuarios, profesionales, autoridades y los mecanismos de contralora social,
entre ellos el Aval Ciudadano.
Finalmente, en relacin a la ENCOSA se logr 100% de cumplimiento
(respecto a 60% comprometido). Se realiz una prueba piloto en 6
entidades federativas y, a partir de los resultados se redise la encuesta
que ser aplicada en todo el pas, con un nmero menor de reactivos y varias
modiicaciones solicitadas por el personal de las unidades que particip en
la prueba piloto.
Cuadro 9: ENCONSA
TRATO DIGNO Y PRIVACIDAD
COMUNICACN E INFORMACIN
LISTA Y TIEMPO DE ESPERA: ATENCIN PRONTA
SURTIMIENTO DE MEDICAMENTOS
CONFORT-SEGURIDAD
SATISFACCIN Y CONFIANZA DEL SERVICIO EN GENERAL
Fuente: Elaboracin propia con informacin del Reporte Enconsa 2011 (SICALIDAD)
Tareas pendientes
Las metas que no se alcanzaron fueron el nmero de gestores de
calidad designados, el avance en la aplicacin de la encuesta Cultura de
Seguridad del Paciente y el avance en la acreditacin, re-acreditacin y
supervisin de unidades mdicas. En relacin a los gestores, el programa
document la designacin de 110 gestores (entre enero y agosto), lo que
representa un incremento de 9.7% respecto de 2010, ligeramente abajo de
la meta de 12%, lo que probablemente compromete la meta de 20% para
2012. Sin embargo, SICALIDAD reporta un retraso en la contabilizacin
de los gestores del IMSS y del ISSSTE, cuya documentacin ya haba
sido enviada a la Direccin General de Calidad. Este hecho puede indicar
menor luidez en la comunicacin y la realizacin de trmites con estas dos
instituciones que, por su peso e inluencia en el Sistema de Salud, son de la
mayor importancia.

Tabla 8: Evolucin del Nmero de Gestores
2000
1500
1000
500
0
2007 2008 2009 2010
NMERO DE GESTORES
Fuente: Elaboracin propia con datos de SICALIDAD.
La encuesta de Cultura de Seguridad del Paciente ya contaba con el

consenso explcito de los hospitales participantes y el diseo de la aplicacin
en lnea para el levantamiento se encontraba en curso (programado
para octubre de 2011). En consecuencia, el grado de avance se considera
favorable, a pesar de no haberse alcanzado la meta comprometida para
agosto. Como se mencion anteriormente, el Jurado del Premio 2011
consider que las metas eran realistas pero, por ser ambiciosas, tenan una
probabilidad moderada de ser alcanzadas en su totalidad.
Tambin hubo rezagos en los procesos de acreditacin. Durante
2011, se acreditaron 425 unidades nuevas en 24 entidades federativas
(acumulado de 8,979 unidades en el pas); se realizaron 47 re-acreditaciones
y 3 visitas de supervisin, lo que equivale a un 23% de avance frente a 30%
comprometido para agosto.
La informacin proporcionada por SICALIDAD no permite
identiicar las razones concretas por las cuales no fue posible alcanzar la
meta de acreditacin, re-acreditacin y supervisin. Durante 2011 slo
se realizaron 3 visitas de inspeccin. El control directo de este proceso
por parte de los operadores de SICALIDAD a nivel federal es mucho ms
elusivo que en otras lneas de mejora, ya que depende de la distribucin
preexistente de condiciones, de infraestructura y capital humano, para la
acreditacin y/o re-acreditacin en la unidades que prestan servicios al
Sistema de Proteccin Social en Salud, y aquellas que decidan hacerlo de
manera voluntaria. La acreditacin es el proceso ms complejo, y con mayor
capacidad de incidencia en la mejora de la calidad en la prestacin de los

servicios de salud. De ah que diversas evaluaciones hayan sugerido que
SICALIDAD focalice y redoble esfuerzos en esta importante dimensin de
la estrategia.
En el caso del levantamiento de la encuestas Calidad y Seguridad
del Paciente, el programa alcanz slo la mitad de lo comprometido para
agosto: 40% de avance. Sin embargo, una vez que se obtuvo consenso en
los hospitales en los que habra de realizarse la encuesta y completado
el desarrollo de la plataforma en Internet, el cumplimiento de las metas
estaba previsto para la primera semana de octubre de 2011.30
Tabla 9: Evolucin de la acreditacin 2004-

2011 (Nmero de unidades)
900
800
700
600
500
400
300
200
100
$0
AGUASCALIENTES
BAJA CALIFORNIA SUR
CHIAPAS
COAHUILA
DISTRITO FEDERAL
ESTADO DE MXICO
GUERRERO
JALISCO
SINALOA
MORELOS
NUEVO LEN
PUEBLA
QUINTANA ROO
TABASCO
TLAXCALA
YUCATN
FEDERALES
HISTRICO 2004-2010 2011
Fuente: Elaboracin propia con informacin del Reporte de Acreditacin 2011 (SICALIDAD)
Resultados esperados
Todas las iniciativas de mejora parecen indicar que SICALIDAD estar
mejor posicionado para avanzar en la consecucin de sus objetivos a
partir de la instrumentacin de estas acciones. La debida alineacin y la
cuidadosa y comprometida instrumentacin de la ruta crtica derivada de la
evaluacin fue precisamente la que le granje el reconocimiento del Jurado
30 Las decisiones de Jurado se realizaron estrictamente con el criterio de corte a agosto de 2011. Esta es
nicamente una aclaracin de contexto.

en la primera edicin del Premio 2011. En esta seccin se presentar en
primer lugar, una sntesis analtica de los resultados de mediano plazo
y de las lecciones aprendidas desde la perspectiva de los operadores de
SICALIDAD. En segundo trmino, se ofrecer un balance externo y un
anlisis de las lecciones de esta experiencia que pueden ser tiles para
otras instituciones y programas. Naturalmente, algunas de estas lecciones
y aprendizajes son intrnsecas a la lgica y operacin de SICALIDAD. No
obstante, la motivacin de este anlisis es potenciar la portabilidad de las
lecciones y ofrecer algunas pistas adicionales para la relexin prctica sobre
la utilizacin de las evaluaciones para la mejora continua y la rendicin de
cuentas, aqu y ahora, con la premisa bsica que motiv al Premio 2011.
El equipo de SICALIDAD present seis resultados esperados
concretos en el Resumen Narrativo que elabor en el marco del Premio
2011. En mi opinin, estos resultados pueden agruparse en dos grandes
rubros: avance en la institucionalizacin y fortalecimiento de la evaluacin.
Este solo hecho releja una estrategia diversiicada e integral de mejoras
que, en conjunto, tendr mayor probabilidad de incidencia que la
instrumentacin de todas las acciones de mejora en un mismo nivel de la
cadena de valor de SICALIDAD (por ejemplo, enfocarse exclusivamente en
procesos gerenciales).
Uno de los principales retos de la implementacin en red de
un programa que busca posicionar el tema de la calidad en la agenda
permanente del sector salud, en el contexto de fragmentacin y
heterogeneidad del sistema, requiere, necesariamente, construir y orientar
una nueva institucionalidad. Por institucionalidad se entiende el conjunto
de reglas, incentivos y expectativas de accin que estructuran las decisiones
individuales de los actores en el sistema; por extensin, determinan el
curso de la accin colectiva. La institucionalidad, por generar patrones
sistemticos de comportamiento, construye al mismo tiempo criterios
normativos de adecuacin de las conductas (el deber ser; lo que es correcto)
e incentivos contundentes para producirlos (el ser; lo que es esperable en
funcin de la estructura de incentivos).
En este sentido, avanzar en la institucionalizacin de la cultura de la
calidad implica generar un entramado de reglas, normas, valores e incentivos
que inluyen en las expectativas de los actores, induciendo as sus conductas
y estrategias individuales. En el caso particular que nos ocupa, la visin de
institucionalizacin se materializa cuando los usuarios, los prestadores y
las instituciones a cargo de la atencin a la salud asumen roles deinidos y
permanentes que ponen a la calidad en el centro de sus preocupaciones y la
erigen en ancla de sus relaciones funcionales (interaccin, comunicacin y
produccin): el usuario que conoce, reconoce y exige, el prestador de servicio
que cuenta con la capacidad tica, profesional y material para satisfacer la
demanda ciudadana por el lado de la oferta, y una serie de instituciones que

fomentan, preservan y ofrecen premios y castigos en directa relacin con el
nivel de calidad producida a nivel individual y colectivo, en el mbito de su
actuacin. En una frase: capacidades e incentivos.
La estrategia de institucionalizacin de SICALIDAD est
claramente orientada al fortalecimiento de los actores clave que pueden
articular, de manera descentralizada, una agenda permanente de atencin,
monitoreo y respuesta a las preocupaciones en torno a la calidad de los
servicios en la unidades de atencin: avanzar en la cobertura y fortalecer
el papel de la igura del Gestor de Calidad como interface entre los niveles
federal y estatal de gobierno, y el nivel de unidad; mejorar la coordinacin
de las acciones de las reas tcnica y administrativa de calidad, para agilizar
la transferencia de recursos y el control efectivo de su adecuado ejercicio.
Igualmente, asegurar el funcionamiento continuo y efectivo del Comit de
Calidad y Seguridad del Paciente, y contribuir al empoderamiento del Aval
Ciudadano mediante su interlocucin directa con los comits y los gestores,
para aumentar as su credibilidad y su capacidad tanto de movilizar
demandas (vs. apata de los usuarios) como de insertarse en las esferas de
deliberacin y decisin que permitan satisfacer las demandas ciudadanas y
proteger los derechos de los pacientes. Es a partir de estas tres iguras, en
directa colaboracin y coordinacin, que puede fomentarse y canalizarse
capital social a favor de la calidad. Por el lado de la estructura, a nivel
unidad, el perfeccionamiento de los procesos de acreditacin y la elevacin
de los estndares materiales y tcnicos para la prestacin de los servicios
es la otra pieza clave en la dimensin de institucionalizacin. En la medida
en que logre avanzarse de manera consistente en todas estas dimensiones,
se podr avanzar ms eicazmente en la construccin de institucionalidad
para la calidad en salud.
La segunda dimensin tiene que ver con el fortalecimiento de
la capacidad de evaluacin, autoevaluacin, diagnstico y generacin de
mejoras endgenas en todos los actores del sistema. Evidentemente, la
calidad y pertinencia del lujo de informacin en los espacios de negociacin
que ofrece la red de actores de SICALIDAD depende, en gran medida de
la veracidad, validez y oportunidad con el que se manejen los indicadores
objetivos y de percepcin en el sistema. Por esta razn, es un acierto que
el programa haya dedicado tanto esfuerzos y atencin organizacional para
documentar de manera peridica y coniable el grado de avance de la cultura
de la calidad. A partir de las encuestas realizadas, y el pilotaje cuidadoso de
sus instrumentos, ser posible regularizar la medicin anual de las variables
clave en todo el sector a in de aumentar la conianza de la ciudadana con
base en evidencia: el cumplimiento puntual de sus expectativas y la asertiva
respuesta frente a las preocupaciones y las percepciones reveladas por
diversas encuestas.

La primera dimensin podra caracterizarse como inversin en
infraestructura a partir del fortalecimiento de los nodos de la red (los
actores clave); la segunda, vinculada con la evaluacin, es una inversin en
la informacin sistemtica, peridica y coniable, para que la transmisin
de informacin y comunicacin de la red tenga asideros claros para detonar
procesos de mejora en todos los niveles. Como es evidente, una dimensin
es condicin necesaria de la otra y viceversa: esta es precisamente la
dialctica entre actor y sistema en la teora de redes. Por esta razn, los
resultados esperados por el equipo de SICALIDAD relejan no slo claridad
en los objetivos, sino conocimiento de las dinmicas del sector de los
que stos dependen: articulacin en red, buscando un crculo virtuoso de
posicionamiento, retroalimentacin y fortalecimiento.
Las lecciones aprendidas de este proceso, en la voz de los
participantes, ilustran una visin compartida por el equipo en torno a la
importancia de articular todas sus acciones con la lgica de red, buscando
abrir e institucionalizar espacios para la generacin de consensos y mejorar
la coordinacin.
Cuadro 9: Lecciones aprendidas por el equipo de SICALIDAD
La integracin de una red de personas clave que interacten para conocer,

difundir y aplicar acciones que a nivel federal se establezcan. Por ello la
importancia de un lder de proyecto a nivel federal, un responsable estatal de
calidad y un gestor de calidad local, estableciendo canales permanentes de
comunicacin, explotando las ventajas de las tecnologas de informacin.
La creacin de mecanismos de anlisis y toma de decisiones locales que
impacten en los resultados globales, que se utilicen como foros (COCASEP).
No slo para tratar los temas de calidad y seguridad del paciente, sino
para vincular a SICALIDAD con otros programas interinstitucionales a
nivel local (Seguro Popular, Caravanas de Salud, Oportunidades, etc.).
Aumentar la visibilidad de los foros y espacios de discusin y toma de
decisiones mejora la comunicacin y permite generar compromisos
del cuerpo directivo, los profesionales de salud y la ciudadana.
Medir la coniabilidad de los instrumentos utilizados en las encuestas permite
identiicar las preguntas que agregan ms valor y facilitan su interpretacin.
Es importante generar informacin ex ante y ex post, para valorar
el desempeo no slo en relacin a las metas, sino en relacin a
la naturaleza de los avances, para poder distinguir los cambios
permanentes de las acciones que tienen efecto temporal.
En un sistema federal, es ms importante involucrar a todos los actores
y delegar responsabilidades de acuerdo al mbito de intervencin de
cada uno, en vez de perseguir el control directo. Un ejemplo de esto es
el impacto de la creacin de un enlace administrativo para agilizar en
proceso de transferencia, y permiti alcanzar las metas inancieras.
Fuente: Adaptacin del Resumen Narrativo de SICALIDAD

Ahora bien, a pesar de que el mapa de ruta es conceptualmente
idneo. Es necesario advertir algunos potenciales riesgos, como el manejo
y la administracin de las expectativas, y la potencial proliferacin de
instrumentos de evaluacin sin que exista la capacidad concurrente para
procesarlos e internalizarlos en el proceso de toma de decisiones o se
conviertan en una serie de seales inconexas respecto a distintos aspectos
del programa, con espacio para la ambigedad en su interpretacin.
La literatura sobre evaluacin ha documentado uno de los
principales riesgos del trnsito a la gestin por resultados: la proliferacin
errtica de indicadores e insumos de informacin, el ajuste estratgico de
metas (cambiar el estndar en vez de cambiar el desempeo), y la fatiga
de reforma que ocurre cuando un sistema enfrenta exceso de informacin,
presiones dispersas, y cuenta con poco instrumentos efectivos para
responder. Si bien es cierto que todos estos levantamientos de datos son
muy importantes en la primera etapa de implementacin del programa,
como insumos para ir ajustando el modelo causal de intervencin, debe
reconocerse que la atencin y la energa organizacionales son limitadas,
y que stas debern administrarse para asegurar la internalizacin del
modelo de gestin, en vez de un bing-bang que pueda agotar el mpetu de
la iniciativa. Si se bombardea con exceso de levantamientos y requisitos
de informacin a los actores en el sistema, sin que se pueda documentar
una respuesta decisiva derivada de los resultados de los levantamientos,
gradualmente disminuir la tasa de participacin, la coniablidad, y por
tanto la utilidad de la informacin recabada. Por ejemplo, todo parece
indicar que, an en las condiciones precarias que todos conocemos del sector
salud, de manera consistente, ms de 90% de los usuarios recomendara la
unidad. Igualmente, los niveles de satisfaccin del paciente ya estn arriba
de 85% lo mismo en Guerrero que en Aguascalientes, estados que cuentan
con grados de acreditacin y niveles de calidad notoriamente diferentes.
Con esos patrones de respuesta, como lnea base de percepcin, podra
llegarse a conclusiones errneas y una deinicin inadecuada de las metas
de mejora de percepcin. En la medida en que las percepciones dependen de
las expectativas y del nivel de informacin con el que cuentan los usuarios,
y que la percepcin de un servicio tan complejo y multidimensional como
la atencin en salud es de suyo problemtica, valdra la pena relexionar,
desde la ptica de los derechos, si los niveles altos de percepcin favorable
se basan en bajas expectativas y fuertes asimetras de informacin o en el
efectivo cumplimiento de los derechos de los pacientes. De lo contrario,
ser difcil conciliar, e interpretar, para la mejora de la atencin, los datos
sobre tiempos de espera, desabasto de medicamentos y poca informacin
provista por el personal mdico y de enfermera, con los niveles altos de
percepcin de que el trato recibido fue digno y que la unidad mdica merece
una recomendacin por parte del paciente.

Por esta razn, es pertinente que el programa utilice la experiencia
de estos primeros levantamientos para asegurarse que la informacin que
de ellos se desprende sea realmente til para la toma de decisiones en todos
los niveles del sistema, y que releje cambios sustantivos en las variables de
inters. Que permita valorar la contribucin relativa de cada componente
de la estrategia al objetivo general, y ajustar las prioridades de SICALIDAD
en consecuencia. Con la generacin de instrumentos de medicin y la
realizacin de evaluaciones anuales en todas estas dimensiones se asegura
una condicin necesaria, ms no suiciente para fortalecer las capacidades
de evaluacin de la estrategia y maximizar el papel de la evaluacin como
un instrumento permanente y cotidiano para la mejora continua. En gran
medida, la capacidad de internalizacin de los procesos de evaluacin
requiere de una seleccin cuidadosa de los aspectos que deben medirse
regularmente, pero sobre todo, de su signiicado concreto en el contexto de
la prestacin de servicios, as como sus implicaciones para los procesos de
gestin y la deinicin de prioridades.
Balance general y lecciones aprendidas

Como se mencion al inicio de este captulo, el Jurado del Premio 2011
encontr una serie de atributos notables en la ruta crtica elaborada por
SICALIDAD a partir de los hallazgos de las evaluaciones. Estos atributos,
adems de merecer un reconocimiento pblico al compromiso, el esfuerzo y
la asertividad con los que el equipo de SICALIDAD incorpora los resultados
de las evaluaciones en su relexin prctica sobre la gestin de la estrategia,
y rescata los aspectos ms importantes para detonar acciones de mejora
con metas, objetivos y estrategias puntuales de instrumentacin, puede
ofrecer pistas para una relexin ms general sobre los factores que inciden
en esta capacidad de convertir la evaluacin en accin puntual para la
mejora. SICALIDAD es un ejemplo de compromiso con la evaluacin.
Antes de aventurar algunas hiptesis sobre los factores que explican este
alto nivel de compromiso y apropiacin, vale la pena recordar los atributos
identiicados por el Jurado, como resultado de las sesiones deliberativas
con los operadores del programa, y el anlisis cuidadoso del contenido,
la calidad y la pertinencia de las acciones comprometidas y los resultados
alcanzados.
L
El equipo de SICALIDAD es relativamente reducido y cuenta con pocos
instrumentos directos de intervencin en su compleja y diversa poblacin
objetivo, en el marco de las facultades expresas del gobierno federal en el
sector, para inducir una autntica revolucin cultural en la prestacin de los
servicios mdicos y contribuir a la formacin de ciudadana en salud. En ese

marco, los recursos con los que cuenta el equipo podran describirse como
soft power: incentivos suaves que dependen de la credibilidad y la capacidad
de generacin de consensos para frenar las resistencias naturales de las
organizaciones frente a la evaluacin externa de sus rutinas arraigadas, y
la presin para que existan espacios de contralora social y deliberacin en
aspectos sensibles de la toma de decisiones. El equipo reconoce que mucho
depende de su capacidad de convocatoria, de la credibilidad de su mensaje
y del buen talante en el manejo de las relaciones intergubernamentales.
Sortear este difcil camino hacia la transformacin de las prioridades del
sector parece slo posible con un sentido de misin compartido, mucho
trabajo en equipo y un liderazgo decisivo. sa dinmica de trabajo se relej
claramente en la interaccin del Jurado con el equipo de SICALIDAD.
Todos los miembros del equipo participaron activamente en la seleccin
de hallazgos, acciones y estrategias para cumplir las metas. Se asignaron
responsables directos por cada lnea de accin, pero se mantuvo la
cooperacin transversal del equipo en todas las acciones comprometidas.
Durante la revisin de las acciones, ofrecieron retroalimentacin informada
y entusiasta, compartieron experiencias fallidas y algunos xitos que
permitieron al equipo evaluador conocer mejor la complejidad del entorno
que enfrentan los operadores: alta rotacin en niveles jerrquicos de los
sistemas estatales de salud, enormes barreras de entrada para los avales
ciudadanos, diicultades para incentivar el conocimiento y la participacin
en la convocatorias, restricciones vinculadas al ciclo presupuestal.
En ese margen, y con una clara disposicin para darle vuelta a los
obstculos, los miembros del equipo relexionaron sobre la necesidad de
ser facilitadores constantes del seguimiento de todos los procesos y tener
siempre abiertos los canales de comunicacin. Por reconocer que su misin
tiene que ver con un cambio en las actitudes, los valores y las conductas
de usuarios y prestadores de servicios por igual, el equipo de SICALIDAD
depende mucho de la concientizacin y la generacin de espacios en los que
las partes colaboren de manera voluntaria y permanente. El liderazgo, el
sentido de misin y el trabajo en equipo son factores de difcil medicin.
No obstante, su presencia es inconfundible. El lenguaje comn y el sentido
de compromiso se relejan no slo en la apropiacin individual de la misin
de SICALIDAD por parte de los miembros del equipo. Se encuentra tambin
en el bagaje conceptual y normativo que permea todos los documentos de
SICALIDAD.31
31 Por dar un ejemplo: El Plan de Accin Especico 2007-2012 reconoce pblicamente y de manera
individual a todos los actores que contribuyeron en la conceptualizacin y diseo de SICALIDAD,

reconociendo que es una empresa colectiva en la que participaron especialistas del IMSS, ISSSTE, SNDIF,
CONAMED, OCDE, entre otras. Finalmente, el documento seala: Nuestro agradecimiento entraable a
quienes nos precedieron en el trabajo y la dedicacin a los temas de calidad y seguridad del paciente, por
su trabajo, su legado y su testimonio. SICALIDAD, Programa de Accin Especico 2007-2012, Op. Cit.,
p.108.

Aceptacin y credibilidad de las evaluaciones
Varias evaluaciones de SICALIDAD destacan el nivel de aceptacin de los
resultados de la evaluacin por parte del equipo, y su clara determinacin
por tomarlos con seriedad, e incorporarlos ex oicio en sus estrategias
de mejora de la gestin. En primer lugar, es evidente que existe una
conviccin compartida en torno al sentido y la utilidad de las evaluaciones
externas, no slo como fuente de informacin relevante para ajustar la
operacin del programa, sino tambin como catalizador interno de las
energas reformadoras y para movilizar apoyos externos para algunas
iniciativas. Lejos de verlo como una amenaza, una intromisin o un trmite
engorroso, el equipo de SICALIDAD ha internalizado a la evaluacin como
un aliado estratgico y una contribucin sustantiva al proceso continuo
de retroalimentacin con el que operan, y en el que incorporan no slo la
evaluacin externa, sino las opiniones y las sugerencias de los actores de
las Red SICALIDAD y las lecciones extradas de los foros que organizan
regularmente. Efectivamente, desde el inicio de SICALIDAD el equipo ha
incorporado prcticamente la totalidad de recomendaciones derivadas
del proceso de evaluacin. Ahora bien, este hecho es tambin atribuible
a la calidad y la pertinencia de las evaluaciones. A pesar de que el equipo
tiene una predisposicin favorable frente a la tarea evaluativa, la efectiva
utilizacin de las recomendaciones es tambin una funcin de la calidad y la
credibilidad de sus resultados, y de la pertinencia de sus recomendaciones.
En este sentido, vale la pena destacar que la utilizacin de las evaluaciones
no es nicamente responsabilidad de los operadores de los programas,
sino que debe ser una preocupacin central para quienes realizan las
evaluaciones. En la medida en que el evaluador incorpore los criterios de
aplicabilidad de las recomendaciones y no se limite a generar valoraciones
y recomendaciones generales sin que medie un conocimiento especico de
las restricciones en las que operan los programas, se estar fortaleciendo
tambin la apropiacin de las evaluaciones por parte de los operadores. Los
evaluadores deben entender que los lineamientos son estndares mnimos
para realizar la evaluacin, y no machotes o check-lists que agotan los
requisitos de una slida evaluacin con el cumplimiento pro forma de los
trminos de referencia. Si quienes realizan la evaluacin se comprometen
directamente con los operadores de los programas como destinatarios
de primer orden de sus resultados, como los evaluadores de SICALIDAD
parecen haberlo hecho, la traduccin de los hallazgos en planes concretos
de accin ser ms gil y productiva.
A
El modelo de gestin de SICALIDAD, por la diversidad de actores e
instituciones que involucra, ha conducido, de manera afortunada, a una
lgica de operacin abierta a las seales diversas que provienen del entorno

de los Sistemas Estatales de Salud y la heterogeneidad relativa del contexto
en que estos operan. Este modelo de operacin, muy distinto al modelo
clsico de control burocrtico, ha permitido que la dinmica organizacional
incorpore de manera permanente una muy alta receptividad a la
retroalimentacin como forma de operacin y como estrategia de gestin.
El caso de la evaluacin es uno de ellos, pero no el nico. SICALIDAD,
por ser un programa que depende de la generacin de consensos para su
articulacin en red, interacta de manera abierta con el entorno como
precondicin de efectividad. Esta forma de operar ofrece condiciones muy
favorables para la internalizacin de las evaluaciones, como ha quedado de
maniiesto en el anlisis de esta experiencia.
Slidos conocimientos en evaluacin

Desde las primeras etapas del Premio 2011, la calidad del material de
inscripcin de SICALIDAD fue sobresaliente en muchos sentidos. En
primer lugar, porque relej una slida capacidad analtica del equipo, que
permiti no slo extraer los hallazgos de mayor relevancia y potencial
impacto en la mejora del programa, sino porque supieron traducirlos en un
plan de accin concreto con indicadores adecuados y una conexin lgica
explcita con el modelo de intervencin de SICALIDAD, sus productos y
procesos. La icha de inscripcin fue la ms completa e integral: la seleccin
de prioridades fue adecuada, las acciones de mejora tenan un vnculo claro
con la modiicacin de las debilidades identiicadas, los indicadores y los
medios de veriicacin eran idneos y relejaban de manera transparente
el grado de avance esperado en las variables de inters. En los procesos de
deliberacin y retroalimentacin con el Jurado, el equipo demostr tener
certeza y claridad respecto a las prioridades identiicadas como resultado
de la evaluacin, y que las acciones de mejora provenan de un proceso de
anlisis y priorizacin bien planteado. Los operadores de SICALIDAD podan
ofrecer explicaciones y justiicaciones claras para cada una de las acciones,
y ofrecer relexiones informadas sobre las alternativas, y el diferente grado
de factibilidad de las recomendaciones, as como su pertinencia directa
para la gestin del programa. Es decir, podan identiicar con seguridad qu
factores se encontraban en su mbito de intervencin, y cules, a pesar de
ser pertinentes, tendran que considerarse variables estructurales desde el
punto de vista de los operadores.
A pesar de estar vinculados con el nivel de compromiso del equipo,
estos atributos no son resultado directo de la voluntad y/o la disposicin de
los participantes. En mi opinin, con una perspectiva comparada, el factor
determinante tiene que ver con un alto nivel de capacitacin y manejo de los
conceptos e instrumentos de evaluacin de los miembros del equipo. Otros
programas, igualmente comprometidos con la mejora continua a partir de
la evaluacin, tuvieron mayor diicultad en la deinicin de indicadores y

la mejor aproximacin a los aspectos susceptibles de mejora. En suma, la
capacidad y el conocimiento en materia de evaluacin de este equipo fue
superior el promedio.
A
Una hiptesis natural derivada del anlisis de la experiencia de SICALIDAD
se relaciona con la naturaleza misma del programa. La familiaridad del
equipo de SICALIDAD con los conceptos, los requisitos y la vocacin
transformadora de la evaluacin tiene mucho que ver con el hecho de que
SICALIDAD opera con instrumentos, insumos y modelos de intervencin
anclados en la evaluacin para la mejora continua orientada a la calidad en
la atencin. En ese sentido, la vocacin de poltica pblica y la dinmica de
su poblacin objetivo, generan una ainidad electiva con las preocupaciones
y capacidades que imperan en el mbito federal en material de evaluacin
de programas. La implicacin directa de esta hiptesis, es que el desempeo
notable del programa puede ser parcialmente atribuible a una ventaja
comparativa pre-existente, derivada de las condiciones de operacin
del programa. SICALIDAD se dedica a fomentar la calidad a partir de la
evaluacin de la calidad en el servicio de las unidades mdicas, y tiene un
modelo de incidencia anlogo al esfuerzo de la poltica pblica de evaluacin
de todos los sectores: generacin de indicadores, promocin de modelos de
mejora de la gestin, creacin de un lenguaje comn y una red de actores
para fortalecer la redicin de cuentas, etc. A pesar de que en todos los
mbitos de poltica pblica existen condiciones para y la necesidad de
la evaluacin y la utilizacin de las evaluaciones para la mejora continua,
algunos sectores, tienen ya antecedentes importantes en materia de
evaluacin, sobre todo si se les compara con sectores como el cultural o
el ambiental, en donde la cultura de evaluacin es mucho ms reciente o
los requisitos tcnicos para monitorear los productos y los resultados son
todava materia de debate tcnico y conceptual de fondo. A pesar de que
slo lo que se mide se puede mejorar, algunos programas tienen que tomar
decisiones de mayor complejidad para decidir qu medir y cmo hacerlo, de
manera consistente con sus objetivos sociales.
Es importante sealar que estas diferencias entre el nivel de
maduracin, la calidad de las evaluaciones y el tipo de compromisos
planteados fueron tomados en consideracin por el Jurado, tratando
de aislar los factores que explican el nivel de compromiso y la adecuada
internalizacin de la evaluacin, controlando por las diferencias
sistemticas de insumos y margen de maniobra de cada programa, evitando
as comparar peras con manzanas. Sin embargo, el anlisis ms puntual de
esta experiencia nos lleva necesariamente a explorar esta posibilidad con el
in de informar lecciones de poltica pblica ms all del sector.

Conclusiones
Es evidente que nuestro sistema de gestin por resultados se
encuentra todava en la etapa de ensayo y error. A pesar de que se ha avanzado
de manera muy notable en la dimensin institucional de la evaluacin,
existe todava mucho margen de mejora y una gran heterogeneidad en
relacin a la utilizacin de la evaluacin. En primer lugar, todava hay
mucho por avanzar en el fortalecimiento del mercado de evaluacin per se,
para asegurar niveles ptimos en la calidad de las evaluaciones y fomentar
su orientacin al proceso de toma de decisiones. La consolidacin del
mercado de evaluacin seguramente requerira revisiones y ajustes a nivel
normativo y gerencial, pero depende en ltima instancia, de la formacin
de capital humano no slo para la realizacin de las evaluaciones en todas
sus variantes metodolgicas, sino tambin la formacin de capacidades
entre quienes tienen bajo su responsabilidad tanto la gestin de las
evaluaciones como su incorporacin en el proceso interno de mejora de la
gestin. Es en ese sentido que la relexin prctica sobre la utilizacin de la
evaluacin, aqu y ahora, nos lleva a la necesidad de invertir, mucho ms de
lo que hemos hecho a la fecha, en la capacitacin de los actores vinculados
al proceso de evaluacin.
Una de las grandes lecciones de SICALIDAD tiene que ver con las
capacidades adquiridas por el equipo operadores del programa en materia
de evaluacin. En cmo, a partir de una formacin slida en torno a la
funcin evaluativa, los funcionarios adquieren conciencia de su enorme
utilidad y cuentan con elementos profesionales para ser interlocutores
proactivos de los evaluadores, receptores crticos de los hallazgos y actores
capaces y dispuestos a internalizar las recomendaciones y movilizarlos
estratgicamente para detonar procesos de mejora. El nivel de compromiso
y liderazgo que caracteriza la experiencia de SICALIDAD en el marco del
Premio 2011 es tambin atribuible a la conviccin basada en evidencia,
de los potenciales de la evaluacin. En la prctica cotidiana de la red de
SICALIDAD, los funcionarios han aprendido, mediante ensayo y error, cul
es la importancia de que el lujo de informacin y el manejo de indicadores
sean acompaados por la creacin de infraestructura de capital humano
que tenga incentivos para apropiarse dichos insumos y hacer suya la meta
comn: agregar valor al ciudadano. Muchos de los atributos del equipo de
SICALIDAD que merecen reconocimiento tienen que ver con la actitud y
los valores pro evaluacin que caracterizan al equipo. Esto permite que
la evaluacin no sea vista como un costo organizacional, sino como un
valioso insumo estratgico, merecedor de un nivel alto de atencin y una
incorporacin permanente en el proceso de toma de decisiones.
Por esta razn, la experiencia de SICALIDAD nos recuerda que, sin
menoscabo del perfeccionamiento del marco regulatorio e institucional de
nuestro sistema de evaluacin, existe un muy amplio margen de maniobra
en las tareas de concientizacin y capacitacin para la evaluacin. En
analoga con la misin de SICALIDAD en la formacin de ciudadana en

salud, la inversin en capital humano para el posicionamiento permanente
de la orientacin a resultados en la agenda del sector pblico y social pasa,
primero, por fortalecer a los actores centrales del proceso de evaluacin, y
construir espacios de legitimidad, comunicacin y negociacin en los que
puedan compartir informacin y experiencias, ser reconocidos por sus
esfuerzos, y generar un lenguaje comn. Todo esto con el in de avanzar
colectivamente para que el Estado mexicano pueda rendir cuentas por sus
frutos, y satisfacer plenamente las legtimas expectativas ciudadanas por
una accin gubernamental eicaz y eiciente.
Apndices
Caractersticas de los apoyos de SICALIDAD
ESTRUCTURA DE LOS APOYOS FINANCIEROS
CONCEPTO MONTO MXIMO
Acuerdos de Gestin con $150,000.00 (Centros de Salud)

Compromisos de Caldiad $300,000.00 (Unidades Hospitalarias)
Proyectos de $400,000.00 (Capacitacin)
Capacitacin, $200,000.00 (Publicaciones)
publicaciones $200,000 (Investigacin Operativa)
e investigacion
operativa en calidad
Premio Nacional de $500,000.00 (Premio Nacional)
Calidad en Salud $400,000.00 (Primer Reconocimiento )
$300,000.00 (Segundo Reconocimiento)
$300,000.00 (Premio Nacional a
la Innovacin en Calidad)
$200,000.00 (Primer Reconocimiento
a la Innovacin en Calidad)
$100,000.00 (Segundo Reconocimiento
a la Innovacin en Calidad)
Reconocimiento a la $100,000.00 (Establecimientos de Atencin Primaria
Memoria Anual del en primer nivel de atencin y atencin ambulatoria)
Comit de Calidad y $100,000.00 (Hospitales en diversas modalidades
Seguridad del Paciente e Institutos Nacionales de Salud)
Premios y SICALIDAD podr otorgar reconocimientos y
reconocimientos mencin sin aporte econmico, en el seno del
Foro Anual de Calidad a aquellas iniciativas
de mejora en las unidades de salud que, de
conformidad con las prioridades anuales de
SICALIDAD, contribuyan a la mejora continua y a la
reingeniera de procesos en la atencin de salud.
Fuente: Reglas de Operacin 2011

Evolucin del presupuesto
Ao Presupuesto %
SICALIDAD SS
2007 No disponible 55,583,155,867 -
2008 115,622,808 69,426,100,000 0.17

2009 115,718,875 85,036,468,164 0.14
2010 164,304,081 89,892,930,927 0.18
2011 166,587,627 105,313,896,605 0.16
Ao Gasto %
SICALIDAD SS
2007 No disponible 53,144,031,993 -

2008 101,069,538 69,743,470,263 0.14
2009 81,856,375 80,959,255,960 0.10

2010 153,132,365 86,765,574,210 0.18
2011 No disponible No disponible -
Ao SICALIDAD de Presupuesto
Ejercido
Presupuesto Gasto

2008 115,622,808 101,069,538 87.41
2009 115,718,875 81,856,375 70.74

2010 164,304,081 153,132,365 93.20
Fuente: Presupuesto de Egresos de la Federacin.
B
F. Knaul et al., Evidence is good for your health system: policy reform to
remedy catastrophic and empoverishing health spending in Mexico, he
Lancet, Vol.368, Nm. 9550, Noviembre de 2006, pp. 1828-41.
Frenk, Julio, La salud como derecho ciudadano, Nexos, Nm. 410, Febrero
2012.

Instituto Nacional de Salud Pblica (INSP), Evaluacin de Diseo 2008
---------, Evaluacin Especica de Desempeo 2009-2010, p. 18.
Investigacin en Salud y Demografa (INSAD), Evaluacin Especica de

Desempeo 2008.
Ley General de Salud
OCDE, Estudios de la OCDE sobre los sistemas de salud-Mxico, Mxico,

OCDE-Secretara de Salud, 2005.
Secretara de Salud, Manual de Acreditacin, Mxico, 2008.
Sistema Integral de Calidad en Salud (SICALIDAD), Programa de Accin

Especico 2007-2012, Subsecretara de Innovacin y Calidad, Mxico,
Secretara de Salud, 2007.
--------, Quinto Informe de Labores 2011, Mxico, Secretara de Salud, p. 46.
Universidad Autnoma Metropolitana-Xochimilco, Evaluacin de

Procesos, 2010.

Programa de Atencin a la Demanda de
Educacin para Adultos y Modelo de
Educacin para la Vida y el Trabajo (INEA)
Erndira Avendao y Mariana Garca
Antecedentes
El Programa de Atencin a la Demanda de Educacin para Adultos y el
Modelo de Educacin para la Vida y el Trabajo, que coordina el Instituto
Nacional para la Educacin de los Adultos (INEA), buscan atender los
problemas de rezago educativo y analfabetismo que enfrenta la poblacin
mexicana. Esto, con el propsito de contribuir a disminuir las desigualdades en
las oportunidades educativas entre grupos sociales incrementando la escolaridad
de los beneiciarios.1 Desde su creacin en 1981, el INEA emprendi acciones
para generar una oferta de educacin bsica que permitiera atender a la
poblacin que no pudo iniciar o concluir su formacin educativa, a nivel
primaria o secundaria, en edad normativa.
1 Reglas de Operacin de los programas Atencin a la Demanda de Educacin para Adultos (INEA) y Modelo de
Educacin para la Vida y el Trabajo (INEA), 2012, publicadas en el Diario Oicial de la Federacin el viernes
30 de diciembre de 2011. (ver en: http://www.inea.gob.mx/transparencia/pdf/marco_normativo/Reglas_
de_Operacion2012.pdf)

En Mxico, durante la dcada de 1970, los problemas de
analfabetismo afectaban a ms de 25 por ciento de la poblacin de 15 aos y
ms. Sin embargo, las ltimas cifras disponibles muestran una disminucin
importante, ya que en 2010 se registr que 7.6 por ciento de la poblacin
se encontraba en esta condicin.2 Recientemente, se generaron mediciones
que permiten capturar otras dimensiones del problema que enfrenta la
poblacin sin acceso a servicios educativos. De esta manera, el Consejo
Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL)
estima la dimensin del rezago educativo, que se reiere a la poblacin de
3 a 15 aos que no asiste a la escuela y que no ha concluido la educacin
secundaria, as como la poblacin nacida hasta 1981 que no ha concluido
la educacin bsica. El rezago educativo que enfrenta el pas, segn este
indicador, afect a 19.6 por ciento de la poblacin en 2010 y, de acuerdo
con el INEA, cerca de 31 millones de mexicanos enfrentan condiciones de
rezago educativo3.
La situacin que relejan las cifras anteriores no es un asunto menor
y de ah deriva la importancia del INEA, pues es el nico instrumento de
poltica pblica en el pas que atiende el problema de analfabetismo y rezago
educativo de la poblacin joven y adulta. Las acciones que coordina el INEA
buscan atender dichos problemas mediante: la oferta de servicios gratuitos
de alfabetizacin; apoyo para que la poblacin concluya la primaria o
secundaria; servicios de acreditacin y certiicacin del aprendizaje; as
como una oferta educativa acorde a las necesidades de formacin para la
vida y el trabajo.
El INEA, al igual que el sistema de educacin bsica en el pas,
es federalizado, lo cual implica la descentralizacin de los servicios de
educacin para adultos. Para la operacin de estos servicios, se suscriben
Convenios de Coordinacin con los gobiernos estatales y son los Institutos
Estatales de Educacin para Adultos (IEEA) quienes proporcionan la
educacin bsica a la poblacin beneiciaria. No obstante, el INEA es el
rgano que mantiene la rectora de la educacin para adultos y acredita los
servicios prestados por los IEEA.
Actualmente, el INEA recibe un presupuesto de poco ms de 2 mil
millones de pesos, cantidad que representa nicamente 0.8 por ciento del
gasto educativo aprobado para la Secretara de Educacin Pblica (SEP).4
En comparacin con otros programas educativos, la atencin a la demanda
de educacin para adultos cuenta con recursos escasos, y ello plantea
retos importantes para la operacin y cobertura del programa. A travs
2 Losdatos se obtuvieron de los resultados del Censo de Poblacin y Vivienda del Instituto Nacional de
Estadstica y Geografa (INEGI).
3 Indicadores de carencia social CONEVAL ver: http://web.coneval.gob.mx/Paginas/principal.aspx
4Informacin del Decreto de Presupuesto de Egresos de la Federacin para el ejercicio iscal 2012,
publicado en el Diario Oicial de la Federacin el 12 de diciembre de 2011 (ver en: http://dof.gob.mx/
nota_detalle.php?codigo=5226418&fecha=12/12/2011).

del INEA se atiende a ms de 2 millones de jvenes y adultos de 15 aos
y ms en situacin de rezago educativo en todo el pas. Esto es posible
gracias a la colaboracin y coordinacin con otras instituciones pblicas o
privadas y con la sociedad civil. Cabe resaltar que el Programa de Atencin
a la Demanda de Educacin para Adultos y el Modelo de Educacin para
la Vida y el Trabajo funcionan con la participacin voluntaria de asesores
que brindan apoyo en las tareas de formacin educativa5 y mediante el
prstamo de inmuebles para ofrecer los servicios educativos; no obstante,
dichos espacios no necesariamente cuentan con todas las caractersticas
indispensables para llevar a cabo las actividades educativas que promueve
el INEA.
L
en la mejora del desempeo
Las evaluaciones relevantes en el marco del Premio 2011 se insertan
dentro de los esfuerzos de evaluacin de la presente administracin federal
(2006-2012) y forman parte, tanto del Programa de Mejora de la Gestin
(PMG), como del Sistema de Evaluacin del Desempeo (SED); ambos en
operacin desde 2008. El Programa de Atencin a la Demanda de Educacin
para Adultos6 y el Modelo de Educacin para la Vida y el Trabajo (MEVyT),
diseados y normados por el INEA, fueron sujetos a dos evaluaciones en
este periodo: una Evaluacin de Consistencia de Resultados en 2008 y
una Evaluacin de Peril, Reclutamiento, Capacitacin y Gratiicacin de
Asesores en 2009, las cuales ofrecieron resultados y recomendaciones para
mejorar el funcionamiento y la operacin del Programa.
La Evaluacin de Consistencia de Resultados fue realizada en marzo
de 2008 por la Facultad Latinoamericana de Ciencias Sociales (FLACSO) e
implic, en trminos generales, un diagnstico sobre la capacidad institucional,
organizacional y de gestin de los programas para alcanzar resultados. Con
esta ptica, se identiicaron algunas de las principales fortalezas y reas de
oportunidad en la operacin del Programa; entre las cuales se encuentran,
principalmente, el diseo del Programa, cuyo propsito est bien orientado
hacia el compromiso de desarrollar capacidades para la vida y el trabajo
en sectores diferenciados de la poblacin, a travs de la concepcin de la
educacin como un proceso permanente de generacin de capacidades. Por
otro lado, en el Programa existe tambin una clara deinicin del problema
que se busca atender: en este caso, a travs del Modelo de Educacin para la
Vida y el Trabajo (MEVyT), se brindan opciones educativas que se ajustan
5 El Instituto Nacional para la Educacin de los Adultos (INEA) no establece ninguna relacin laboral con
las personas de la sociedad civil que apoyan en las funciones de formacin educativa.
6 Referido en el documento como el Programa.

a las caractersticas y necesidades de los beneiciarios a travs de mdulos
diferenciados para jvenes, mujeres amas de casa, trabajadores, indgenas,
entre otros.
Existe, entonces, una alineacin efectiva entre el propsito del
Programa, sus objetivos y las actividades propuestas para alcanzarlos. No
obstante, permanece una tensin entre el enfoque limitado a la acreditacin
de conocimientos y el enfoque de desarrollo de capacidades. Es en este
ltimo en el que se concentran los esfuerzos del MEVyT, aunque persisten
algunas fallas que obstaculizan su eiciencia.
Asimismo, entre las reas positivas del Programa destacadas en
la evaluacin de FLACSO, se encuentran: la existencia de sistemas de
informacin para dar seguimiento a los servicios que se otorgan y de
monitoreo de los avances educativos de los beneiciarios; la deinicin
adecuada de la poblacin potencial; la disponibilidad de una extensa red
de unidades operativas a nivel nacional (a travs de los institutos estatales
y las delegaciones); y la aplicacin de encuestas de satisfaccin entre los
beneiciarios.
Sin embargo, siguen existiendo aspectos susceptibles de mejora
en la planeacin, operacin y focalizacin del programa. Entre los
ms sobresalientes destacan: las limitaciones de los datos recabados
por el Sistema Automatizado de Seguimiento y Acreditacin (SASA)
para caracterizar el peril socioeconmico de los educandos; la falta de
profundidad en la focalizacin de su poblacin objetivo, por lo que sta
no se diferencia suicientemente de su poblacin potencial, haciendo
poco viable que el INEA pueda cumplir con la cobertura de una poblacin
objetivo de ms de 24 millones de personas; la inexistencia de mecanismos
de coordinacin entre los niveles e instancias del Instituto para avanzar
sobre las prioridades y estrategias del Programa, sobre todo con las
entidades federativas; la falta de seguimiento de las personas registradas
como inactivas en el Programa; y la carencia de un peril adecuado en los
asesores educativos, quienes tienen adems una permanencia muy escasa
dentro del esquema del MEVyT.
El ltimo punto se vincula directamente con la segunda evaluacin
externa referida en la metodologa del Premio 2011, esto es, la Evaluacin
del Peril, Reclutamiento, Capacitacin y Gratiicacin de los Asesores,
realizada en 2009 por Ahumada, Lobo y Asociados.7 Dicho estudio plante
el diseo y operacin de un Sistema de Informacin para el Seguimiento y
la Evaluacin (SISE) que valora el peril y las capacidades desarrolladas por
los beneiciarios, adems de evaluar el peril acadmico y profesional de los
asesores.
7Ahumada Lobo y Asociados, Estudios Econmicos y Polticas Pblicas, Informe Final del Diseo y
Desarrollo para 2008 del Sistema de Seguimiento y Evaluacin de los Beneicios del MEVYT y Evaluacin
del Peril, Reclutamiento y Remuneracin de los Asesores que Aplican el MEVYT, Mxico, INEA, 2009.

La evaluacin seal, entre los principales obstculos para la
operacin del Programa, la falta de instrumentos de diagnstico de las
competencias y las necesidades de formacin de los asesores: las tasas
de reprobacin siguen siendo empleadas como el principal insumo para
valorar las diicultades que enfrentan los asesores en el proceso educativo,
lo que deriva en una oferta indiscriminada de talleres de formacin a todos
los asesores, independientemente de que lo requieran o no, adems de una
baja regulacin de los contenidos de formacin.
En ambos ejercicios de evaluacin se encuentran convergencias en
los resultados obtenidos: por un lado, se reitera la importancia de contar
con evaluaciones de impacto para medir a cabalidad los efectos del MEVyT
en la formacin de competencias para la vida y el trabajo; por el otro, se
enfatiza la necesidad de contar con esquemas de evaluacin del peril de
los asesores en funcin de la competencias ideales que deben desarrollar
para operar el MEVyT, acentuando aquellas capacidades relacionadas con
la orientacin y la motivacin de los educandos, la seleccin y organizacin
de contenidos educativos, as como la evaluacin de los conocimientos
adquiridos por los beneiciarios.
El aspecto vinculado con la ausencia de evaluaciones sobre el peril y
competencias de los asesores, es presentado en la primera evaluacin como
parte de las principales debilidades para operar el Programa, mientras
que, en la segunda evaluacin, se propone precisamente una metodologa
que permita valorar a cabalidad la pertinencia del peril que presentan los
asesores para asegurar la eiciencia del MEVyT.
En este sentido, las evaluaciones citadas plantean estrategias
dirigidas a los formadores educativos del Programa para asegurar, por
un lado, que se mejoren los mecanismos de reclutamiento, capacitacin y
retencin de los mismos; y, por el otro, para que los asesores generen una
intervencin pedaggica ms slida alcanzando metas ms ambiciosas en
trminos de la atencin, formacin y acreditacin de los educandos.
Mejora de las capacidades de formacin:

factor clave para el INEA
A partir de las evaluaciones realizadas al programa, se identiicaron una
serie de recomendaciones en los mbitos de gestin y operacin del INEA,
las cuales han sido valoradas por el Programa para emprender acciones
que le permitan alcanzar su propsito y mejorar su desempeo. De las
conclusiones de la Evaluacin de Consistencia y Resultados 2008, realizada
por FLACSO, el INEA seleccion como aspecto susceptible de mejora los

hallazgos vinculados con la falta de un peril adecuado de asesores educativos
del programa, ya que ello genera limitaciones en la implementacin del
modelo de formacin para adultos.8
Asimismo, de la evaluacin del Peril, Reclutamiento, Capacitacin
y Gratiicacin de los Asesores 2009, se retomaron las observaciones
asociadas con la inexistencia de mecanismos formales para valorar las
habilidades y las capacidades que posee el asesor para guiar a los educandos
en el proceso de aprendizaje; as como la falta de un diagnstico de sus
necesidades de formacin y capacitacin para implementar el Programa.
Como consecuencia del reconocimiento de estos aspectos susceptibles de
mejora, en el marco del Premio 2011, el INEA ij los siguientes objetivos
para avanzar en la atencin de los retos de su formacin: (1) precisar
el peril de los asesores educativos; y (2) disear un instrumento de
diagnstico para detectar necesidades de formacin de asesores educativos
en los distintos ejes del modelo de educacin para adultos (matemticas, lengua
y comunicacin, ciencias, actitudes socioculturales y habilidades pedaggicas).9
Esto, mediante la (3) aplicacin en lnea de un instrumento diagnstico
para identiicar fortalezas y debilidades de los asesores educativos frente
al peril que requiere la implementacin del programa. En este sentido, el
INEA se plante como meta que el 100 por ciento de los asesores educativos
activos en todo el pas fueran evaluados.
Las acciones formuladas por el Programa para atender el aspecto
susceptible de mejora consideraron, por lo tanto, una estrategia que
abarca: la valoracin diagnstica de asesores; la elaboracin de programas
de formacin a nivel estatal con base en la evidencia de los resultados
del diagnstico; la integracin de equipos de formacin en los Institutos
Estatales; la implementacin de los programas de formacin; y, nuevamente,
la revaloracin de las capacidades y habilidades de los asesores educativos
para identiicar los resultados del proceso de capacitacin. As tambin,
llevar a cabo acciones continuas de deteccin de necesidades de formacin y
valoracin permanente del peril de asesores que participan en el programa.
Para realizar estas acciones, el INEA construy el Registro Automatizado de
Formacin (RAF), el cual empez a operar en el ao 2009 con el objetivo de
sistematizar y automatizar el proceso de caliicacin de cada asesor solidario
para la identiicacin de requerimientos de formacin. La funcionalidad de
este sistema es que proporciona retroalimentacin de manera inmediata al
asesor y permite al Programa establecer rutas de formacin especicas con
base en los resultados obtenidos en el Registro.
En su conjunto, se percibe un amplio compromiso del INEA con
el proceso de evaluacin que se releja en la seleccin de hallazgos para
mejorar su desempeo derivados de las evaluaciones externas. En este
8 FLACSO, Evaluacin de Consistencia y Resultados, Op. Cit.

9Valoracin Diagnstica, documento presentado por el INEA para la inscripcin en el Premio 2011:
Programas Comprometidos con el proceso de evaluacin.

sentido, la bsqueda del fortalecimiento y mejora de las capacidades de
formacin educativa que ofrece el programa, sin duda, representan un
aspecto fundamental para ampliar las posibilidades en la generacin de
efectos positivos en la poblacin objetivo que atiende el programa, en este
caso, jvenes y adultos mexicanos en condicin de rezago educativo.
Estudios internacionales consideran que existe, hasta cierto punto,
un consenso en cuanto a que la formacin de los docentes, profesores, o
asesores mantiene una relacin positiva con el aprovechamiento10 de los
educandos.11 De acuerdo con la Organizacin para la Cooperacin y el
Desarrollo Econmico (OCDE) la calidad docente es la () variable escolar
de ms peso que inluye en el desempeo del estudiante.12 Bajo esta lgica,
concentrar los esfuerzos del INEA en fortalecer el peril de asesores
encargados de llevar los servicios de educacin para adultos es un acierto
que tiene un amplio potencial. Este aspecto es valorado en mayor medida,
debido a que las caractersticas de la educacin para adultos implican un
reto signiicativo a la oferta de los servicios de educacin bsica en la
deinicin de un modelo pedaggico y capacidades de formacin, mismas
que deben responder a las diversas necesidades de jvenes y adultos.
Es decir, impulsar acciones para mejorar las capacidades de
formacin implica elevar la probabilidad de una correcta implementacin
del programa, pues los asesores educativos son los encargados de proveer
los servicios a la poblacin objetivo. En los hechos, esto signiica la
generacin de una oferta de educacin para adultos ms adecuada que en
el pasado, y en consecuencia un mejor servicio pblico. Finalmente, ello
permitir elevar las posibilidades de un impacto positivo en lo superacin
del rezago educativo de los jvenes y adultos mexicanos.
Cabe mencionar que, aunque las evaluaciones externas analizadas
en el contexto del Premio 2011 presentan ms hallazgos relevantes sobre
los retos que debe enfrentar el INEA, la seleccin del aspecto de mejora
de la formacin de asesores es prioridad. Parte de las recomendaciones de
las evaluaciones consideran aspectos que son pertinentes, como lo son la
medicin del impacto del programa, la valoracin sobre la satisfaccin de
beneiciarios, el fortalecimiento de un sistema de seguimiento y monitoreo,
la mejora en la cuantiicacin de la poblacin objetivo, la revisin de
mecanismos de coordinacin institucional. Sin embargo, la mayor parte
de ellos, a excepcin del tema de focalizacin de la poblacin objetivo,
son aspectos que relejan desafos mayores en las etapas de diseo e
implementacin del programa. Por ello se advierte la asertividad del INEA en
10 S. Lawrence, Social Structure and Teacher Efects on Academic Achievement: A comparative Analysis,
Comparative Education Review, Vol. 27, Nm. 1, Febrero de 1983, pp. 69- 88.
11 M. Boissiere, Determinants of Primary Education Outcomes in Developing Countries, Washington, D.C.,
Banco Mundial, 2004.

12 Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE), Mejorar las escuelas: Estrategia
para la accin en Mxico, 2010.

la seleccin del aspecto de mejora relacionado con el fortalecimiento de las
capacidades de formacin, pues esto imprime un efecto de transformacin
al programa que tiene efectos en todo el ciclo de poltica pblica.
En ese sentido, el INEA formul acciones para atender la falta de un
peril adecuado en los asesores educativos a partir del desafo que implica
la propia operacin del programa, pues como se mencion anteriormente,
su gestin depende de la participacin de la sociedad civil como asesores
solidarios y a ello, se suma la alta movilidad y rotacin de los facilitadores
del aprendizaje que participan en el programa. Ante estas condiciones, se
realizaron plticas de sensibilizacin y concientizacin con los asesores,
acerca de la importancia de la evaluacin, lo que facilit la valoracin
diagnstica.
Conforme a la evidencia presentada por el INEA, el programa dise
una estrategia integral que comprometi actividades articuladas entre s,
para generar cambios de largo aliento en la implementacin del programa
y que contribuyeran en la resolucin del aspecto de mejora seleccionado.
Probablemente una interpretacin simplista del hallazgo de evaluacin
nicamente hubiera considerado la construccin del peril de asesor ideal.
No obstante, el INEA consider como punto de partida de la
estrategia la obtencin de un diagnstico de las debilidades y necesidades de
formacin de los asesores educativos, lo que gener informacin estratgica
para la elaboracin de programas de capacitacin que respondieran a los
requerimientos de los asesores solidarios. Se implementaron mecanismos
que permitieron sistematizar la informacin de las evaluaciones aplicadas a
los asesores y se llevaron a cabo procesos de formacin. Todo ello, culmin
nuevamente con una revaloracin de la formacin de los asesores despus
de tomados los cursos de capacitacin y, inalmente, se incluy como accin
continua la valoracin del peril de los asesores de acuerdo a los diversos
contextos donde se implementa el Programa. En suma, se observa la
deinicin estratgica de acciones entrelazadas que implican cambios en
procesos sustantivos del Programa.
Un balance de la implementacin de las

mejoras: acciones y resultados
Las acciones de mejora implementadas por el INEA, de acuerdo con
la evidencia documentada en las evaluaciones externas, estuvieron
encaminadas a dar seguimiento a la formacin de asesores educativos a
travs de estrategias diversas: en primera instancia, el diseo, desarrollo
e implantacin del Registro Automatizado de Formacin (RAF) y la
realizacin de la Valoracin Diagnstica a los asesores solidarios; en segunda
instancia, el empleo de la Valoracin Diagnstica para disear una oferta de
formacin congruente con las necesidades detectadas en la evaluacin; y,

inalmente, el objetivo de mantener la Valoracin y Revaloracin continua
de asesores educativos para determinar los alcances de las acciones de
formacin implementadas.
Dado que el esquema de Valoracin Diagnstica es empleado
por el Programa desde el 2009, se establecieron compromisos de mejora
por parte del INEA que se acotaran al periodo de evaluacin del Premio,
especicamente entre marzo y agosto del 2011. Por lo tanto, las acciones
de mejora a implementar en el marco del Premio 2011 apuntan
concretamente a tres compromisos: i) la valoracin diagnstica del 100
por ciento de los asesores, ii) la articulacin e integracin de las acciones
de formacin establecidas a partir de la valoracin diagnstica en un
Modelo Prototipo de Formacin (MoPro), y iii) la creacin de un equipo de
formadores especializados en distintos ejes educativos en cada Instituto y
Delegacin Estatal.
Relativo al compromiso del INEA de completar la valoracin
diagnstica de los asesores solidarios, es clave mencionar que la valoracin
en el ao 2011 implicaba dos modelos: por un lado, la valoracin diagnstica
de los asesores nuevos recin incorporados al Programa; por el otro, la
revaloracin de aquellos asesores que ya haban sido evaluados en 2010 y
sometidos a procesos de formacin a travs del MoPro y ofertas estatales
de formacin. Los resultados obtenidos hasta agosto de 2011 apuntan a la
valoracin de 33,969 asesores (es decir, 52.6 por ciento del total de asesores
activos de nuevo ingreso). Asimismo, 13 Institutos Estatales aplicaron el
instrumento diagnstico, con lo cual se logr un avance de 44 por ciento en
la valoracin de asesores activos en 2010.
Con referencia al seguimiento de la formacin de asesores, la
valoracin diagnstica que se llev a cabo en 2010 permiti que se
identiicaran con claridad las competencias y las debilidades de los
formadores para desempear con mayor calidad la asesora de las personas
que son usuarias de los servicios del Programa. A partir de esta valoracin,
se establecieron tres ejes considerados como prioritarios (Matemticas,
Lengua y Comunicacin y Aptitudes Pedaggicas), en funcin de que la
mayora de los asesores (64 por ciento) mostraron debilidades en los niveles
de dominio de estos contenidos educativos.
Tomando como antecedente lo anterior, en el ao 2011 se pusieron
en marcha dos lneas de accin destinadas a dar respuesta a las necesidades
de formacin de los asesores detectadas en la Valoracin Diagnstica. En
primer lugar, se puso en operacin la estrategia MoPro, que implica el
desarrollo de contenidos a travs de la importacin de diplomados en los
3 ejes considerados prioritarios. En segundo lugar, el establecimiento de
acciones de formacin en los Programas Anuales Estatales de Formacin
(PAEF) elaborados por los Institutos Estatales y Delegaciones del
INEA.

Los principales resultados reportados por el INEA, respecto al
seguimiento a la formacin de asesores al corte de Agosto 2011, fueron
la implantacin del MoPro en 8 entidades de la Repblica (Campeche,
Coahuila, Chiapas, Durango, Morelos, Nayarit, Tabasco y Zacatecas) y la
conformacin de equipos de formadores especializados (quienes tienen
funciones multiplicadoras de las capacidades educativas en cada eje
prioritario), con la presencia de al menos una de estas iguras en cada
Coordinacin de zona de las 8 entidades. Adems, una vez concluidos
los cursos diseados para reconstruir el aprendizaje de los asesores, son
sometidos a una evaluacin en lnea para determinar si pueden pasar al
siguiente nivel, misma que fue aplicada y concluida en 5 de las 8 entidades
que participan en la estrategia, lo que implic 2,200 asesores evaluados, de
los cuales 70 por ciento logr una caliicacin aprobatoria.
En trminos generales, la evidencia presentada por el INEA para
documentar los resultados del compromiso con el proceso de evaluacin,
muestran algunas virtudes en el funcionamiento del Programa, pero
tambin importantes obstculos para su operacin e implementacin.
La meta de evaluar la formacin de 100 por ciento de los asesores que
participan en el MEVyT es ambiciosa, dadas las limitaciones en las
capacidades organizacionales y presupuestales del Programa, as como la
alta rotacin del personal educativo lo que impedira concluir el proceso
de valoracin con la certeza de que todo el universo de asesores permanece
activo al trmino de la misma. No obstante, las acciones de mejora elegidas
por el INEA son acordes con los principales hallazgos derivados de las
evaluaciones externas al Programa y son consistentes con la importancia
de evaluar y mejorar las capacidades de los formadores educativos, pues
el valor pedaggico e instrumental de esa iniciativa para generar efectos
positivos en la poblacin objetivo es considerable.
As tambin, los esfuerzos realizados para implementar una
valoracin y revaloracin diagnsticas que cubren a casi la mitad de los
asesores activos del INEA y el desarrollo de un programa de formacin y
evaluacin a los asesores son muy loables, dadas las diicultades geogricas,
polticas y sociales para la aplicacin del instrumento de valoracin en
algunas regiones del pas y las ya referidas limitaciones en trminos de un
presupuesto restringido y una elevada rotacin de los asesores solidarios.
Para superar esas diicultades, el Programa ha contado no slo con
la colaboracin y participacin activa de los equipos de los Institutos y
Delegaciones Estatales de INEA para operar el proyecto en sus regiones,
sino adems con la enorme disposicin de la comunidad de asesores
dispuestos a ser sometidos a evaluacin para conocer mejor sus fortalezas y
debilidades, as como a participar en las actividades de formacin diseadas
para superar esos rezagos. En este sentido, el reto de someter a evaluacin
a personas que estn participando en un esquema voluntario, requiere de

una enorme sensibilizacin previa para transmitirles la importancia de ese
ejercicio para mejorar los alcances e incidencia de su intervencin en la
enseanza de grupos ms vulnerables.
Asimismo, la implementacin, sistematizacin y digitalizacin
de las herramientas para llevar a cabo la aplicacin de las valoraciones y
evaluaciones a los asesores, principalmente el Registro Automatizado
de Formacin (RAF) y el Sistema de Valoraciones y Evaluaciones (SiVE),
permitirn tener un conocimiento ms certero de las necesidades de
formacin a nivel individual, regional y estatal. El anlisis de los resultados
arrojados por estas herramientas permitirn no slo disear rutas de
formacin focalizada hacia los asesores, sino realizar comparativos
nacionales y regionales para determinar reas de atencin prioritaria en el
Programa.
Por otro lado, vale la pena resaltar que las diicultades del Programa
para reportar mayores avances en trminos de valoracin estn vinculadas
con la diicultad de asegurar la coparticipacin de los institutos estatales
en la evaluacin de los asesores, el anlisis sistemtico de resultados y
la toma de decisiones respecto a la formacin. Asimismo, la inscripcin
del Programa en el contexto del Premio 2011, acot la presentacin de
evidencia de las acciones implementadas al periodo de marzo-agosto de
2011, la cual se vio afectada por la recalendarizacin de la valoracin y
revaloracin de asesores para el ltimo trimestre de 2011, por lo cual INEA
se vio en la necesidad de enfatizar las acciones de mejora en curso.
Para cerrar este apartado, se presenta un anlisis transversal
de la ruta tomada por el Programa para apuntalar la consistencia lgica
entre las recomendaciones sugeridas por las evaluaciones, las acciones
implementadas y los resultados obtenidos. En primera instancia, las
evaluaciones externas realizadas al Programa fueron precisas al sealar
recomendaciones puntuales que era necesario atender en los mbitos de
diseo, planeacin, cobertura, operacin, implementacin y resultados.
El INEA emple los hallazgos de las evaluaciones externas como insumo
estratgico para determinar las acciones de mejora a implementar con la
inalidad de resolver problemas en la gestin e inducir efectos positivos
sobre la poblacin objetivo. En consecuencia, el INEA eligi atender
un aspecto relacionado concretamente con la operacin del Programa,
enfocado en el fortalecimiento del peril de los asesores encargados de
proveer los servicios educativos contemplados dentro del MEVyT. Esto
implic una aproximacin al fenmeno educativo desde la perspectiva de la
oferta y no de la demanda de un bien pblico.
As pues, se dio paso al proceso donde se determin la ruta a
seguir para mejorar las capacidades y el peril de los asesores dentro del
Programa. En este sentido, las acciones implementadas por el INEA fueron
complementarias entre s, pues la Valoracin Diagnstica de los asesores
fue el punto de partida para determinar debilidades en los conocimientos

de los formadores y, por tanto, para elegir el tipo de capacitacin y asesora
que recibira cada uno; mientras que las revaloraciones sirvieron, a su vez,
para determinar el alcance de las capacitaciones ofrecidas a los asesores que
permanecan en activo de un ao a otro. Los resultados reportados por el
Programa en trminos de valoracin y revaloracin son sobresalientes dadas
las restricciones presupuestales que enfrenta el Programa y la ausencia
de mecanismos para obligar a los asesores a someterse a los esquemas de
evaluacin. Asimismo el diseo de un instrumento de capacitacin que
opera gracias a los insumos provistos por una herramienta de evaluacin
son indicativos de una visin sistmica en la seleccin de las acciones a
implementar.
Por lo tanto, el Programa muestra una coherencia lgica en trminos
de insumos (ligados a objetivos), procesos (relativos a instrumentos para
alcanzar objetivos) y resultados (efectos esperados de esos procesos). De
manera ms concreta, el Programa de Atencin a la Demanda de Educacin
para Adultos y Modelo de Educacin para la Vida y el Trabajo operado por el
INEA cont con hallazgos relevantes provenientes de evaluaciones externas
que le permitieron identiicar un problema nodal en su implementacin,
as como extraer elementos pertinentes para estructurar su estrategia y
atender el aspecto susceptible de mejora.
La manera como se formularon las acciones de mejora mostraba la
intencin de atender el problema de la falta de un peril adecuado de los
asesores desde la raz y un alto compromiso con la estrategia educativa
establecida en el Programa. Lo anterior se releja en que el INEA deini
metas superiores para alcanzar su objetivo destinadas a implementar un
proceso permanente de valoracin y formacin de los asesores educativos,
dejando de lado la visin simplista de disear nicamente el peril de un
asesor ideal. Los procesos realizados para diagnosticar las necesidades
de formacin de los asesores y las acciones emprendidas para resolver
sus necesidades formativas partieron de una planeacin muy clara de
cmo atender las debilidades arrojadas por las valoraciones. Sin embargo,
en la implementacin de los aspectos susceptibles de mejora, el INEA
no consider los posibles obstculos a enfrentar, dadas las limitadas
capacidades presupuestales y de gestin de Programa, as como los retos
en materia de coordinacin institucional con otros niveles e instancias
(algunos de los cuales ya haban sido adelantados en las evaluaciones
externas).
An tomando en cuenta lo anterior y, a pesar de que no se pudo
recabar toda la informacin necesaria para documentar los avances ms
recientes en materia de formacin de asesores dentro del Programa y
Modelo propuestos por el INEA, en trminos generales se avanza por el
camino correcto en materia de implementacin de mejoras, pues ya existe
un diagnstico de las debilidades de formacin de los asesores, se estn
realizando cursos de formacin para atenderlas y existe registro de un
avance en la mejora de las capacidades de los asesores. Y, aunque seguir

pesando en los resultados la alta movilidad de los asesores solidarios, este
es un tema que responde a factores estructurales del Programa y no debe
ser visto como un obstculo infranqueable.
En consecuencia, el Programa muestra un notable compromiso con
la evaluacin que se releja tanto en el empleo de las evaluaciones como
insumos para implementar acciones de gestin, como en el uso de las
evaluaciones como acciones de mejora en s mismas. Asimismo, el INEA ha
expresado su inters en hacer de las valoraciones diagnsticas (y por tanto,
de los mecanismos de evaluacin) elementos indispensables para mejorar el
desempeo de la gestin pblica y en institucionalizar su implementacin
como parte de un proceso continuo de mejora.
Finalmente, resulta interesante retomar los alcances de la evaluacin
en este Programa, pues por un lado sirve de insumo en un nivel macro
para elegir las acciones de mejora a implementar; y en un nivel micro para
determinar las capacidades de cada asesor educativo y con ello ofrecer
servicios de capacitacin y formacin acordes. An ms, la revaloracin
diagnstica de los asesores implica someterlos nuevamente a una
evaluacin para determinar si los alcances del primer ejercicio diagnstico
permitieron una mejora en la adquisicin de conocimientos. Y, dado que los
cambios sobre las variables de rezago educativo o adquisicin de habilidades
en la poblacin joven y adulta slo sern visibles en el mediano plazo,
el nfasis de las mejoras implementadas por el Programa en el contexto
del Premio 2011 estn dirigidas a la oferta de servicios educativos por
parte de los asesores, independientemente de la demanda de los mismos
por la poblacin objetivo. Es decir, se privilegia la necesidad de formar y
capacitar a aquellos individuos que pretenden a su vez formar e instruir a
determinados grupos de la poblacin.
La evaluacin como insumo estratgico

para la toma de decisiones
En general, se puede observar que el Programa de Atencin a la Demanda
de Educacin para Adultos y Modelo de Educacin para la Vida y el Trabajo
del INEA es un ejemplo sobresaliente en la formulacin de acciones de
mejora de la gestin que toman como punto de partida la evaluacin
externa. El INEA se caracteriza por ser un institucin que cuenta con 31
aos de vida, que opera con recursos humanos, materiales y inancieros
limitados, con una amplia participacin de actores pblicos, privados y de
la sociedad civil en procesos esenciales para los programas que opera, y con
un fuerte compromiso por optimizar sus procesos y ofrecer resultados a
su poblacin objetivo en la solucin del problema pblico para el que fue
creado: contribuir a reducir el analfabetismo y el rezago educativo.

La calidad de la informacin y conclusiones generadas por las
evaluaciones abrieron espacio para que el INEA capitalizara la evidencia
ofrecida para mejorar su desempeo, dndole sentido y orientando
acciones hacia un in claramente establecido. En este caso en particular, al
fortalecimiento de las capacidades de formacin de sus asesores educativos.
Asimismo, el programa conjunt los hallazgos de las dos evaluaciones
referidas en este documento, para disear una estrategia de accin integral
que generara un cambio de fondo en el proceso de implementacin de la
poltica, considerando los requerimientos tcnicos y operativos de dichas
acciones. Aunque en el proceso de dictaminacin del Premio 2011 no fue
posible documentar los resultados ms recientes de la estrategia del INEA,
se reconoce un avance signiicativo en la atencin del aspecto susceptible
de mejora seleccionado.
El impulso en la generacin de tcnicas y herramientas de evaluacin
aplicadas para valorar el desempeo de programas pblicos es relativamente
nuevo en Mxico. Desafortunadamente, la capacidad transformadora de
la evaluacin en los procesos de polticas pblicas ha sido limitada. No
obstante, el caso de la educacin para adultos es la excepcin, pues ha
acompaado los hallazgos de las evaluaciones de otro tipo de estrategias.13
A continuacin se rescatan dos de las lecciones que la experiencia del caso
Programa de Atencin a la Demanda de Educacin para Adultos y Modelo
de Educacin para la Vida y el Trabajo INEA aporta:
Articulacin de una estrategia integral, coherencia entre las evaluaciones
y las acciones de mejora. Los mecanismos de evaluacin deben dejar de ser
percibidos por los responsables de programas pblicos como un in en s
mismo. Ms bien, debe reconocerse en estos una fuente de informacin
valiosa (aunque esto depende de la calidad metodolgica de la evaluacin y
la rigurosidad tcnica del evaluador), a partir de la cual se puede construir
una estrategia de accin general para atender un objetivo especico y
claramente deinido. El caso INEA pone en prctica sta argumentacin.
Los hallazgos de las evaluaciones informan la falta de periles de
formacin de los asesores educativos, la inexistencia de mecanismos de
valoracin de las capacidades y habilidades de dichos asesores, as como los
riesgos que esto implica. Con esta informacin, el programa delimit un
objetivo claro de atencin as como las acciones, actividades y herramientas
necesarias para resolverlo de manera integral. Por lo tanto, los hallazgos de
las evaluaciones tienen un propsito instrumental que permiten orientar la
toma de decisiones de poltica pblica.14
13 J. Gonzlez, La evaluacin de la actividad gubernamental: premisas bsicas y algunas anotaciones
sobre la experiencia mexicana en J. Mndez (Coord.), Los grandes problemas de Mxico. Vol. XIII, Mxico,
El Colegio de Mxico, 2010, pp. 143 178.
14 Ibdem.

Cambio organizacional hacia una cultura de la mejora continua.
Como se mencion anteriormente, la prctica de la evaluacin genera
retroalimentacin sobre el desempeo de un programa en las diferentes
etapas de la poltica pblica, lo que permite disear una estrategia
para atender reas de mejora. Esto implica la modiicacin de procesos
organizacionales y la implementacin de nuevas prcticas, que transformen
en rutina el uso de la informacin de las evaluaciones para la mejora
constante y de largo aliento. Nuevamente, en el caso de la educacin para
adultos, se puede identiicar claramente este cambio, ya que para fortalecer
las capacidades de formacin de los asesores se dise un sistema interno
de valoracin diagnstico de los asesores educativos, que no slo considera
un proceso nico de evaluacin, sino que la estrategia incluye la valoracin
continua de este aspecto, en el mediano y largo plazo.
El compromiso con la evaluacin mostrado por el Programa,
la coherencia lgica en la estrategia de planeacin y la articulacin de
actividades acordes permiten generar cambios de largo aliento en la
implementacin del mismo, contribuyendo en ltima instancia a resolver el
aspecto de mejora seleccionado. As pues, la superacin del rezago educativo
en los jvenes y adultos mexicanos va de la mano con la concepcin de la
educacin como un proceso permanente de mejora de capacidades, que
involucra la evaluacin y generacin de habilidades tanto en los educandos
como en los formadores.
Ahumada Lobo y Asociados, Estudios Econmicos y Polticas Pblicas,

Informe Final del Diseo y Desarrollo para 2008 del Sistema de Seguimiento y
Evaluacin de los Beneicios del MEVYT y Evaluacin del Peril, Reclutamiento
y Remuneracin de los Asesores que Aplican el MEVYT, Mxico, INEA, 2009.
Boissiere, M., Determinants of Primary Education Outcomes in Developing

Countries, Washington, D.C., Banco Mundial, 2004.
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social

(CONEVAL). Indicadores de carencia social (consultado en http://web.
coneval.gob.mx/Paginas/ principal.aspx).
---------. Evaluacin y Monitoreo de Programas Sociales. Evaluaciones

de Programas Federales (consultado en http://www.coneval.gob.mx/
cmsconeval/rw/pages/ evaluacion/evaluaciones/consistencia/index.es.do).

Diario Oicial de la Federacin (DOF), Decreto de Presupuesto de Egresos de la
Federacin para el ejercicio iscal 2012, publicado el 12 de diciembre de 2011.
(consultado en http://dof.gob.mx/nota_detalle.php?codigo=5226418&fec
ha=12/12/2011).
Facultad Latinoamericana de Ciencias Sociales (FLACSO) Evaluacin de

Consistencia y Resultados del Programa de Atencin a la Demanda de Educacin
para Adultos a travs del Modelo de Educacin para la Vida y el Trabajo del
INEA, Mxico, 2008.
Gonzlez, J., La evaluacin de la actividad gubernamental: premisas

bsicas y algunas anotaciones sobre la experiencia mexicana en J. Mndez
(Coord.), Los grandes problemas de Mxico, Vol. XIII, Mxico, El Colegio de
Mxico, 2010, pp. 143 178.
Lawrence, S., Social Structure and Teacher Efects on Academic

Achievement: A comparative Analysis, Comparative Education Review, Vol.
27, Nm. 1, Febrero 1983, pp. 69- 88.
Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE),

Mejorar las escuelas: Estrategia para la accin en Mxico, 2010.
Reglas de Operacin de los programas Atencin a la Demanda de Educacin

para Adultos (INEA) y Modelo de Educacin para la Vida y el Trabajo
(INEA), 2012 (consultado http://www.inea.gob.mx/transparencia/pdf/
marco_normativo/Reglas_de_Operacion2012.pdf).
Valoracin Diagnstica, documento presentado por el INEA para la

inscripcin en el Premio 2011: Programas Comprometidos con el proceso
de evaluacin.

Monitoreo y evaluacin en el Sistema
E N E
en el Programa Escuelas de Calidad, el
Programa Escuelas de Tiempo Completo y
el Programa de la Atencin a la Demanda
de Educacin de Adultos y Modelo de
Educacin para la Vida y el Trabajo
Sergio Crdenas Denham
Introduccin
Comparar y describir las diferencias entre las polticas de acceso a
informacin en el Sistema Educativo Nacional de los aos 1990 con las
que ahora existen, probablemente se asemejara a relatar los cambios que
encontr Rip Van Winkle al despertar de su letargo. En un par de dcadas,
el Sistema Educativo Nacional ha transitado de una poltica oicial en la
que se ocultaban los resultados obtenidos por estudiantes mexicanos en
pruebas internacionales como TIMSS1 a una compulsin por difundir
puntajes de exmenes como apuesta gubernamental dilecta para mejorar
la calidad educativa.
1Mexicanos Primero, La creacin del Instituto Nacional de Evaluacin Educativa de Mxico. Un modelo
de institucionalidad mixta, como experiencia de gobernabilidad en los sistemas educativos, 2007.
Obtenido de http://www.globalpartnership.org/epdf/uploads/121, enero del 2012.

Lanzar las campanas al vuelo por este cambio equivaldra a concluir
apresuradamente que Rip Van Winkle debi ser un padre muy feliz por llegar
a conocer a un hijo adulto sin tener que lidiar con su infancia y juventud. Si
bien los cambios observados imitan en deinitiva algunos de los elementos
que caracterizan a sistemas educativos nacionales considerados como
eicaces y probablemente representen un avance hacia la construccin
de un sistema de rendicin de cuentas en educacin, se perciben nuevos
retos para lograr un vnculo tangible entre la disponibilidad de mayor
informacin y evaluaciones, con una mejor calidad educativa. 2
En ese contexto es plausible el diseo de intervenciones
gubernamentales que buscan no solamente provocar una relexin sobre
el uso de la informacin generada en evaluaciones realizadas con el objeto
de dar cumplimiento a normas, sino que buscan la utilizacin generalizada
de los recursos disponibles ahora para mejorar la gestin de los programas,
particularmente la informacin y las recomendaciones generadas en el
monitoreo de la implementacin de programas.
Sobre este ltimo punto, vale la pena recordar lo que Wiliam seala
en su estudio sobre el uso de la evaluacin de aprendizajes, al recordarnos
que la informacin no se convierte en retroalimentacin a menos que un
sistema pueda usar esa informacin para afectar su futuro desempeo.3
En otras palabras, es necesario recordar que la simple disponibilidad
de informacin, aun cuando represente una preocupacin por aislar y
comprender un resultado derivado de una intervencin, es insuiciente para
alcanzar un impacto en la transformacin de cualquier de los componentes
del sistema educativo.
Con motivo del Premio 2011, el presente captulo describir los
procesos de apropiacin de evaluaciones desarrolladas en tres programas
educativos (Programa Escuelas de Calidad, el Programa Nacional de
Escuelas de Tiempo Completo y el Programa Atencin a la Demanda de
Educacin para Adultos). En la primera seccin, se presentar de forma
sucinta una descripcin de las caractersticas de cada programa, con el
objeto de identiicar en lo posible el sustento y lgica de cada uno como
intervencin gubernamental. En una segunda seccin, se describirn las
caractersticas de algunas de las evaluaciones que han sido realizadas a cada
programa, enfatizando el tipo y mtodos de cada evaluacin realizada, el
tipo de recomendaciones emitidas, y, en general, la informacin que se
puso a disposicin de los responsables de cada programa. Finalmente, se
analizar el proceso de seleccin de recomendaciones y la manera en que se
establecieron vnculos con las acciones por realizar en cada programa, por
2Ver: Sergio Crdenas, La rendicin de cuentas en el Sistema Educativo Mexicano, Serie calidad de
gobierno y rendicin de cuentas en las entidades federativas, Documento de Trabajo Nm. 5, Mxico,
CIDE-PNUD, 2010.
3D. Wiliam, What is assessment for Learning, Studies in Educational Evaluation, Vol. 37, Nm. 1, 2011,
pp. 314.

decisin de los responsables, con el objeto de sustraer algunas lecciones
sobre la utilizacin de evaluaciones en el diseo e implementacin de
programas educativos.
L
El programa Escuelas de Calidad
El programa Escuelas de Calidad (PEC) puede ser deinido como una
intervencin basada en principios de la gestin centrada en la escuela
(School Based Management), a travs de la cual se pretende que las
comunidades escolares reciban recursos adicionales y realicen un ejercicio
de planeacin participativa, con el in de identiicar oportunidades de
mejora y acordar acciones que permitan mejorar la eicacia de las escuelas.
Basndose en los supuestos de este modelo de reforma4 es posible
sugerir que la transferencia de recursos econmicos y el uso de ciertas
facultades, as como el desarrollo de capacidades a nivel comunidad
escolar, permitira fortalecer la participacin de los centros escolares en
la toma de decisiones, corresponsabilizar a los diferentes actores sociales
y educativos, promoviendo la seguridad, la transparencia y la rendicin de
cuentas, impulsando la participacin entre la Federacin, las Entidades
Federativas y Municipios, as como con Organismos de la Sociedad Civil,
en sus respectivos mbitos de actuacin, para apoyar las acciones que la
comunidad educativa decida, con la inalidad de mejorar la calidad del
servicio educativo y los resultados de aprendizaje.5
Este programa, con ms de diez aos de operacin, ha tenido un
crecimiento signiicativo con el paso de los aos, gracias a diferentes
factores entre los que probablemente se encuentre la lexibilidad
normativa para ajustar su implementacin a condiciones locales, el
nfasis en el monitoreo, la orientacin a la transformacin de la gestin
escolar y los mecanismos de inanciamiento, incluyendo recursos
por contrapartida y la creacin de ideicomisos estatales, as como el
inanciamiento de organismos internacionales. Adicionalmente, una
de las caractersticas principales del PEC es la realizacin peridica de
evaluaciones escolares como uno de sus principales componentes. Lo
anterior habra resultado en un aprendizaje que se expresara en una
frecuente utilizacin de informacin y hallazgos por parte de los actores
escolares y los funcionarios a cargo del programa.
4 Ver: Crdenas, Op. Cit.

5 Secretara de Educacin Pblica, (SEP), Reglas de Operacin del Programa Escuelas de Calidad, 2011.

Considerando lo anterior, es posible entonces identiicar a este
programa como una intervencin destinada a modiicar la gestin y la
cultura organizacional de las escuelas, a travs del desarrollo de capacidades
directivas y de instruccin, la entrega de recursos para ejercicio directo de la
escuela con el in de promover la planeacin compartida por los principales
actores escolares y la alineacin de intervenciones y programas con el in de
considerar a la escuela como centro del sistema educativo.
Programa Nacional de Escuelas de Tiempo Completo

Una de las intervenciones educativas de mayor popularidad entre
los tomadores de decisiones, que, sin embargo genera todava cierta
controversia entre los investigadores educativos, es el incremento de horas
de asistencia o permanencia en las escuelas.6 Mxico no ha sido la excepcin
y desde el ao 2007 se comenz a disear e implementar un programa que
aparentemente tena por objeto generar condiciones y proveer insumos
suicientes para que las escuelas tuvieran la oportunidad de organizar
actividades con el in de promover una formacin integral de los alumnos.7
De acuerdo con las Reglas de Operacin 2012 de este programa,
su objetivo principal es el de contribuir a mejorar las oportunidades de
aprendizaje relejadas en el logro acadmico de los alumnos de las escuelas
pblicas de educacin bsica, mediante la ampliacin de la jornada escolar,
destacando entre sus componentes la provisin de recursos destinados a
actividades de actualizacin, acompaamiento de las escuelas, adquisicin
de material educativo, apoyo para la alimentacin de actores escolares,
contratacin de personal de apoyo para las horas adicionales, inversin para
acondicionar las escuelas y la realizacin de actividades de fortalecimiento
de las coordinaciones estatales del programa.8
De esta forma, es posible considerar a este programa como una
iniciativa gubernamental basada en la ampliacin del tiempo que un
estudiante permanece en la escuela pblica, con el objeto de incrementar
la probabilidad de lograr aprendizajes; en palabras de los encargados
6 Ver: SEP-IIPE, Estudio de caracterizacin de las escuelas de tiempo completo (ETC) en Mxico. Encuesta
a Directores y Equipos Estatales, 2010; J. Angrist, et al., Who Beneits from KIPP, Documento de
Trabajo NBER-15740, National Bureau of Economic Research, 2010.; W. Dobbie y R. Fryer, Getting
Beneath the Veil of Efective Schools: Evidence from New York City, Documento de Trabajo NBER-
17362, National Bureau of Economic Research, 2011; C. Bellei, Does lengthening the school day increase
students academic achievement? Results from a natural experiment in Chile, Vol. 22, Nm. 5, 2009, pp.
629-640.
7M. Zorrilla, Informe Final de la Evaluacin del Diseo del Programa Nacional de Horario Extendido en
Primaria, Programa Nacional Escuelas de Tiempo Completo, Universidad Autnoma de Aguascalientes,
2008.
8 SEP, Reglas de Operacin del Programa Nacional Escuelas de Tiempo Completo, 2011.

de un estudio de caracterizacin de este tipo de escuelas, este programa
buscara por lo tanto que se conviertan en un medio para incrementar las
oportunidades de aprendizaje de nias, nios y adolescentes.9
Programa Atencin a la Demanda de Educacin para Adultos

La educacin para adultos es considerada en los pases en desarrollo como
una de las principales intervenciones gubernamentales destinadas a reducir
desigualdades, atacar las causas de pobreza y exclusin, as como para
garantizar una convivencia ordenada.10 Con una gran variacin en la forma
en que es impartida (tanto en contenidos, medios, poblacin atendida y
objetivos), en el caso de Mxico se ha convertido en una poltica destinada a
subsanar algunas de las omisiones del sistema regular o de educacin formal,
sobre la cual es posible encontrar antecedentes que pueden remontarse al
poririato, perodo en el que se enfatiz la necesidad de crear Escuelas de
adultos que tuvieron por objeto proveer la enseanza elemental de los
que no hayan podido instruirse en la edad escolar.11
Si bien la educacin de adultos ha evolucionado para incluir no
solamente la formacin elemental, es claro que en el caso del Instituto
Nacional para la Educacin de los Adultos (INEA) contina siendo la
principal preocupacin de los programas implementados en la materia,
como lo sealan las propias Reglas de Operacin de este programa, en las
cuales se establece que el programa evaluado tiene como objeto general
Ofrecer a personas de 15 o ms aos que se encuentren en condicin de
rezago educativo, servicios educativos gratuitos de alfabetizacin, primaria
y secundaria con el Modelo de Educacin para la Vida y el Trabajo (MEVyT),
as como servicios de acreditacin y certiicacin de los conocimientos y
aprendizajes en esos niveles para contribuir a disminuir las desigualdades
en las oportunidades educativas entre grupos sociales de jvenes y adultos
sin educacin bsica, mediante la superacin de su condicin de rezago
educativo.12 Esta labor adquiere gran relevancia al considerar, que de
acuerdo con estimaciones de los propios responsables del programa, existe
una poblacin potencial en rezago cercana a los 20 millones de habitantes.13
9 SEP-IIPE, Op. Cit.

10 UNESCO-ILL, Global Report on Adult Learning and Education, Institute for Lifelong Learning, 2009.
11R. Bolaos, Desarrollo Histrico de la Educacin en Mxico en F. Solana, et al., Historia de la Educacin
Pblica en Mxico, Mxico, Fondo de Cultura Econmica, 2001.
12 INEA, Reglas de Operacin del Reglas de Operacin de los programas Atencin a la Demanda de
Educacin para Adultos (INEA) y Modelo de Educacin para la Vida y el Trabajo (INEA), 2011., p. 6.
13 Ibdem.

Basado en lo anterior, es posible caracterizar la intervencin del
INEA como un programa destinado a reducir el rezago educativo, a travs
de la provisin de materiales educativos, la imparticin de asesoras, la
certiicacin y la prestacin de servicios en reas de acceso libre a la poblacin
que abandon en edad temprana el sistema de instruccin formal.
Las evaluaciones
Sin mayor sorpresa, los objetivos y los mtodos de las evaluaciones cuyos
hallazgos fueron el sustento para los compromisos y las actividades
iniciadas en los tres programas, mostraron una gran variacin. Esto
result en una mayor complejidad para identiicar la pertinencia de las
acciones propuestas por los responsables de cada programa con relacin
a los hallazgos presentados por los evaluadores, as como para analizar las
decisiones con respecto al uso de la informacin disponible por parte de
los responsables de cada programa. Sin embargo, con los compromisos
reportados en cada programa en respuesta a la convocatoria, fue posible
identiicar por lo menos la percepcin de los tomadores de decisiones
con respecto a las recomendaciones de los evaluadores, as como conocer
las actividades que, desde su perspectiva, contribuiran a eliminar o
contrarrestar los problemas resaltados en las evaluaciones.
En el caso del Programa Escuelas de Calidad (el cual cuenta incluso con
evaluaciones de impacto disponibles desde el ao 2006, una condicin atpica
en los programas educativos en Mxico), los responsables seleccionaron
recomendaciones que incluyeron un anlisis de procedimientos que se
presentan en las escuelas beneiciadas. Enfocarse en actividades tan
especicas y complejas aparentemente fue resultado de distintos factores,
entre los que destaca el tiempo que lleva implementndose este programa,
as como por la experiencia en evaluaciones que se remite incluso a perodos
previos a la creacin del Consejo Nacional de Evaluacin de la Poltica de
Desarrollo Social (CONEVAL) y de la normatividad vigente en el pas sobre
evaluacin de programas sociales.
En una condicin similar al ejemplo anterior, en el caso de los
programas implementados por el INEA (cuyos responsables hicieron
uso de dos evaluaciones externas con objetivos bien delimitados), fue
posible observar la seleccin de hallazgos reportados que derivaron en
intervenciones muy especicas para conocer y determinar el peril de
los asesores educativos, quienes estn a cargo de un componente clave
del programa. Finalmente, en el otro extremo, la evaluacin realizada al
Programa Escuelas de Tiempo Completo, clasiicada como de diseo y
con el objeto de identiicar la correspondencia entre el problema pblico
identiicado y las acciones por desarrollar, oblig a centrarse en aspectos
generales, con hallazgos que no se centraban en aspectos operativos y de
gestin del programa, sino en la deinicin de los elementos que mejor

relejaran la teora detrs de la intervencin, en este caso la necesidad de
establecer un modelo de actividades pedaggicas para una mejor utilizacin
del tiempo adicional que se ofertara en las escuelas que participan en este
programa.
Tabla 1: Programas y Evaluaciones utilizadas14
Programa Evaluacin e institucin
Escuelas de Calidad Evaluacin Complementaria 2008, FLACSO.

Evaluacin especica de
desempeo 2009, Civicus.
Escuelas de tiempo completo Evaluacin de diseo 2008, C-230 consultores.
Atencin a la Demanda de Evaluacin de consistencia y
Educacin para Adultos Resultados 2008, FLACSO.
Una revisin somera de los Lineamientos generales para la

evaluacin de los programas federales del Gobierno Federal permite
identiicar las caractersticas de las diferentes evaluaciones y por lo
tanto las diferencias en el tipo de recomendaciones que sustentaran la
adecuacin, reorientacin o implementacin de acciones especicas en
cada programa. Es importante sealar que las distintas modalidades de
evaluaciones que acompaaran la implementacin de un programa federal
deben considerarse como procesos acumulativos de aprendizaje, a travs
de los cuales los tomadores de decisiones disponen de fuentes diversas
de informacin y que las decisiones con respecto al uso de la informacin
disponible inciden por supuesto en el grado de efectividad de los programas,
por lo que adquiere mayor relevancia observar y documentar los procesos
que determinan la seleccin y la adopcin de recomendaciones.
De acuerdo con los lineamientos ya sealados, tenemos que las
evaluaciones realizadas al Programa Escuelas de Calidad tuvieron como
objetivo analizar componentes especicos del programa (procesos de
planeacin escolar y de focalizacin). En el caso del Programa de Escuelas de
Tiempo Completo, encontramos como sustento para el establecimiento de
compromisos una evaluacin de diseo, que se orienta idealmente a analizar
la deinicin del problema pblico que se busca atender con un programa,
la evidencia que sustenta la intervencin seleccionada y los procesos de
focalizacin para determinar la poblacin beneiciaria. Finalmente, en
el caso del INEA, la evaluacin de consistencia y resultados incluye no
solamente los aspectos sealados en el caso de la evaluacin de diseo,
sino aspectos relevantes relacionados con la operacin, la planeacin, la
14 Toda la informacin contenida en las tablas de este documento proviene de los documentos entregados
por los responsables de los programas para ser evaluados por los comits correspondientes.

percepcin y los resultados de este programa. Identiicar estas diferencias
permite comprender de mejor manera las decisiones en cada programa con
respecto al uso de la informacin generada por las evaluaciones.
Recomendaciones seleccionadas y metas adoptadas

Un aspecto por resaltar con respecto a las decisiones tomadas por los
responsables de los programas participantes con respecto al uso de la
informacin generada en las diferentes evaluaciones, es la complejidad
de las acciones y las metas que fueron adoptadas por los responsables de
los programas. Como se observa en la Tabla 2, los hallazgos detectados y
seleccionados por los responsables de los programas capturan elementos
relevantes para alcanzar los ines de cada uno de los programas evaluados.
Por ejemplo, en el caso del Programa Escuelas de Calidad,
encontramos que la orientacin principal de las recomendaciones se
relacionan con dos aspectos fundamentales para la operacin del programa:
a) la adecuada realizacin de actividades de planeacin y concertacin entre
los actores escolares, en las cuales se incorporen claramente los elementos
de diseo que se incluyeron en los planes estratgicos de transformacin
de las escuelas; y b) el desarrollo de capacidades de los actores escolares
para involucrarse en actividades escolares y para seleccionar de una forma
adecuada metas y objetivos.
En el caso del Programa de Escuelas de Tiempo Completo,
los responsables del programa seleccionaron dos hallazgos de gran
relevancia, uno asociado con la deinicin del contenido pedaggico de
esta propuesta y el segundo asociado con uno de los grandes retos en el
Sistema Educativo Nacional, la reduccin de las desigualdades injustas.
Ambas recomendaciones, de gran complejidad para traducirse en acciones
implementadas en el marco del programa, resultan claves para lograr
los objetivos del mismo. En el primer caso, debido a que los docentes
requieren apoyo para tomar mejores decisiones con respecto al tiempo
adicional disponible en las escuelas participantes, y con respecto a la
segunda recomendacin general, debido a que la asignacin de recursos o
nuevas intervenciones en las escuelas debe considerar criterios de equidad,
particularmente cuando se requiere un tipo determinado de colaboracin
por parte de las comunidades escolares para implementar un programa.
En el caso de el Programa Atencin a la Demanda de Educacin
para Adultos, se seleccion un hallazgo por dems relevante, la ausencia
de periles adecuados para los asesores educativos, un aspecto importante
dado el tipo de intervencin promovido en este programa, el cual descansa
en actividades de formacin a la poblacin adulta que usualmente ha
estado separada de la educacin formal. Es de sealar en los tres casos
que los hallazgos seleccionados corresponden a componentes claves de los

respectivos programas (formacin, deinicin de modelos pedaggicos o
periles de instructores), adems de que la adecuada implementacin de
acciones para atender estas recomendaciones requerira del desarrollo de
capacidades y esfuerzos considerables.
Tabla 2: Hallazgos seleccionados por programa
Programa Se observan todava problemas en la mayora de las

Escuelas de propuestas de planeacin presentadas por los participantes,
Calidad ya que alcanzan un nivel de consistencia medio expresado
tanto en la construccin lgica, como en el diseo
metodolgico y tcnico en cada una de las etapas. Interesa
especialmente el cumplimiento de cada una de las exigencias
analticas para la construccin del plan estratgico.
Muchos de los problemas observados sobre el
seguimiento de las metas de los proyectos presentados
son, ciertamente, de consistencia interna. Pero otros se
reieren ms bien a la falta de involucramiento efectivo
de los actores; y otros ms parecen asociarse a estilos
personales de gobierno y a la vigencia de estructuras de
gestin tradicionales. Ausencia de focalizacin, falta de
conocimiento y pericia, diicultades para construir una
visin compartida, planeacin estratgica vs gestin
rutinaria y participacin democrtica restringida.
Programa Atender la deinicin de las orientaciones pedaggicas
Escuelas y de gestin del centro escolar en el marco de
de Tiempo ampliacin de las oportunidades de aprendizaje
Completo Conocer la percepcin de las familias de
la comunidad escolar sobre los beneicios
que el programa les est aportando.
Realizar una relexin ms amplia sobre el principio
de equidad en educacin, en la perspectiva de la
incorporacin de escuelas de conformidad con los criterios
de vulnerabilidad establecidos por el propio Programa.
INEA Carencia de un peril adecuado de los asesores educativos,
para aplicar el modelo educativo institucional.
Alta rotacin que les impide un conocimiento de
este modelo y el desarrollo continuo y sistemtico
de acciones de formacin que les beneicien.
Inexistencia de un proceso formal de valoracin de las
capacidades que deben tener los asesores, para orientar
a los educandos en su aprendizaje y en su evaluacin.
Falta de instrumentos de diagnstico de competencias
y de deteccin de necesidades de formacin.
La correspondencia entre acciones y recomendaciones

Los hallazgos seleccionados relejaron una consideracin importante
hacia elementos de los programas cuya modiicacin representara una
gran diicultad. Sin embargo, al revisar la vinculacin entre los hallazgos

seleccionados y las acciones propuestas, no resulta evidente, por lo menos
con la informacin que se proporcion con el in de ser valorada, la
correspondencia entre el tipo de hallazgos seleccionados y las acciones por
emprender en algunos de los programas.
Si bien lo anterior podra ser resultado del formato utilizado para
evaluar las acciones emprendidas en los programas como resultado de las
evaluaciones realizadas, es importante resaltar --en cualquier caso-- que
algunas de las acciones sugeridas por los responsables de los programas
podran considerarse como planteamientos generales u objetivos por
lograr, sin contar con mayor detalle del efecto esperado o la relacin entre
las acciones por realizar y su contribucin hacia el cumplimiento de las
observaciones tomadas de las evaluaciones.
Como ejemplo de lo anterior podemos sealar la propuesta en uno
de los programas para elaborar orientaciones destinadas a activar la
participacin social en las escuelas, lo cual, de interpretarse linealmente,
sugerira que la falta de participacin es debida a un desconocimiento
de los mecanismos o medios a travs de los cuales se lograra una mayor
participacin de los actores escolares en actividades de planeacin y
observacin. Si bien es factible que la seleccin y la descripcin de acciones
de mejora por implementar presentada en los documentos requeridos
para evaluar el efecto de las evaluaciones no fue exhaustiva, es importante
resaltar la relevancia que tiene asegurar esta correspondencia en otros
documentos o ejercicios de planeacin al interior de los programas,
particularmente si las evaluaciones han detallado o desagregado los
hallazgos y las recomendaciones en diversos componentes que deberan
modiicarse en el curso de implementacin de este programa.
En descargo de los responsables, hay que sealar que este
ejercicio puede ser uno de los ms complejos no solamente para el diseo e
implementacin de programas, sino en el propio diseo de sus evaluaciones,
ya que implica un esfuerzo notable no slo para lograr una clara deinicin
del problema pblico que se pretende atender (v. gr. una deiciente calidad
educativa o la desercin del sistema), sino para identiicar y comprender
los diversos factores y variables que orientaran el diseo de cualquier
programa.15
15 Un ejemplo de la complejidad y relevancia de este tipo de ejercicio puede encontrarse en: C. Weiss,
Excerpts from Evaluation Research: Methods of Assessing Program Efectiveness, American Journal of
Evaluation, Vol. 17, Junio de 1996, p. 173.

Tabla 3: Acciones propuestas
Programa Acciones de mejora
Escuelas de Diseo y difusin de un conjunto de orientaciones

Calidad dirigidas a los colectivos escolares para favorecer la
construccin de su Plan Estratgico de Transformacin
Escolar (PETE), como una herramienta que les permita
hacer de la planeacin estratgica un ejercicio ms
preciso, sencillo y contextualizado, tanto en su diseo,
como en su ejecucin, seguimiento y evaluacin.
Elaboracin de orientaciones para activar la participacin
social en las escuelas de educacin bsica, como
referente para guiar la participacin e involucramiento
corresponsable de los integrantes de la comunidad
educativa, en un marco de toma de decisiones
compartida, de transparencia y rendicin de cuentas.
Muestreo para determinar el nivel de participacin de los
actores involucrados en la planeacin estratgica escolar.
Integrar, capacitar y operar una RED Nacional de
Formadores que apoye los procesos de capacitacin, asesora,
acompaamiento y monitoreo en las entidades federativas.
Integrar y difundir estadsticas y bases de datos que
identiiquen a las escuelas combinando los criterios de
focalizacin del Programa para el ciclo escolar 2011-2012.
Elaborar las Orientaciones sobre la relevancia
de la focalizacin y el uso de las estadsticas y
bases de datos para dar prioridad a la integracin
de las escuelas de la poblacin objetivo.
Integrar ichas tcnicas por entidad federativa
que permitan identiicar la focalizacin de la
poblacin atendida dentro del Programa
Brindar una atencin diferenciada a las entidades
federativas de acuerdo a su contexto especico y poblacin
objetivo del Programa para el ciclo escolar 2011-2012.
Escuelas de Actividades de seguimiento a las ETC que permitirn
Tiempo Completo obtener informacin cualitativa sobre el modo en que
se concreta el Programa en las escuelas: los aspectos
pedaggicos, organizativos, administrativos y de
participacin de la comunidad en la tarea educativa.
Atencin a Precisin del peril de los asesores educativos
la Demanda Diseo y elaboracin de instrumento diagnstico para
de Educacin detectar necesidades de formacin de asesores educativos
para Adultos Aplicacin en lnea de instrumento diagnstico para
detectar fortalezas y debilidades de los asesores
educativos en distintos ejes educativos del modelo
(Matemticas, Lengua y comunicacin, Ciencias, Actitudes
socioculturales, Habilidades pedaggicas), relacionados
con el peril que se espera de su participacin

Los resultados y evidencias disponibles
En lo que corresponde a los resultados esperados, en el ejercicio realizado
se observa nuevamente en algunos casos una disociacin importante entre
las caractersticas de los hallazgos seleccionados, las acciones de mejora
propuestas por los responsables de los programas y los efectos esperados.
Si bien la condicin nuevamente podra ser resultado del formato y
mecnica designados para presentar las decisiones y acciones emprendidas
por los responsables de los programas participantes en esta iniciativa, es
posible sealar que esta es una condicin compartida con frecuencia en las
respuestas a evaluaciones de programas gubernamentales y por lo tanto
debe ser estudiada con detenimiento para asegurar que los responsables
de programas, usuarios inmediatos de la informacin generada en las
evaluaciones, comprendan el lujo necesario y correspondencia que debe
existir entre todas las etapas de desarrollo de este tipo de estudios, con el
in de lograr el mayor efecto posible en las actividades que forman parte de
los distintos componentes de cada programa.
Tabla 4: Resultados esperados y evidencia disponible
Programa Resultados esperados
Escuelas de Calidad Que las escuelas de educacin bsica que participan

en el PEC, cuenten con un Plan Estratgico de
Transformacin Escolar Simpliicado, consistente,
eiciente y eicaz que involucre los actores escolares
en su diseo, ejecucin, seguimiento y evaluacin.
Mayor corresponsabilidad entre los criterios de
focalizacin y las escuelas incorporadas al Programa.
Escuelas de Tiempo Informacin til y coniable acerca de lo que ocurre
Completo en las escuelas al poner en prctica la propuesta
pedaggica del PETC. Explicar cules son las causas
que explican lo que ocurre en las escuelas []
para aprender de la experiencia, tomar decisiones
informadas, mejorar el servicio conforme a
necesidades reales, disear nuevas propuestas de
intervencin y mejorar el impacto del Programa
Atencin a la 100% de asesores educativos activos valorados.
Demanda de Programas estatales de formacin elaborados con
Educacin para base en los resultados de la valoracin diagnstica.
Adultos Equipos estatales de formacin integrados.
Asesores formados revalorados para reconocer
resultados de su proceso de formacin.
Continuar con el diseo e implantacin de
acciones vinculadas al diagnstico y deteccin
de necesidades de formacin, para establecer
un sistema de valoracin permanente.

Es necesario por lo tanto resaltar la pertinencia de considerar el
proceso de evaluacin como una actividad acumulada, en la que cualquier
disociacin entre procesos (en este caso tres, representados en la seleccin
de hallazgos o recomendaciones, la decisin sobre las acciones de mejora y la
seleccin de mediciones para monitorear resultados) podra resultar en una
utilizacin deiciente de la informacin disponible y, como consecuencia,
en el desaprovechamiento de los esfuerzos en materia de evaluacin de
programas.
Adicionalmente, destaca la variacin en las formas en que se describen
tanto los resultados esperados como las evidencias ofrecidas, resaltando
la diicultad para encontrar un balance entre la especiicidad requerida
en la descripcin de metas o resultados esperados y una generalizacin
inevitable ante la complejidad de los hallazgos seleccionados y las acciones
propuestas. En este tema, se observa de forma positiva la manera en
que se presentan los resultados esperados por parte de los responsables
del Programa Atencin a la Demanda de Educacin para Adultos, en las
cuales se establecen medidas razonables, veriicables y cuyo cumplimiento
probablemente incidira para responder a las recomendaciones presentadas
en las evaluaciones. Este aspecto probablemente se asocia a la especiicidad
de las evaluaciones, en las que se identiica un tema detallado que facilita el
seguimiento y posterior monitoreo de acciones desarrolladas.
En esta ltima etapa de acciones propuestas por los responsables de
programas se observ la mayor debilidad en la estructura de las actividades
destinadas a aprovechar la informacin que surgi de las evaluaciones
para adecuar o modiicar los programas evaluados. Similar a las etapas
previas, existe una complejidad tcnica no solamente para identiicar
adecuadamente los posibles efectos de las acciones realizadas, sino para
cuantiicar o sealar de forma detallada los resultados que se esperan,
lo que probablemente explique la variacin y la representacin todava
incompleta de resultados esperados, particularmente ante la seleccin de
hallazgos complejos con los que inici este proceso de toma de decisiones.
Un aspecto positivo sin embargo es que no es posible concluir que
esta indeinicin se asocie a una reaccin estratgica de los tomadores de
decisiones (el fenmeno AUSOSOC que Gabriel Zaid relatara), la deinicin
y seleccin actual no es todava suiciente para maximizar la probabilidad
de que la disponibilidad de evaluaciones y en general los cambios en las
polticas de transparencia y rendicin de cuentas en el Sistema Educativo
Nacional, resulten en efectos veriicables en aspectos como la equidad y la
calidad educativa, los dos grandes retos de nuestro pas.

Comentarios Finales
Es importante sealar que las observaciones vertidas en este captulo son
en realidad una celebracin de los cambios observados en las polticas de
acceso a informacin y de generacin de conocimiento til para reorientar
la gestin de los programas educativos. La participacin de estos programas
en la plausible iniciativa que se documenta y analiza en este libro, incita a
una relexin en la que es necesario identiicar y sealar oportunidades de
mejora en los procesos de adopcin y uso de evaluaciones (similar a lo que se
exige al interior de los programas en las escuelas o bien a los instructores),
de forma que se construyan --en un corto plazo-- los aprendizajes que
complementarn los cambios normativos y que incluso podran resultar en
adecuaciones a ese marco, con el in de asegurar una mayor disponibilidad
de informacin e insumos para la adecuada toma de decisiones en la gestin
de los programas.
La respuesta de los responsables de los programas es el mejor
ejemplo de la consideracin del proceso de evaluacin, como un relejo del
proceso de diseo e implementacin de cualquier poltica. Las decisiones
y las prioridades expresadas tanto en los documentos revisados como en
las entrevistas realizadas en el proceso de evaluacin, formaran parte
de un proceso de aprendizaje, en el que evidentemente existen recursos
y experiencias distintas en cada proceso y que en consecuencia relejan
la necesidad de analizar las etapas en las que los programas requieren
mayor acompaamiento, similar a lo que sucede cuando en las escuelas
se incorporan procedimientos novedosos de planeacin. En este sentido,
en este captulo destacamos cmo se diluye la precisin en las decisiones
conforme entramos a las etapas de aprovechamiento de informacin en
los programas, es decir, se resalta que, por ahora, la disponibilidad de
informacin o la alineacin de las evaluaciones con las necesidades de los
responsables de gestionar los programas (los lineamientos que guan su
implementacin los detallan) probablemente no sea un problema a resolver,
sino precisamente la generacin de ciertas culturas y la implantacin de
prcticas que deben observarse entre los responsables de los programas.
Adems de las restricciones y oportunidades de mejora que se
observan con respecto al uso de la informacin generada en las evaluaciones,
es importante observar a la par las restricciones tradicionales de los procesos
de evaluacin, con el in de reducir la probabilidad de que estas limitaciones
interacten con la falta de experiencia en materia de aprovechamiento de la
informacin entre los responsables de administrar los programas federales.
Un aspecto fundamental al analizar los resultados de los cambios en
las polticas de evaluacin y el proceso de acompaamiento a los funcionarios
responsables de los programas, es recordar tres temas primordiales. En
primer lugar, la frase atribuida a Einstein en la que se seala que no todo lo
contado cuenta y no todo lo que cuenta es contado, con lo cual resaltamos
la imposibilidad de realizar evaluaciones que incluyan u observen todos los

factores que inluiran en la toma de decisiones por parte de los responsables
del programa y que por lo tanto diicultaran el proceso de apropiacin de
las evaluaciones.
En un segundo aspecto, es necesario recordar que el diseo de
las evaluaciones debe observar un proceso de ajustes de manera que no
solamente facilite la entrega de recomendaciones sustentadas en evidencia
coniable (asumiendo que todas las evaluaciones cumplen con los criterios
de rigurosidad metodolgica), sino que rompa cajas negras y facilite una
apropiacin adecuada para su pronta utilizacin en la toma de decisiones.
Si bien este punto puede discutirse, es necesario que el ejercicio de relexin
que se pide comiencen escuelas, instructores y funcionarios pblicos sea
tambin realizado por los que buscan contribuir desde el mbito acadmico
para proveer informacin que resulte en una mayor eicacia del sistema
educativo.
Finalmente, recordar que las evaluaciones no deben ser una
simple aplicacin lineal de mtodos y procedimientos que sustituya
otras discusiones relevantes en el proceso de diseo e implementacin
de polticas. Lo anterior signiica que si bien nuestra novel cultura de
evaluacin en el sistema educativo tiene procedimientos marcados y un
sustento normativo, es importante adems recordar el objetivo de dichos
estudios y evitar lo que en otros contextos ha sucedido, en donde la
evaluacin se convierte en un in propio, dando vida al fenmeno relatado
por Harris en el que con el uso inapropiado de las evaluaciones es la cola
la que mueve al perro.16 Por lo anterior, debemos asumir en todo momento
que el cumplimiento a la normatividad no concluye en la presentacin de
resultados de evaluacin y su aparente apropiacin, sino que obliga adems
a crear las condiciones para que los funcionarios tengan los incentivos y las
capacidades para aprovecharlos, con el in de lograr una distribucin ms
equitativa de oportunidades educacionales.
B
Angrist, J., Dynarski, S., Kane, T., Pathak, P, y Walters, C., Who Beneits
from KIPP, Documento de Trabajo NBER-15740, National Bureau of
Economic Research, 2010.
Bellei, C., Does lengthening the school day increase students academic
achievement? Results from a natural experiment in Chile, Economics of
Education Review, Vol. 22, Nm. 5, 2009, pp. 629-640.
16 N. Harris, Value-Added Measures in Education: What Every Educator Needs to Know, Cambridge,
Harvard Education Press, 2011.

Bolaos, R., Desarrollo Histrico de la Educacin en Mxico en Solana,
F., Cardiel, R. y Bolaos, R., Historia de la Educacin Pblica en Mxico,
Mxico, Fondo de Cultura Econmica, 2001.
Crdenas, S., La rendicin de cuentas en el Sistema Educativo Mexicano.

Serie calidad de gobierno y rendicin de cuentas en las entidades
federativas, Documento de Trabajo No. 5. CIDE-PNUD, 2010.
----------------- Administracin centrada en la escuela: experiencias para su

implementacin. Documento de Trabajo No. 252, Divisin de Administracin
Pblica, CIDE, 2011.
Dobbie, W. y Fryer, R., Getting Beneath the Veil of Efective Schools:

Evidence from New York City, Documento de Trabajo NBER-17362, National
Bureau of Economic Research, 2011.
Harris, N., Value-Added Measures in Education: What Every Educator Needs to

Know, Cambridge, Harvard Education Press, 2011.
INEA, Reglas de Operacin del Reglas de Operacin de los programas

Atencin a la Demanda de Educacin para Adultos (INEA) y Modelo de
Educacin para la Vida y el Trabajo (INEA) 2011.
Mexicanos Primero, La creacin del Instituto Nacional de Evaluacin

Educativa de Mxico. Un modelo de institucionalidad mixta, como
experiencia de gobernabilidad en los sistemas educativos, 2007. Obtenido
de http://www.globalpartnership.org/epdf/uploads/121, enero del 2012.
SEP-IIPE Estudio de caracterizacin de las Escuelas de Tiempo Completo

(ETC) en Mxico. Encuesta a Directores y Equipos Estatales. Informe del
estudio,2010. Obtenido en http://basica.sep.gob.mx/tiempocompleto/
pdf/Info_Encuesta_Estatales.pdf, diciembre del 2011.
UNESCO-ILL, Global Report on Adult Learning and Education, Institute

for Lifelong Learning, 2009.
SEP, Reglas de Operacin del Programa Escuelas de Calidad, 2011.

SEP, Reglas de Operacin del Programa Nacional Escuelas de Tiempo
Completo, 2011.
Weiss, C., Excerpts from Evaluation Research: Methods of Assessing

Program Efectiveness, American Journal of Evaluation 1996; 17; 173.
Wiliam, D., What is assessment for Learning, Studies in Educational

Evaluation, Vol. 37, Nm. 1, Marzo del 2011, pp. 314, Elsevier.
Zorrilla, M., Informe Final de la Evaluacin del Diseo del Programa

Nacional de Horario Extendido en Primaria, Programa Nacional Escuelas
de Tiempo Completo, Universidad Autnoma de Aguascalientes, 2008.

Mejorando la expedicin de pasaportes
y los servicios consulares
Ignacio Lozano
El Servicio Consular y los mexicanos en el exterior

Con el programa Expedicin de pasaportes y servicios consulares, la
Secretara de Relaciones Exteriores (SRE) particip en el Premio 2011,
detrs del cual se descubre un notable esfuerzo institucional por agilizar
los servicios consulares de Mxico en el extranjero. De hecho, el programa
forma parte de un esfuerzo ms amplio de perfeccionamiento del Sistema
Integral de Administracin Consular (SIAC), mediante el cual la SRE facilita,
con mecanismos ms seguros, la emisin de documentos, la consulta de
documentos en lnea, validaciones centralizadas, consulta directa de
impedimentos y arraigos para expedicin de pasaportes, y reportes en lnea.
Durante dcadas, ha habido un lujo migratorio de mexicanos al
exterior, principalmente, como sabemos, a los Estados Unidos. Hoy, 63%
de los ms de 50 millones de latinos que viven en ese pas son de origen
mexicano: prcticamente, 31.8 millones1, de los cuales 36% (alrededor
de 11.4 millones) nacieron en Mxico2. Con salvedades temporales, en el
1 La Oicina de Censos de los Estados Unidos (U.S. Census Bureau) deine a alguien de Origen hispano
o latino, como una persona de cultura u origen cubano, mexicano, puertorriqueo, sudamericano o
centroamericano, u otra cultura u origen espaol, independientemente de la raza. (Hispanic or Latino
refers to a person of Cuban, Mexican, Puerto Rican, South or Central American, or other Spanish culture or
origin regardless of race. U.S. Census Bureau, he Hispanic Population: 2010, 2010 Census Briefs, Mayo
2011.p.2. (http://www.census.gov/prod/cen2010/briefs/c2010br-04.pdf)
2 Ver,
por ejemplo, Daniel Dockterman, Statistical Proile. Hispanics of Mexican Origin in the United States,
2009, Pew Research Center- Pew Hispanic Center, 2011. (http://www.pewhispanic.org/2011/05/26/
hispanics-of-mexican-origin-in-the-united-states-2009/); Mauro Lazcano y Jorge Navarro Lucio, 29
Millones mexicanos viven en Estados Unidos, Macroeconoma, 1 abril 2010, (http://macroeconomia.com.
mx/2010/04/29-millones-de-mexicanos-viven-en-estados-unidos-casi-otro-pais/).

pasado, las limitaciones a la entrada documentada e indocumentada
eran menores. En la actualidad, sin embargo, las condiciones internacionales
han llevado al gobierno estadounidense a imponer restricciones ms severas
y duraderas para el ingreso legal y, sobre todo, para el de indocumentados.
Tal y como se ha descrito, la realidad de los migrantes mexicanos
se ha ido gestando desde aos atrs, hasta alcanzar cifras que invocaban
una respuesta del gobierno mexicano acorde con ella. En 1980, con la
creacin de la Direccin General de Proteccin, dedicada a seguir, atender
y dar solucin a los problemas de los mexicanos en el exterior, la SRE
tambin instituy una categora de cancilleres especializados que, adscritos
a los consulados en los Estados Unidos, se dedicaran exclusivamente a la
proteccin de los connacionales que radican en los Estados Unidos. Hacia
1983, cada consulado en aquel pas contaba con, por lo menos, uno de esos
cancilleres, llamados, precisamente, de proteccin.3
Para 1985, las direcciones generales de Servicios Consulares y la
recientemente creada de Proteccin se fundieron en la nueva Direccin
General de Proteccin y Servicios Consulares, que, al paso del tiempo y
despus de cambios de denominacin,4 inalmente quedaron separadas
dentro de la Subsecretara para Amrica del Norte, en sendas unidades
para la mejor atencin de los asuntos concernientes a cada una: por un
lado, la Direccin General de Servicios Consulares (DGSC) y, por el otro, la
Direccin General de Proteccin a Mexicanos en el Exterior.5
En efecto, hay diferencias conceptuales y prcticas entre proteccin
y asistencia consular. Las acciones de proteccin consular se implementan
cuando los connacionales en el extranjero se hallan en circunstancias de
precariedad o de indefensin. A menudo, la proteccin consular se ejerce
ante autoridades diversas como consecuencia de irregularidades, faltas o
violaciones en la aplicacin de normas internas. Y los buenos oicios del
cnsul muchas veces bastan para resolver los casos que se le presentan,
sin necesidad de hacer reclamaciones por escrito. En cambio, la asistencia
consular, sustentada en la obligacin del Estado de proteger a sus nacionales
aun en el extranjero y en el reconocimiento del Estado receptor del derecho
3 Portalde la Secretara de Relaciones Exteriores. La Direccin General de Proteccin a Mexicanos en el

Exterior, Quines somos?, http://www.sre.gob.mx/index.php/component/content/article/318
4 Ibdem.
5Ver: Secretara de Relaciones Exteriores, Estructura orgnica bsica (vigencia a partir de: 1 de enero de
2011), http://www.sre.gob.mx/index.php/cancilleria/organigrama

que asiste al funcionario consular de asistir a sus compatriotas, se deine
como el conjunto de acciones que el cnsul realiza a favor de los mexicanos
sin que ello implique intervenir ante autoridades del otro pas.6
La DGSC encabeza el Programa de Expedicin de Pasaportes
y Servicios Consulares. Entre sus encomiendas principales estn la
de coordinar y normar las labores de los consulados mexicanos en
materia de prestacin de servicios consulares, y participar en el diseo e
instrumentacin de la poltica migratoria de Mxico, en coordinacin con
las instancias competentes de la SRE y otras dependencias federales.7
Adems, la DGSC debe coordinar y normar la expedicin, en las
oicinas diplomticas y consulares de Mxico en el exterior, de visas,
certiicados de matrcula consular, legalizacin de documentos pblicos,
certiicacin de documentos, actos del registro civil, actos notariales, cartillas
del Servicio Militar Nacional, declaratorias de nacionalidad mexicana y
dems actos jurdicos competencia de las oicinas consulares; coordinar,
con la Direccin General de Tecnologas de Informacin e Innovacin, la
correcta administracin de los sistemas de cmputo desarrollados para los
servicios consulares; y, coordinar con la Direccin General de Tecnologas
de Informacin e Innovacin, la correcta administracin de los sistemas de
cmputo, a in de facilitar la generacin de informacin y estadsticas en la
materia.8
De ah que, en virtud del tamao de la migracin mexicana hacia
Estados Unidos, la puesta al da de los servicios consulares, en ese pas,
revista la mayor importancia para la DGSC, como lo relejan los datos que
proporcion para merecer el Premio 2011. Pero hacer ms eicientes los
servicios consulares no es una tarea aislada. Por el contrario, se apoya en toda
una estrategia de mejora que tiene al SIAC como uno de sus principales ejes.
Se trata de una base informtica diseada para la expedicin de los distintos
documentos consulares y migratorios, a cargo de las representaciones de
Mxico en el extranjero.9
Cuentan por miles los servicios ofrecidos cada ao en materia de
proteccin y asistencia consular, de expedicin de certiicados de Matrcula
Consular de Alta Seguridad, de atencin a mujeres y menores de edad
6 Secretara de Relaciones Exteriores, Alcance e intercambio de mejores prcticas consulares,

Presentacin del Ministro Daniel Hernndez Joseph, Director General de Proteccin a Mexicanos en el
Exterior de la Secretara de Relaciones Exteriores de Mxico, en el marco del Seminario sobre proteccin
consular: Alcance e intercambio de mejores prcticas, Washington, D.C., 10 de marzo de 2009. http://scm.oas.
org/pdfs/2009/CP21820T.ppt
7 Reglamento Interior de la Secretara de Relaciones Exteriores, Art. 23, publicado en el Diario Oicial de
la Federacin el 8 de enero de 2009.
8 Ibdem.
9 Presidenciade la Repblica, Primer Informe de Ejecucin del Plan Nacional de Desarrollo 2007-2012, 2007.
http://pnd.calderon.presidencia.gob.mx/pdf/PrimerInformeEjecucion/5_9.pdf

vctimas de violencia domstica, de asistencia jurdica a casos de pena
capital, de asesoras legales externas, y de emisin de pasaportes. Este
captulo documenta el esfuerzo institucional por mejorar esos servicios
y acercarlos a los mexicanos de una manera eiciente, si bien en virtud
de restricciones asociadas, sobre todo, a la disponibilidad de recursos
humanos y inancieros suicientes; los resultados se muestran, en lo
fundamental, en la expedicin y actualizacin de pasaportes, la atencin
telefnica, la difusin de los servicios consulares, el fortalecimiento de la
estructura organizacional de la DGSC, el desarrollo de plantillas modelo
de infraestructura, la distribucin de espacios y equipo para las reas
de documentacin de las representaciones de Mxico en el exterior, la
eliminacin de ciertos trmites, y la creacin de una red de informticos
consulares.
Propuesta de la Direccin General de Servicios Consulares

En febrero del 2011, la SRE, a travs de la Direccin General de Programacin,
Organizacin y Presupuesto (DGPOP), solicit a la Secretara de la Funcin
Pblica (SFP) la inscripcin de los programas de Proteccin y asistencia
consular y de Expedicin de pasaportes y servicios consulares al Premio
2011. Por razones diversas, la SRE decidi continuar posteriormente slo
con el segundo de los programas mencionados, el cual, de hecho, tena
avances importantes, como lo muestra la evaluacin que se le hizo en 2010.
A consecuencia de esa evaluacin, la SRE se comprometi a llevar a cabo 17
acciones destinadas a mejorar el programa. Con distintos grados de avance
en agosto del 2011, las acciones comprometidas (ver tabla 1) se caracterizan
por los efectos esperados a mediano plazo para elevar, sustancialmente,
la calidad de los servicios consulares que ofrecen las representaciones
mexicanas en el exterior.
La idea se centra en simpliicar o reducir la normatividad y en
poner en marcha nuevas herramientas de tecnologa de la informacin. El
programa habr de ofrecer a los mexicanos y extranjeros servicios expeditos
y seguros para la documentacin consular que ellos requieran. El objetivo
no poda ser ms pertinente, tomando en cuenta, sobre todo, los retos
de seguridad trasnacional que condicionan, hoy por hoy, las relaciones
internacionales. Lo anterior considerando, desde luego, no slo los lujos
humanos transfronterizos, sino el considerable nmero de mexicanos que
viven particularmente en los Estados Unidos.
Como se puede observar en la tabla 1, nueve, de las 17 acciones
de mejora, alcanzaron su conclusin para agosto del 2011. Algunas de
ellas tienen un talante enunciativo, propio del inters por mantener la
orientacin estratgica del programa. Otras, en contraste, van a la mdula
de la asistencia consular in situ, desde la notiicacin al titular de un
pasaporte para que lo renueve antes de su vencimiento, hasta la creacin de

un red de informticos consulares y la difusin de los servicios consulares.
La demostracin sirvi para poner sobre la mesa el compromiso de la DGSC
y las otras unidades administrativas de la SRE participantes en el programa
con las mejoras de tipo organizacional que demandaba el programa.
A pesar de su aspecto ambicioso, que coloc su plan de trabajo por
encima del resto de los participantes en el Premio 2011, los integrantes
del equipo de la SRE, a juicio del comit evaluador, identiicaron, en un
esfuerzo de auto-diagnstico, los hallazgos ms relevantes y establecieron
una lgica causal entre acciones y recomendaciones. El programa pas a la
siguiente fase del Premio 2011 con una caliicacin promedio alta (91.7).
A pesar de ello, el comit evaluador, en la presentacin del programa,
consider insuicientes las evidencias sobre los avances, basadas --en lo
fundamental-- en informes.
Tabla 1: Acciones
de mejora comprometidos para el
programa Expedicin de pasaportes y servicios consulares
(Porcentaje de avances a agosto del 2011)
No Accin de mejora Avance
1 Llevar a cabo un proceso de planeacin 100%

estratgica que genere la misin, visin, objetivos
generales y especicos, y estos conceptos se
relejen en la matriz de marco lgico.
2 Establecer estndares uniformes para 70%
los procesos de atencin a usuarios,
produccin y entrega de documentos.
3 Ampliar el mecanismo de citas a todos los 30%
servicios y a todas las representaciones.
4 Estudiar la viabilidad de centralizar toda la atencin 100%
telefnica, de todos los servicios, a nivel global, en
uno o ms centros de contacto especializados.
5 Estudiar la viabilidad de extender la produccin de 80%
pasaportes tipo G a todas las representaciones o
crear centros regionales de produccin de pasaportes.
6 Vincular al SIAC con la base de datos de la 70%
Direccin General de Delegaciones.
7 Llevar a cabo el proceso de digitalizacin de 12%
expedientes en centros regionales especializados
o en oicinas consulares con gran demanda.
8 Desarrollar sistemas integrales para los servicios 50%
de Registro Civil, Actos Notariales y Fe Pblica,
en armona con los desarrollados en el pas por las
autoridades registrales como RENAPO-SEGOB.
9 Crear un sistema nico, global de registro 30%
consular va Internet ligado al SIAC.

No Accin de mejora Avance
10 Incorporar dentro del SIAC el envo de una notiicacin 100%

electrnica al titular del pasaporte o matrcula cuando
est por vencerse el documento invitndolo a renovar.
11 Emitir reglas claras sobre cmo 100%
contabilizar las compulsas.
12 Evaluar la eliminacin o modiicacin de los 100%
requisitos de irma del titular para ciertos trmites.
13 Crear una red de informticos consulares. 100%
14 Fortalecer la estructura organizacional de la DGSC. 100%
15 Fortalecer los programas de capacitacin para el 80%
personal y en particular para el personal local.
16 Llevar a cabo un programa de difusin de los 100%
servicios consulares menos conocidos.
17 Desarrollar plantillas modelo de 100%
infraestructura, distribucin de espacios y
equipo para las reas de documentacin de las
representaciones de Mxico en el exterior.
Fuente: Elaboracin propia con datos de SRE.
Como parte de sus recomendaciones, el comit sugiri a la SRE

que, en vez de limitarse a ofrecer informes de avances, se incorporaran
indicadores con datos duros como, por ejemplo, el nmero de oicinas
consulares que, efectivamente, hubieran estandarizado el servicio en
un periodo determinado. Tambin sugiri como indicador el nmero
de documentos oiciales expedidos bajo el nuevo sistema, as como los
porcentajes en que aument el personal y el personal capacitado. Ms
importante an, y tomando en cuenta tanto el horizonte de un ao para
llevar a cabo las acciones, como el hecho de que algunas de ellas van ms
all de la responsabilidad de la DGSC, el comit sugiri a los miembros
del programa repensar la viabilidad de realizar las 17 acciones, para
concentrarse en aquellas que estimaran ms importantes.
Una organizacin pblica de las dimensiones de la SRE se enfrenta,
con frecuencia, al desafo de mantener su funcionamiento a la altura
de las exigencias que la realidad le impone, slo para comprobar que,
una vez metida en la empresa, la implementacin acarrea sus propios
apremios. Entre ellos, el imperativo de ajustar su proceder a una realidad
que no pide permiso ni da concesiones. De ah la importancia de prever,
siempre, los alcances y las consecuencias del accionar organizacional. El
comit evaluador, por eso, invit a la SRE a relexionar sobre las siguientes
cuestiones:

a) Qu instrumentos se utilizarn para medir la evidencia? En
particular, cmo se evaluar la informacin en las pginas de
Internet? Se har un corte en el tiempo?
b) Es posible darle seguimiento a todas las acciones en el lapso de
un ao, o es posible posponer la implementacin de algunas?
c) Dado que algunas acciones implican la participacin de
otras unidades de la SRE, cules son los alcances del campo
organizacional implcito en las mismas que signiican
responsabilidades que no competen a la DGSC o que conllevan
un alto grado de diicultad tcnica?
d) Qu tipo de capacitacin se ofrecer a los funcionarios
consulares para reforzar la cultura de servicio al pblico?
e) Cmo se valorarn los avances y la calidad y pertinencia de la
red de informticos consulares? Por el nmero de funcionarios
que acceden regularmente a ella, o por el nmero de proyectos
incorporados a la plataforma?
Conviene dejar claro que el objetivo del Premio 2011 de ah el

nimo de las observaciones del comit evaluador era, con el seguimiento
a las acciones de mejora, abrir a los programas concursantes un espacio de
relexin en aras de ainar las estrategias de implementacin de las mismas
acciones de mejora. Esto explicado a los representantes del programa
de Expedicin de pasaportes y servicios consulares en una reunin
con el comit evaluador permitira comprender, de mejor manera, la
lgica de las decisiones de quienes implementan el programa y, sin duda,
una evaluacin ms objetiva. Pero, al mismo tiempo, servira de apoyo y
acompaamiento para que los mismos responsables de la SRE orientaran el
proceso de implementacin de las acciones de mejora.
El programa, como lo airmaron sus operadores, contaba con el
apoyo de la Oiciala Mayor de la SRE, de modo que las acciones de mejora,
como parte del compromiso institucional de la Secretara, se llevaran a
cabo bajo esas condiciones, adems de que algunas de ellas, como el ejercicio
de planeacin estratgica y la elaboracin de la matriz de marco lgico, se
encontraban muy adelantados (ver tabla 1). En ese sentido, el riesgo quiz
ms frecuente que identiicaban los operadores del programa para realizar
las acciones era, como se podr apreciar ms adelante, el de la insuiciencia
de personal, y no la falta de apoyos intrainstitucionales. A sabiendas de que
no todas ellas se concluiran en agosto, y concibiendo el esfuerzo de mejora
como un proceso integral en el que todas las actividades se complementan,
era preferible asumirlas todas sin dejar ninguna fuera del concurso.

De modo que para la segunda fase del concurso, la SRE prepar un
documento en el que incorpor un resumen que inclua la narracin de las
acciones y la estrategia de implementacin, los actores responsables, los
resultados alcanzados a agosto del 2011, los resultados a mediano plazo, y
las lecciones aprendidas. Adems, entreg una descripcin de las evidencias
ms tangibles para cada accin de mejora en curso; mapas de riesgos de las
actividades que permitieran al jurado del Premio 2011 calibrar el logro de los
resultados obtenidos y el tamao del esfuerzo desplegado institucionalmente;
una resea de las actividades incluidas en aqullas; y, los responsables para cada
actividad. El siguiente apartado aborda los contenidos de esas dos entregas.
Acciones de mejora
En las 17 acciones de mejora, los operadores identiicaron las actividades
que, llevadas a efecto, daran cuenta de cada una de aqullas. El ejercicio
sirvi para identiicar los riesgos que enfrentaran las acciones, as como
las implicaciones de la colaboracin de distintas instancias al interior de
la SRE. El anlisis que sigue slo considera las nueve acciones que, en
agosto del 2011, se reportan como terminadas al 100% (ver tabla 2). Para
una aproximacin ordenada, se han identiicado cinco temas en los cuales
inscribirlas que se incluyen en la tabla 2.
Tabla 2: Temas y acciones de mejora
Tema Acciones
a) Planeacin Llevar a cabo un proceso de planeacin estratgica que

genere la misin, visin, objetivos generales y especicos,
y estos conceptos se relejen en la matriz de marco lgico
b) Organizacin Fortalecer la estructura organizacional de la DGSC
Desarrollar plantillas modelo de infraestructura, distribucin
de espacios y equipo para las reas de documentacin
de las representaciones de Mxico en el exterior
c) Procedimientos Emitir reglas claras sobre cmo contabilizar las compulsas
Evaluar la eliminacin o modiicacin de los requisitos
de irma del titular para ciertos trmites
d) Tecnologas Estudiar la viabilidad de centralizar toda la atencin
de Informacin telefnica, de todos los servicios, a nivel global, en
y Comunicacin uno o ms centros de contacto especializados
Incorporar dentro del SIAC el envo de una notiicacin
est por vencerse el documento invitndolo a renovar
Crear una red de informticos consulares
e) Difusin Llevar a cabo un programa de difusin de los
servicios consulares menos conocidos

a) Planeacin
En el tema de planeacin slo hay una accin de mejora: Llevar a cabo un
proceso de planeacin estratgica que genere la misin, visin, objetivos generales
y especicos, y estos conceptos se relejen en la matriz de marco lgico, de cuya
ejecucin se espera Contar con una matriz de marco lgico ms completa,
alineada con las prioridades de poltica exterior y que contribuya a medir el
desempeo del programa. No hay mejor manera de precisar la posicin de un
proyecto al interior de una organizacin que a travs de la revisin o de la
realizacin de un ejercicio de planeacin estratgica. Como todo en la vida
de una organizacin, un plan puede volverse letra muerta. Sin embargo,
la virtud del plan estratgico y, en este caso, con su concomitante matriz
de marco lgico actualizada, descansa en la indispensable participacin
de quienes, al inal del da, tendrn que implementarlo. As se conjura el
riesgo de su inaplicacin en la realidad. Pero ms importante, permite
situar al programa de Expedicin de pasaportes y servicios consulares
en el lugar correcto, dentro del contexto organizacional, y determinar las
responsabilidades de los actores y sus alcances.
Los actores responsables de la planeacin estratgica son la DGSC
y la DGPOP (ver tabla 3). La primera es, de hecho, la unidad que conduce
el programa, razn por la cual, desde luego, participa en el taller, y que
explica por qu le corresponde revisar y validar la nueva matriz de marco
lgico, actividad clave de la accin de mejora. Por su parte, la DGPOP no
slo interviene como el rea insustituible de gestin de recursos, sino,
por su perspectiva y su conocimiento de los meandros organizacionales,
como participante en el taller de planeacin estratgica, como gestor para
contratar al consultor que impartira el taller y, junto con la DGSC, como
encargado de registrar la nueva matriz ante la Secretara de Hacienda y
Crdito Pblico (SHCP).
Tabla 3: Actividades de la accin de mejora Llevar a cabo

un proceso de planeacin estratgica que genere la
misin, visin, objetivos generales y especicos, y estos
conceptos se relejen en la matriz de marco lgico
No Actividad Responsables
1 Realizar las gestiones para contratar a un DGPOP

consultor externo que imparta un taller
de revisin de la matriz del marco lgico.
2 Llevar a cabo el taller. DGPOP/DGSC
3 Revisar y validar la nueva matriz. DGSC
4 Registrar la nueva matriz ante la SHCP. DGSC/DGPOP

Las organizaciones complejas es el caso de la SRE se componen
de un entramado, igualmente complejo, de actos simples llevados a cabo
por un nmero considerable de actores en todos los niveles. El Premio
2011 ha servido para que los participantes desgranaran sus programas
en acciones de mejora, y stas, en actividades cuya simpleza slo atestigua
la complejidad organizacional en la que se insertan. As de simples son
los riesgos previstos para cada accin que, a un tiempo, descubren las
diicultades que, con cada nuevo trance, debe enfrentar la organizacin.
El primer riesgo, si bien de baja probabilidad, revela la permanente
preocupacin por hacer que una tarea, sin importar cun sencilla, quede
sin ejecutar por no cumplir con los tiempos y los requisitos administrativos
previos exigidos para efectuarla (ver tabla 4).
Tabla 4: Riesgos previstos para la accin de mejora Llevar

a cabo un proceso de planeacin estratgica que genere la
misin, visin, objetivos generales y especicos, y estos
conceptos se relejen en la matriz de marco lgico
No Riesgo Probabilidad Impacto
1 No concluir oportunamente con Baja Alto

las gestiones administrativas
para contratar los talleres.
2 Las cargas de trabajo del rea Media Alto
sustantiva no permitan destinar
tiempo suiciente para el rediseo
de la matriz del marco lgico.
Por su parte, el riesgo 2 ilustra esa perenne lucha contra los recursos
escasos y, de modo primordial, contra el tiempo. Porque justamente de
eso se trata aqu: las cargas de trabajo reciben el peso de la culpa, aunque,
en realidad, el problema reside en la planeacin del tiempo. Aun cuando
el programa en su conjunto forma parte de las prioridades de la DGSC
(precisamente, el rea sustantiva) y que su inters no debera descarrilarse
por la insuiciencia de recursos, el riesgo de probabilidad media de
que las cargas de trabajo impidieran realizar la actividad tendran, como se
puede apreciar en la tabla 4, un impacto alto en la concrecin de la accin y,
al inal, del programa mismo. En efecto, el taller de planeacin estratgica
se coloc en el primer lugar de la lista de tareas, porque haba que encuadrar
todo el esfuerzo institucional en una matriz actualizada de marco lgico.
De otro modo, estratgicamente hablando, se corra el riesgo de que las
distintas reas participantes desalinearan su proceder respecto del objetivo
comn. Y, quiz ms importante, quedaran fuera del itinerario institucional
de la SRE en su conjunto.

O
De la planeacin estratgica a la adecuacin de la estructura apenas hay
un paso lgico. No siempre, por supuesto, una organizacin necesita ese
alineamiento. A veces, a la estructura se le someti primero a un cierto
reacomodo, slo para que los tomadores de decisin se dieran cuenta que,
ahora, hace falta una justiicacin de mayor perspectiva a nivel de plan
estratgico. Pero en otras ocasiones sucede al revs: a la actualizacin del
plan le sigue la consecuente modiicacin de estructuras o, como la DGSC
lo ha concebido, el fortalecimiento de su propia estructura. Esta accin de
mejora, por s misma, invita a pensar en una labor organizacional de cierta
envergadura, indispensable, es cierto, para dar acomodo a las obligaciones
que emanan del programa de Expedicin de pasaportes y servicios
consulares.
Pero veamos. Las actividades de la accin de mejora Fortalecer la
estructura organizacional de la DGSC giran en torno a esa otra expresin
de la escasez de recursos que se compendia en la insuiciencia de personal.
La DGSC, como cabeza del programa, entiende que con recursos humanos
adicionales podr enfrentar las exigencias de aqul. No se trata, al parecer,
de contrataciones deinitivas. Las actividades 2 (Solicitar a DGSERH el
costeo de plazas por honorarios) y 3 (Solicitar autorizacin a la SHCP para
transferir recursos provenientes de ingresos consulares a la partida de
honorarios), a cargo de la DGPOP, indican que se echar mano de personal
por honorarios. Las nuevas contrataciones se destinarn a robustecer las
funciones de los consulados mexicanos.
Tabla 5: Actividades de la accin de mejora Fortalecer

la estructura organizacional de la DGSC
No Actividad Responsables
1 Identiicar requerimientos DGSC

de personal.
2 Solicitar a DGSERH el costeo DGPOP
de plazas por honorarios.
3 Solicitar autorizacin a la DGPOP
SHCP para transferir recursos
provenientes de ingresos consulares
a la partida de honorarios.
4 Gestionar la adecuacin DGPOP
presupuestaria ante la
SHCP. DGPOP.
5 Gestionar la contratacin de DGSC
personal ante DGSERH.

Llama la atencin que el presupuesto para cubrir el monto de los
honorarios se obtendr de los ingresos consulares, de modo que el incremento
de plazas depender de la propia eiciencia en las oicinas consulares. De
cualquier modo, tratndose de ingresos pblicos por concepto de derechos,
el uso distinto al previsto en el presupuesto de egresos de la federacin
requiere del respectivo consentimiento hacendario. De ah que el nico
riesgo visualizado por los responsables del programa fuera, precisamente,
que la SHCP no autorizara la transferencia de ingresos consulares para esos
efectos (ver tabla 6).
Tabla 6: Riesgos previstos para la accin de mejora

Fortalecer la estructura organizacional de la DGSC
1 La SHCP no autorice Media Alto

la transferencia de
recursos de ingresos
consulares a la partida
de honorarios.
Que la probabilidad del riesgo sea media indica que la ocurrencia

de la cristalizacin de la accin de mejora, en este caso, dependa de
un actor externo que no se encontraba sometido a las exigencias en el
cumplimiento del programa. Y s, en efecto, su impacto poda ser alto,
impidiendo que la actividad llegara a sus ltimas consecuencias. En ese
caso, la SRE debera haber provisto lo necesario para suplir la actividad
con medios a su alcance.
Por otra parte, la accin de mejora Desarrollar plantillas modelo
de infraestructura, distribucin de espacios y equipo para las reas de
documentacin de las representaciones de Mxico en el exterior representa
el complemento lgico del aumento en personal. Los consulados requieren
de la adecuacin fsica y de la previsin de equipo, en armona con los
cambios que entraa el crecimiento en el volumen de operaciones a realizar
y en los documentos a procesar para ir al paso de la demanda de servicios
consulares. Se trata de crear entornos fsicos y equipamiento estandarizados
en las reas de documentacin de las representaciones en el exterior. Y para
ello, de manera inteligente, se propuso primero trabajar con plantillas en
tres representaciones consulares (ver tabla 7).

de la accin de mejora Desarrollar
Tabla 7: Actividades
plantillas modelo de infraestructura, distribucin de
espacios y equipo para las reas de documentacin de
las representaciones de Mxico en el exterior
No Actividad Responsable
1 Analizar y clasiicar la informacin sobre DGBIRMA/DGTII

infraestructura, espacios y equipo de
las representaciones consulares.
2 Elaborar las plantillas modelo por DGBIRMA/DGTII
tamao de representacin.
3 Identiicar las necesidades de adecuacin y DGBIRMA/DGTII
equipamiento de 3 representaciones consulares.
4 Iniciar las gestiones para cubrir las DGBIRMA/DGTII
necesidades identiicadas.
Con facilidad se pierde de vista la importancia de los espacios fsicos

en los que el personal labora da a da. Con frecuencia, las organizaciones,
acometidas por las urgencias, van dejando en ltimo lugar la atencin a
infraestructura y equipamiento, sobre todo, en lo que concierne a tareas de
documentacin y archivo. Resulta plausible, por lo tanto, que la SRE haya
puesto nfasis en armonizar estos factores entre s y respecto del crecimiento
del personal en las representaciones mexicanas en el exterior, involucrando
en el diseo de las plantillas a las direcciones generales de Bienes Inmuebles y
Recursos Materiales, y de Tecnologas de la Informacin e Innovacin.
Con el fortalecimiento de la estructura de la DGSC y el diseo de
plantillas modelo de infraestructura, distribucin de espacios y equipo
se aborda, de manera complementaria, aspectos organizacionales que
suelen atenderse asincrnicamente. Adems, la insuiciencia de fondos se
presenta como un argumento que, habitualmente, opera en desmedro de
las mejores intenciones, lo mismo que el tiempo y los recursos humanos
disponibles. De ah que, tantas veces en la vida de una organizacin, los
buenos propsitos queden reducidos a acciones aisladas que no resuelven
la problemtica que, originalmente, se pretenda resolver. Las acciones del
programa de Expedicin de pasaportes y servicios consulares en el tema
de organizacin afrontan correctamente la situacin. No parece casual que
ambas, en efecto, se hayan cumplido en su totalidad en agosto del 2011.
Con todo, los responsables del programa anticiparon tres riesgos
que podran haber afectado el desarrollo de la accin de mejora (tabla 8). Las
cargas de trabajo como impedimento para concluir las plantillas aparecen,
de nuevo, con una probabilidad media y, en caso de materializarse, con un
impacto medio. Este riesgo, de hecho, forma parte del escenario cotidiano de
cualquier oicina ante los desafos del cambio. Las rutinas, que contribuyen

a la eiciencia de los procesos internos, se pueden volver en contra de la
eiciencia misma cuando ya no responden adecuadamente a la realidad para
la cual fueron creadas. Es el caso de los mexicanos que viajan o viven en el
exterior, particularmente, en los Estados Unidos. Su nmero, aunado a las
polticas migratorias ms estrictas del gobierno estadounidense, mostraban
la obsolescencia de ciertas prcticas al interior de la SRE.
previstos para la accin de mejora Desarrollar

Tabla 8: Riesgos
plantillas modelo de infraestructura, distribucin de
espacios y equipo para las reas de documentacin de
las representaciones de Mxico en el exterior
1 No se cuente con recursos inancieros Alta Alto

suicientes para llevar a cabo las
adquisiciones y contrataciones requeridas
para las adecuaciones y el equipamiento
en 3 representaciones consulares.
2 Las fechas de cierre del ejercicio Media Alto
presupuestario no permitan realizar las
adquisiciones y contrataciones requeridas.
3 Las cargas de trabajo de las unidades Media Medio
responsables no permitan concluir
oportunamente con las plantillas modelo.
El acompasamiento de las tareas desplegadas por las distintas

unidades administrativas de la organizacin es, tal vez, la condicin ms
importante y elusiva para el logro de resultados concretos como,
en este caso, las adquisiciones y las contrataciones mencionadas antes.
Precisamente, el riesgo de recursos inancieros insuicientes, como en otras
acciones de mejora, vuelve a hacer acto de presencia (con probabilidad e
impacto altos), y el de fechas de cierre del ejercicio presupuestario (con
probabilidad media e impacto alto), se explican por la persistencia del
asincronismo en tareas concurrentes a cargo de instancias distintas.
Quiz la experiencia llev a los operadores del programa a
incorporar esos riesgos en sus clculos. Cabe hacer, en este respecto, una
puntualizacin. La posible falta de recursos no se refera a la elaboracin
de las plantillas, sino a las adquisiciones y contrataciones que, con las
plantillas en la mano, habra que hacer despus para adecuar y equipar
instalaciones en tres representaciones consulares. La aclaracin es
pertinente, porque revela que los operadores del programa pensaban en la

natural consecuencia del diseo de plantillas, ms all del escritorio. Y para
pasar como dice el adagio de la teora a la prctica, era necesario prever
los posibles obstculos.
c) Procedimientos
Para entender una organizacin, nada ms recomendable que estudiar sus
rutinas, es decir, sus procedimientos. En ellos estn inscritos, como en el
ADN, sus formas y contenidos, sus estilos y decisiones, sus incentivos y
oportunidades, sus actores y reglas implcitas, sus medios y sus ines. No
hace falta, por supuesto, analizar todos los procedimientos de la SRE ni,
siquiera, de la DGSC, para hacerse una idea de la organizacin. A reserva de
un examen detenido, la sola mencin de la necesidad de Emitir reglas claras
sobre cmo contabilizar las compulsas y de Evaluar la eliminacin o modiicacin
de los requisitos de irma del titular para ciertos trmites, ambas acciones de
mejora planteadas en el marco del programa de Expedicin de pasaportes
y servicios consulares, revela dos cosas: por un lado, un desfasamiento
entre las prcticas organizacionales en la trinchera (valga la analoga) y la
realidad que se busca atender con los cambios que implica el programa; por
el otro, la aparente ambigedad de las reglas.
As lo insinan las actividades de las dos acciones de mejora que,
para ines analticos, se han insertado en el tema de procedimientos. Y
se ha hecho as porque un procedimiento constituye un conjunto de reglas
de menor calado, es cierto que norman el comportamiento, casi
ininitesimal, de personas de carne y hueso que todos los das, como es el
caso, se dedican a compulsar documentos. Si a las reglas les falta claridad, las
rutinas se pierden en un nmero de tareas que no aaden valor a la cadena,
producen informacin poco til, y generan costos adicionales. Para decirlo
de manera breve: el resultado es ineiciencia. En ese sentido, la emisin
de reglas claras para contabilizar compulsas y la evaluacin de eliminar o
modiicar el requisito de irma del titular, indican que los operadores del
programa se han dado cuenta de que las rutinas que se aplican en ambos
casos ya no atienden, apropiadamente, las necesidades internas.
Por eso, es sensato el conjunto de actividades que dan cuenta de la
propuesta de mejora sobre la emisin de reglas para contabilizar compulsas,
pues se aprecia una secuencia lgica para su ejecucin: de la revisin y, en
su caso, la actualizacin de esas reglas, hasta la supervisin in situ de su
aplicacin (ver tabla 9). Desde luego, la clave del xito en la consumacin de
las actividades descansa en la primera actividad: revisar la normatividad que
regula las compulsas. No slo se trata de hacer la revisin, sino de hacerla
de modo que, en efecto, los cambios arrojen claridad sobre las reglas. Las
representaciones consulares ganarn en eiciencia.

Tabla 9: Actividades de la accin de mejora Emitir reglas
claras sobre cmo contabilizar las compulsas
1 Revisar la normatividad que DGSC

regula las compulsas.
2 Actualizar la Gua Consular, en su caso. DGSC
3 Emitir circular a las representaciones DGSC
de Mxico en el exterior.
4 Realizar visitas de supervisin a 3 DGSC
representaciones consulares.
Por otra parte, emergieron de nuevo, como invocacin, los mismos

riesgos de cargas de trabajo y de recursos insuicientes que impediran la
emisin de reglas claras sobre la contabilizacin de compulsas (ver tabla
10). Aunque ambos son ponderados con probabilidad e impacto de medio
alcance, la percepcin en los responsables del programa estaba teida por
el mismo temor de fracasar, arrastrados por el peso del da a da. El cambio
en una organizacin, no hay duda, siempre enfrenta resistencias, muchas
de ellas ancladas a la fuerza de las rutinas y los procedimientos, pese a su
evidente anacronismo, y a la amenaza de recursos inancieros exiguos. Pero,
a veces, el nimo de superar las trabas de ocasin es mayor y logra lo que
pareca cuesta arriba. De cualquier manera, la explicitacin de los riesgos se
vuelve tanto una alerta para todas las reas de la SRE involucradas, como
una invitacin a alinear esfuerzos hacia la conclusin de la mejora.
Tabla 10: Riesgos previstos para la accin de mejora Emitir

reglas claras sobre cmo contabilizar las compulsas
1 Las cargas de trabajo Media Medio

no permitan destinar
tiempo suiciente para
llevar a cabo las visitas.
2 No se cuente con recursos Media Medio
inancieros suicientes
para llevar a cabo las
visitas de supervisin.

Detrs de una sola tarea, de un solo requisito o de apenas una
decisin, se oculta, muchas veces, el signiicado entero de un procedimiento
organizacional: el porqu de su eventual ineiciencia o de su plena
operatividad. Como puede ser el caso de una irma. Si, en el pasado, la irma
del titular pareca indispensable en ciertos trmites consulares, hoy, desde
el punto de vista de los operadores del programa Emisin de pasaportes y
servicios consulares, tal vez sera prescindible. El primer paso para ello es
evaluar la eliminacin o modiicacin de los requisitos de irma del titular
para ciertos trmites (los cual no se plantea como actividad dentro de la
accin de mejora, sino que se trata de la accin de mejora misma); el segundo,
si as se concluye de la evaluacin, ser emitir el comunicado correspondiente
a los consulados mexicanos para proceder en consecuencia (ver tabla 11).
de la accin de mejora Evaluar

Tabla 11: Actividades
la eliminacin o modiicacin de los requisitos de
irma del titular para ciertos trmites
1 Emitir circular a las DGSC

representaciones de Mxico
en el exterior, en su caso.
Slo la persistente aprensin de que las cargas de trabajo la falta

de tiempo se erigieran en el principal inconveniente podra haber hecho
que la implementacin de la accin de mejora naufragara. No sucedi as,
desde luego, porque la accin se reporta como realizada en su totalidad para
agosto del 2011. Pero su presencia con probabilidad media e impacto alto
hace imaginar a una DGSC en el lmite de sus capacidades y, no obstante,
obligada a cambios para hacer los trmites ms luidos y eicientes.

Evaluar la eliminacin o modiicacin de los requisitos
de irma del titular para ciertos trmites
1 Las cargas de trabajo Media Alto

no permitan concluir
oportunamente con la
evaluacin y posible
instrumentacin de la
eliminacin de irmas.

d) Tecnologas de Informacin y Comunicacin
Bajo el tema de Tecnologas de Informacin y Comunicacin caben tres
acciones de mejora: Estudiar la viabilidad de centralizar toda la atencin
telefnica, de todos los servicios, a nivel global, en uno o ms centros de contacto
especializados; incorporar dentro del SIAC el envo de una notiicacin electrnica
al titular del pasaporte o matrcula cuando est por vencerse el documento
invitndolo a renovar y; crear una red de informticos consulares. Como en
otros casos, las acciones son fruto, a un tiempo, de la necesidad y la cautela.
El diagnstico peda ajustes para mejorar servicios y aprovechar recursos;
la realidad administrativa sugera prudencia en el alcance de las acciones.
Los efectos de su realizacin, como se puede advertir, contribuirn al mejor
funcionamiento de las representaciones.
No siempre es aconsejable centralizar actividades. La operacin
de las oicinas muchas veces se vuelve ms eiciente en ambientes
descentralizados, con un cierto grado de autonoma de decisin. Pero otras
veces, la centralizacin ofrece ventajas a las organizaciones, sobre todo,
cuando stas brindan servicios estandarizados en mltiples sedes. Es el caso
de la atencin telefnica de los servicios a nivel global y su concentracin en
uno o pocos centros. Hay que precisar, no obstante, que la accin de mejora
se reiere a hacer el estudio correspondiente para determinar la viabilidad
de tal centralizacin, y slo, despus, eventualmente, llevarla a cabo. De
modo que si del estudio se desprende que eso no es viable por razones de
costos, especializacin del personal o cantidad de llamadas, los operadores
del programa debern revisar, en principio, otras posibles soluciones. La
cautela aconseja, pues, ese paso previo.
Tabla 13. Actividades de la accin de mejora Estudiar la viabilidad

de centralizar toda la atencin telefnica, de todos los servicios,
a nivel global, en uno o ms centros de contacto especializados
1 Elaboracin del estudio. DGSC/DGTII

2 Revisin y ajustes requeridos al estudio. DGSC/DGTII
De hecho, as lo consideraron los responsables en el documento

Acciones de mejora y mapas de riesgos: Centralizar la atencin telefnica
requiere necesariamente de un estudio previo que considere los costos de
operacin, los volmenes de llamadas atendidas por regin y el grado de
capacitacin requerido del personal, a in de determinar la viabilidad de
su instrumentacin. Y las actividades previstas para concretar la accin

de mejora trazan la ruta a seguir: elaborar el estudio, revisarlo y ajustarlo
segn se requiera. Las instancias responsables son la DGSC y la Direccin
General de Tecnologas de la Informacin e Innovacin (DGTII), la primera
como encargada del servicio de atencin, y la segunda como responsable de
los aspectos tecnolgicos.
Los riesgos que se pronosticaron para la accin de mejora
planteaban, de un lado, problemas de suiciencia de personal capacitado
para realizar el estudio; del otro, diicultad en el manejo y anlisis de la
informacin debido a la complejidad de la misma (ver tabla 14). En
ambos casos, se trataba de dudas sobre las competencias de los recursos
humanos en dos dimensiones: una, ex ante, propia del estudio a elaborar;
la otra, ex post, referida a la centralizacin del servicio telefnico. Sobre la
primera, llama la atencin que el estudio sera de factura interna y no de
especialistas externos, especialmente, por la obvia envergadura del tema;
y sobre la segunda dimensin, que si bien la accin de mejora tiene que ver
con el estudio de viabilidad y no con la ejecucin que, eventualmente, le
seguira, los responsables del programa juzgaron oportuno advertir sobre
los contratiempos que implicara el manejo de informacin compleja, una
vez centralizada la atencin telefnica. Era, por lo tanto, muy provocativa
la propuesta de hacer el estudio y, luego, quiz, la centralizacin de la
atencin telefnica cuando se estimaban riesgos de alta probabilidad y
alto impacto. Los responsables del programa planearon un lance atrevido
que, a la sazn, result exitoso, por lo menos, en su primer tramo: para
agosto del 2011 se reportaba que se haba realizado el estudio.

Estudiar la viabilidad de centralizar toda la atencin
telefnica, de todos los servicios, a nivel global, en
uno o ms centros de contacto especializados
1 Falta de personal suiciente y Alta Alto

capacitado para realizar el estudio.
2 Diicultad en el manejo y anlisis Alta Alto
de la informacin debido a la
complejidad de la misma.
Con el perfeccionamiento del SIAC, se ha incrementado su

funcionalidad en aras de expedir documentos de forma segura y de reducir
tiempos en la consulta de los mismos, obtener reportes en lnea, y validar
datos y registros de los usuarios. Como el sistema se ha centralizado, se
ha abatido la duplicidad de informacin, ha aumentado su consistencia, se

han simpliicado las labores de proteccin consular y la comprobacin de
autenticidad documental y de registros de personas. De ese modo, el SIAC
proporciona certeza a los mexicanos en los Estados Unidos y apoya la toma
de decisiones de los altos mandos de la SRE.
En ese contexto, no resulta extrao que el Sistema sea objeto de mejoras
constantes como la notiicacin electrnica al titular del pasaporte antes de
su vencimiento. Un cambio en apariencia pequeo, pero que proyecta una
preocupacin por el bienestar del usuario. La accin, a cargo, alternativamente,
de DGTII y DGSC, implic desarrollar la aplicacin para la captura de la cuenta
de correo electrnico del titular del pasaporte; instruir a las representaciones
circulares para que procedieran a la captura del correo electrnico; y, inalmente,
desarrollar el mdulo de notiicacin electrnica en el SIAC (ver tabla 15).
Se trata de una cadena sencilla de actividades que habla, sin duda, de que
repitiendo al ya clsico Schumacherlo pequeo es hermoso: Cuando lo que
se requiere es la accin necesitamos, obviamente, unidades pequeas10 La
serie de tareas menudas en que se puede dividir una actividad mayor, permite
eicientar la cadena y, de todos modos, lograr el cometido. Lo cual, por cierto,
acredita el esfuerzo humano detrs de las modiicaciones al SIAC, a pesar del
riesgo, esta vez catalogado con probabilidad baja, de que las cargas de trabajo
imposibilitaran su realizacin (ver tabla 16).11
Tabla 15: Actividades de la accin de mejora Incorporar

dentro del SIAC el envo de una notiicacin electrnica
al titular del pasaporte o matrcula cuando est por
vencerse el documento invitndolo a renovar
1 Desarrollo de la modiicacin en SIAC para la DGTII

captura de la cuenta de correo electrnico.
2 Envo de comunicacin a las representaciones DGSC
consulares para instruir se inicie con la
captura de la cuentas de correo electrnico.
3 Desarrollo del mdulo de DGTII
notiicacin electrnica.
10 E. F., Schumacher, Lo pequeo es hermoso, Barcelona, Ediciones Orbis, 1973, p. 67.Y esta es la razn que
Schumacher ofrece: porque la accin es un asunto altamente personal y uno no puede contactar ms
que con un nmero limitado de personas al mismo tiempo.
11 Debe hacerse notar, sin embargo, que el riesgo 1 no guarda lgica con la accin, toda vez que se reiere
a las cargas de trabajo para la revisin normativa de las compulsas. stas tienen que ver con el cotejo de
documentos respecto de su original, mientras que la accin de mejora, slo con la notiicacin electrnica
al titular del pasaporte. Aqu se ha asumido que el riesgo se relacionaba con cargas de trabajo para los
efectos de la accin bajo anlisis.

El segundo riesgo (ver tabla 16) responde a un tipo ubicuo asociado
a circunstancias completamente fuera de control de los interesados. Pero al
clasiicarla con probabilidad baja e impacto medio los responsables dejaban
ver cierta conianza de que los usuarios responderan positivamente a
una medida que, a todas luces, les beneicia. En efecto, como los mismos
responsables aseguraron, la modiicacin sera de bajo impacto en el
proceso de captura y el desarrollo se podra realizar en el corto plazo. El
aviso electrnico del prximo vencimiento del pasaporte es, en s mismo,
un incentivo poderoso para proporcionar datos de contacto va Internet.
Y as han respondido, al parecer, los usuarios. Con todo, no queda claro si
la accin de mejora abarca a los titulares de pasaporte que ya cuentan con
l desde hace tiempo. Si no fuera as, entonces queda todava camino por
recorrer.

Incorporar dentro del SIAC el envo de una notiicacin
est por vencerse el documento invitndolo a renovar
1 Las cargas de trabajo de la unidad Baja Alto

responsable no permitan concluir
oportunamente con la revisin
normativa de las compulsas.
2 Los connacionales no dispongan Baja Medio
o no deseen proporcionar su
cuenta de correo electrnico.
Suele olvidarse que la verdadera riqueza de una organizacin

descansa en sus integrantes. De pronto, se descubre que el capital humano
que se ha ido acumulando se encuentra desaprovechado. Existen muchas
reas con personal que todava esperan el momento de aportar ms a los
propsitos institucionales. La experiencia y el conocimiento acopiados
a lo largo de los aos pueden potenciarse en proyectos especicos. Los
operadores del programa Expedicin de pasaportes y servicios consulares
han acertado: constituir, en un grupo integrado gracias a la tecnologa de la
informacin, a los especialistas en informtica de los consulados mexicanos
para la bsqueda de soluciones a problemticas comunes. Los operadores
reconocen que es un desarrollo sencillo que se puede realizar en el
corto plazo Para ello, la DGTII analiz y dise el espacio para la red de
informticos consulares, hizo las pruebas pertinentes y ech a andar la red
(ver tabla 17).

Tabla 17: Actividadesde la accin de mejora Crear
una red de informticos consulares
1 Anlisis y diseo del espacio para la DGTII

red de informticos consulares.
2 Desarrollo, pruebas e implementacin DGTII
del espacio para la red de
informticos consulares.
No obstante el xito en la conformacin de la red, de nuevo aparece,

como sombra obstinada, la posibilidad de que las cargas de trabajo (ver
tabla 18) no permitieran concluir las actividades. En ocasiones, la aversin
al riesgo y un cierto prurito de escritorio empuja a los tomadores de
decisiones a dejar un margen para justiicar el fracaso. Pero en este caso
como en los otros que se han revisado en este captulo no existan
fundamentos para recelar de las capacidades humanas. A pesar de la
probabilidad media de ocurrencia, el riesgo de que, por cargas de trabajo,
no alcanzara el tiempo para realizar las actividades de la accin de mejora
Crear una red de informticos consulares, prob ser infundado.
Tabla 18: Riesgos

previstos para la accin de mejora
Crear una red de informticos consulares
1 Las cargas de trabajo Media Alto

no permitan concluir
oportunamente
con el desarrollo
del espacio para la
red de informticos
consulares.
e) Difusin
Qu explica la presencia perdurable en la sociedad de las
organizaciones, en general, y las pblicas, en particular? Ms all del
mandato constitucional y legal que las crea, hay un sedimento humano que
les da vida, las hace respirar, las obliga a avanzar en pos de los objetivos
para las que fueron creadas. Sin esos objetivos, simplemente perderan
todo sentido de orientacin y, al inal, de importancia. Pues, con qu

incentivos cuenta una organizacin gubernamental para realizar ese
singular superior esfuerzo allende el mero requisito de vivir, provisto que
no tiene que competir, como es el caso en situaciones de mercado? Desde
luego, como la abundancia de ejemplos lo atestigua, una organizacin
pblica puede sobrevivir cumpliendo slo con el minimum minimorum
exigido por el entorno, siempre detrs de las necesidades de los usuarios,
apenas en la proverbial lnea de resistencia. Pero tambin puede continuar
mantenindose a la altura de las demandas sociales, adelantndose a las
necesidades, tal vez compitiendo consigo misma.
Difundir los servicios que presta, signiica un paso hacia delante en
la vida de la organizacin. Podra muy bien quedarse en la autocomplacencia
que produce el cumplimiento de rutinas y los resultados a los que se llegue
de esa manera, pero, en este caso, la SRE se comprometi a Llevar a cabo un
programa de difusin de los servicios consulares menos conocidos. Esta accin
de mejora, adems, destaca porque promueve el uso de los servicios menos
conocidos que brindan los consulados. Y las actividades realizadas son, en
verdad, sencillas (ver tabla 19): desde revisar la informacin actual en los
portales electrnicos, hasta publicar la informacin con las modiicaciones
que se hubiesen establecido al efecto. Aunque, una vez ms, se hizo presente
el riesgo (de sobra conocido) de que las cargas de trabajo frustraran la
realizacin de las actividades, la accin de mejora se llev a cabo en el plazo
previsto.
Tabla 19: Actividades de la accin de mejora Llevar a cabo un

programa de difusin de los servicios consulares menos conocidos
1 Revisar la informacin actual de las DGSC

pginas de Internet sobre los servicios de
registro civil, notariales y fe pblica.
2 Determinar las modiicaciones necesarias. DGSC
3 Enviar a DGTII la informacin a publicar. DGSC
4 Publicar la informacin en las pginas de DGTII
Internet de las representaciones consulares,
con la incorporacin de un contador de visitas.
La difusin de los servicios consulares menos conocidos tiene la ventaja

aadida de que aprovecha las tecnologas de informacin y comunicacin con
que cuenta la SRE en los consulados. Se trata, en consecuencia, de una tarea
de bajo costo, pero con un impacto mayor en cuanto a los beneicios. Queda
en las representaciones consulares y en la SRE en su conjunto alinear los
recursos disponibles al ritmo de la demanda.

Tabla 20: Riesgos previstos para la accin de mejora Llevar a cabo un
programa de difusin de los servicios consulares menos conocidos
1 Las cargas de trabajo de Media Alto

las unidades responsables
no permitan modiicar
oportunamente la
informacin de las
pginas de Internet de las
representaciones consulares.
R
Slo es el principio. Ser reconocida, junto con otras agencias gubernamentales,
por el Premio 2011 obliga a la SRE y a las unidades administrativas
involucradas, en especial, a la DGSC, a honrar los compromisos derivados
de cada una de las acciones de mejora analizadas en este captulo. Como
pudo apreciarse antes, las nueve acciones de mejora, aqu revisadas,
implicaban actividades a cumplirse en agosto del 2011; otras, en cambio,
no lograron ese cometido, aunque su conclusin se pospuso para algn
momento de ese mismo ao. Pero todas las acciones y, en particular, las
nueve que se concluyeron en agosto aun cuando, en s mismas, tenan un
plazo de cumplimiento que ya tuvo lugar, desencadenan otra serie de tareas
que tendrn que efectuarse rutinariamente a partir de ese momento. Ms
all del reconocimiento, ese es el compromiso ms importante para la SRE
y la DGSC.
A menudo, los datos se escabullen. O mejor dicho, tienden a ocultar
la realidad que viven personas de carne y hueso: a la fecha, resulta imposible
determinar el nmero exacto de mexicanos viviendo en Estados Unidos.
No obstante ello, la realidad escurridiza de esos mexicanos ha encontrado
una suerte de punto de equilibrio. Entre los millones de mexicanos en
Estados Unidos e, incluso, sus hijos que tambin son mexicanos y, por lo
tanto, tienen derechos de este lado de la frontera y el Estado, que debe
proveerles servicios consulares en virtud de su nacionalidad, se ha cerrado
la brecha de atencin. En el pasado, muchos paisanos emigraron sin que la
necesidad de ocupar servicios consulares los apremiara. Pero en las ltimas
dcadas, las circunstancias internacionales cambiaron, quiz demasiado
rpidamente, y llevaron a los pases receptores de migracin a hacer ms
estrictas sus regulaciones en la materia. De modo que muchos mexicanos
en Estados Unidos han perdido espacio para movilizarse econmica,
geogrica y socialmente en aquel pas. Esa prdida la ha compensado el
gobierno mexicano acercndoles sus servicios consulares y de proteccin.

Aqu, hay que decirlo, se ha dado cuenta de ese compromiso. A
pesar de que en ocho de las nueve acciones de mejora se plantean las cargas
de trabajo o la falta de tiempo como riesgo que podra haber frenado el
cumplimiento de las actividades, en realidad, la DGSC y las otras instancias
coadyuvantes en el programa de Emisin de pasaportes y servicios
consulares demostraron la viabilidad de las mejoras puestas en marcha. El
cambio en las organizaciones se presenta, usualmente, como un conjunto
de tareas percibido como gigantesco. Esto sucede, es cierto, porque las
rutinas van llenando los espacios y los tiempos, y absorbiendo los recursos
disponibles. Pero tambin acontece que las organizaciones nunca utilizan
todos sus recursos al mximo posible, sino que dejan un margen, pues,
operando al lmite de sus capacidades, haran inviable su propia existencia
cuando tengan que hacer frente a circunstancias adversas y practicar los
cambios necesarios para salir avante.12 De modo que los riesgos de cargas
de trabajo y falta de tiempo contienen, seguramente, una dosis de verdad,
mezclada con otra de precaucin. De nuevo, como qued demostrado,
el riesgo se conjur. Las reas participantes s contaban con el margen
suiciente para concluir nueve de 17 acciones de mejora.
Como se desprende de la tabla 1, cuatro acciones presentaban
avances de 70% u 80% a agosto del 2011. Posiblemente, en los meses
posteriores de ese ao quedaron iniquitadas. Se trata de acciones que, en
el conjunto del programa premiado, encarnan el complemento perfecto,
o casi, al resto de las acciones analizadas en este apartado. Por ejemplo,
Estudiar la viabilidad de extender la produccin de pasaportes tipo G a todas
las representaciones o crear centros regionales de produccin de pasaportes
(con 80% de cumplimiento a agosto de 2011), contribuira a completar la
vuelta de tuerca emprendida con el programa, junto con la accin Establecer
estndares uniformes para los procesos de atencin a usuarios, produccin y
entrega de documentos (con 70% de avance).
Lo mismo puede decirse de la accin Fortalecer los programas de
capacitacin para el personal y en particular para el personal local (80% de
avance), recomendable para asegurar las competencias de los funcionarios
locales con las nuevas responsabilidades; o de Vincular al SIAC con la base
de datos de la Direccin General de Delegaciones (70% de avance), accin que
resulta indispensable en la actualizacin de las Tecnologas de la Informacin
y Comunicacin para la adecuada coordinacin interinstitucional; y de
Establecer estndares uniformes para los procesos de atencin a usuarios,
produccin y entrega de documentos, algo que, hoy por hoy, las organizaciones
no pueden no deben soslayar en su bsqueda por ofrecer servicios
basados en mejores prcticas. El programa Expedicin de pasaportes y
servicios consulares supone el encadenamiento ms o menos armonioso
de recursos, tiempo, objetivos e intereses de los distintos actores internos
12 Albert O. Hirschman, Exit, Voice, and Loyalty. Responses to Decline in Firms, Organizations, and States,
Cambridge, Massachussetts, Harvard University Press, 1970.

que participan en el esfuerzo. La suma de las acciones analizadas a todo
lo largo de las lneas anteriores y las que apenas restaban por iniquitarse,
contribuira a cerrar el crculo institucional hacia los resultados pretendidos.
De ah el punto de equilibrio, siempre, sin embargo, amenazado
por la dinmica realidad de los mexicanos en aquel pas, unos viviendo de
manera permanente, y otros en trnsito. Esa realidad elusiva propone a
las autoridades consulares el desafo, tambin permanente, de responder
con eicacia a las necesidades de los mexicanos en el exterior. La narracin
que se ha ofrecido en este captulo releja apenas con una probadita
los intentos de la SRE por estar a la altura del reto. Si bien los cambios
para cerrar la brecha entre necesidades y servicios datan de 1980,
aproximadamente, la ltima dcada ha impuesto una agenda estricta en
las relaciones internacionales y, por lo tanto, la necesidad de acrecer, con
rapidez, capacidades y talentos en la atencin de los mexicanos migrantes.
Sin duda, se ha abierto una nueva poca en la materia. El reconocimiento
del Premio 2011 al programa Expedicin de pasaportes y servicios
consulares la simboliza, con el compromiso que eso signiica.
B
Dockterman, Daniel, Statistical Proile. Hispanics of Mexican Origin in the
United States, 2009, Pew Research Center- Pew Hispanic Center, 2011.
(http://www.pewhispanic.org/2011/05/26/hispanics-of-mexican-origin-
in-the-united-states-2009/)
Hirschman, Albert O., Exit, Voice, and Loyalty. Responses to Decline in Firms,
Organizations, and States, Cambridge, Massachussetts, Harvard University
Press, 1970.
Lazcano, Mauro y Jorge Navarro Lucio, 29 Millones mexicanos viven en

Estados Unidos, Macroeconoma, 1 abril 2010, (http://macroeconomia.
com.mx/2010/04/29-millones-de-mexicanos-viven-en-estados-unidos-
casi-otro-pais/).
Presidencia de la Repblica, Primer Informe de Ejecucin del Plan Nacional de

Desarrollo 2007-2012, 2007.http://pnd.calderon.presidencia.gob.mx/pdf/
PrimerInformeEjecucion/5_9.pdf
Schumacher, E.F. Lo pequeo es hermoso, Barcelona, Ediciones Orbis, 1973.

Secretara de Relaciones Exteriores Reglamento Interior de la Secretara
de Relaciones Exteriores, Art. 23, publicado en el Diario Oicial de la
Federacin el 8 de enero de 2009.
--------------, Alcance e intercambio de mejores prcticas consulares,

Presentacin del Ministro Daniel Hernndez Joseph, Director General
de Proteccin a Mexicanos en el Exterior de la Secretara de Relaciones
Exteriores de Mxico, en el marco del Seminario sobre proteccin consular:
Alcance e intercambio de mejores prcticas, Washington, D.C., 10 de marzo de
2009. http://scm.oas.org/pdfs/2009/CP21820T.ppt
-------------, Estructura orgnica bsica (vigencia a partir de: 1 de enero de

2011), http://www.sre.gob.mx/index.php/cancilleria/organigrama
-------------, La Direccin General de Proteccin a Mexicanos en el Exterior,

Quines somos?, http://www.sre.gob.mx/index.php/component/content/
article/318
U.S. Census Bureau, he Hispanic Population: 2010, 2010 Census

Briefs, Mayo 2011.p.2. (http://www.census.gov/prod/cen2010/briefs/
c2010br-04.pdf)

A
como herramientas de cambio: el programa
de becas de posgrado del CONACYT
Rodrigo Velzquez Lpez Velarde
Introduccin
La formacin de capital humano altamente capacitado es considerada como
un factor clave para el desarrollo de los pases. La principal razn por las que
los gobiernos, las agencias internacionales y los organismos de la sociedad
civil deciden invertir recursos en esta accin es porque las personas con alta
capacidad cientica o tecnolgica pueden utilizar los conocimientos y las
habilidades aprendidas para ayudar a sus pases a identiicar y solucionar
problemas. La poblacin con estudios de posgrado aplica el conocimiento
aprendido para disear nuevas estrategias y procesos de innovacin que
elevan la productividad, la competencia econmica y, en general, el bienestar
social de la ciudadana. La aplicacin de los conocimientos cienticos se
puede observar en distintos mbitos. Por ejemplo, en el sector empresarial es
notorio el desarrollo cientico y tecnolgico en el incremento del rendimiento

laboral, el aumento de capital y la disminucin de costos de produccin.1
De hecho, desde hace varias dcadas diversos estudios muestran el efecto
positivo del capital humano en el crecimiento econmico.2
De igual modo, la formacin de personas altamente caliicadas
contribuye a cerrar la brecha existente entre las naciones desarrolladas y
aquellas en vas de desarrollo a travs del desarrollo de nuevas tecnologas
y procesos productivos. Los tecnlogos y cienticos generan y difunden
conocimiento til para que una mayor parte de la poblacin tenga acceso a
mejores y ms accesibles servicios, productos e infraestructura que les permita
tener una mejor calidad de vida. Por ltimo, es reconocido ampliamente
que la inversin en capital humano produce movilidad social por lo que los
profesionistas que tuvieron la oportunidad de realizar un posgrado o una
especializacin tienden a tener ms ingresos que sus padres.3
En Mxico, el Consejo Nacional de Ciencia y Tecnologa (CONACYT)
ha tenido como una de sus funciones principales impulsar la formacin
de recursos humanos de alto nivel dedicados a actividades cienticas y
tecnolgicas.4 Para llevar a cabo este in, el CONACYT implementa desde
hace ms de cuatro dcadas un programa de becas de posgrado que ha
permitido la formacin de miles de cienticos y tecnlogos en instituciones
acadmicas nacionales y extranjeras. De esta manera, el CONACYT se ha
consolidado como la institucin pblica que ms estudios de posgrado y
especialidades inancia.
Dada la importancia del programa de becas en la formacin
cientica y tecnolgica del pas es indispensable analizar cmo y de qu
forma el CONACYT ha utilizado los resultados de las recientes evaluaciones
realizadas a este programa. El objetivo de este captulo es hacer una narrativa
analtica sobre cmo las unidades responsables del Programa de Becas de
Posgrado y otras modalidades de Apoyo a la Calidad (PBP) han utilizado los
hallazgos y recomendaciones de las evaluaciones para implementar procesos
de mejora. El marco de la narrativa es el Premio 2011, en el cual el PBP
fue participante. El captulo est organizado en cinco secciones. La primera
describe brevemente los antecedentes, la evolucin y las caractersticas
actuales del programa de becas. La segunda seccin sintetiza y analiza los
hallazgos y las recomendaciones de tres evaluaciones recientes al PBP. El
siguiente apartado documenta los hallazgos ms relevantes seleccionados
por los operadores del programa, as como las acciones de mejora y
1Consejo Nacional de Ciencia y Tecnologa (CONACYT), Ciencia y Tecnologa para la Competitividad,

Mxico, FCE - CONACYT, 2006, p.11.
2Ver: Sylvia Ortega et al., Invertir en el conocimiento: El Programa de Becas-crdito del CONACYT, Mxico,
SEP-CONACYT y Plaza y Valds, 2001, pp. 39-40.
3Centro Redes, Evaluacin de Impacto del Programa de Formacin de Cienticos y Tecnlogos, Mxico,
CONACYT, 2008.
4Otras funciones del CONACYT son la promocin y sostenimiento de proyectos de investigacin y la
difusin de informacin cientica y tecnolgica. Ver: Centro Redes, Op. Cit., p 28.

resultados esperados. La cuarta parte analiza las acciones implementadas
y los logros alcanzados. El captulo inaliza con una conclusin en la que
se identiican los retos y problemas del CONACYT en la utilizacin de las
evaluaciones como herramientas para redisear el PBP.
A
Los primeros esfuerzos por invertir en el desarrollo cientico y
tecnolgico en Mxico empezaron a inales de los aos 1920 con la
creacin de los primeros institutos de investigacin de la Universidad
Nacional Autnoma de Mxico (UNAM). Durante las dcadas de 1930 y
1940 se fundaron institutos de gran importancia para la investigacin
tales como el Instituto Politcnico Nacional, los Institutos de Fsica y
Qumica, El Colegio de Mxico, por mencionar algunos. Otros apoyos a
la formacin cientica ocurrieron en 1954 y 1966, momentos en que se
crean la igura de personal acadmico de tiempo completo y el Programa
de Profesores Investigadores, respectivamente.5 A pesar de estos avances,
los cuales fueron vitales para la iniciacin de la investigacin en Mxico,
no exista en el pas una institucin federal que tuviera como uno de
sus principales objetivos el apoyar la formacin de recursos humanos
altamente capacitados. Fue hasta 1970 que el gobierno federal decidi dar
un impulso consistente en este sentido con la creacin del CONACYT. El
Programa de Becas, hoy conocido como el Programa de Becas de Posgrado
y otras modalidades de Apoyo a la Calidad del CONACYT, surgi en 1971
para ofrecer a la poblacin la posibilidad de realizar estudios de posgrado
en instituciones acadmicas nacionales y extranjeras de calidad para
formar cienticos y tecnlogos que ofrezcan soluciones a los problemas y
generen conocimiento til y aplicado al pas.
El CONACYT, a travs del PBP, parte de la premisa de que el
crecimiento econmico y el bienestar, tanto individual como social, estn
sustentados en gran medida no slo en la inversin en capital fsico,
sino tambin en el capital humano.6 De esta forma, se considera que la
productividad e innovacin tecnolgica est basada en la formacin de
recursos humanos (cienticos e ingenieros) altamente capacitados que
generen y difundan conocimiento que permita coadyuvar al desarrollo
econmico, social y cultural de Mxico. Es as que la asignacin de becas de
posgrado es considerada como un componente esencial que contribuye a la
movilidad social en el pas.
EL PBP es un factor esencial del Sistema Nacional de Ciencia y
Tecnologa y se inserta en varias de las estrategias planteadas tanto del
Plan Nacional de Desarrollo 2007-2012 como en el Programa Especial de
5 CONACYT, Ciencia y Tecnologa, Op. Cit., pp. 13-14.

6 Ortega et al., Invertir en el Conocimiento, Op. Cit., p. 30.

Ciencia, Tecnologa e Innovacin 2008-2012. En estos instrumentos se
considera a la formacin de recursos humanos altamente caliicados como
prioridad para el desarrollo del pas.7
El objetivo general del programa est establecido en las Reglas de
Operacin del mismo y es contribuir al incremento de la competitividad
del pas, mediante el desarrollo cientico, tecnolgico e innovacin,
fomentando la formacin, el desarrollo y la vinculacin de recursos
humanos de alto nivel mediante el otorgamiento de becas.8 Asimismo, el
PBP deine como objetivo especico lo siguiente: El capital humano accede
a oportunidades de formacin de calidad de alto nivel en reas y sectores
estratgicos prioritarios del programa, a travs del fomento, formacin,
desarrollo y vinculacin de dichos recursos humanos, con base en las
convocatorias o convenios de colaboracin suscritos por el CONACYT con
entidades federativas y con instituciones o personas morales de los
diferentes sectores, en reas establecidas en tales instrumentos.9
El instrumento principal que tiene el PBP para impulsar la formacin
de recursos humanos de alto nivel es la beca para distintos niveles de estudio:
(maestra, doctorado, especialidad). Este apoyo puede ser para estudios en
instituciones acadmicas nacionales o extranjeras. Los recursos con los que
se inancian las becas provienen directamente del CONACYT o a travs de
fondos establecidos en la Ley de Ciencia y Tecnologa.10 El inanciamiento
tambin puede ser de origen externo o coinanciado con contribuciones
de terceros (nacionales o extranjeros) u organismos internacionales.11 El
programa cuenta con seis tipos de becas:
7 Carlos Bazdresch Parada, Prlogo, en Ortega et al., Invertir en el Conocimiento, Op. Cit., p. 20.
8 Ver Reglas de Operacin de los programas del Consejo Nacional de Ciencia y Tecnologa en el Diario
Oicial de la Federacin, 31 de diciembre de 2010, p. 110. Las Reglas de Operacin que operaron durante
la administracin del Presidente Fox consideraban que el objetivo general era fomentar, mediante el
otorgamiento de apoyos a la formacin, el desarrollo y la consolidacin de cienticos y tecnlogos, para
responder a la demanda de los sectores productivo, acadmico, gubernamental, y social del pas. Centro
Redes, Evaluacin de impacto, Op. Cit., p. 32. Es notorio el cambio en el objetivo general del PBP del actual
gobierno ya que ste se centra en la competitividad del pas dejando de lado otras reas.
9 Reglas de Operacin, Op. Cit., p. 111. En las Reglas de Operacin anteriores se planteaban seis objetivos
especicos mucho ms precisos y detallados. Dos de stos estaban encaminados a la incorporacin de

estudiantes de licenciatura al proceso de formacin de recursos humanos caliicados mediante el otorgamiento
de becas de posgrado de calidad en reas que atendieran las demandas de los sectores productivo,
gubernamental, acadmico y social en diversas reas de conocimiento cientico y tecnolgico. En concordancia
con estos objetivos, uno ms estaba destinado a promover el coinanciamiento de los sectores demandantes
y de agencias internacionales en la formacin de cienticos y tcnicos de alto nivel. Otro objetivo buscaba la
consolidacin y fortalecimiento de programas de posgrado nacionales de calidad en instituciones de educacin
superior que fueran capaces de preparar a cienticos y tecnlogos altamente capacitados de acuerdo con las
necesidades del pas. Los restantes dos objetivos estaban enfocados a estimular a los cienticos de instituciones
de educacin superior en Mxico por medio del Sistema Nacional de Investigadores y a promover el desarrollo
de grupos de investigacin que impulsaran la investigacin y el desarrollo experimental dirigidos a elevar el
nivel social y econmico de los mexicanos. Centro Redes, Evaluacin de impacto, Op. Cit., p. 32.
10 El ramo 38 del Presupuesto de Egresos de la Federacin est destinado al CONACYT y a los Centros de
Investigacin-CONACYT.
11 Reglas de Operacin, Op. Cit., p. 111.

a) Beca de Fomento
b) Beca de Formacin
c) Beca de Desarrollo
d) Beca de Vinculacin
e) Beca Mixta
f) Beca Especica
La Beca de Fomento fue creada para promover aptitudes e

inclinaciones cienticas y tecnolgicas en distintos niveles educativos.
El apoyo destinado para la formacin de recursos humanos altamente
capacitados en Mxico o el extranjero mediante apoyos econmicos
y asistenciales para cursar estudios de posgrado recae en la Beca de
Formacin. Las Becas de Desarrollo y de Vinculacin son otorgadas para
realizar estancias tcnicas y acadmicas respectivamente. El apoyo adicional
que se brinda a un becario que cuenta con una Beca de Formacin es la
Beca Mixta. sta ltima complementa la formacin cientica y tecnolgica
del becario dndole apoyo para llevar a cabo una estancia acadmica en
alguna institucin nacional o extranjera. Por ltimo, la Beca Especica se
otorga con base en convenios de colaboracin suscritos por el CONACYT y
entidades federativas con instituciones o personas morales con la inalidad
de fomentar, formar, desarrollar o vincular los recursos humanos con
diversos sectores y reas especicas.12
Las Reglas de Operacin deinen la cobertura del PBP de manera
muy general pues establecen que [E]l Programa est enfocado a facilitar
al capital humano el acceso a oportunidades de fomento, formacin,
desarrollo y vinculacin tanto en el pas como en el extranjero, orientadas
a satisfacer las demandas de los diversos sectores de la sociedad.13 Debido
a esta generalidad, no se puede deinir con claridad cul es el alcance que
pretende lograr el PBP. Del mismo modo, la poblacin objetivo del programa
no precisa con exactitud a quines est enfocado el apoyo ofrecido ya que
slo se establece que est dirigido a personas que tengan inters en llevar a
cabo estudios, o formarse mediante actividades cienticas o tecnolgicas en
dependencias, instituciones acadmicas, centros de investigacin pblicos,
privados, nacionales o extranjeros o en algn otra instancia que permita
cubrir el objetivo del programa.
12 Hasta el 2004, el CONACYT estableca tres tipos de becas (posgrados nacionales, posgrados en el
extranjero y becas para estancias tcnicas en el extranjero). El criterio para determinar el tipo de beca era
el lugar donde se realizara el posgrado y la modalidad de ste.
13 Reglas de Operacin, Op. Cit., p. 111.

A lo largo de sus cuarenta aos de existencia, el CONACYT, a travs
del PBP, ha otorgado ms de doscientas mil becas. Una de cada cuatro becas
de posgrado de estudiantes mexicanos es actualmente inanciada por el
gobierno federal.14 En concreto, ocho de cada diez becas inanciadas con
recursos pblicos son otorgadas por el CONACYT.15 El nmero de becas
creci de manera importante durante sus primeros treinta aos, pero
dicho crecimiento ha sido mayor durante la ltima dcada.16 Muestra de
esta tendencia ascendente es que mientras que el promedio anual de becas
nuevas otorgadas entre 1971 y 1973 fue de 927, entre 2008 y 2010 fue de
17,482. Tan slo en los ltimos cuatro aos (2007-2010) el crecimiento en
becas nuevas se increment en 83.5%.
De este modo, en la primera dcada del siglo XXI, 114, 252
nuevos becarios se han visto beneiciados por los apoyos brindados por
el CONACYT. Si se consideran las becas nuevas y las becas vigentes en
conjunto, el nmero de apoyos se incrementa a 325,733 durante el periodo
2001-2010 (ver igura 1 abajo). En perspectiva comparada, el nmero
de apoyos que ofrece el CONACYT es superior al de otras instituciones
internacionales. Por ejemplo, mientras que en el 2007 el Programa de la
Unin Europea otorg 1,875 becas, el PBP autoriz 20,111apoyos.17
Figura 1: Becas de posgrado nuevas y vigentes 2001-2010

40000 36761
35000 30634
30000 26918
23210
25000
19243 20111 21019
20000 16816
11934 12371
13483 15259 16170
15000
10027 11457
10000 8296 8758 10088
6133 7045
5000
0
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010
Becas Vigentes Becas Nuevas
Fuente: CONACYT, Informe de Labores 2010, Mxico, 2010, p. 3.
14 Gobierno Federal, Cuarto Informe de Gobierno, Mxico, 2010, p. 213.

15 Gobierno Federal, Cuarto Informe de Ejecucin del Plan Nacional de Desarrollo 2007-2012, Mxico, 2010, p. 251.
16 Es importante subrayar que el PBP no siempre ha crecido sostenidamente. Aunque durante los aos
1970 el PBP tuvo una tasa de crecimiento anual positiva sta se revirti signiicativamente en la dcada
de 1980 debido a los problemas econmicos que sufri el pas. A partir de los aos 1990 la tasa de
crecimiento es positiva. Ortega et. al., Invertir en el Conocimiento, Op. Cit., p. 54.
17 Consejo Nacional de Evaluacin de la Poltica Social, Informe de Evaluacin Especica de Desempeo 2009-
2010, Mxico, p. 12.

El nivel de estudios y el destino de la beca han tenido cambios
importantes a lo largo del tiempo. Con excepcin de algunos aos, el nivel
de estudios que ms ha inanciado CONACYT es la maestra, seguido por
los estudios doctorales y otras especialidades. Desde 1971, las becas para
maestra han luctuado entre 41% y 60% del total de apoyos otorgados
por el CONACYT. Por su parte, el porcentaje de becas para doctorado ha
crecido de manera importante ya que mientras durante los primeros treinta
aos del programa 21% de las becas fue para este nivel de estudios, este
porcentaje ha aumentado hasta llegar a ser mayoritario en 2001 (55%).18
En contraste, el PBP ha disminuido el apoyo a otros estudios, como
especialidades tcnicas y cienticas, ya que entre 1971 y 2000, 19% de las
becas fueron destinadas para este nivel de estudios. Este porcentaje fue
disminuyendo gradualmente y actualmente se encuentra en 2.1%.
Figura 2: Becas de posgrado vigentes por

nivel de estudios y destino 2010
0.8%
ESPECIALIDAD EXTRANJERO
0.15%
ESPECIALIDAD NACIONAL
2.02%
MAESTRA EXTRANJERO
32.47%
DOCTORADO NACIONAL
59.00% 5.52%
MAESTRA NACIONAL DOCTORADO EXTRANJERO
Fuente: Elaboracin propia con base en CONACYT, Informe de Labores 2010, Mxico, 2010, p. 3.
En cuanto al destino o lugar donde se utiliza la beca, en 1971 41% de

las becas fueron para estudios de posgrado en el pas y el restante 59% para
el extranjero, principalmente para estudios de posgrado en Estados Unidos.
Estos porcentajes se han revertido con el paso de los aos pues para 2010
nicamente 7.5% de los apoyos aprobados fueron para cursar programas de
posgrado fuera del pas, principalmente en Gran Bretaa, Espaa y Estados
Unidos.19 Las becas para posgrado en el extranjero son mayoritariamente
para estudios de doctorado. En contraste, el PBP otorga ms becas para
realizar maestras en el pas (ver igura 2). Los campos disciplinarios con
ms becas otorgadas son las ingenieras, la biotecnologa, las ciencias
18 Para el ao 2010, 37.5% de las becas inanciadas por el PBP fueron para estudios doctorales.
19 Ortega et al., Invertir en el Conocimiento, Op. Cit., p. 43; CONACYT, Informe de Labores 2010, Mxico, 2010, p. 3.

agropecuarias y las ciencias sociales. A partir de 1997, el porcentaje de
becas para ingenieras ha aumentado en 50%, mientras que para ciencias
sociales se redujo casi a la mitad.20
En relacin al monto invertido en el programa de becas de
posgrado, ste casi se cuadriplic durante la ltima dcada. En 2001, para
inanciar 11,934 becas el CONACYT aport $1,234.45 millones de pesos
mientras que para el 2010 el monto para otorgar 36,761 apoyos se elev a
$4,173.92 millones de pesos.21 Asimismo, el porcentaje del PBP en relacin
al presupuesto manejado por el CONACYT ha luctuado en este periodo
entre 41% (2000) y 35% (2010).22 Esta inversin se ha traducido en que el
nmero de egresados de programas de posgrado en el pas haya crecido ms
del doble durante la primera dcada del siglo XXI.23
Figura 3: Presupuestos del CONACYT y de becas de

posgrado vigentes 2000-2010 (miles de pesos)
14000
12000
10000
8000
6000
4000
2000
0
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010
PRESUPUESTO CONACYT PRESUPUESTO BECAS
Fuente: Gobierno Federal, Indicadores de Actividades Cienticas y Tecnolgicas

2010, Mxico, Edicin de Bolsillo, 2011, pp. 90, 95.
20 Centro Redes, Evaluacin de impacto, Op. Cit., p. 48.

21 Gobierno Federal, Indicadores de Actividades Cienticas y Tecnolgicas, Mxico, Edicin Bolsillo, 2011, pp. 95, 116.
22 Como se puede observar en la igura 3, a partir de 2007 los recursos del ramo 38 (Consejo Nacional de
Ciencia y Tecnologa) se han incrementado sustancialmente. Desde 2008, el gasto en este ramo ha sido el de
mayor participacin del gasto federal en ciencia y tecnologa. Para el ao 2010, dicho gasto equivali a 34.9%.
Hasta 2007, el sector administrativo al que se le destinaban ms recursos en ciencia y tecnologa era el de
educacin pblica. CONACYT, Informe General del Estado de la Ciencia y la Tecnologa, Mxico, 2011, pp. 19-22.
23 En el ao 2000 hubo 29,674 egresados de programas de posgrado en el pas. Para el ao 2009 este
nmero creci a 72,522. El nmero de egresados no implica necesariamente que el grado haya sido
otorgado a la estudiante. Gobierno Federal, Indicadores de Actividades, Op. Cit., p. 121.

La unidad responsable del diseo e implementacin del PBP es
la Direccin Adjunta de Posgrado.24 Esta direccin coordina el trabajo
de cuatro direcciones: becas, planeacin, posgrado y vinculacin. La
direccin de becas es la encargada de operar el PBP y cuenta con cuatro
subdirecciones para la instrumentacin del programa: becas nacionales,
becas al extranjero, asignacin de becas nacionales y asignacin de becas al
extranjero (ver igura 2).
Estructura Jerrquica del Programa de Becas de

Figura 4:
Posgrado y otras modalidades de apoyo a la calidad
Direccin General CONACYT
Direccin Adjunta de Posgrado
Direccin de Becas
Direccin de Becas
Nacionales
Direccin de Becas al
Extranjero
Direccin de
Asignacin de Becas
Nacionales
Direccin de
Asignacin de Becas
al Extranjero
Fuente: Elaboracin Propia con base en el organigrama de CONACYT, www.conacyt.gob.mx.
24 En aos anteriores la operacin del PBP estuvo a cargo de otras direcciones adjuntas. De hecho, hasta
1995 el programa fue operado por dos direcciones: la Direccin Adjunta de Investigacin Cientica y la
Direccin Adjunta de Modernizacin Tecnolgica. Durante la administracin del presidente Zedillo se
llev a cabo una reorganizacin institucional que tuvo como uno de sus objetivos principales el que el PBP
fuera diseado e implementado por una sola direccin. Bazdresch, Prlogo, Op. Cit., p.18.

Dos normas regulan el PBP: las Reglas de Operacin y el Reglamento
de Becas. Las Reglas de Operacin tienen el objetivo de aplicar los recursos
del programa de manera eiciente, eicaz, equitativa y con transparencia.
Asimismo, estas normas persiguen que el PBP logre el mayor impacto
posible. Por su parte, el Reglamento de Becas regula los procedimientos
del otorgamiento de los apoyos. De este modo, en el Reglamento estn
asentados las bases y los requisitos a seguir para conferir los apoyos para
la realizacin de estudios de posgrado. El Reglamento tambin tiene como
funcin regular y ejecutar el PBP de acuerdo con el presupuesto anual
asignado.25 Otros instrumentos complementarios que tambin regulan al
PBP son las convocatorias que emite el CONACYT para cada tipo de beca.
En las convocatorias se precisan ciertas deiniciones que estn contenidas
en las Reglas de Operacin, pero que estn establecidas de manera general.
Dos ejemplos de trminos precisados en las convocatorias son la cobertura
y la poblacin objetivo. El Reglamento tambin deine con mayor precisin
algunos conceptos como es el caso de las obligaciones de los becarios.
E
Como concursante en el Premio 2011, el Programa de Becas de Posgrado y
otras modalidades de apoyo a la calidad fue valorado por el comit evaluador
con base en el compromiso de este programa con el uso de las evaluaciones
que se le han realizado en aos recientes. Originalmente, tres evaluaciones al
PBP fueron consideradas para participar en el Premio 2011: la Evaluacin
de Impacto del Programa de Formacin de Cienticos y Tecnlogos 1997-
2006, inanciada por el Banco Mundial y realizada por el Centro Redes
entre 2007 y 2008 y dos evaluaciones especicas de desempeo llevadas
a cabo por C-230 Consultores, S.C. y coordinadas por el Consejo Nacional
de Evaluacin de la Poltica de Desarrollo Social (CONEVAL) en 2008 y
2009-2010. A continuacin se sintetizan los principales resultados de estas
evaluaciones. 26
Evaluacin de Impacto del Programa de Formacin

C T
El objetivo de esta evaluacin fue dar a conocer los efectos del PBP sobre la
ocupacin, la equidad, el medio cientico y acadmico, el sector productivo
y la innovacin, la distribucin regional de capacidades, y la movilidad
25 Centro Redes, Evaluacin de impacto, Op. Cit., pp. 32-33.

26La siguiente seccin se basa en la informacin de la evaluacin del Centro Redes y en los dos estudios
realizados por C-230 Consultores, S.C. (2008, 2009-2010).

y emigracin.27 La evaluacin tuvo como inalidad orientar polticas
para un uso ms eiciente de los recursos destinados a este Programa.28
De igual manera, esta evaluacin se enfoc en determinar cules fueron
los beneicios de haber implementado el programa. Para esta evaluacin
se combin el anlisis de fuentes primarias, una encuesta a ex becarios,
la realizacin de grupos focales y plticas con funcionarios pblicos de
CONACYT. Este estudio present resultados y analiz la evolucin del
programa y sus impactos en los aspectos arriba sealados en un periodo
de 10 aos (1997-2006). A continuacin se sealan algunos hallazgos
relevantes de la encuesta realizada y las principales recomendaciones de
esta evaluacin.
Impacto sobre la equidad

Las mujeres se encuentran en rangos de ingresos ms bajos que
los hombres.
Impacto sobre la ocupacin

Se encontr mayor diicultad para la insercin ocupacional para
los ex becarios de maestras en el pas.
La movilidad sectorial es baja, en concreto en el trnsito de
la educacin superior, el sector gobierno y los centros de
investigacin hacia el sector privado.
La mayora de los ex becarios menores de 30 aos tiene empleos
temporales.
Impacto sobre los mbitos cientico-tecnolgicos y acadmicos

Entre los ex becarios que se dedican a la docencia, 18% se enfoca
en esta actividad con alta dedicacin. 80% de este grupo labora
en instituciones de educacin superior y tiene un alto porcentaje
de empleo temporal.
Impactos sobre el sector productivo y la innovacin

Los ex becarios graduados de maestra en el extranjero tienen
una mejor insercin laboral que los ex becarios graduados de
doctorado.
27 Centro Redes, Evaluacin de impacto, Op. Cit., p. 197.

28 Ibdem., p. 2.

Slo 22% de los graduados de maestra nacional trabaja en una
empresa, mientras que slo 3.5% de los ex becarios con doctorado
nacional y 5.1% con doctorado en el extranjero trabaja en una
empresa.
nicamente 17% de los ex becarios particip en el diseo y/o
puesta en marcha de unidades de produccin de bienes y servicios
relacionados con la beca.
Slo uno de cada cuatro ex becarios colabor en grupos de
investigacin y desarrollo encaminados a fomentar el desarrollo
tecnolgico.
Impactos sobre la movilidad y la migracin internacional

Los graduados de doctorado mexicanos que residen en Estados
Unidos representa 11.4% de los doctores con empleo en Mxico.
Se estima que alrededor de 30% de ex becarios con el grado de
doctor en Estados Unidos se quedan a residir en ese pas.
Existe una tendencia ascendente de doctores graduados en
Estados Unidos con planes de permanecer en ese pas.
Recomendaciones
Reducir la brecha entre el potencial del programa y su impacto
real en funcin del cumplimiento de objetivos nacionales. En
otras palabras, aprovechar ms y de mejor forma la formacin de
recursos humanos de alto nivel.
Establecer una mejor articulacin entre las polticas pblicas
relacionadas a la demanda de ex becarios altamente capacitados
y los periles formativos de las personas que recibieron los apoyos
para estudios de posgrado.
Alinear la expansin de la formacin de posgrado con
instituciones, organismos y empresas sobre las cuales el
CONACYT no tiene incidencia.
Planiicar, en la medida de lo posible, las necesidades de plazas
en universidades y centros pblicos de investigacin con la
expansin de la matrcula estudiantil.
Implementar mecanismos meritocrticos de acceso a los diversos
puestos de la administracin pblica.
Identiicar a los ex becarios que laboran en empresas y aprovechar
su insercin para facilitar la vinculacin entre la academia y el
sector privado.

Replantear la poltica de repatriacin mediante nuevas normas y
un mejor control administrativo para disminuir el nmero de ex
becarios que no regresan al pas.
Potencializar la Red de Talentos Mexicanos para fortalecer el
vnculo entre los ex becarios que residen en el extranjero con
las universidades, los centros de investigacin y las empresas
mexicanas.
Crear un sistema de informacin orientado hacia los resultados e
impactos de los ex becarios.
Recabar informacin ms precisa sobre los resultados del
programa como por ejemplo el nmero de becarios que
obtuvieron el titulo, tiempo en obtenerlo, etc.
Hacer un seguimiento ms detallado, peridico y sistemtico de
las trayectorias profesionales de los ex becarios.
E E D
Las evaluaciones especicas de desempeo (EED) son un tipo de evaluacin
establecida por el CONEVAL que tienen como inalidad dar a conocer el
avance en el cumplimiento de los objetivos y metas de los programas.
El anlisis de estas evaluaciones se realiza con base en una sntesis de la
informacin contenida en el Sistema de Evaluacin de Desempeo (SED)
y a partir de indicadores estratgicos y de gestin. De acuerdo con el
CONEVAL, el anlisis de estos factores permite conocer los resultados de
la aplicacin de recursos pblicos presupuestarios. Las EED comenzaron a
aplicarse anualmente desde 2008 y reportan datos sobre cuatro temas:
1) Resultados. Anlisis de los logros planteados en el in y propsitos

del programa.
2) Gestin. Estudio sobre la entrega de bienes y servicios a la
poblacin identiicada como beneiciaria as como anlisis sobre
el ejercicio presupuestario.
3) Cobertura. Valoracin del nmero de poblacin atendida y su
localizacin geogrica.
4) Seguimiento a aspectos susceptibles de mejora. Ponderacin de
los aspectos a mejorar con base en resultados de evaluaciones
anteriores.29
29 http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/desempeno.es.do,
consultado el 11 de enero de 2012.

La EED 2008 hizo la valoracin del programa de becas considerando como
in de ste el contribuir al incremento de la competitividad del pas, mediante
el desarrollo cientico, tecnolgico e innovacin, y como propsito facilitar al
capital humano el acceso a oportunidades de formacin de alto nivel, orientada
a la investigacin cientica, desarrollo tecnolgico e innovacin.30 En concreto,
este estudio valor dos componentes: 1) el apoyo entregado a los aspirantes
para formacin de recursos humanos de alto nivel, y 2) el registro otorgado a
programas de posgrado de calidad. Para su realizacin, los evaluadores tomaron
en cuenta la valoracin de resultados, de indicadores (cuatro estratgicos y cinco
de gestin), adems de analizar la cobertura del programa.
Resultados
La valoracin de los resultados indic que las evaluaciones externas
realizadas al programa no son de impacto o seguimiento a beneiciarios.
Asimismo, la evaluacin seala que este hecho diiculta evaluar el grado del
cumplimiento de las actividades del programa con respecto al in de ste,
por lo que no es posible analizar los efectos ni la efectividad del PBP.
La valoracin general de los indicadores airma que el indicador
de in no mide el impacto del programa en la competitividad del pas
pues utiliza un ndice internacional que considera factores que no estn
estrechamente relacionados a los resultados del programa. De igual manera,
la evaluacin estableci que los indicadores de la matriz de indicadores
de resultados (MIR) del PBP no coinciden con las Reglas de Operacin ya
que stas contemplan indicadores del Programa de Formacin, Desarrollo
y Consolidacin de Cienticos y Tecnlogos y de Recursos Humanos de
Alto Nivel. Por este motivo, los estndares de cumplimiento para cada
meta del PBP no coinciden con los de las Reglas de Operacin ya que este
ordenamiento nicamente contempla los del programa macro. Finalmente,
se asevera que los indicadores no miden los beneicios derivados de haber
realizado un posgrado, as como tampoco la capacidad de producir riqueza.
En lo referente a la cobertura del PBP, se observ que aunque la
poblacin objetivo est bien deinida no cuenta con una frmula. Esta ausencia
diiculta conocer el nivel de cobertura real del programa. Por otra parte, la
evaluacin menciona que no existe informacin suiciente que documente
la evolucin histrica del PBP. Por ltimo, las principales observaciones al
seguimiento de los aspectos de mejora sealan que, en general, la demanda
de apoyos individuales no releja las necesidades de recursos humanos de
los sectores que intenta vincular el CONCACYT (acadmico, productivo o
gubernamental) sino los intereses o preferencias de los becarios. De igual
manera, se establece que el PBP debe especializar y focalizar los apoyos que
otorga tratando de evitar que la demanda de recursos humanos cienticos y
30 CONEVAL, Informe de la Evaluacin Especica de Desempeo 2008, Mxico, 2008, p. 2.

tecnolgicos est condicionada a factores como el crecimiento de la actividad
econmica y las polticas comercial e industriales actuales. La conclusin del
evaluador externo va en el sentido que el PBP se ha enfocado en el seguimiento
de la cobertura y no en el cumplimiento del propsito y el in del mismo.
E E D
Resultados
La EED 2009-2010 incluy un componente adicional a la evaluacin de 2008,
ste fue el fomento de vocaciones cienticas y tecnolgicas. Este estudio no revela
informacin sustancialmente diferente a la de un ao anterior. En lo referente
a resultados, el PBP tuvo una buena valoracin en trminos de cobertura y
nivel de satisfaccin de los ex becarios. Al igual que la evaluacin previa, sta
encuentra que dado que no se realiz una evaluacin de impacto en la que se
compare dos grupos (uno de control y uno de tratamiento, antes y despus de la
implementacin del programa) es imposible conocer el efecto del PBP en el nivel
de competitividad del pas. En el mismo sentido, la evaluacin establece que no
se cumpli con el indicador del in ya que la posicin de Mxico en cuanto al nivel
competitividad qued cinco lugares debajo de lo esperado en el ndice Global de
Competitividad del Foro Econmico Mundial. Esta evaluacin insiste en que la
competitividad depende de factores ajenos al PBP por lo que se sugiere tomar
como indicador nicamente el relativo a la innovacin. En trminos de cobertura,
la EED hall que la poblacin potencial no est bien deinida, pues no considera el
total de la poblacin que requiere el apoyo del PBP.
Dado que el PBP no cuenta con una evaluacin de impacto que
cumpla con los requisitos deinidos por el CONEVAL, los evaluadores
externos recomiendan hacer un estudio de factibilidad para analizar la
posibilidad de realizar una evaluacin de ese tipo. Asimismo, se sugiere
modiicar el indicador del in del programa y modiicar el Reglamento de
Becas para conseguir que los ex becarios aumenten su estada en Mxico.
Tambin se apunta que es necesario construir un indicador que muestre
el nmero de becarios que obtienen el grado y se seala que es necesario
seguir trabajando en la construccin de indicadores que muestren, de mejor
manera, los resultados y los avances del programa.
H
acciones de mejora y resultados esperados
De acuerdo con las bases establecidas para valorar la relevancia y el potencial
de mejora de los programas inscritos al Premio 2011, los participantes
enviaron una cdula o icha de inscripcin en la que identiicaron las

evaluaciones a considerar, los hallazgos ms relevantes de cada evaluacin,
las acciones de mejora a implementar, las fechas de inicio y conclusin de
las acciones, el porcentaje de avance a agosto de 2011 y la evidencia de
avance y de conclusin. En el cuadro 1 se resume la icha de inscripcin
entregada por los responsables del PBP.
En el caso de la Evaluacin de Impacto, los hallazgos sealados en
la icha de inscripcin son de orden muy general por lo que no se puede
saber con precisin qu hallazgos relevantes fueron identiicados por los
responsables del PBP. Por ejemplo, en el punto 1 sobre el impacto de la
equidad, la evaluacin muestra resultados positivos como el incremento
de la participacin de las mujeres en el PBP. Sin embargo, hay cuestiones
de gnero que no han sido mejoradas como el hecho de que 31% de las
ex becarias reportaron ganar menos de 100 mil pesos contra 19% de los
varones.31 El resto de los hallazgos relevantes seleccionados presentan una
ambigedad similar. En lo que respecta a los dos evaluaciones especicas
de desempeo, ambas sealan que el PBP no cuenta con una evaluacin
de impacto que cumpla con los requisitos establecidos por CONEVAL, por
lo que recomienda al CONACYT realizar un estudio de este tipo con el in
de conocer los efectos que el programa ha tenido a lo largo del tiempo.
Aunque este hallazgo es de gran trascendencia, los responsables del PBP no
seleccionaron otros resultados importantes de estas evaluaciones como la
redeinicin de ciertos indicadores.
Los operadores del PBP establecieron que las acciones de mejora
a implementar para el caso de la evaluacin de impacto del Centro Redes
as como para las dos evaluaciones especicas de desempeo, fueron la
asistencia a diversos foros, seminarios, talleres y congresos relacionados
con el tema de impacto a nivel nacional e internacional. Estas acciones
fueron llevadas a cabo para adquirir expertise en la metodologa establecida
por el CONEVAL. En correspondencia a estas acciones, la principal accin
de mejora planteada fue una evaluacin de impacto siguiendo el rigor
metodolgico ijado por el CONEVAL. Para cumplir esta meta, se aclar que
se concurs en una convocatoria internacional para evaluar el impacto del
programa. Del mismo modo, la icha de inscripcin airma que el personal
del CONACYT cooperar, acompaara y dar seguimiento al desarrollo de
dicha evaluacin.
31 Centro Redes, Evaluacin de impacto, Op. Cit., pp. 83-85.

Cuadro 1: Ficha de Inscripcin del Programa de Becas de Posgrado y otras modalidades de apoyo a la calidad
Evaluacin Hallazgos ms Acciones de mejora a implementar Resultado esperado Fechas de inicio de avance Evidencia de
relevantes y conclusin a agosto conclusin
de
Evaluacin de 1. Impacto sobre La evaluacin externa realizada por El Centro Redes entreg el Reporte Septiembre 2007 100% Publicacin
Impacto del la equidad Centro Redes no cuenta con el rigor inal. Las acciones de mejora han Noviembre 2008 del Estudio
Programa de 2. Impacto sobre tcnico de presentar un grupo de favorecido al Programa, que se por parte del
Formacin de la ocupacin control y otro de tratamiento en han concretado en Polticas que Foro de CyT
Cienticos y 3. Impacto sobre el dos puntos en un tiempo, es una ya se estn llevando a cabo.
Tecnlogos mbito cientico- evaluacin que muestra los efectos que 1. Se pas de una demanda
1997-2006 tecnolgico y ha generado el Programa en el tiempo. libre, abierta, a una demanda
acadmico La accin de mejora al futuro es llevar orientada al desarrollo nacional,
4. Impacto sobre a cabo una Evaluacin de Impacto con demandas especicas de
el medio social, el rigor indicado por el CONEVAL. entidades, sectores, etc.
sector productivo 2. Se transit de un esquema de
y la innovacin inanciamiento exclusivo a cargo
5. La emigracin del CONACYT a un esquema de
caliicada, coinanciamiento con diversas
tendencias recientes contrapartes (entidades,
6. Satisfaccin de organizaciones, empresas a nivel
los ex becarios nacional e internacional, etc.).
3. De evaluar procesos se
ha transitado a evaluar
resultados e impacto lo cual
responde a una metodologa
requerida por el CONEVAL.
Evaluacin Hallazgos ms Acciones de mejora a implementar Resultado esperado Fechas de inicio de avance Evidencia de
relevantes y conclusin a agosto conclusin
de
Evaluacin El Programa de Desde el 2007 el personal de Del Foro se cuenta con las 24 de junio de 2010 100% Programa
Especica de Becas para estudios CONACYT asisti a foros, seminarios, ponencias de expertos mexicanos 25 de junio de 2010 del Evento
Desempeo de posgrado talleres y congresos, relacionados con y extranjeros que se examinaron
2008 no cuenta con el tema de Impacto a nivel nacional en el Taller como insumo. Ah, se
evaluaciones e internacional, para poder tener exploraron distintas propuestas
externas de impacto mayor expertise en la metodologa con expertos iberoamericanos para
o de seguimiento propuesta por el CONEVAL. En buscar si existe un consenso en la
de beneiciarios el 2010 se realiz el primer Foro forma de abordar la problemtica
Internacional con el tema: Evaluando de la Evaluacin del tema en la
resultados de los programas de regin. La conclusin deinitiva
apoyo a becas de posgrado. Se llev es que no existe un consenso ni
a cabo un Taller para el Diseo de una metodologa estandarizada
Metodologas de Evaluacin de aplicable, por lo cual es necesario
Impacto de los Programas de Apoyo recurrir a la metodologa
a Becas de Posgrado con expertos propuesta por el CONEVAL.
internacionales a nivel Iberoamrica.
Evaluacin DebidoaqueelPrograma Realizar una evaluacin de impacto El CONACYT result ganador en el El concurso se llev a cabo 30% Informe Final
Especica de nocuentaancon para el Programa de Becas de Posgrado, concurso internacional convocado en octubre de 2010. En
Desempeo unaevaluacinde ahora con el rigor metodolgico por el 3ie para organismos de enero de 2011 iniciaron
2009-2010 impactoquecumpla indicado por el CONEVAL para lo diversos sectores a nivel mundial. los trabajos entre el
conlosrequerimientos cual se concurs en la convocatoria El resultado concreto ser el grupo y los evaluadores
establecidospor internacional emitida por el Organismo Informe inal del estudio de seleccionados por 3ie y
CONEVAL,seindic denominado Iniciativa Internacional evaluacin de impacto con los responsables de la
alCONACYTrealizar para la Evaluacin de Impacto (3ie) indicadores y elementos puntuales evaluacin del CONACYT.
unaevaluacindeeste para evaluar el impacto del Programa para la toma de decisiones. Los resultados inales del
tipo,puesprevalecela de Becas de Posgrado. Ser necesario estudio estarn disponibles
necesidaddeconocer que el personal de CONACYT a partir de junio de 2012
losefectoseimpactos coadyuve y brinde seguimiento
delPrograma. puntual al desarrollo del Estudio.
Fuente: Tabla adaptada de la icha original de inscripcin.

En cuanto a los resultados esperados para la evaluacin del Centro
Redes se ijaron tres resultados concretos (ver cuadro 1 arriba). No obstante,
stos fueron planteados no como resultados esperados, sino como obtenidos
como consecuencia de acciones realizadas entre 2007 y noviembre de 2008,
y no durante el transcurso de 2011, tal y como lo establecan las bases del
Premio 2011. Asimismo, los resultados no presentaron una conexin lgica
con la accin a mejorar ya que como se mencion arriba, sta fue la realizacin
de una evaluacin de impacto con los requerimientos del CONEVAL32. La
EED 2008 present el mismo problema. En este caso se reportaron como
resultados esperados las conclusiones de un Foro Internacional realizado en
2010, las cuales sealan la necesidad de seguir la metodologa del CONEVAL
para la realizacin de la evaluacin de impacto. El nico resultado esperado
que s tiene conexin lgica con la accin a mejora planteada es la de la EED
2009-2010. En sta se asevera que el resultado ser un informe del estudio de
evaluacin de impacto con indicadores y elementos puntuales que servirn
para la toma de decisin. Sin embargo, la evidencia de avance programada
para agosto de 2011 es muy ambigua ya que aunque ija que para ese mes
se habra completado la recoleccin de datos, no deine con precisin qu
porcentaje del anlisis de informacin se habr realizado.
Dado que la icha de inscripcin del PBP present varias inconsistencias
lgicas, el programa obtuvo una caliicacin baja, de hecho la ms baja entre
aquellos programas que pasaron a la ronda de semiinalistas. La razn principal
por la que los evaluadores decidieron incorporarlo como semiinalista fue la
disposicin de los responsables del programa para considerar las evaluaciones
e iniciar una serie de cambios a partir de los hallazgos. Los evaluadores hicieron
tres recomendaciones a la unidad responsable del PBP:
1) Realinear las propuestas de mejora en trminos de competitividad

2) Bajar de la icha de inscripcin los resultados obtenidos en aos
anteriores pues no eran materia de evaluacin del premio
3) Incorporar a la icha los avances de las acciones para atender los
hallazgos relacionados a desequilibrios regionales y de gnero
Asimismo, el comit evaluador cuestion a los responsables del

programa el no haber atendido los hallazgos de las evaluaciones relativas
a las deiciencias en cuanto a la equidad de gnero y la equidad regional de
los apoyos. El jurado tambin pregunt la razn por la que no se trabaj
para incrementar la vinculacin con los ex becarios y inalmente, cmo
planeaban evaluar el programa.
32 Cabe mencionar que los resultados esperados establecidos en la icha de inscripcin s corresponden a
hallazgos relevantes de la Evaluacin de Impacto del Centro Redes pero no a la accin de mejora propuesta
para el Premio 2011.

Rediseo de las acciones de mejora y formulacin de estrategias
Como parte de la segunda fase del Premio 2011, los operadores del PBP
se reunieron con autoridades de la Secretara de la Funcin Pblica (SFP)
y un investigador propuesto por el CIDE, con la inalidad de analizar la
pertinencia de las acciones de mejora, construir estrategias especicas de
gestin de mejoras, disear un cronograma de implementacin, establecer
los parmetros de evidencia y conclusin de la implementacin de las
acciones de mejora, e identiicar los resultados concretos derivados de
dichas acciones en trminos del desempeo del programa y sus efectos.
En esta reunin, los operadores del programa respondieron a las preguntas
previamente realizadas por el jurado argumentando que: a) el CONACYT se ha
acercado con el Instituto Nacional de las Mujeres (Inmujeres) para atender la
problemtica de los desequilibrios de gnero; b) en relacin a las desigualdades
regionales, los representantes del PBP airmaron que ya se iniciaron iniciativas
regionales implementadas por los gobiernos estatales que consideran condiciones
especicas de cada estado para enfrentar esta problemtica y, c) se aclar que se
tena pensado crear durante el 2011 una red de ex becarios para contribuir a una
mayor vinculacin la poblacin que recibi apoyos para estudios de posgrado.
Con base en los resultados y los acuerdos de la reunin sostenida,
los funcionarios del CONACYT responsables del programa elaboraron
una nueva icha de inscripcin en donde se ijaron hallazgos, acciones a
implementar, estrategias, evidencia esperada a agosto de 2011 as como
evidencia de conclusin. Un resumen de esta icha se observa en el cuadro 2.
Cuadro 2: Nueva icha de inscripcin del Programa de Becas de Posgrado
Evaluacin Hallazgos ms relevantes Resultado esperado Evidencia de avance

a agosto de
Evaluacin Principales reas de mejora, Optimizacin Estudio sobre la
de Impacto viables a ser atendidas: de costos y optimizacin de
del COSTO DE LAS BECAS aumento del costos y aumento
Programa Reducir los costos de inan- nmero de becas del nmero de becas
de ciamiento para becas en en el extranjero en el extranjero
Formacin Europa y Amrica del Norte a partir de 2009 asignadas a
de INTERNACIONALIZACION Incremento partir de 2009
Cienticos y DEL POSGRADO de becarios en Cuadros oiciales
Tecnlogos Atraer becarios extranjeros Mxico a partir comparativos sobre
1997-2006 para que realicen estudios del 2008 el incremento de
de posgrado en Mxico Informacin becarios extranjeros
INTEGRACION DE LA coniable en 2011 en Mxico a
INFORMACIN QUE SE sobre las variables partir de 2008
GENERA EN DISTINTOS enunciadas en Reportes oiciales
PROGRAMAS el hallazgo y la a 2011 de ex
El Programa carece de elaboracin de becarios que son
informacin sobre resultados un reporte de miembros del SNI
bsicos, como becarios en el SNI indicadores anual
Fuente: Adaptacin de la icha de inscripcin

Como se puede observar en el cuadro 2, la nueva icha de inscripcin no
incluy a las evaluaciones especicas de desempeo, sino que se centr en la
evaluacin de impacto llevada a cabo por el Centro Redes. Tambin sobresale que
los operadores del programa fueron ms precisos en la seleccin de los hallazgos
ms relevantes as como la deinicin de resultados esperados. De la misma
manera, la evidencia de avance propuesta para agosto de 2011present mayor
coherencia con los resultados esperados y fue ms puntual que la icha anterior
ya que ahora se estableci que estudios, cuadros y reportes seran los resultados
concretos a desarrollarse con base en las fechas ijadas en las bases del premio.
A pesar de los esfuerzos por deinir con mayor precisin tanto los
hallazgos como los resultados, todava persisti cierta ambigedad en stos. Por
ejemplo, en el rea de mejora Costo de la becas, se propuso reducir los costos
de inanciamiento para becarios que realizan posgrados en Europa y Amrica
del Norte. No obstante, no se deinieron los indicadores y metas para medir este
resultado. En el hallazgo Internacionalizacin del posgrado tambin estuvo
ausente la deinicin de una meta en el incremento del nmero de becarios
extranjeros en Mxico que permitiera conocer el porcentaje de cumplimiento
del programa con relacin a este resultado. Por otra parte, la nueva icha careci
de una justiicacin que explicara la decisin de considerar nicamente a la
evaluacin del Centro Redes y dejara de lado las dos evaluaciones especicas de
desempeo que previamente haban sido seleccionadas. En el mismo sentido,
hubiese sido conveniente ofrecer una explicacin de los criterios adoptados
para seleccionar esos hallazgos as como establecer cul es la inalidad de cada
uno de los resultados esperados. Esto hubiera permitido, por ejemplo, saber
cmo y de qu forma el incremento en el nmero de becarios extranjeros
contribuye a los objetivos que se plantean el PBP y el CONACYT.
Con el objetivo de obtener los resultados esperados, los operadores
del programa aadieron a la nueva icha de inscripcin un anexo en el que
se detallan las estrategias a seguir as como las direcciones responsables de
cada una de stas. El anexo tambin incluye la identiicacin de los riesgos
de cada estrategia planteada. El cuadro 3 muestra esta informacin.
Como puede apreciarse, los funcionarios del CONACYT disearon siete
estrategias para los tres resultados esperados planteados. Mientras que tres de
estas estrategias contienen una meta deinida (establecimiento de un tope en el
costo de la colegiatura expresado en la convocatoria; elegibilidad de extranjeros
en convocatorias nacionales; nmero de ex becarios incorporados al Sistema
Nacional de Investigadores (SIN),33 en las cuatro restantes no hay objetivos o
metas concretas con las que se pueda valorar la eiciencia de dichas estrategias.
La ausencia de deinicin de metas que permitieran calibrar la dimensin del
esfuerzo realizado en cuatro de las siete estrategias es una omisin relevante
ya que fue un acuerdo formal al que se lleg en la reunin sostenida entre los
responsables del PBP y los funcionarios de la SFP y el representante del CIDE.
33 Esta ltima meta est establecida en la segunda icha de inscripcin, en la seccin de hallazgos ms
relevantes.

Por otra parte, resulta un acierto de los responsables del PBP el haber
establecido las direcciones que estuvieron a cargo de la implementacin
de las estrategias, sobre todo en los casos en que la responsabilidad la
comparten dos direcciones o una direccin y las entidades de la Repblica.
De la misma manera, la previsin de riesgos de cada una de las estrategias
fue otro punto favorable del anexo ya que este ejercicio probablemente
permiti la anticipacin de escenarios adversos.34
Cuadro 3:Estrategias, metas, direcciones

responsables y riesgos previstos
Resultado Estrategias Meta Responsables Riesgos

Esperado definida
Optimizacin Establecer nuevas S Direccin Que el becario

de costos y polticas para el Adjunta de no pueda
aumento del pago de conceptos Posgrado obtener el
nmero de de apoyo de la y Becas inanciamiento
becas en el becas (establecer un complementario
extranjero tope en el costo de
del 2009 colegiaturas) y que
quede expresado
en la convocatoria
Incrementar No Direccin Falta de voluntad
la suscripcin Adjunta de o inters de la
convenios con Planeacin y contraparte
instituciones, Cooperacin por suscribir
organismos y pases Internacional/ los convenios;
en el extranjero Direccin incumplimiento
Adjunta de eventual del
Posgrado convenio por
y Becas la contraparte
Mejorar los No Direccin Falta de voluntad
trminos y Adjunta de o inters de la
condiciones de los Planeacin y contraparte
convenios irmados Cooperacin por suscribir
con instituciones, Internacional/ los convenios;
organismos y pases Direccin incumplimiento
en el extranjero Adjunta de eventual del
Posgrados convenio por
y Becas la contraparte
Suscribir convenios No Direccin Falta de
con entidades Adjunta de continuidad o
federativas para Posgrados inters; cambio
la formacin de y Becas/ de polticas o de
recursos humanos Entidades prioridades en
de alto nivel en Federativas los gobiernos
el extranjero de los estado
34 El anexo de la nueva icha de inscripcin no contiene informacin que sustente que los operadores
del programa hayan previsto planes alternativos de accin en los casos donde hubiera diicultades en la
implementacin de las estrategias planteadas.

Resultado Estrategias Meta Responsables Riesgos
Esperado definida
Incremento Promocin del No Direccin Desinters, falta

del nmero PNPC a travs de la Adjunta de de viabilidad
de becarios feria de posgrado Posgrados para venir al pas
extranjeros en Mesoamrica y Becas por parte de los
en Mxico estudiantes
a partir
del 2008 Posibilidad de S Escasos Informacin
elegibilidad de estudiantes coniable del
extranjeros en extranjeros en 2010 sobre
convocatorias los posgrados las variables
nacionales del PNPC por enunciadas en
la inseguridad el hallazgo, y
y alto costo que anualmente
en el nivel de se reporten
vida en el pas, indicadores
presupuesto
insuiciente
Informacin Realizar el anlisis S Direccin Disponibilidad
coniable del de la informacin Adjunta de de informacin
2010 sobre de los miembros Posgrados en el Sistema
las variables del SNI que fueron y Becas Nacional de
enunciadas becarios CONACYT Investigadores
en el hallazgo,
y que
anualmente
se reporten
indicadores
Fuente: Adaptacin del anexo presentado con la segunda icha de inscripcin
A
La siguiente y ltima fase del Premio 2011 valorada por el comit
evaluador fue la revisin de la implementacin de estrategias ijadas para
obtener los resultados esperados. El periodo en el que los responsables
del PBP tuvieron para implementar las estrategias fue de cinco meses (del
31 de marzo al 30 de agosto de 2011). Para la valoracin de esta fase los
operadores del programa entregaron un resumen narrativo con la sntesis
de las acciones de mejora implementadas, la estrategia de implementacin
y los resultados alcanzados a agosto de 2011. Tambin se requiri que en
el resumen narrativo se explicara cules seran los resultados del programa
a mediano plazo as como las lecciones aprendidas.35 A continuacin se
sintetizan las acciones implementadas y logros obtenidos.
35 Tambin se solicit soporte documental que demostrara los resultados alcanzados hasta el momento.

R O
Como respuesta a la recomendacin de reorientar la poltica de reducir

los costos de inanciamientos de las becas en el extranjero, la primera
estrategia concreta para el logro de este resultado consisti en establecer
un tope mximo de doscientos cincuenta mil pesos por cada becario al
que se le autorizara el apoyo.36 Esta cantidad contrasta notablemente con
los montos que hasta antes de 2009 se autorizaban, los cuales oscilaban
entre treinta mil y cincuenta mil dlares. Para fortalecer esta accin se
establecieron convenios de coinanciamiento con diversas universidades
del extranjero, con nfasis en Estados Unidos y Reino Unido, para la
optimizacin de recursos y condiciones de colegiaturas. Asimismo, se
mejoraron los trminos de los convenios ya existentes. Los resultados
concretos reportados por el CONACYT son los siguientes:
Reduccin de costos de inanciamiento para becas en el extranjero

en 11%
Establecimiento de convenios con instituciones educativas
extranjeras con la obtencin de por lo menos 10% de descuento
en las colegiaturas
Incremento de 12% en el nmero de nuevas becas en el extranjero
R I
M
Con el in de alcanzar este objetivo y vincularlo con el rea de mejora
Internacionalizacin del posgrado, los operadores del programa
realizaron entre 2008 y 2009 dos ferias de posgrado (Tegucigalpa y San Jos
Costa Rica) y se plane realizar otra en 2011 en Managua. La otra accin
complementaria para lograr este resultado es que las convocatorias para
estudios de posgrado no restringieron la nacionalidad de los postulantes.
El principal resultado alcanzado reportado fue:
36 Este tope fue establecido en las convocatorias de becas para estudios de posgrado en el extranjero.

Incremento de 220% en el nmero de nuevas becas a extranjeros
entre 2007 y 2010 para realizar estudios de posgrado en centros
CONACYT, universidades particulares e instituciones pblicas
de educacin superior37
R I
En concordancia con el hallazgo seleccionado Integracin de la

informacin que se genera en distintos programas, el resultado esperado
se ij como meta realizar un anlisis de los miembros del SNI con la
inalidad de conocer cuntos de stos fueron becarios CONACYT. Otro
objetivo de esta accin fue la de recaudar informacin que permitiera
determinar variables que expliquen el ingreso de los ex becarios al SNI.
Esta estrategia se implement a travs del cruce e integracin de la
informacin del PBP y la base de datos del SNI. Los resultados presentados
por los responsables del PBP fueron:
82% de los casos analizados cruzaron favorablemente con la base

de datos del SNI, el complemento se realiz manualmente
Se calcul que a julio de 2011, 62.67% de los miembros del SNI
fueron becarios del Programa de Becas
Entre 2007 y 2011 el nmero de ex becarios que se incorporaron
al SNI fue de 3,481, lo cual represent un incremento de 46%
B O
En trminos generales, los resultados alcanzados en la optimizacin de

costos e incremento de becas en el extranjero son coherentes, corresponden
a las recomendaciones de la evaluacin de impacto del Centro Redes y
37 Existe un error en el porcentaje de nuevas becas a extranjeros reportado. En el 2007 se otorgaron 219 becas
nuevas y 701 apoyos en 2010. El incremento entre estos aos es de 482 becas. Esta cifra representa un incremento
de 220% y no de 312% como fue indicado por los operadores del PBP. Por otra parte, se report el incremento
en las nuevas becas a extranjeros a partir de 2007 cuando este ao no fue considerado en el resultado esperado
establecido en la segunda icha de inscripcin. El incremento de las becas para extranjeros entre 2008 y 2010 fue
de 19.68%. Ver Anexo de la Direccin Adjunta de Posgrado y Becas 2011, Resultados alcanzados por el programa
de becas de posgrado y otras modalidades de apoyo a la calidad, Mxico, 2011, pp. 8-13.

contribuyen a la mejora de gestin del programa. En particular, el haber
establecido el tope de $250 mil pesos en el costo de colegiatura y suscribir
y mejorar convenios con instituciones educativas en el extranjero, sin
duda contribuyeron para la reduccin de costos de inanciamiento en
11%. De acuerdo a la informacin entregada por los responsables del PBP,
las estrategias implementadas contribuyeron para que se aumentara en
12.77% el nmero de becas vigentes entre 2009 y 2010. Este logro se pudo
conseguir a pesar de la reduccin en el presupuesto en este rubro la cual fue
de -11.73%. En otras palabras, el PBP logr aumentar el nmero de becas
con menos inanciamiento.
A pesar de que los resultados alcanzados se pueden considerar
como positivos, existen oportunidades de mejora importantes. En concreto,
se deben deinir metas para cada una de las estrategias planteadas ya que
la documentacin presentada no permite valorar la efectividad de cada
estrategia en relacin al resultado alcanzado. Por ejemplo, al no haber metas
deinidas para la irma y mejora de convenios con universidades extranjeras,
no es posible evaluar la dimensin del esfuerzo en este aspecto as como
tampoco se puede saber en qu medida estas acciones contribuyeron a la
reduccin del costo de inanciamiento. Por otra parte, es importante sealar
que la estrategia suscribir convenios con entidades federativas para la
formacin de recursos humanos de alto nivel en el extranjero tuvo dos
omisiones relevantes: 1) no se plantearon metas deinidas y 2) el informe
no present resultados alcanzados.
I
M
Para este resultado se establecieron dos estrategias (realizacin de feria de
posgrados en Centroamrica y posibilidad de elegibilidad de extranjeros
en convocatorias nacionales). Aunque estas acciones probablemente
contribuyeron para lograr el incremento signiicativo en el nmero de
nuevas becas otorgadas, no existe informacin que permita determinar
cul fue la aportacin de cada una para lograr el resultado. Del mismo
modo, no se deini en la segunda icha de inscripcin una meta clara en
cuanto al nmero de ferias de posgrado a realizar y cmo y en qu medida
contribuiran a incrementar el nmero de becas otorgadas. Por otra parte,
la estrategia de elegibilidad de extranjeros en convocatorias nacionales
no representa por s misma un gran esfuerzo del programa para atraer a
becarios extranjeros. La eicacia de esta estrategia se centra en la promocin
de becas para extranjeros ms all de las fronteras de Mxico.

I
anualmente se reporten indicadores

Para este resultado s se deini una estrategia con una meta concreta, misma
que se cumpli a cabalidad. La integracin de sistemas de informacin de
los programas de CONACYT y el anlisis de la informacin de los miembros
del SNI arrojaron datos tiles que permiten dimensionar en cierta medida
el impacto del PBP. Adems, este resultado s tiene una vinculacin directa
con las recomendaciones hechas en las evaluaciones realizadas al programa
(Centro Redes y EED). De acuerdo con los operadores del programa, el
rea de oportunidad en este rubro es establecer un sistema de monitoreo
y una evaluacin orientada a resultados e impactos del programa. Estos
instrumentos permitirn la identiicacin de instituciones educativas,
tanto en Mxico como en el extranjero, que facilitan las condiciones para que
becarios CONACYT egresados formen parte del SNI. Por medio de este tipo
de acciones tambin se obtendr ms informacin sobre las trayectorias de
los ex becarios del PBP como el rea de conocimiento, gnero, nivel del SNI
y sector productivo. En el cuadro 4 se sintetizan los resultados esperados,
estrategias, logros alcanzados y balance de stos.
En la ltima fase del Premio 2011, el comit evaluador valor,
con base en un resumen narrativo del programa, cuatro componentes
del PBP: la implementacin y avances a agosto de 2011; las estrategias
diseadas para asumir las acciones de mejora como elementos constitutivos
del programa; los efectos potenciales de la acciones de mejora en trminos
del funcionamiento y resultados del programa; y las lecciones aprendidas.38
El PBP obtuvo una caliicacin de 65 y fue el penltimo mejor evaluado. El
comit evaluador reconoci los logros alcanzados y resalt el compromiso
de los responsables del programa de contar en el pas con capital humano
altamente caliicado. Asimismo, el jurado valor positivamente la
disposicin de tomar en cuenta las recomendaciones y los hallazgos de las
evaluaciones as como el esfuerzo de CONACYT por realizar una evaluacin
de impacto pese a la complejidad que implica dicho estudio. En particular,
el comit evaluador coincidi en que los aspectos mejor evaluados fueron
la implementacin y la estrategia. Como debilidades, se seal que algunos
cambios en el programa fueron implementados en aos anteriores por lo
que se percibe la inercia de dichos esfuerzos. Tambin se hizo hincapi en la
diicultad de dimensionar el esfuerzo del programa debido a la ausencia de
metas preestablecas. Otro punto dbil detectado por el jurado fue la falta
de informacin para evaluar y dar seguimiento a los ex becarios.
38 Cada institucin participante caliic cada uno de los aspectos y otorg un puntaje total. La caliicacin
inal que recibi el PBP fue el resultado de promediar el puntaje total de cada institucin.

Cuadro 4. Balance de los resultados alcanzados
Resultado Estrategias Resultados alcanzados Observaciones

Esperado
Optimizacin Nuevas polticas Reduccin de costos La meta de esta estrategia fue

de costos y para el pago de de inanciamiento cumplida y el resultado alcanzado
aumento del conceptos de para becas en contribuye al resultado esperado
nmero de apoyo de la beca el extranjero
becas en el en un 11%
extranjero Incrementar la Aunque se establecieron
Establecimiento
asignadas suscripcin de convenios con instituciones
de convenios con
a partir convenios con educativas extranjeras se
instituciones instituciones desconoce la dimensin del
de 2009 educativas
educativas del esfuerzo del programa ya que
extranjero extranjeras con la no se ijaron metas concretas
obtencin de por
Mejorar los lo menos un 10% A pesar de que se mejoraron
trminos y de descuento en convenios con instituciones
condiciones de las colegiaturas educativas extranjeras se
los convenios Incremento del desconoce la eicacia del programa
existentes con 12% en el nmero en esta meta ya que no se
instituciones de becas en el establecieron objetivos concretos
del extranjero extranjero
Suscribir El CONACYT y algunas
convenios entidades federativas
con entidades emitieron convocatorias con
federativas coinanciamiento para becas
para becas en en el extranjero para tener una
el extranjero cobertura regional focalizada.
Sin embargo, no hubo una
meta deinida para esta
estrategia y no se reportaron
resultados alcanzados (nmero
de becas otorgadas)
Incremento Promocin del Incremento de No se report informacin
del nmero PNPC a travs 220% en el nmero suiciente para valorar en
de becarios de la feria de de nuevas becas a qu medida las dos ferias
extranjeros posgrado en extranjeros entre realizadas en Centroamrica
en Mxico Mesoamrica 2007 y 2010 para contribuyeron al resultado
a partir realizar estudios esperado ya que no se deini
del 2008 de posgrado en una meta para esta estrategia
Posibilidad de centros CONACYT, La meta se cumpli pero no
elegibilidad de universidades representa un gran esfuerzo
extranjeros en particulares e del programa establecer la
convocatorias instituciones elegibilidad de extranjeros en
nacionales de educacin las convocatorias nacionales.
superior pblicas La eicacia de esta estrategia
se centra en la promocin
de las becas para estudios
de posgrado en el pas

Informacin Realizar el 82% de los casos La meta se cumpli a cabalidad.
coniable del anlisis de la analizados cruzaron La accin de mejora en este
2010 sobre informacin de favorablemente rubro es el establecimiento de
las variables los miembros con la base de un sistema de monitoreo y una
enunciadas del SNI que datos del SNI, evaluacin orientada a resultados
en el fueron becarios el complemento e impactos del programa. Estos
hallazgo, y CONACYT se realiz instrumentos permitirn la
que manualmente identiicacin de instituciones
anualmente Se calcul que nacionales y extranjeras, que
se reporten a julio de 2011, generan condiciones para
indicadores 62.67% de los que los becarios CONACYT
miembros del SNI egresados se incorporen al SNI
fueron becarios del
Programa de Becas
Entre 2007 y 2011
el nmero de ex
becarios que se
incorporaron al
SNI fue de 3,481, lo
cual represent un
incremento del 46%
Fuente: Elaboracin propia con base en el anexo de la segunda icha

de inscripcin y el resumen narrativo del programa.
Conclusin
El Programa de Becas de Posgrado y otras modalidades de apoyo a la
calidad del CONACYT contribuye de manera signiicativa con las polticas de
desarrollo cientico y tecnolgico y de equidad del pas. Dicha contribucin
recae principalmente en la formacin de capital humano de alto nivel.
Uno de los ines principales del programa es que los recursos humanos
altamente capacitados respondan a las necesidades, los problemas y los
retos que enfrenta Mxico. El PBP, al ser participante del Premio 2011
tuvo que encarar tres retos de los cuales se desprenden lecciones valiosas
tanto para este programa como para otros similares.
El primer reto fue la identiicacin de hallazgos relevantes de
las evaluaciones realizadas al programa. En un primer momento, los
responsables del PBP, con base en la evaluacin del Centro Redes,
identiicaron impactos que no tenan una relacin lgica con las acciones
de mejora planteadas ni con los resultados esperados. Asimismo, estos
hallazgos no mostraron una relacin directa con el objetivo del programa
de becas, el cual se enfoca en incrementar la competitividad del pas.
Como establecieron las evaluaciones especicas de desempeo, resulta
difcil vincular los productos del PBP con la competitividad ya que sta no
depende directa y nicamente de los resultados del programa. Sobre este
punto, el comit evaluador indic que es necesario realinear las acciones
del programa de becas para que se evalen a la luz de sus productos y no

en trminos de impacto en la economa o competitividad del pas ya que
stas slo seran consecuencias positivas marginales en el agregado de la
economa nacional.39 Al parecer, este realineamiento requiere no slo de
la disposicin del CONACYT sino tambin de lexibilizar el esquema de
evaluacin de la administracin pblica federal.
El segundo obstculo fue la deinicin de metas e indicadores
para cada una de las estrategias establecidas. Como se mencion con
anterioridad, no en todas las estrategias se deinieron metas claras ni
indicadores que pudieran ser valorados en relacin a los logros alcanzados.
De igual manera, hubo cierta variacin entre las estrategias en cuanto a la
complejidad y potencial de mejora de la gestin. En otras palabras, mientras
unas estrategias implicaron un gran esfuerzo del CONACYT, otras acciones
ya venan implementndose con anterioridad por lo que no implic mayor
trabajo llevarlas a cabo. El establecimiento de metas e indicadores claros
y concretos es un imperativo tanto para la evaluacin de las estrategias y
los resultados alcanzados del programa, como para el rediseo de polticas
orientadas a la formacin de cienticos y tecnlogos de alto nivel.
La ltima diicultad fue aprender lecciones valiosas de la participacin
del PBP. Sobre este punto los responsables del PBP airmaron que el ser
concursantes en el Premio 2011 les permiti reorientar algunas acciones
y la implementacin de polticas que generaron resultados exitosos. Del
mismo modo, concluyeron que la leccin estriba en aprender de otros
programas, evaluaciones, estudios, mediciones, indicadores para mejorar
los programas de CONACYT.40 Como se puede observar, los operadores
del programa no elaboraron con detalle en las lecciones aprendidas. De
hecho, fue la parte ms dbil valorada por el comit evaluador. Sobre
este aspecto resulta necesario revisar todo el proceso y las etapas del PBP
en el concurso con la inalidad de extraer aprendizajes que los lleven a
perfeccionar la seleccin de hallazgos relevantes, a mejorar el diseo de
estrategias, metas e indicadores as como a establecer resultados esperados
que contribuyan directamente con el objetivo del programa. Al mismo
tiempo, es recomendable que los operadores del PBP analicen cmo otros
programas federales utilizan las evaluaciones para reformular sus polticas
y hacerlas ms eicientes.
Debido a las diicultades que present el PBP se puede argumentar
que el CONACYT, al menos en este programa, se encuentra en una
etapa de transicin entre el uso conceptual y el uso instrumental de las
evaluaciones. Dicho estadio es evidente pues mientras que en algunos
aspectos los operadores han sabido aprovechar informacin relevante de las
evaluaciones y utilizarla como insumo para la reformulacin de programa,
39 Guillermo Cejudo, Minuta de las sesiones de trabajo con los programas seleccionados para el Premio
Programas Federales comprometidos con el proceso de evaluacin, Mxico, 2011, p. 2.

40 Direccin Adjunta de Posgrado y Becas, Resumen narrativo del Programa de Becas de Posgrado y otras
modalidades de apoyo, CONACYT, 2011.

en otros tienen problemas para vincular las estrategias con las acciones de
mejora y los resultados esperados. Afortunadamente, el CONACYT cuenta
con la disposicin de utilizar a las evaluaciones como herramientas de
cambio para alcanzar sus objetivos. En la medida que esta voluntad est
acompaada de acciones encaminadas a mejorar las polticas del programa,
los objetivos de esta institucin se irn consiguiendo.
B
Bazdresch Parada, Carlos, Prlogo, en Ortega et al., Invertir en el
Conocimiento: El Programa de Becas-crdito del CONACYT, Mxico, SEP-
CONACYT y Plaza y Valds, 2001.
Cejudo, Guillermo, Minuta de las sesiones de trabajo con los programas

seleccionados para el Premio Programas Federales comprometidos con el
proceso de evaluacin, Mxico, 2011.
Centro Redes, Evaluacin de Impacto del Programa de Formacin de Cienticos

y Tecnlogos, Mxico: CONACYT, Mxico, 2008.
Consejo Nacional de Ciencia y Tecnologa, Ciencia y Tecnologa para la

Competitividad, Mxico, FCE y CONACYT, 2006.
_______, Informe de Labores 2010, Mxico, 2010.
_______, Informe General del Estado de la Ciencia y la Tecnologa, Mxico,

2011.
Consejo Nacional de Evaluacin de la Poltica Social, Informe de Evaluacin

Especica de Desempeo 2009-2010, Mxico, 2010.
_______, Informe de la Evaluacin Especica de Desempeo 2008, Mxico,

2008.
Direccin Adjunta de Posgrado y Becas, Anexo de Resultados alcanzados

por el programa de becas de posgrado y otras modalidades de apoyo a la
calidad, Mxico, 2011.

_______, Resumen narrativo del Programa de Becas de Posgrado y otras
modalidades de apoyo, Mxico, 2011.
Gobierno Federal, Cuarto Informe de Gobierno, Mxico, 2010.
_______, Cuarto Informe de Ejecucin del Plan Nacional de Desarrollo 2007-

2012, Mxico, 2010.
______, Indicadores de Actividades Cienticas y Tecnolgicas 2010, Edicin de

Bolsillo, Mxico, 2011.
Ortega, Sylvia et. al., Invertir en el conocimiento: El Programa de Becas-crdito

del CONACYT, Mxico, SEP-CONACYT y Plaza y Valds, 2001.
Reglas de Operacin de los programas del Consejo Nacional de Ciencia y

Tecnologa en el Diario Oicial de la Federacin, 31 de diciembre de 2010.

Prorbol, FAPPA, JERFT y Promusac:
la evaluacin aplicada a las
Mxico: balance de resultados

Brasil Acosta
Introduccin
La capacidad de autocrtica, as como la posibilidad de descubrir los errores y
tendencias negativas que se encubren por accin de la cotidianeidad; adems
de contar con la cualidad de reconocer serenamente los aciertos de las acciones
realizadas por determinadas instancias gubernamentales, son condiciones
fundamentales para evitar y erradicar la rigidez que puede producir, y que de
hecho ha producido, nuestra perniciosa burocracia. De ah la importancia de la
vigilancia y evaluacin permanente y, sobre todo, de la capacidad de reaccin
ante los resultados: tanto en la profundizacin de las acciones positivas,
como en la correccin de las tendencias negativas, que en conjunto, forman
parte fundamental del quehacer de toda institucin pblica en el marco de un
desprestigio generalizado, que a la fecha tienen algunas de las instituciones
pblicas y algunos de los programas sociales en Mxico. En efecto, dadas las
condiciones de pobreza y la falta de regulacin que se viven en nuestro pas,
mismas que se han visto agravadas por la crisis mundial, se hace necesaria

una nueva forma de hacer poltica y una nueva forma de instrumentar los
programas sociales, de forma tal que se garantice una correspondencia
adecuada entre el uso del recurso pblico destinado a determinado in y los
beneiciarios de dicho recurso. Por esta razn, la vigilanciala permanente
y las recomendaciones hechas por organismos distintos a la dependencia
encargada de ejecutar los programas, es fundamental.
En Mxico, la evaluacin de programas que tienen que ver con el
campo ha estado especialmente abandonada; de ah que en el marco de la
poltica institucional actual, tenga una especial relevancia volcar la atencin
sobre este sector y, sobre todo, atender a las respuestas que las instancias
especicas den a esas evaluaciones.
Con el in de dar seguimiento a este proceso de evaluacin, en el
contexto del Premio 2011, se estudiarn en este captulo las experiencias
relacionadas con las evaluaciones que se realizaron a los programas:
Prorbol, de la Comisin Nacional Forestal (Conafor), el Fondo para
el Apoyo a Proyectos Productivos en Ncleos Agrarios (FAPPA), Joven
Emprendedor Rural y Fondo de Tierras (JERFT), y el Programa de la Mujer
en el Sector Agrario, Secretara de la Reforma Agraria (SRA). La importancia
que tiene el anlisis de estas experiencias radica en que nos permite destacar
las fortalezas y las debilidades, para que ms adelante otros programas
orientados al campo mexicano puedan hacer uso de estas experiencias, as
como servir al mismo tiempo para mejorar el diseo futuro de programas
orientados al campo y se puedan incorporar los elementos que permitan
corregir los defectos que pudieran surgir de la instrumentacin de stos,
y se establezcan las caractersticas de la evaluacin que contribuyan a
instrumentar adecuadamente los programas.
Prorbol (Conafor)
Siguiendo a Conafor, Prorbol es el principal programa federal de apoyo
al sector forestal que ordena en un solo esquema el otorgamiento de
estmulos a los poseedores y propietarios de terrenos para realizar acciones
encaminadas a proteger, conservar, restaurar y aprovechar de manera
sustentable los recursos en bosques, selvas y zonas ridas de Mxico. La
Comisin Nacional Forestal es la institucin responsable de llevar a cabo este
programa, bajo reglas de operacin y a travs de una convocatoria anual en la
que se establecen los requisitos, plazos y procedimientos para la asignacin
y entrega de recursos a los beneiciarios. Por sus caractersticas, Prorbol
garantiza la equidad, transparencia y eicacia en el ejercicio de los recursos
pblicos destinados a impulsar el desarrollo sustentable para beneicio de los
dueos y habitantes de las regiones forestales y del pas en general.1
1 http://www.conafor.gob.mx/portal/index.php/tramites-y-servicios/apoyos-2012, (Consultado el 11 de
febrero de 2012).

La asignacin de los pagos se basa en el concepto conocido como el
pago de servicios ambientales (PSA), que segn Sven Wunder,2 promueve
directamente la conservacin.3 Ante la imposibilidad de la naturaleza de
proveer los servicios ambientales antes ofrecidos de manera gratuita por
ella, se hace necesario conciliar los intereses de los seres humanos para que
contribuyan a hacer lo que la naturaleza, derivado del saqueo hecho por
el hombre, ya no puede. Se trata por ello de crear incentivos pecuniarios
mediante la creacin de un mercado inexistente donde se asignan precios
para obtener un determinado producto, en este caso: la conservacin del
bosque. El mismo Wunder, seala que la idea central del PSA es que los
beneiciarios externos de los servicios ambientales paguen -de manera
directa, contractual y condicionada- a los propietarios y usuarios locales
por adoptar prcticas que aseguren la conservacin y restauracin de
ecosistemas.
Como resultado del desarrollo del concepto de pago de servicios
ambientales en el exterior, el Gobierno Federal, a travs de la Conafor,
instrument dos iniciativas: el Programa de Servicios Ambientales
Hidrolgicos (PSAH) a partir de 2003, y el Programa para Desarrollar el
Mercado de Servicios Ambientales por Captura de Carbono y los Derivados
de la Biodiversidad y para Fomentar el Establecimiento y Mejoramiento
de Sistemas Agroforestales (PSA-CABSA) desde el ao 2004. Ambos
programas se fusionan en el 2006 para formar parte de Prorbol (Conafor).
La Poblacin Objetivo del Programa Prorbol es aquella supericie
dentro del rea de la poblacin potencial, que se plane atender en el
ejercicio iscal 2010, de acuerdo a las caractersticas y objetivos especicos
de cada uno de sus Programas presupuestarios.4 La poblacin potencial
equivale a 35 millones 500 mil hectreas; la poblacin objetivo para el 2010
represent 50 mil hectreas (0.14% del total); por su parte, la poblacin
atendida para el ao en cuestin fue de 176 mil hectreas, es decir, 352%
ms de lo proyectado.
Desde 2006 el programa ha instrumentado un proceso continuo de
mejora para determinar las reas susceptibles de recibir el apoyo, a travs
de acciones como las siguientes:
2Sven Wunder, Pagos por servicios ambientales: principios bsicos esenciales, CIFOR, Occasional Paper No.
42(s), 2005.
3 J. Hardner, J. y R. Rice, Rethinking green consumerism, Scientiic American, pp.89-95, 2002; E. Niesten
y R. Rice, Sustainable forest management and conservation incentive agreements, International Forestry
Review, Vol. 6, pp. 56-60, 2004; S. Scherr et al., For services rendered. Current status and future potential
of markets for ecosystem services of tropical forests: an overview en Technical Series #21, Yokohama:
International Tropical Timber Organization (ITTO), 2004; P. Ferraro y A. Kiss, Direct payments to
conserve biodiversity, Science, Noviembre 29, 2002, pp. 1718-1719.
4CONEVAL, Informe de la Evaluacin Especica de Desempeo 2010-2011. Valoracin de la Informacin
contenida en el Sistema de Evaluacin del Desempeo (SED). Prorbol - Programa de Servicios
Ambientales por Captura de Carbono, Biodiversidad y Sistemas Agroforestales (CABSA) Comisin
Nacional Forestal.

1. Determinacin de un protocolo y metodologa para focalizacin
instrumentado, primero por la propia Gerencia de Servicios
Ambientales y actualmente por la Coordinacin General de
Planeacin e Informacin, bajo el cual se deinen las reas
prioritarias.
2. Sistematizacin de coberturas cartogricas empleadas
para identiicar las reas prioritarias, y generacin de notas
metodolgicas anuales que describen el procedimiento aplicado.
3. Exposicin en distintos foros del proyecto de reas prioritarias
de servicios ambientales, previo a la publicacin formal (Comit
Tcnico Consultivo del Programa, Comit Tcnico Nacional del
Programa, Misiones de Banco Mundial, entre otros foros con
actores involucrados en el tema, cienticos, organizaciones no
gubernamentales, asociaciones de productores).
4. Asimismo, a partir del ejercicio iscal 2010 las reas prioritarias
de PSA estn clasiicadas con pago diferenciado, utilizando como
base el tipo de ecosistema forestal y el riesgo a la deforestacin.
Para dimensionar los alcances del programa, debe decirse que en

el ao 2007, el presupuesto destinado al pago de servicios ambientales
se increment cinco veces. En el periodo 2003-2010, Conafor asign
5,289 millones de pesos bajo el esquema de Servicios Ambientales para
la ejecucin de 4,646 proyectos de conservacin, en una supericie de
2,767,000 hectreas. Tambin apoy la elaboracin de 760 documentos
para proyectos (2004 a 2009) con una inversin adicional de 85 millones
de pesos, beneiciando as a ms de 5,400 ejidos, comunidades y pequeos
propietarios en todo el pas.5
Las evaluaciones que se realizaron fueron, fundamentalmente,
las especicas de desempeo, as como la evaluacin de consistencia de
resultados del programa Prorbol. Entre los hallazgos ms relevantes que
se presentan en la icha de inscripcin estn los siguientes: no se cuenta
con informacin que indique las caractersticas de la biodiversidad en las
reas apoyadas o la presencia de especies prioritarias; los beneiciarios
perciben al programa como un subsidio ms del gobierno y consideran que
no tienen el suiciente conocimiento tcnico y desconocen a quin acercarse
(demandantes de servicios ambientales) para efectivamente desarrollar un
mercado; relevancia del Programa en los tiempos actuales, se recomienda
evaluar la factibilidad de llevar una evaluacin de impacto del Programa;
los indicadores relejan permanencia de los predios apoyados. Asimismo,
indican que no se entregan todos los apoyos aprobados probablemente
debido a problemas de gestin. Sin embargo, es importante sealar que hay
5 www.conafor.gob.mx

factores tanto internos como externos que inciden en estos problemas. Se
recomienda continuar mejorando los procesos de planeacin para resolver
los problemas internos y minimizar el efecto adverso de los factores
externos; no se cuenta con criterios para deinir y cuantiicar las supericies
prioritarias objetivo que focalicen los apoyos de manera diferenciada al
resto del pas.
Como muestra del compromiso de Conafor en el proceso de
evaluacin, podemos sealar las acciones de mejora emprendidas que
quedan plasmadas en el reporte de Guillermo M. Cejudo, como parte del
jurado del Premio 2011, en el que seala que en la Conafor:
[S]e comprometieron a realizar 11 acciones de mejora que

se pueden agrupar en los siguientes rubros: 1) investigacin
para mejorar la focalizacin y medicin de los indicadores;
2) talleres para fortalecer las capacidades de los proveedores
locales de servicios ambientales, 3) mejorar los mecanismos
locales de pago por servicios ambientales y 4) agilizar el
trmite de pago a los beneiciarios.
En cuanto a las acciones de mejora, en el reporte de los programas

semiinalistas del Premio 2011, Guillermo M. Cejudo y Claudia
Maldonado sealan las siguientes:
Recursos inancieros para el desarrollo de investigaciones sobre

el tema de servicios ambientales, su vnculo con el tema social.
Elaboracin y emisin de Lineamientos de Fondos Concurrentes.
En el marco de un convenio de colaboracin con CONAFOR,
la Universidad de Wisconsin realiza un estudio que permitir
conocer los impactos del PSAH en la deforestacin y en la
condicin socioeconmica de los beneiciarios.
Simpliicacin y agilizacin de trmites administrativos.
Proceso anual de revisin y mejora para determinar las reas
prioritarias o supericies elegibles para la aplicacin de los apoyos
de PSA.
Como se ve, Conafor instrument medidas especicas para mejorar

su desempeo derivadas de la evaluacin hecha; por desgracia, la medicin
de su impacto en el ambiente, por ser difcil, impide detectar en el corto

plazo el resultado de sus acciones, pero cabe destacar la actitud abierta a los
sealamientos y el intento por hacer caso a las recomendaciones derivadas
de las evaluaciones.
En cuanto a algunas debilidades, se menciona que se deben
identiicar las categoras de apoyo destinadas a las poblaciones marginadas,
y se recomienda que, con base en las evaluaciones de aos anteriores
se realice un ejercicio contabilizacin de la supericie, que permita la
cuantiicacin y la caracterizacin de las zonas prioritarias, focalizacin
de los programas por regin, integracin de los programas de promocin
especicos y la integracin de programas para zonas frgiles. Conafor, en
respuesta a las recomendaciones hechas, ha instrumentado una serie de
estudios, convenios, documentales, lineamientos, talleres, etc., mismos
que han permitido tener una visin ms clara del complicado fenmeno
que consiste en empatar los intereses humanos con los de su entorno
relacionado con la Biodiversidad. La evaluacin del impacto (positivo o
negativo) del programa, es muy complicada, pues el componente de corto
plazo en este caso no favorece a los instrumentadores del programa. No
obstante, es necesario estudiar proyectos de impacto que manejen los
bosques productivamente por perodos de muchos aos; asimismo, se sabe
que una hectrea plantada con yute equivale a 5 hectreas de bosque en
cuanto a la captacin de CO2 se reiere, por lo cual, con menos inversin
podran obtenerse resultados de trascendencia.
Pese a la diicultad que implica medir con precisin los resultados
del programa, como se dijo anteriormente, Conafor procura hacer uso de
los estudios tcnicos como herramienta para la toma de decisiones y, por lo
mismo, intenta que su actuar est sustentado en los resultados de dichos
estudios. Esta forma de actuar es adecuada y pone de maniiesto que las
autoridades tienen la capacidad de reaccionar ante los sealamientos de los
organismos evaluadores, y aunque no se puede calcular el impacto, por la
diicultad temporal del fenmeno analizado, se puede decir que se ha hecho
caso de las recomendaciones planteadas.
Finalmente, dada la situacin de pobreza del pas y dada la
naturaleza de la economa de mercado en la que opera el programa
Prorbol, as como el negativo historial de corrupcin en nuestro pas,
est latente la presencia del conocido riesgo moral; pues ante una
oferta ilegal de recursos para vender madera o usar los bosques de forma
lucrativa, es posible que haya quienes reciban los pagos del programa y,
a la vez, los pagos de su contrario, es decir, del dinero que tiende a no
preservar la Biodiversidad.
No obstante, Conafor obtuvo en la evaluacin inal el cuarto lugar de
13 programas participantes, lo cual revela el compromiso de la institucin
con el programa de evaluacin, pese a la diicultad de medir el impacto
concreto de sus acciones.

Programas correspondientes a la Secretara
de la Reforma Agraria (SRA)
En el sexenio de Vicente Fox Quezada, se anunci la culminacin del reparto
agrario cuya historia data desde la Revolucin Mexicana. Al terminar
estas funciones, la SRA tiene la capacidad de extender su radio de accin y
promover programas en el sector rural en apoyo los campesinos. Al mismo
tiempo, despus del reparto agrario una parte de la poblacin rural se qued
sin la oportunidad de acceder a la propiedad agraria. A este problema, se
aade el hecho de que 10.5% de la supericie nacional, que es de casi dos
millones de kilmetros cuadrados, se dedica a las actividades agrcolas y
aproximadamente 80% de esa supericie est fraccionada en parcelas de
cinco hectreas o menos, lo cual ha provocado un divorcio entre el capital y la
tierra, que hace necesaria la intervencin estatal para mitigar las condiciones
de pobreza que se sufren en el campo y para lograrlo se hacen necesarios
distintos programas. Estos programas, desafortunadamente, estn muy lejos
de representar una solucin estructural como la que se requiere para atender
la pobreza en el campo. Ahora bien, los programas sealados en este apartado
promueven fundamentalmente los proyectos productivos (en una escala de
mediana a pequea, aunque predomina esta ltima). Sin embargo, el xito
de un proyecto productivo no depende solamente de la buena voluntad
de la autoridad que otorga los recursos para su instrumentacin, ni de la
capacidad del empresario para hacer que su proyecto resulte triunfador; hace
falta tambin que en el mercado estn dadas las condiciones que puedan
satisfacer la demanda de los productos que resultan de los proyectos y que
estn destinados al mercado. En ese sentido, los efectos de la crisis mundial,
la concentracin de la riqueza en Mxico, el aumento de la desigualdad y,
inalmente, la prdida de la capacidad adquisitiva del salario en nuestro pas,
hacen que todo proyecto de inversin se sumerja en las negras aguas del
riesgo y del fracaso, si se trata de inversiones pequeas o medianas, como
es el caso. De ah la importancia de mejorar sustantivamente los modelos de
promocin de proyectos productivos, incorporando dichas consideraciones.
F A P P
N A FAPPA SRA
Este programa tiene sus orgenes en el ao 2000. El programa Fondo para
el Apoyo a Proyectos Productivos en Ncleos Agrarios (FAPPA) est dirigido
a mujeres y hombres que habitan en ncleos agrarios y que no son titulares
de tierras, pero que tienen el propsito de poner en marcha proyectos
productivos para mejorar su calidad de vida y la de sus familias. Los
proyectos productivos pueden ser por ejemplo, de ndole ganadera, textil,
ecoturismo, tiendas rurales, produccin de alimentos o servicios varios.6
6 http://www.sra.gob.mx/sraweb/programas/fappa/, (11 de febrero de 1012)

Se trata de un programa que apoya a aquellos que, sea porque no tuvieron
herencia de sus padres, o que al inalizar el reparto agrario no pudieron
hacerse de una parcela, pero dada la situacin de pobreza de los ncleos
rurales, buscan ser emprendedores. Se trata de encontrarlos, de modo que
as pueda el programa convertirse en una alternativa para mitigar la difcil
situacin de los sin tierra. El programa se dio a conocer en el Diario Oicial
de la Federacin el lunes 31 de diciembre de 2007.
De acuerdo al manual de reglas de operacin7, el Programa se rige
bajo los siguientes objetivos especicos:
I. Apoyar a los hombres y mujeres que habiten en Ncleos

Agrarios, que no sean titulares de derechos agrarios, para la
implementacin y puesta en marcha de proyectos productivos
con criterios de equidad e igualdad que sean viables tcnica,
econmica y ambientalmente sustentables, mediante el
otorgamiento de aportaciones directas.
II. Otorgar capacitacin productiva con perspectiva de gnero a los
Grupos de beneiciarios(as).
III.Impulsar la sobrevivencia de los proyectos productivos apoyados
para determinar su xito, a travs de la supervisin.
IV. Apoyar a la poblacin rural que haya sido beneiciada por el
Programa, con garantas lquidas.
Asimismo, la poblacin objetivo se describe enseguida: Avecindados

y personas que habiten en Ncleos Agrarios, incluyendo aquellos que estn
ubicados en las zonas en las que se puedan resolver conlictos agrarios en el
medio rural, debidamente avalados por la autoridad correspondiente y que
no sean titulares de derechos ejidales o de bienes comunales, ni posesionarios
o usufructuarios de tierra social y que se constituyan en un Grupo con la
inalidad de establecer un Proyecto Productivo (reglas de operacin).8
Los criterios de seleccin son los siguientes:
I. Evaluacin Tcnica: se analiza la viabilidad tcnica, inanciera y

sustentable del proyecto productivo.
7http://www.sra.gob.mx/sraweb/datastore/programas/2011/reglasFAPPA2011.pdf, (13 de febrero de

2012)
8 Reglas de Operacin del Programa Fondo para el Apoyo a Proyectos Productivos en Ncleos Agrarios
(FAPPA), Diario Oicial de la Federacin.

II. Focalizacin por marginacin y vulnerabilidad: Se valoran las
condiciones sociales que cuentan los solicitantes y en las que se
establecer el proyecto productivo.
En 2011 el FAPPA tuvo un presupuesto aprobado de 730 millones.

La tasa de crecimiento media anual para los beneiciarios fue un poco
menor al ubicarse en 2.46% del ao 2000 a 2010, pasando de 16 mil a ms
de 21 mil. El nmero de proyectos apoyados por ao ha tenido una tasa
de crecimiento media anual ms elevada, al llegar a una tasa de 20.76% de
crecimiento anual, ya que en 2000 se apoy a 512 proyectos productivos y
en 2010 se increment a 3,376 proyectos apoyados.
Se hizo una evaluacin de in y propsito en la que se plante lo
siguiente:
1. Es necesario establecer los mecanismos de seguimiento

que aseguren la recepcin del recurso otorgado, la correcta
aplicacin por parte de los grupos apoyados y la permanencia
de los bienes en el rea destinada a la operacin de los proyectos
productivos.
2. Con el propsito de incrementar la duracin de los proyectos,
es necesario establecer mecanismos que aseguren el correcto
seguimiento de los proyectos productivos.
Ante estas observaciones se plante por parte de los encargados

de ejecutar el programa en su icha de inscripcin lo siguiente: mejorar
el modelo de supervisin de proyectos productivos mediante la
implementacin de tres tipos de supervisin: supervisin previa, que tiene
como inalidad veriicar las condiciones iniciales del proyecto productivos;
supervisin de seguimiento, que tiene como propsito veriicar la correcta
aplicacin del recurso por parte de los grupos apoyados y la supervisin
especial, la que resulte de las quejas y de las denuncias presentadas a la
Coordinacin del Programa o instancias competentes; sin embargo, la
evidencia ofrecida fueron las cdulas de supervisin de los proyectos
productivos visitados, lo cual no garantiza la correcta instrumentacin de
las recomendaciones hechas.
En la misma icha de inscripcin se plante fortalecer el proceso
de capacitacin de los beneiciarios a travs del mejoramiento de los
contenidos de los mdulos y materiales de capacitacin y enriquecerlos con
temas como equidad de gnero, derechos humanos y trabajo en equipo, lo
cual se intent resolver mediante manuales de capacitacin, guas tcnicas
por giro, trpticos mejorados y enriquecidos.

La diicultad que se puso de maniiesto en el proceso llevado a cabo
para poner en prctica las recomendaciones hechas por la evaluacin, y esto
vale para los otros dos programas de la SRA que se exponen en este mismo
captulo, pues se trata de la misma secretara, fue la falta de personal para
instrumentar las medidas sugeridas por la evaluacin, de tal suerte que el
radio de accin de las medidas por ellos planteadas, no parece haber tenido
el impacto esperado, pues se redujo a medidas cuyo radio de accin es pobre:
fundamentalmente en el terreno de la propaganda.
En cuanto a las acciones de mejora, la instancia evaluada plantea
que se instrumente la supervisin de seguimiento a proyectos productivos
apoyados en el ejercicio iscal del ao anterior, a in de veriicar la
instrumentacin del proyecto productivo de acuerdo con lo establecido
en la solicitud y determinar el estatus de operacin de los mismos. 1)
Instrumentar la supervisin previa a proyectos productivos autorizados
para veriicar que la informacin registrada en la solicitud del apoyo
coincida, con las condiciones fsicas y tcnicas del proyecto productivo;
2) fortalecer el proceso de capacitacin de los beneiciarios a travs
del mejoramiento y la actualizacin de los materiales de capacitacin,
enriquecindolos con Guas Tcnicas por tipo de giro, folletos, trpticos y
volantes con informacin sobre equidad de gnero, valores y derechos y
obligaciones de los beneiciarios del programa, proporcionando nmero de
telfonos gratuitos para presentar quejas y denuncias e 3) incidir y motivar
a la presentacin de proyectos productivos de diversos giros.
Como se dijo antes, para poder instrumentar de mejor manera el
Programa aqu planteado, se hace necesario contar con ms personal; sin
embargo, la propia secretara reconoci no contar con l, lo cual aletarga la
solucin efectiva de las recomendaciones planteadas.
Finalmente, este programa est sometido al riesgo de que se
presenten sesgos de seleccin por el carcter no aleatorio de los candidatos
a recibir el Programa, pues en la decisin puede inluir, en alguna medida,
el criterio del promotor o el criterio del desconocimiento de la poblacin
objetivo.
Joven Emprendedor Rural y Fondo de Tierras (JERFT)

Desde su formacin, en el ao 2004, este Programa fomenta el relevo
generacional en la tenencia de la tierra, apoyando a los jvenes de ncleos
agrarios para adquirir o rentar tierra social. Los beneiciarios reciben
asistencia tcnica y capacitacin para instrumentar proyectos productivos
sustentables que mejoren sus ingresos y nivel de vida, arraigndolos en sus
comunidades.9
9 http://www.sra.gob.mx/sraweb/programas/jer/, consultado 11 de febrero de 2012.

El objetivo de este programa es lograr que el Joven emprendedor
rural cree su propia Agroempresa rentable y sustentable, preferentemente
en el Ncleo agrario al que pertenece, o en otro cercano que no implique
su cambio de residencia; a travs de capacitacin y, adquisicin o renta de
derechos parcelarios, insumos y servicios de acompaamiento empresarial;
con el in de propiciar el arraigo, relevo generacional en la tenencia de la
tierra social y mejora de sus ingresos,10 mediante apoyos directos; sin
embargo, no se pretende destinar recursos, sino a aquellos que cumplan
con los requisitos planteados en el manual de procedimientos, que se
compone principalmente de los siguientes procedimientos: el de ingreso,
para acceder a los apoyos del Proyecto Escuela y Proyecto Agroempresarial,
para cambiar la actividad productiva y, acceder a la tutora por segunda
ocasin.
La poblacin objetivo debe cumplir los siguientes requisitos: ser
sujeto agrario; tener mnimo de 18 aos y hasta 39 aos de edad, al
momento de presentar la solicitud de incorporacin al Programa; habitar
en un Ncleo agrario que cumpla los criterios de cobertura, sealados en
el artculo 4 de las Reglas; presentar identiicacin oicial con fotografa y
irma; y presentar Clave nica de Registro de Poblacin (CURP).
Segn el estudio realizado por la FAO,11 en el periodo 2007-2009 el
JERFT ha realizado una inversin de 672 millones de pesos, de los cuales
65 por ciento correspondi a los apoyos directos otorgados por la SRA y el
resto se constituy por medio de los crditos canalizados por la Financiera
Rural, que funge como el Agente Financiero del Programa desde el ao
2007. Con estos recursos se impulsaron 599 proyectos agroempresariales,
a cargo de 2,441 jvenes que previamente acreditaron la etapa de proyecto
escuela.
Se instrumentaron evaluaciones especicas de desempeo y
complementarias. Los hallazgos fundamentales son los siguientes: la
evaluacin recomienda realizar estudios de caso que documenten el xito
del programa para sujetos agrarios especicos. Los lujos de informacin
en la operacin del Programa presentan algunas deiciencias, tanto a nivel
que se reiere a las obligaciones y derechos de los jvenes contratantes de
crdito, como al que se da entre la Financiera Rural y la SRA. Tambin se
advierte desconocimiento de los jvenes respecto de la oferta de productos
y servicios inancieros con que cuenta la Financiera Rural, lo que pudiera
estar limitando el uso de otros instrumentos que apoyaran la consolidacin
de sus proyectos. Los proyectos productivos no solamente deben generar
ingresos para los jvenes y sus familias, tambin deben permitir el pago del
crdito y la capacidad de inversin para el mantenimiento y el crecimiento
10 http://www.sra.gob.mx/sraweb/datastore/programas/2012/Manual_de_Procedimientos_del_
Programa_JERFT_2012.pdf, consultado el 13 de febrero de 2012.

11 http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_ext_comp/JERFT.pdf,
consultado el 13 de febrero de 2012.

competitivo de las empresas. La sostenibilidad autnoma de las empresas
formadas, en el mediano y largo plazo, presenta altos riesgos. El proyecto
escuela debe operar como un iltro necesario para determinar al conjunto
de jvenes con mayores capacidades y habilidades e inters real en llevar a
cabo un proyecto agro-empresarial.
Como evidencias de cumplimiento se presentan: el informe
inal de la evaluacin de la Organizacin de las Naciones Unidas para la
Alimentacin y la Agricultura (FAO); constancia de caliicaciones del
mdulo de aspectos inancieros entregado por el instructor; cdulas de
supervisin y fotos, donde se demuestran los proyectos agro-empresariales
apoyados por la SRA que se integran en una cadena productiva, el informe
inal de los resultados del cuestionario del emprendedor, as como la
propuesta para mejorar los criterios de seleccin en 2012. En este punto
nos volvemos a encontrar con la diicultad de la falta de personal para poder
ejecutar algunas de las recomendaciones sugeridas que, a diferencia de
otros programas, no se deriva de una estrategia propagandstica de impacto
que permita a la poblacin objetivo susceptible de ser beneiciara enterarse
de la existencia del programa y, por lo mismo, se tiene un problema
potencial de seleccin. Efectivamente, es posible que en este proceso no
se seleccionen a los que pudieran ser los emprendedores potenciales que
hagan rendir verdaderamente los recursos del apoyo y ello se deba a los
instrumentadores del programa en sus diferentes etapas. Al mismo tiempo,
en condiciones de corrupcin se pueden asignar los recursos a personas
que no necesariamente caliican para los programas, razn por la cual, los
resultados no necesariamente sern favorables en estos casos y por tratarse
de apoyos directos, pueden convertirse en subsidios al consumo y no una
inversin productiva.
Programa de la Mujer en el Sector Agrario (PROMUSAG)

La participacin de la mujer en la economa nacional y en los programas de
corte social, es fundamental en una sociedad en la que se ha proclamado
como bandera la equidad de gnero. La declaracin de principios en
esa direccin no garantiza, sin embargo, que en los hechos se cumpla a
cabalidad con la llamada igualdad de oportunidades; ahora bien, si se
quiere obtener un equilibrio y hablar de equidad, es necesario que el
salario pagado en nuestro pas mejore en trminos reales para el hombre y
para la mujer, pues sta es una forma eiciente de garantizar la igualdad de
oportunidades deseada. Finalmente, la responsabilidad natural que tiene
la mujer en su calidad de garante de la vida humana, le hace susceptible
de ser exitosa a la hora de emprender un proyecto productivo, por eso el
Promusag puede tener xito si las condiciones econmicas del mercado
y una eleccin adecuada de las mujeres emprendedoras, no impiden su
buen desempeo.

El Programa de la Mujer en el Sector Agrario (PROMUSAG) est
orientado a las mujeres que habitan en ncleos agrarios, y que se organizan
para desarrollar un proyecto productivo que les permita obtener ingresos y
con ello contribuyan a combatir la pobreza en el medio rural. Los proyectos
productivos pueden ser: ecoturismo, engorda de ganado, tiendas rurales,
produccin de alimentos o servicios varios.12 En este tipo de programas
se pone de maniiesto la necesidad de formar lo que se conoce como el
capital social, en el que la formacin de grupos sirve de garante para el
mejor desempeo inanciero de cada individuo, al tiempo que se fomenta la
solidaridad entre socias, se fomenta la presin para administrar de mejor
manera los recursos de la sociedad.
Desde su inicio y hasta 2008, el programa haba registrado una
tendencia creciente en montos de inversin, el nmero de proyectos
apoyados y el nmero de beneiciarias. En 2009 esta tendencia cambia, como
resultado de una reduccin del presupuesto en trminos reales; asimismo,
al deinirse que los grupos deben tener un mximo de cinco integrantes, el
nmero total de beneiciarias disminuye, an cuando el total de proyectos
aumenta en 27%. En 2009 el monto promedio de apoyo por proyecto fue de
130 mil pesos, con un presupuesto de 957 millones. Lo anterior permiti
brindar apoyo a un total de 7,277 proyectos y ms de 34 mil beneiciarias.13
Se hicieron los siguientes sealamientos para el mejoramiento
del programa: instrumentar la supervisin de seguimiento a proyectos
productivos apoyados en el ejercicio iscal del ao anterior, a in de
veriicar la instrumentacin del proyecto productivo de acuerdo con lo
establecido en la solicitud y determinar el estatus de operacin de los
mismos. Implementar la supervisin previa a proyectos productivos
autorizados para veriicar que la informacin registrada en la solicitud
del apoyo coincida con las condiciones fsicas y tcnicas del proyecto
productivo. Fortalecer el proceso de capacitacin de las beneiciarias a
travs del mejoramiento y actualizacin de los materiales de capacitacin,
enriquecindolos con folletos, trpticos y volantes con informacin sobre
equidad de gnero, valores, derechos y obligaciones de las beneiciarias del
programa, proporcionando nmeros de telfonos gratuitos para presentar
quejas y denuncias. Incidir y motivar a la presentacin de proyectos
productivos de diversos giros. Ampliar la difusin del programa a travs
de medios electrnicos e impresos, materiales y plticas mediante jornadas
de difusin de los programas en el medio rural, a in de que la informacin
llegue a un mayor nmero de la poblacin objetivo. Disear un indicador
que permita conocer cmo el programa contribuye a mejorar la igualdad de
trato entre las beneiciarias y los hombres.
12 http://www.sra.gob.mx/sraweb/programas/promusag/, consultado el 11 de febrero de 1012.

13 http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_ext_comp/PROMUSAG.pdf,
consultado el 13 de febrero de 2012.

Conclusiones
El programa que observ mejor desempeo, tanto por la profesionalizacin
de su actividad, como por la eiciencia con la que fueron instrumentadas las
recomendaciones por las supervisiones realizadas, pese a la diicultad de
instrumentar algunas de ellas, fue el programa Prorbol: el uso de tcnicas
modernas y estudios cienticos para poner en prctica el programa;
la constante evaluacin de impacto, en un mbito de poltica pblica de
enorme complejidad para la medicin y la identiicacin de los impactos,
como es el caso de la poltica ambiental. Este esfuerzo fue reconocido con
el cuarto lugar del Premio.. Por su parte, los programas instrumentados
por la SRA se enfrentaron a problemas que les afectan en comn por
pertenecer a la misma secretara. Podemos mencionar el problema de la
falta de informacin para los ncleos que podran beneiciarse de los
programas; problemas de falta de personal y falta de capacitacin del
personal para seleccionar adecuadamente a los posibles beneiciarios del
programa y, inalmente, las acciones realizadas por los programas tuvieron
alcances limitados por constreirse a acciones de propaganda (trpticos,
volantes, etc.) y cursos de capacitacin, ejecutados por el mismo personal
que por ser limitado no poda abarcar muchas comunidades. Los resultados
de la evaluacin conirman lo antedicho, pues los programas de la SRA se
colocaron en los ltimos lugares de la evaluacin. Quizs no fue la falta de
compromiso con el proceso de evaluacin lo que llev a los programas de la
SRA a obtener los resultados obtenidos, como la falta de recursos para su
instrumentacin; en todo caso, falt capacidad de gestin de parte de las
autoridades correspondientes para allegarse de esos recursos y as poder
instrumentar de mejor manera las recomendaciones que les hicieran a los
programas.
En resumen, el proceso de evaluacin dio a las instituciones
elementos para relejar las virtudes y las deiciencias de sus respectivos
programas. La instrumentacin de las recomendaciones depende, como
queda visto ac, de la disposicin de las autoridades dirigentes, pero
tambin de los recursos econmicos y humanos para la instrumentacin
de las mejoras, de lo cual se deduce que la evaluacin debe ser permanente
y los recursos humanos mejorar; as como asignar de forma cada vez ms
eiciente los recursos econmicos destinados a los programas para que se
potencien los beneicios derivados de una mejor instrumentacin.
B
CONEVAL, 2011: Informe de la Evaluacin Especica de Desempeo 2010-
2011. Valoracin de la Informacin contenida en el Sistema de Evaluacin
del Desempeo (SED). Prorbol - Programa de Servicios Ambientales por
Captura de Carbono, Biodiversidad y Sistemas Agroforestales (CABSA)
Comisin Nacional Forestal.

Hardner, J., y R. Rice, Rethinking green consumerism, Scientiic American,
Mayo de 2002, pp.89-95.
Niesten, E. y R. Rice, Sustainable forest management and conservation

incentive agreements, International Forestry Review, Vol. 6, 2004, pp. 56-60.
Scherr, S., A. Khare y A. White, For services rendered. Current status

and future potential of markets for ecosystem services of tropical forests:
an overview en Technical Series #21, Yokohama: International Tropical
Timber Organization (ITTO), 2004.
Scherr, S., A. White, and A. Khare. 2004. Tropical forests provide the
planet with many valuable services. Are beneiciaries prepared to pay for
them? ITTO Tropical Forest Update, Vol. 14, Nm. 2, pp. 11-14.
Ferraro, P., y A. Kiss, Direct payments to conserve biodiversity, Science,

Noviembre de 2002, pp. 1718-1719.
Wunder, S., Pagos por servicios ambientales: principios bsicos esenciales,

CIFOR, Occasional Paper Nm. 42(s), 2005.
http://www.conafor.gob.mx/portal/index.php/tramites-y-servicios/
apoyos-2012 (11 de febrero de 2012)
http://www.sra.gob.mx/sraweb/programas/jer/ (11 de febrero de 1012)
http://www.sra.gob.mx/sraweb/programas/promusag/ (11 de febrero de 1012)
http://www.sra.gob.mx/sraweb/programas/fappa/ (11 de febrero de 1012)
h t t p : / / w w w. s ra . g o b. m x / s raw e b / d a t a s t o re / p ro g ra m a s / 2 0 1 1 /
reglasFAPPA2011.pdf (13 de febrero de 2012)
http://www.sra.gob.mx/sraweb/datastore/programas/2012/Manual_de_
Procedimientos_del_Programa_JERFT_2012.pdf (13 de febrero de 2012).

http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_
ext_comp/JERFT.pdf (13 de febrero de 2012).
http://www.sra.gob.mx/sraweb/datastore/programas/2011/coneval/eval_
ext_comp/PROMUSAG.pdf (13 de febrero de 2012).

Balance general de la experiencia
P
Claudia Maldonado
Histricamente, la utilizacin de las evaluaciones para la gestin pblica

basada en evidencia y orientada a resultados ha sido el taln de Aquiles
de los sistemas nacionales de evaluacin. Representa un constante
desafo, incluso en los sistemas de mayor consolidacin y arraigo en la
prctica administrativa. Muchos factores contribuyen a ello. La efectiva
utilizacin de las evaluaciones depende de una cadena de produccin de
valor pblico sumamente compleja. Se requiere, en primera instancia,
que existan los insumos bsicos de informacin y capital humano para
la realizacin de las evaluaciones: sistemas de indicadores e informacin
coniables, instrumentos adecuados, evaluadores competentes y sistemas
normativos y de gestin eicientes para que el mercado de evaluacin
funcione. Igualmente, una vez resuelta la produccin de evaluaciones
rigurosas, crebles y pertinentes para la toma de decisiones, es necesario
que existan, por el lado de la demanda, poderosos incentivos para que las
organizaciones pblicas acepten, apropien y movilicen los resultados del
proceso evaluativo, y sean capaces de traducirlos en acciones puntuales de
mejora en el marco del proceso cotidiano de gestin.1
1Idealmente, esta secuencia virtuosa permitira la formacin incremental de sistemas dinmicos de

aprendizaje transformativo. En la prctica, esta cadena de produccin de valor es una aproximacin
conceptual a una serie de factores y procesos, no necesariamente secuenciales y alineados, de los que
depende la efectiva utilizacin de los programas. (Para una interesante discusin del concepto de
utilizacin como aprendizaje, vase Hallie Preskill y Rosalie T. Torres, he Learning Dimensions of
Evaluation Use, New Dimensions for Evaluation, nm.88, 2000, pp.25-37)

En Mxico, a pesar de notables avances en el marco institucional
para la evaluacin peridica de los programas, se sabe poco sobre el grado
de apropiacin de los hallazgos de la evaluacin en los procesos internos
de gestin, de la calidad y pertinencia de las recomendaciones derivadas
del proceso de evaluacin, de los factores externos a la evaluacin que
inluyen en la capacidad de los operadores para detonar procesos internos
de mejora, y sobre todo, de su contribucin especica al desempeo
de los programas. La iniciativa parte del reconocimiento explcito de
la centralidad de la utilizacin y la necesidad de conocer, reconocer y
fomentar los esfuerzos y avances que realizan de manera cotidiana los
actores responsables de la operacin de programas federales. De manera
complementaria, la iniciativa busc documentar, sistematizar y extraer
lecciones relevantes en materia de utilizacin, a partir del acompaamiento
del mapa de ruta de la internalizacin de la evaluacin: la traduccin
crtica de los hallazgos y recomendaciones de los evaluadores en un
conjunto de acciones puntuales, con metas e indicadores explcitos, su
conexin lgica con los resultados esperados, y el grado de cumplimiento
de los objetivos planteados. Las experiencias aqu documentadas dan
cuenta de una enorme heterogeneidad en la capacidad de los programas
para disear esta ruta crtica y transitarla de manera exitosa. A pesar de
que dichas diferencias son parcialmente atribuibles a la diversidad de la
naturaleza, la complejidad, el contexto, y el grado de maduracin de cada
programa, la respuesta diferenciada de estos programas al reto comn
de la utilizacin, nos permite identiicar algunos elementos comunes
a todos los programas y extraer lecciones especicas, pertinentes para
programas que operen en condiciones y con instrumentos comparables a
las experiencia que aqu se documentan.
La primera leccin general consiste en la contribucin del espacio de
dilogo que se gener en el marco de la realizacin del Premio: los programas
participantes fueron convocados para presentar y discutir, en un ambiente
de dilogo informal, los criterios y las razones que inluyeron en el diseo
de las estrategias de mejora propuestas, su apreciacin sobre la capacidad
de instrumentarlas y el grado de avance con el que se comprometan en
un plazo concreto. A partir de este dilogo, los programas tuvieron la
oportunidad de revisar los planteamientos originales y presentar una
estrategia ms completa, que incluyera tambin una visin estratgica las
tareas necesarias para lograr los avances, y un mapa de riesgos potenciales
identiicados por los operadores. A pesar de que la calidad y pertinencia de
las propuestas originalmente planteadas fueron muy heterogneas, todos
los programas lograron mejoras importantes en el planteamiento de sus
estrategias.
En la primera etapa se pudo constatar que algunas de las deiciencias
de los planteamientos presentados por los programas estaban vinculadas
con la incomprensin de ciertos conceptos, poca claridad en los criterios
de priorizacin, la generacin de indicadores poco precisos, o la seleccin

de metas poco realistas en funcin del alcance de las acciones propuestas.
Estos problemas relejan que nos encontramos en una etapa inicial de
la curva de aprendizaje en materia de evaluacin, y que existe un dicit
importante de capacitacin y socializacin de y para la evaluacin, pero
tambin ilustran, de manera afortunada, que las deiciencias identiicadas
no son atribuibles a la simulacin, al manejo estratgico de indicadores y/o
la resistencia organizacional a la presin generada por las evaluaciones. Por
el contrario, el proceso dio cuenta de la gran receptividad y disposicin de
los operadores para ainar, discutir y mejorar sus propuestas de mejora.
De manera consistente, los operadores reconocieron la legitimidad
y la pertinencia (de algunos) hallazgos de las evaluaciones, admitieron
los problemas identiicados por stas y articularon propuestas con un
compromiso genuino por la mejora de sus programas. En el marco de sus
capacidades y mbitos de accin, los operadores demostraron una clara
disposicin para incorporar las lecciones de la evaluacin en sus procesos
internos, y entendieron la necesidad de hacerlo de manera selectiva.
Lejos de la adopcin automtica e irrelexiva de las recomendaciones, las
propuestas de los programas relejaron una apropiacin constructiva de las
evaluaciones a partir de su conocimiento privilegiado de las restricciones
internas y la aplicabilidad de diversas recomendaciones. En algunos casos,
por ejemplo, la generalidad de las recomendaciones no ofreca pistas claras
para su operacionalizacin, por lo que fue necesario aterrizarlas y deinirlas
con mayor precisin como parte de la estrategia de mejora. En otros casos,
fue necesario recabar informacin adicional sobre los aspectos sensibles
de la operacin de los programas antes de plantear una posible solucin
a los mismos. En otros ms, los programas reconocieron la imposibilidad
material de atender las inquietudes de los evaluadores en torno al impacto
real de las intervenciones, y optaron de manera consciente por alternativas
ms acotadas y modestas (second-best).
El formato de seguimiento del Premio sugiere que el solo hecho de
generar espacios de relexin y discusin de las acciones de mejora permite
incidir de manera positiva en la generacin de resultados puntuales, y
acelerar la curva de aprendizaje en materia de utilizacin. Al igual que
otras experiencias, como la iniciativa de Buenas Prcticas realizada por
CONEVAL, la realizacin del Premio nos recuerda la importancia de los
incentivos positivos, el reconocimiento y los procesos de acompaamiento
voluntarios y lexibles como un instrumento muy valioso para fomentar
la cultura de la evaluacin, fortalecer la comunidad de prctica y socializar
el lenguaje de la evaluacin para fortalecer las capacidades de reaccin del
aparato pblico. En el caso del Premio, estos espacios fueron de carcter
externo: se convoc a los operadores a una serie de reuniones de discusin
y presentacin de propuestas que foment la discusin interna de los
equipos de trabajo, y el intercambio de opiniones e impresiones con un
grupo externo a la operacin. Este ejercicio ilustra, por una parte, que
los espacios externos para la discusin, el intercambio de informacin

y el reconocimiento de las iniciativas de los programas tienen un gran
potencial para fomentar la utilizacin de las evaluaciones. Esto nos
lleva necesariamente, a retomar un tema pendiente de nuestro sistema
de evaluacin: su efectiva articulacin con el sistema de rendicin de
cuentas que, por su enorme grado de fragmentacin, no ha permitido la
institucionalizacin de estos espacios externos de discusin e intercambio
de informacin que son tan importantes para fomentar la utilizacin de
las evaluaciones de manera proactiva. Por la otra, sugieren tambin la
necesidad de incentivar la generacin de este tipo de dinmicas al interior de
las organizaciones, y no slo como respuesta al estmulo externo generado
por el Premio.2 En esta materia, el papel de los cuerpos directivos de la
administracin pblica y la generacin de liderazgos internos y espacios
para la socializacin y movilizacin de los resultados de la evaluacin en
diversos niveles jerrquicos es imprescindible.
De manera general, los equipos de trabajo relejaron un nivel
elevado de compromiso y motivacin para mejorar el desempeo de
sus programas. Este hecho se relej no slo en el esfuerzo dedicado al
diseo y la instrumentacin de las estrategias de mejora, sino en general,
en la disposicin y apertura con los que se discutieron y presentaron las
propuestas. Las experiencias documentadas en el marco del Premio no
permiten hacer generalizaciones en torno al grado de utilizacin de las
evaluaciones ni realizar valoraciones directas del desempeo global de cada
programa. La respuesta a este tipo de preguntas requiere una evaluacin
de distinta ndole. En el universo de los programas participantes, las
experiencias permitieron identiicar algunos elementos comunes que
afectaron la capacidad de los programas para transitar la ruta crtica de
manera exitosa.
Heterogeneidad en la calidad y
Las evaluaciones a partir de las cuales se disearon las acciones de mejora

ofrecieron hallazgos y recomendaciones de desigual calidad y pertinencia,
y en no pocas ocasiones, ofrecieron pistas contradictorias e inconsistentes
para la mejora de los programas. Evidentemente, la calidad de los insumos,
en interaccin con la capacidad de traducirlos en acciones de mejora, afect
de manera determinante la calidad y el potencial efecto de las acciones.
Aunque en el marco del Premio esta variable no fue parte de la valoracin
del compromiso de los programas, la revisin de las acciones y estrategias
de mejora relej importantes limitaciones en el campo de accin de los
programas directamente vinculadas con la calidad de los insumos bsicos.
2 Y, en el mejor escenario, la articulacin de una demanda integral por rendicin de cuentas desde la sociedad.

D
capacidades para la evaluacin
El principal desafo identiicado en esta experiencia est relacionado con
una gran heterogeneidad y un nivel relativamente bajo de capacidades
en materia de evaluacin. A pesar de que existe un alto grado de
compromiso con el proceso de evaluacin, las capacidades reales para
analizar, seleccionar, operacionalizar y responder a los hallazgos de la
evaluacin, la claridad en la seleccin de los mismos, y la deinicin de
los indicadores pertinentes, ms all de las restricciones materiales para
su instrumentacin, releja un manejo dbil de los conceptos principales
de la evaluacin y una apropiacin endeble del modelo causal detrs de las
intervenciones. Una debilidad recurrente en los planteamientos iniciales
presentados por los programas est directamente relacionada con la poca
claridad en la planeacin de las acciones, la generacin de indicadores y la
seleccin de metas. Muchos de los instrumentos imprescindibles para el
monitoreo y la evaluacin de programas son todava conceptos nuevos con
los que los operadores estn poco familiarizados, y existe todava confusin
en torno a sus atributos necesarios y su funcin especicas. Por este motivo,
los operadores cuentan con pocos elementos para ser usuarios informados
y proactivos de los resultados de las evaluaciones, a pesar de reconocer la
importancia de dichos procesos, y realizar esfuerzos reales para satisfacer
las demandas de mejora.
D
Una preocupacin recurrente de los operadores, que guarda relacin directa
con el problema de fragmentacin del sistema de rendicin de cuentas, tiene
que ver con la multiplicidad de seales y demandas de atencin vinculados
a la evaluacin y el monitoreo que se confunden y traslapan con procesos
de iscalizacin y demandas dispersas e inconexas de informacin, que
deben atenderse con un margen limitado de atencin organizacional. Esto
ha impedido, entre otras cosas, que la atencin organizacional se oriente de
manera consistente a los resultados y permita acumular conocimientos de
manera ms rpida al interior de las organizaciones. En la medida en el que
Premio centr la atencin organizacional en el diseo y la instrumentacin
de acciones de mejoras, se veriicaron procesos de aprendizaje e intercambio
de informacin muy modestos, pero que suelen carecer de espacios
permanentes en la gestin cotidiana de los programas.

A
En particular, los programas de sectores descentralizados reportaron
problemas para dar continuidad a las acciones de mejora y acumular
memoria institucional en materia de desempeo y coordinacin por la muy
alta rotacin de funcionarios y/o la naturaleza episdica de la participacin
ciudadana (proyectos productivos, avales ciudadanos, asesores educativos).
Esta situacin impide la acumulacin incremental de mejoras, ya que
peridicamente se inicia desde cero en aspectos clave de la operacin
y la capacitacin, y tambin se genera incertidumbre y diicultad para el
establecimiento de metas e indicadores, en la medida en que existen
muchos factores externos a los programas que tienen un comportamiento
inestable e impactan directamente sus indicadores de gestin, procesos y
productos.
L
clara de responsabilidades
El cumplimiento de las metas --en los plazos establecidos-- y la calidad de
los documentos de veriicacin, estuvieron directamente relacionados con
la presencia de liderazgos que le dieron visibilidad y relevancia interna a las
evaluaciones, equipo de tuvieron la capacidad de asignar responsabilidades
individuales explcitas por cada accin de mejora, y realizar un trabajo en
equipo coordinado, en el marco de una estrategia comn. En los casos de
SICALIDAD y el Programa de expedicin de pasaportes y servicios consulares
de la SRE, este factor fue determinante para la calidad y coherencia interna
de las propuestas presentadas, para el adecuado seguimiento de las acciones
y el cumplimiento efectivo de las metas.
Uso creciente de TICS

Los programas participantes han hecho un uso creciente de las tecnologas
de la informacin como parte integral de sus estrategias de mejora,
particularmente para agilizar la prestacin de servicios y los procesos
internos de manejo y recopilacin de informacin. Esto permiti una
reduccin importante en los costos de coordinacin, los tiempos de
recoleccin y diseminacin de informacin, y facilit de manera general la
comunicacin en los procesos cotidianos de gestin.
En conclusin, a pesar de que existen enorme limitantes materiales

y de recursos humanos para la efectiva incorporacin de los hallazgos de las
evaluaciones; y su traduccin directa en valor pblico para la ciudadana,
las experiencias documentadas en el marco del Premio ofrecen seales

muy prometedoras en cuanto al grado de compromiso de los funcionarios,
y pistas claras en torno a la necesidad de profundizar los esfuerzos de
capacitacin y fomentar ms espacios de reconocimiento, aprendizaje e
intercambio en materia de evaluacin.

CIDE CLEAR-De Las Recomendaciones A Las Acciones PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

CIDE CLEAR-De Las Recomendaciones A Las Acciones PDF

Enviado por

Direitos autorais:

Formatos disponíveis

De las recomendaciones

11 Sobre el uso de las evaluaciones

29 La evaluacin como instrumento de cambio

67 Anlisis de las experiencias reconocidas

117 Programa de Atencin a la Demanda

151 Mejorando la expedicin de

211 Prorbol, FAPPA, JERFT y Promusac: la

agrcola en Mxico: balance de resultados

227 Balance general de la experiencia

En pocos aos, el Estado mexicano ha ido avanzando en la construccin

Programas Federales Comprometidos con el Proceso de Evaluacin | 7

8 | La experiencia del Premio 2011

Programas Federales Comprometidos con el Proceso de Evaluacin | 9

La construccin de un sistema de evaluacin de las polticas pblicas en

Programas Federales Comprometidos con el Proceso de Evaluacin | 11

2 Secretara de la Funcin Pblica (SFP), Programa Anual de Evaluacin, 2011.

12 | De las recomendaciones a las acciones: la experiencia del Premio 2011

7 Vese el captulo de Mara Jos Montiel, en este volumen.

Programas Federales Comprometidos con el Proceso de Evaluacin | 13

Los usos de la evaluacin

14 | De las recomendaciones a las acciones: la experiencia del Premio 2011

Fuente: Elaboracin propia.

Esta puede parecer una vinculacin simple. No obstante, la

cualitativas de los programas sociales. Mxico, El Colegio de Mxico, 2008.

Programas Federales Comprometidos con el Proceso de Evaluacin | 15

Los obstculos al uso de las evaluaciones

11 Herbert Simon, El comportamiento administrativo, Madrid, Aguilar, 1963;

Charles E. Lindblom, La ciencia de salir del paso , En Luis F. Aguilar (Ed.), La

La brecha de la implementacin, en Freddy Mariez Navarro y Vidal Garza Cant (coords.),

16 | De las recomendaciones a las acciones: la experiencia del Premio 2011

14 Mauricio Merino, Sergio Lpez Aylln y Guillermo Cejudo (Coords.), La estructura

de la Rendicin de Cuentas en Mxico, Mxico, UNAM-IIJ, CIDE, 2010.

Programas Federales Comprometidos con el Proceso de Evaluacin | 17

16 Arnold J. Meltsner, La factibilidad poltica y el anlisis de polticas, En Luis F. Aguilar

18 | De las recomendaciones a las acciones: la experiencia del Premio 2011

18 Dionisio Zabaleta Una mirada institucional a la poltica federal de evaluacin en

Mxico: Algunas implicaciones a la luz del paradigma gerencialista, en Alejandro

Programas Federales Comprometidos con el Proceso de Evaluacin | 19

Como introduccin para el anlisis de los diez casos en los captulos

19 Mauricio Merino et al., Op. Cit.

20 | De las recomendaciones a las acciones: la experiencia del Premio 2011

Expedicin de pasaportes y servicios

El Programa de Expedicin de Pasaportes y Consulares busca ofrecer a

Programas Federales Comprometidos con el Proceso de Evaluacin | 21

Atencin a la Demanda de Educacin para Adultos y Modelo

Prorbol- Programa de Pago por Servicios Ambientales

22 | De las recomendaciones a las acciones: la experiencia del Premio 2011

Escuelas de Tiempo Completo

Programas Federales Comprometidos con el Proceso de Evaluacin | 23

Fondo para el Apoyo a Proyectos

24 | De las recomendaciones a las acciones: la experiencia del Premio 2011

Becas de Posgrado y otras modalidades

El Programa de Becas de Posgrado y otras modalidades de apoyo a la

Programas Federales Comprometidos con el Proceso de Evaluacin | 25

26 | De las recomendaciones a las acciones: la experiencia del Premio 2011

Bardach, Eugene, he Implementation Game, Cambrige, MIT Press, 1979

Consejo Nacional de la Poltica de Desarrollo Social, (CONEVAL), 2011.

Corts, Fernando y Orlandina de Oliveira (Coords.), Desigualdad social

Gonzlez, Alejandro (Coord.), Gobernar por resultados?, Mxico, GESOC,

Gonzlez Gmez, Javier, La evaluacin de la actividad gubernamental:

Grindle, Merilee S., La brecha de la implementacin, en Freddy Mariez

Garza Cant (coords.), Poltica pblica y democracia en Amrica Latina: Del

Manuel F. Castro, et al, El Sistema de Monitoreo y evaluacin de Mxico: