Escolar Documentos
Profissional Documentos
Cultura Documentos
EVALUACIONESEXTERNASA
LOSPROGRAMASSOCIALES
Documento Analtico
Coordinador:
M.AntoniodeHaroMeja
Investigadores:
Dr.DavidArellanoGault
M.WalterLepore
M.DavidSnchezValds
30 DE JUNIO DE 2008
Contenido
Introduccin ........................................................................................................................... 2
Marco terico y definicin de conceptos ............................................................................ 4
Principales patrones y tendencias ........................................................................................... 9
Mejores prcticas encontradas ............................................................................................. 13
Conclusiones ........................................................................................................................ 16
Bibliografa........................................................................................................................... 18
1 / 20
2
Artculo 26 del Presupuesto de Egresos de la Federacin para el ejercicio fiscal 2007, publicado en el Diario Oficial de la
Federacin el 28 de diciembre de 2006.
3
Las calificaciones obtenidas por las dependencias y entidades, respecto al cumplimiento de la difusin de las evaluaciones
externas, constituyen uno de los componentes del indicador de Evaluacin y Monitoreo de Programas Federales (EMP).
ste, a su vez, forma parte del ndice de Desempeo Institucional de la Administracin Pblica Federal, que es uno de los
cinco ndices que componen el MIDO (Modelo Integral de Desempeo de rganos de Vigilancia y Control) a cargo de la
SFP. 3 / 20
Marcotericoydefinicindeconceptos
Con el propsito de analizar la forma en que la informacin gubernamental est disponible al pblico a
travs de Internet, resulta conveniente iniciar con la definicin de nuestro objeto de estudio: la difusin
de evaluaciones externas de programas sociales sujetos a reglas de operacin en sitios web de dominio
gubernamental. El trmino difusin se entiende como la accin y efecto de divulgar o propagar.4 No
obstante, cuando hablamos de difusin en formatos electrnicos y a travs de Internet, el trmino
adquiere ciertas particularidades que merece la pena considerar. Entender la difusin electrnica
nicamente como la publicacin de informacin gubernamental en un sitio o pgina web, no resulta
del todo til en trminos sociales (Di Maggio et al., 2001): la publicacin de informacin, por s sola,
no basta para fomentar una comunicacin valiosa (Collins et al., 1997, p. 414) entre gobierno y
ciudadana. Ms importantes para tal fin, destacan los expertos, son la facilidad de encontrar
informacin relevante, as como los motores y tcnicas de bsqueda de informacin (Collins et al.,
1997).
Ante esta aclaracin, es necesario encontrar criterios para conceptualizar la difusin de las
evaluaciones externas, de forma que resulten tiles a los fines de este trabajo. Nos enfrentamos, sin
embargo, a un campo prcticamente inexplorado. No hemos encontrado investigaciones que midan y
evalen la forma en que documentos o informacin gubernamental especfica es puesta a disposicin
del pblico a travs de medios electrnicos. En su mayora, las evaluaciones de este tipo se enfocan en
los portales o sitios web de dependencias o entidades de gobierno; es decir, contextos ms generales
donde se encuentra determinada informacin o servicio pblico (Gant y Gant, 2002; Luna Reyes et al.,
2007; Gil-Garca y Luna Reyes, 2007). A pesar de la falta de investigaciones acadmicas previas de
referencia, consideramos conveniente adaptar algunos criterios de evaluacin utilizados para portales y
sitios web a nuestro objeto de estudio.
Cuando se trata de proveer informacin til a la ciudadana a travs de Internet, la experiencia
internacional muestra dos enfoques diferentes: el de la demanda y el de la oferta (Luna Reyes et al.,
4 4 / 20
Definicin tomada del Diccionario Enciclopdico Larousse 2002.
5
El trabajo de Gant y Gant (2002) evala la funcionalidad y los servicios electrnicos disponibles en los portales web de
los 50 estados de la unin americana.
6
En nuestro caso, podramos entender una tarea como la actividad de buscar, encontrar y descargar las evaluaciones
externas a los programas. 5 / 20
7
En sus inicios, la usabilidad estaba exclusivamente enfocada en el diseo y produccin industrial de softwares y
productos, en la ergonoma y en las interfases del usuario en el contexto de la interaccin hombre-mquina (conocida en la
literatura como HCI, human computer interaction). Posteriormente, la usabilidad se volvi un criterio de evaluacin que se
hizo extensivo a otras reas de las tecnologas de la informacin.
8
Las recomendaciones W3C estn dirigidas a facilitar el acceso a informacin en la web a personas con capacidades
diferentes (generalmente este concepto es conocido en la literatura especializada como accesibility), y a garantizar el
acceso a usuarios con tecnologa obsoleta (equipos de cmputos, buscadores en web, etc.). Para medir la usabilidad de los
portales en especial, siguiendo los lineamientos W3C- en algunos casos se emplean programas especficos (algunos
gratuitos, como el WebXACT, propiedad de Watchfire) o tcnicas especialmente diseadas (para ms detalle se sugiere
remitirse al sitio de Usabilitynet).
9
La arquitectura de la informacin (AI) es una disciplina dedicada al diseo estructural de sistemas de informacin y a la
organizacin, recuperacin y presentacin de la informacin mediante el diseo de ambientes intuitivos. La AI hace uso de
las ventajas de la tecnologa aplicada a las ciencias de la informacin para potenciar el uso de documentos digitales (Baeza
Yates et al., 2004). 6 / 20
Cuadro 1. Dimensiones para evaluar la difusin de las evaluaciones externas de los programas
sujetos a reglas de operacin
Dimensin Descripcin Medicin
Disponibilidad y existencia de las evaluaciones * Publicacin de las evaluaciones externas (informacin completa)
Apertura
externas * Pasos necesarios para encontrar informacin (nmero de clicks)
10
Gant y Gant (2002) tambin incluyen privacidad y seguridad como elementos sustantivos, aunque lo ubican dentro de la
7 / 20
dimensin de transparencia. Luna Reyes et al. (2007) consideran ms conveniente presentarlos como una quinta dimensin.
11
Para ms detalles sobre la evaluacin de los criterios diseados por CONEVAL se sugiere remitirse al Documento E que
forma parte de los productos entregables a cargo del equipo consultor. 8 / 20
En este apartado se muestran los patrones y tendencias ms destacables que se han encontrado al
analizar la difusin de las evaluaciones externas de acuerdo a los criterios diseados por el
CONEVAL.
En trminos generales, tanto a nivel nacional como internacional, no quedan dudas de que el uso de
Internet por parte de gobiernos nacionales y locales ha facilitado a los ciudadanos el acceso a la
informacin pblica. A pesar de estos avances, sin embargo, la presentacin de la informacin, la
calidad de los contenidos y los mtodos para encontrar informacin relevante muestran un alto grado
de heterogeneidad. De acuerdo con las experiencias internacionales, por ejemplo, los portales
electrnicos de gobierno oscilan entre aplicaciones simples -como pginas web nicamente- y
proyectos interorganizacionales ms complejos que buscan altos grados de integracin de la
informacin y de colaboracin entre ciudadana y gobierno (Cook et al., 2004; Fountain, 2001).
No es de sorprenderse, por lo tanto, si en Mxico encontramos el mismo nivel de heterogeneidad que
se observa en las experiencias internacionales. Ms an, cuando observamos la publicacin de
evaluaciones de programas que son operados por muy diversas entidades y dependencias que, adems,
tienen intereses y necesidades muchas veces contrastantes y estn integradas por actores heterogneos
que afectan la toma de decisiones y la implementacin de sus acciones. No hay que dejar de lado, en
este sentido, que la funcionalidad de los portales electrnicos y de los productos de informacin que
ofrecen los gobiernos depende relativamente poco de la tecnologa adoptada por las organizaciones. En
mayor medida, es un reflejo del nivel de integracin de los procesos y servicios subyacentes (y reales)
al interior y entre organizaciones pblicas (Gant y Gant, 2002). Es as como uno de los elementos ms
importantes no reside nicamente en el uso correcto de las TICs, sino tambin en el grado de
compromiso y colaboracin, de recursos compartidos e integracin de procesos entre las diferentes
agencias del aparato burocrtico (Luna Reyes et al., 2007).
Como en todo tipo de reforma en el sector pblico, modificaciones al status quo afectan arreglos
institucionales existentes y la cultura organizacional de cada agencia; el gobierno electrnico no es la
excepcin (Arellano, 2004). Es de esperarse, por lo tanto, que se susciten resistencias para cambiar las
formas de trabajo y las relaciones intra e interorganizacionales a partir de la adopcin de las TICs en el
sector pblico. Encontramos, de hecho, que algunas agencias de gobierno han estado ms abiertas a
9 / 20
12
En este documento utilizamos indistintamente, como sinnimos, los trminos hipervnculo, link y liga. 11 / 20
12 / 20
Se presentan brevemente en este apartado algunos casos exitosos de dependencias y entidades que han
avanzado satisfactoriamente en la difusin de las evaluaciones a sus programas sociales sujetos a
reglas de operacin.
La Secretara de la Reforma Agraria (SRA) es una de las organizaciones que ms facilita al pblico la
bsqueda de las evaluaciones externas de los programas que dependen de ella o de una entidad
sectorizada. De hecho, es posible acceder a las evaluaciones directamente desde la pgina principal de
la dependencia: en el men de Temas de inters est disponible un hipervnculo intitulado Informes
finales de las evaluaciones de consistencia y resultados. Tambin se pueden encontrar las evaluaciones
si en el men principal de la pgina se accede al link Programas; cada programa, luego, tienen una liga
directa a sus evaluaciones.13 Cabe mencionar, adems, que las evaluaciones se encuentran entrando al
mapa del sitio de SRA y dirigindose al hipervnculo de programas. La pgina principal de SRA, sin
embargo, no dispone de un buscador que ayude a encontrar esta u otra informacin.
La Secretara de Desarrollo Social (SEDESOL) es otra dependencia que concentra de forma
relativamente fcil y gil la informacin de todas las evaluaciones a programas que dependen de su
control directo o indirecto, cuando se trata de sus entidades sectorizadas. Se accede a las evaluaciones
desde el men principal de la pgina de inicio, mediante un hipervnculo a la pgina Programas
sociales. All se encuentran una lista de programas y un link a sus evaluaciones (conduce a la pgina
de Evaluaciones de los programas sociales). En esa pgina est disponible un catlogo de las
evaluaciones divididas por aos (2002-2005, 2006 y 2007) que, a su vez, lleva a otra pgina donde
estn agrupadas segn hayan sido de Diseo o de Consistencia y Resultados. Esta forma de presentar
las evaluaciones resulta til para los usuarios porque no slo es posible identificar fcilmente el
programa evaluado, sino tambin qu tipo de evaluacin fue llevada a cabo y a qu ao corresponde.
13 La forma de presentar la informacin relevante de cada evaluacin difiere segn si el programa es operado centralmente
por la SRA (mediante la Direccin General de Coordinacin) o por una entidad sectorizada. En el primero de los casos
(FAPPA y PROMUSAG) se llega a una pgina donde est la informacin general de la evaluacin y, a parte, la evaluacin
del consultor externo en un archivo pdf. Para encontrar la evaluacin del programa Joven emprendedor rural, operado por
el Fondo de tierras e instalacin del joven emprendedor rural, es necesario acceder al micrositio del Fondo y en su pgina
principal desde el men- se pueden encontrar los resultados de la evaluacin, la cual est dispersa en diferentes archivos
(en pdf). Resulta ms complicado, sin embargo, encontrar la informacin general de la evaluacin. 13 / 20
15 / 20
El presente documento ha realizado un breve anlisis de la difusin de las evaluaciones externas de los
programas sociales sujetos a reglas de operacin en las pginas electrnicas de las respectivas
dependencias y entidades responsables. Este trabajo ha sido complementado con la elaboracin de una
base de datos que contiene las calificaciones obtenidas por las dependencias y entidades, de acuerdo a
una serie de criterios diseados por el Consejo Nacional de Evaluacin de la Poltica de Desarrollo
Social (CONEVAL). Estas calificaciones sern incluidas en el indicador de Evaluacin y Monitoreo de
Programas Federales (EMP), que forma parte del ndice de Desempeo Institucional de la
Administracin Pblica Federal, uno de los cinco ndices que componen el MIDO Modelo Integral de
Desempeo de rganos de Vigilancia y Control- a cargo de la SFP.
La primera parte del trabajo ha estado dedicada a una somera revisin de literatura, con el propsito de
conceptualizar la difusin electrnica de las evaluaciones externas (nuestro objeto de estudio) y de
establecer dimensiones de anlisis tiles a los fines de este trabajo. De esta forma, este documento
propone tres dimensiones que permiten aproximarse y medir el acceso real a las evaluaciones
externas: Apertura (disponibilidad y existencia de las evaluaciones externas), Transparencia
(legitimidad del contenido de las evaluaciones y posibilidad de contactar a los proveedores de
informacin) y Usabilidad (facilidad para navegar y encontrar las evaluaciones externas). Como puede
observarse con ms detalle en el Documento E que acompaa a esta entrega, los criterios diseados
por CONEVAL para medir la difusin de las evaluaciones externas han estado particularmente
dirigidos a capturar la dimensin de Apertura, pero han relegado las otras restantes.
La segunda y tercera parte de este documento se ha enfocado en los patrones, tendencias y
experiencias ms relevantes de las dependencias y entidades. En trminos generales, se observa que
algunas organizaciones gubernamentales estn ms preocupadas por cumplir con mandatos legales,
normativos y organizacionales, que por ofrecer al ciudadano informacin til y relevante. No hay que
olvidar que, cuando hablamos de difundir informacin pblica gubernamental, lo importante es que
sta tenga alguna utilidad social; no nicamente garantizar a las agencias de gobierno evitar sanciones
por incumplimiento de mandatos legales. Otras organizaciones, por el contrario, han avanzado en
direccin de la satisfaccin del usuario/ciudadano, facilitando y agilizando la bsqueda, encuentro y
descarga de informacin.
16 / 20
17 / 20
Arellano D. (Ed.) (2004), Ms all de la reinvencin del gobierno: fundamentos de la nueva gestin
pblica y presupuestos por resultados en Amrica Latina, Mxico: Ed. Porra.
Bevan, N. (1995), Usability is quality of use. Proceedings of the 6th International Conference on
Human Computer Interaction, Yokohama, Japn; Anzai y Ogawa (Eds.). Elsevier. Disponible en
http://www.usabilitynet.org/papers/usabis95.pdf, fecha de consulta: 12 de Junio de 2008.
Collins, W., E.L. Knodel y M.V. Mahoney (1997), "'Here, Just Stick this Document on the Web':
Planning Usable Web Documents". Proceedings of the 44th International Technical Communication
Conference, Washington, DC: Society for Technical Communication, pp. 414-416. Disponible en
http://www.stc.org/confproceed/1997/PDFs/PG414-.PDF, fecha de consulta: 13 de junio
Cook, M., S.S. Dawes, D. Juraga, D.R. Werthmuller, C.M. Pagano y B.F. Schwartz (2004), Bridging
the enterprise: Lessons from the New York state-local Internet gateway prototype. Albany, NY: Center
for Technology in Government, University at Albany, SUNY.
De Angoitia, R. (2007), La Evolucin de los Portales del Gobierno Federal: la experiencia de ocho
entidades, Documento de Trabajo DTAP # 196, Centro de Investigaciones y Docencia Econmicas
(CIDE), Mxico, D. F.
Di Maggio, P., E. Hargittai, W.R. Neuman y J.P. Robinson (2001), Social implications of the
Internet. En Annual Review of Sociology, Vol. 27, pp. 307-336.
Fountain, J. E. (2001). Building the virtual state. information technology and institutional change.
Washington, DC: Brookings Institution Press.
Gant, J.P. y D.B. Gant (2002), Web portal functionality and State government E-service.
Proceedings of the 35th Annual Hawaii International Conference on System Sciences. Disponible en
http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=994073, fecha de consulta: 13 de Junio de
2008.
Goto, K. y E. Cotler (2001), Web ReDesign. Workflow that Works. Indianapolis: New Riders.
18 / 20
Jones, L.R, y Kettl, D. (2003), Assessing Public Management Reform in an International Context, en
International Public Management Review, Vol. 4 (1).
Bevan, N., e I. Curson (1997), Methods for Measuring Usability, Proceedings of the 6th IFIP
Conference on Human-Computer Interaction, Sydney, Australia. Disponible en
http://www.usabilitynet.org/papers/meatut97.pdf, fecha de consulta: 13 de Junio de 2008.
Schedler, Kuno (2004), Developing Performance Indicators and Measurement Systems in Public
Institutions. En Strategies for Public Management Reform. Oxford, U.K.: Elsevier.
Tramullas Saz, J. (2002), Propuestas de anlisis de usabilidad para sedes web. En: Workshop
Contenidos y Aspectos Legales en la Sociedad de la Informacin. Valencia: Universidad Politcnica
de Valencia. Disponible en http://eprints.rclis.org/archive/00000526/02/16_jtramullas_usabilidad.pdf,
fecha de consulta: 10 de Junio de 2008.
19 / 20