Escolar Documentos
Profissional Documentos
Cultura Documentos
Miguel Oswaldo Perez Pulido 1, Giampaolo Orlandoni Merli 2, Josefa Ramoni Perazzi 3
Cmo citar este artculo: Prez-Pulido MO, Orlandoni Merli G, Ramoni Perazzi J. Evaluacin de indicadores de
gestin en las universidades pblicas colombianas: una aplicacin de modelos de ecuaciones estructurales.
Innovaciencia facultad ciencias exactas fis. naturales. 2014; 2(1): 4 - 16
RESUMEN
Introduccin: En los ltimos aos, las universidades estn experimentando nuevas tendencias que tienen serias
implicaciones en su estructura y funcionamiento. Los organismos involucrados en la educacin superior estn
construyendo estrategias para mejorar la eficiencia en las universidades y as asegurar su correcto funcionamiento.
El Modelo de Gestin de las universidades pblicas colombianas se basa en la evaluacin de las relaciones de
causalidad entre los insumos con los que cuenta la universidad, medidos a travs de un conjunto de indicadores
que representan la capacidad total de la misma. En esta investigacin se presenta un anlisis de los indicadores
de gestin universitaria estatal en el periodo 2003-2008, donde se pretende caracterizar la evolucin en el tiempo
y explorar si se mantiene su estructura ao a ao. Tambin se investiga si los indicadores propuestos por el SUE
(Sistema Universitario Estatal) son los ms aptos y se puntualiza cules de ellos son ms confiables. Materiales
y Mtodos: Este trabajo es un estudio descriptivo y cuantitativo, en el que se propone un diseo de modelo
estructural longitudinal en dos fases (two wave), dividido en dos periodos (2003-2005) y (2006-2008). Se analizaron
las variaciones porcentuales de los distintos indicadores de gestin tomando como ao base el 2003. Los datos se
analizaron mediante el software Lisrel 8.5. Resultados: Dentro de los resultados ms significativos se observa el
cambio estructural de comportamiento favorable para el segundo periodo (2006-2008) respecto al primero (2003-
2005) en el ndice de investigacin. Conclusiones: El efecto directo estimado desde el ndice de investigacin del
periodo es de 3.8, lo que indica un cambio de estructura favorable positivo entre los dos periodos.
Palabras clave: Indicadores de gestin universitaria, Modelos de Ecuaciones Estructurales, Anlisis Factorial Con-
firmatorio, Sistema Universitario Estatal.
1. Licenciado en Matemticas, Magister en Estadstica. Profesor Titular. Universidad de Santander, Facultad de Ciencias Exactas Fsicas y Naturales, Grupo de Investi-
gacin CIBAS. Bucaramanga. Correspondencia: miguel.perez@udes.edu.co
2. Economista, PhD en Estadstica. Profesor Titular. Universidad de Santander, Facultad de Ciencias Exactas Fsicas y Naturales, Grupo de Investigacin CIBAS. Bu-
caramanga. Colombia
3. Economista, PhD en Economa. Profesor Titular. Universidad de Santander, Facultad De Ciencias Econmicas, Administrativas y Contables. Bucaramanga. Colombia
ARTCULO DE INVESTIGACIN CIENTFICA Y TECNOLGICA 5
IV. Se entiende por indicador a la expresin cuantitativa o cualitativa que permite describir caractersticas, comportamientos o fenmenos de la realidad, en un momento
determinado. Se habla de variables o indicadores, porque si bien algunos de los resultados de la universidad pueden representarse a travs de variables como el nmero
de alumnos matriculados, otros resultados son el producto de la combinacin de variables que resultan en la construccin de indicadores. Adicionalmente, el conjunto
de las variables o indicadores utilizados producen los ndices de capacidad y de resultados. (Ministerio de Educacin Nacional (MEN), 2010).
6 ARTCULO DE INVESTIGACIN CIENTFICA Y TECNOLGICA
resultados concretos. Estos indicadores estn distribuidos Relations), utilizando adaptaciones de rutinas de los
en cuatro grandes reas: Formacin, Produccin manuales del Lisrel propuestos por Joreskg y Sorbm.
Acadmica, Bienestar Universitario y Extensin, las cuales
son entendidas como las principales reas misionales Proceso de creacin de indicadores
de cualquier Institucin de Educacin Superior (IES).
stas son evaluadas a partir de la capacidad inicial que Los indicadores de gestin universitaria colombiana
posee cada institucin, entendida como la combinacin se revisan y se mejoran cada ao por grupos de expertos
de recursos insumos con que cuenta la IES para la apoyados por tendencias actuales, proponiendo un
obtencin de sus resultados misionales. A continuacin mejoramiento y fortalecimiento en su funcin. Cada
se describen los indicadores de capacidad, investigacin, propuesta fue socializada y revisada por representantes
formacin, que son los de inters en el presente estudio. de dos universidades pblicas que fueran viables para
su construccin. De esta manera, se construyeron 29
Capacidad: se describen los indicadores que indicadores (para el ao 2009 son 36, y para el 2010 son
componen los llamados recursos humanos (nmero de 31), en los que se elaboraron protocolosVI de informacin
docentes en tiempos completos equivalentes, incluyendo que facilitaron la recoleccin de la informacin.
catedrticos y ocasionales, discriminados por niveles de Una vez recolectada la informacin, se revisan y se
formacin); los recursos financieros (recursos financieros validan por medio de tcnicas estadsticas. Cada ao se
provenientes del Estado y generados por la universidad en evala el desempeo de los indicadores agregando u
desarrollo de su actividad, causados en el ao respectivo; omitiendo algn criterio en comn acuerdo, teniendo en
los recursos fsicos (rea de los espacios fsicos cuenta el aporte significativo a los objetivos del sistema.
construidos disponibles para las actividades universitarias Su anlisis se tiene en cuenta en el ao inmediatamente
misionales y de apoyo administrativo). anterior (esttico) y el componente dinmico (su evolucin
desde el 2003 que se crearon los indicadores de gestin).
Formacin: esta variable indica los resultados de una El primer paso para su construccin consiste en el
universidad en lo referente a la creacin, desarrollo y clculo de los ndices de resultados y de capacidad a partir
acreditacin de programas acadmicos en pregrado y de los cuales se medir la gestin de cada universidad.
postgrado, incorporacin y seguimiento de estudiantes La tcnica estadstica utilizada para la construccin de
matriculados, nmero de estudiantes graduados y los ndices es la de anlisis multivariante, a partir de la
nmero de estudiantes que obtuvieron un puntaje cual se busca explicar el total del sistema (en este caso
superior al 75% en las pruebas Saber ProV. el total de resultados o de la capacidad) a travs de un
nmero menor de variables, denominadas factores o
Investigacin: variable que mide la actividad componentes.
universitaria en investigacin, a travs del nmero de Con base en los ndices calculados, el modelo
revistas indexadas publicadas por la Institucin, los define una curva o frontera que establece el techo que
artculos de sus miembros y docentes publicados en en trminos de resultados alcanzan las universidades y
revistas indexadas, la creacin y sostenimiento de suministra la distancia que respecto a ese techo tienen
grupos de investigacin reconocidos por Colciencias, cada una de ellas. Esa distancia es una medida de la
investigadores y grupos, movilidad de docentes, productos eficiencia tcnica de la universidad. Ninguna universidad
audiovisuales cinematogrficos o fonogrficos, empresas puede tener una relacin mayor que 1. Suponer que la
de innovacin y/o creadas a partir de la investigacin y frontera de produccin tiene un carcter aleatorio, implica
la produccin de patentes. que an cuando una universidad realice sus procesos de
Dentro del modelo se encuentran indicadores como forma eficiente hay factores que no estn bajo su control y
bienestar y extensin que no fueron tomados en cuenta que pueden hacer que el nivel de los resultados obtenidos
para el presente estudio. Es necesario aclarar que se vare.
excluyeron algunos indicadores por la poca confianza Estos aspectos se recogen en una perturbacin
que se tiene sobre la veracidad de la informacin aleatoria, que puede ser positiva o negativa, reflejando
suministrada, ya que algunos de ellos son indicadores influencias favorables en el primer caso, e influencias
recin introducidos en el sistema y muchas universidades adversas en el segundo. Un modelo estocstico de
no contaban con la informacin claramente definida; otros frontera de produccin para el total del sistema compara
indicadores no se consideraron por la poca relevancia de los resultados estimados del mejor resultado esperado
su informacin. Los anlisis presentados en el presente de acuerdo a los insumos (capacidad) de la universidad
trabajo se llevaron a cabo utilizando el lenguaje de comparado con los resultados esperados, as la Eficiencia
procesamiento estadstico Lisrel 8.5 (Linear Structural Tcnica (ET) ser la divisin de este resultado observado
V. Son un instrumento estandarizado p ara la evaluacin externa de la calidad de la Educacin Superior para estudiantes de ltimo semestres. Forma parte, con otros
procesos y acciones, de un conjunto de instrumentos que el Gobierno Nacional dispone para evaluar la calidad del servicio pblico educativo y ejercer su inspeccin y
vigilancia (Ley 1324 de 2009)
VI. Son lineamientos enviados a cada institucin educativa para la recoleccin de la informacin. Al recolectar la informacin, son enviados al MEN para su respectivo
anlisis.
ARTCULO DE INVESTIGACIN CIENTFICA Y TECNOLGICA 7
y el esperado (producto de un modelo estadstico) bajo el Figura 2. Esquema general de la metodologa del anli-
supuesto de perfecta eficiencia2. sis estructural de los indicadores de gestin
En los sistemas de ecuaciones analizados por los El modelo general en MEE lo constituyen un sistema de
MEE se tienen dos clases de variables: las observadas ecuaciones simultneas que pueden contener variables
directamente y las variables latentes, que representan aleatorias, parmetros estructurales y en algunos casos
conceptos no mensurables, que son no observables, variables no aleatorias. Se consideran tres tipos de
aunque estn relacionadas con las primeras. En la forma variables aleatorias: latentes, observadas y perturbadoras
ms general el modelo asume que existe relacin causal o errores. A su vez, las perturbaciones pueden ser de dos
entre las variables latentes y stas aparecen como causas tipos conceptualmente distintos. Por un lado, los errores
fundamentales de las variables observa das. en las ecuaciones o perturbaciones tal cual son entendidas
en modelos de regresin; es decir, un compuesto de todas
Los modelos de ecuaciones estructurales (MEE) las variables que pueden afectar a la variable dependiente
presentan las siguientes caractersticas11: y que no se incluyen explcitamente en el modelo y por otro
lado, los errores de medida que afectan la confiabilidad de
1. Permiten representar explcitamente la distincin los indicadores de las variables no observadas.
entre variables latentes y variables observadas, lo que
hace posible contrastar una amplia variedad de hiptesis La fortaleza de las relaciones causales propuestas en
a niveles ms altos de abstraccin. un modelo est recogida en los parmetros estructurales.
Estos son constantes e invariantes que pueden describir
2. Incorporan los errores de medida para las la relacin entre variables latentes, entre variables
variables observadas, mejorando as la calidad de las observadas o entre variables latentes y variables
estimaciones. observadas. El modelo general posee dos elementos
principales: el modelo de variable latente y el modelo de
3. Engloban como casos especiales muchos medida. Modificaciones a estos dos grandes componentes
procedimientos clsicos, como regresin mltiple, dan lugar a los tipos bsicos de modelos estructurales:
correlacin cannica, anlisis factorial, sistemas de modelo con variables observadas, modelo confirmatorio y
ecuaciones simultneas, anlisis de datos tipo panel, modelo completo.
anlisis de varianza y anlisis de covarianza.
Una potencialidad interesante de estos modelos es la
4. Los MEE se componen a su vez por dos partes: posibilidad de representar el efecto causal entre sus variables.
el modelo estructural y los modelos de medida. Se debe tener claro que la estimacin del parmetro no
demuestra la existencia de causalidad. La existencia de una
Es necesario mencionar varios problemas tpicos relacin causal entre las variables debe venir sustentada por
que suelen encontrar en los modelos estructurales, la articulacin terica del modelo y no por su estimacin con
algunas limitaciones que debemos tener en cuenta y las datos de tipo transversal. Para demostrar cientficamente
ARTCULO DE INVESTIGACIN CIENTFICA Y TECNOLGICA 9
la existencia de una relacin causal deberemos recurrir mltiples11. Se compone de dos modelos: un modelo para las
al diseo de un experimento controlado con asignacin variables endgenas y otro para las variables exgenas:
aleatoria de los sujetos a las condiciones de estudio14. El
nmero de ecuaciones estructurales es igual al nmero
de variables latentes endgenas definidas en el modelo.
El mtodo LISREL estima los coeficientes desconocidos Dnde,
de un conjunto de ecuaciones estructurales lineales. Est
diseado particularmente para considerar modelos que Vector de respuestas observadas (endgenas)
incluyen variables latentes, errores de medida en las
variables observables, causacin recproca, simultaneidad Vector de predictores o variables observadas
e interdependencia10. El modelo estructural general tiene la exgenas
siguiente expresin matemtica:
Matriz coeficientes de en
Matriz de coeficientes de en X
Tabla 2. Interpretacin de ajuste del modelo y criterios El inters principal est en analizar la estabilidad de
de referencia en el tiempo. Esto se puede estudiar por medio de la
siguiente relacin estructural:
ESTADSTICO ABREVIATURA CRITERIO
Ajuste absoluto
Significacin
Chi cuadrado X2
> 0.05 En particular, se estara interesado en que xxxxest
Razn Chi-Cuadrado/grados cerca de 1 xxxxy sea pequeo. Sea xxxxla matriz de
X2 / gl Menor que 3
de libertad
varianza y covarianza de xxxxxxxxxy xxxla matriz de
Ajuste comparativo
varianza y covarianza de xxxxxxxxxxx. Si todos estos
ndice de bondad de ajuste
CFI >0.95 xxs estn incorrelacionados, tal que xxxsea diagonal, la
comparativo
matriz de varianza y covarianza de xxxxxxxxxxx es:
ndice de Tucker-Lewis TLI >0.95
ndice de ajuste normalizado NFI >0.95
Ajuste parsimonioso
NFI corregido por parsimonia PNFI Prximo a 1
Otros
ndice de bondad de ajuste GFI >0.95
ndice de bondad de ajuste
AGFI >0.95
corregido
VII. Las IES no registraron informacin en este tiempo al MEN debido a la reestructuracin de las categorizaciones de los grupos por COLCIENCIAS.
12 ARTCULO DE INVESTIGACIN CIENTFICA Y TECNOLGICA
podra ser originado por los cambios en las polticas de Luego de plantear el modelo terico y evaluar el
la presentacin de la prueba. Un indicador que creci modelo estimado mediante procedimientos de mxima
significativamente fue MATPO (40%) respecto al ao verosimilitud, se obtienen diversos submodelos, teniendo
base 2003, al igual que los GRADPOS (39%). Los PRIM en cuenta la naturaleza de causa y efecto entre ellos.
y GRADPRE tuvieron crecimientos similares (25%). Los
PROPO tuvieron un crecimiento muy discreto respecto al Submodelo 1
ao inicial de 8%. En general, todos los indicadores han
mejorado en gran manera, excepto Saber Pro. La Figura 3, muestra que las relaciones existentes
entre los indicadores de cada periodo concuerdan con los
Resultados de los modelos de ecua- resultados obtenidos en los modelos de medida y en los
ciones estructurales modelos estructurales de cada ndice.
En la Figura 4 se puede ver un cambio notable en la
A continuacin se presentan los resultados obtenidos estructura del ndice de investigacin (gamma=3.80),
a travs de la estimacin de los modelos estructurales el ndice de formacin tuvo un cambio en su estructura
sobre los indicadores de gestin universitaria. La Figura 3 (gamma=1.7), mientras que el comportamiento de
muestra el modelo estructural general. All se observan dos capacidad no tuvo cambios significativos en su estructura
grupos de variables: el primero es un grupo de medida en (gamma=1.06) entre los dos periodos.
X, con variables exgenas y con sus respectivas variables De igual manera, los coeficientes estandarizados
latentes (IF1, II1, IC1)VIII; el otro grupo es un modelo de muestran altos valores en cada ndice. En el primer
medida en Y, con variables dependientes del primer grupo periodo se identifica los valores que cargan bajo como
y con variables latentes (IF2, II2, IC2). De esta manera, PATEN (0.73), ART (0.77) y GRADPOS (0.78). En el
se condensa en un solo anlisis, fusionndose el modelo segundo periodo, los valores menores de 0.9 son:
de medida (observable) y el modelo de ecuaciones PROPRE (0.83), MATPO (0.89), PRIM (0.89). Todos los
lineales estructurales, generndose el modelo completo valores de t son altamente significativos, observndose
estructural. valores ms altos en los periodos en que hay un
Modelo de Modelo de
medida en X MODELO medida en Y
(Grupo control) (Grupo Poscontrol)
ESTRUCTURAL
VIII. Refirase a IF1 al grupo conformado por los aos 2003-2005 de los indicadores de formacin, a IF2 al segundo grupo 2006-2008. Con la misma idea anterior, se
definen II1 (ndice de investigacin primer grupo), II2 (ndice de investigacin segundo grupo), IC1 (ndice de Capacidad primer grupo), IC2 (ndice de capacidad segundo
grupo).
ARTCULO DE INVESTIGACIN CIENTFICA Y TECNOLGICA 13
notorio cambio de estructura. La carga del indicador p-valor asociado a la chi-cuadrado (314.37, p=0.73) aporta
GRADPOS, ART, METROS se dejan libres como una evidencia para concluir que el modelo propuesto se ajusta
forma de fijar la unidad de medida del ndice en cada adecuadamente a los datos. El cuadrado medio del error
periodo correspondiente. (RMSEA) es inferior a 0.05, y el intervalo de confianza del
Teniendo en cuenta los ndices de ajuste y de error cuadrtico medio es aceptable. Los ndices predictivos
evaluacin reportados en la Tabla 4, se observa que el AIC y ECVI indican que el modelo propuesto es mejor que el
14 ARTCULO DE INVESTIGACIN CIENTFICA Y TECNOLGICA
modelo de independencia. Esto permite concluir que todos Tabla 5. Coeficiente de variacin de los errores de me-
los indicadores del modelo estructural son adecuados para dida periodo 2003-2005 y 2006-2008
inferir sobre la gestin de las universidades colombianas.
Para tener un mejor ajuste del modelo, se permitieron CV R2
Naturaleza Indicador
correlaciones entre errores de medida de los indicadores. 2003-2005 2006-2008 2003-2005 2006-2008
ART 0.015 0.004 0.59 0.96
REV 0.824 0.589 0.92 0.95
Tabla 4. Evaluacin del modelo ndice de capacidad PATENT 2.759 1.279 0.53 0.9
artculo 87 de la ley 30 de 1992 vigencia 2013. En lnea: http:// Facultad de Sicologa. Universidad Autnoma de Madrid.
www.mineducacion.gov.co/sistemasdeinformacion/1735/ Papeles del psiclogo. 2010; 31(1): 34-45.
articles-212353_modelo1.pdf, consulta: 20 de marzo de
2013. 15. Rivera, C. Un modelo estructural de Multidimensional
Scaling para datos asimtricos. Memorias Congreso
3. Ynez, G. Anlisis comparativo de los indicadores Nacional de Estadstica e Investigacin Operativa SEIOS.
de gestin de las instituciones de educacin superior Valladolid, (2007).
de mayor tamao. Universidad Industrial de Santander.
Bucaramanga, Colombia, (2010). 16. Manzano, A. Sistema de ecuaciones estructurales:
una herramienta de investigacin. CENEVAL. Mxico,
4. Soto, J. La produccin acadmica como uno de los (2009).
indicadores del desempeo de las universidades pblicas
colombianas desde la perspectiva del anlisis envolvente 17. Schreider, J.B., Stage, F.K., King, J., Nora, A.,
de datos, Scientia et Technica. 2005; 2 (28): 109-14. Barlow, E.A. Reporting structural equation modeling and
confirmatory factor analysis results: a review. J Educ Res.
5. De los Ros, D. Indicadores de calidad y eficiencia en 2006; 99 (6): 323-37.
la educacin universitaria: algunas propuestas para el
sistema de acreditacin chileno. Universidad de Chile. 18. Departamento Administrativo Nacional de Estadstica
Tesis de grado. Santiago, (2000). (DANE). Estimacin e interpretacin del coeficiente de
variacin de la encuesta cocensal. En lnea: http://www.
6. Gonzlez, P. Aplicacin del Lisrel al anlisis del dane.gov.co/files/investigaciones/boletines/censo/est_
rendimiento estudiantil. Revista Econmica. Universidad interp_coefvariacion.pdf. Consulta: 5 de abril de 2013.
De Los Andes, Mrida, (1989). No 4, p. 55-73. Disponible
en http://www.saber.ula.ve/bitstream/123456789/19294/2/
articulo4.pdf