PBL 2010 International Conference.

So Paulo, Brazil, February 8-12, 2010

El tutor en el ABP, Evaluacin Comparativa con la Formacin Tradicional.

Ballester Ferrando D. 1, Fuentes Pumarola C. 1, Domingo Roura A. 1, Bertrn Nogu C. 1, Olivet Pujol J. 1
1

Grupo de Investigacin Salud y Atencin Sanitaria. Departamento de Enfermera de la Universidad de Girona. Spain.
david.ballester@udg.edu, concepcio.fuentes@udg.edu, almerinda.domingo@udg.edu, carme.bertran@udg.edu, josep.olivet@udg.edu.

Departamento de Enfermera. Universidad de Girona. C/ Emili Grahit 77. 171071 Girona (Spain)

Abstract. Se compara la evaluacin del tutor en el ABP con la del profesorado, elaborada por la Universidad, en una poblacin de 215 estudiantes de enfermera. El 88,5% de los estudiantes consideran que el tutor facilita la consecucin de los objetivos de aprendizaje. La evaluacin del tutor en el ABP, se sita en una media de 4,41 (DE: 0,79) sobre 5 puntos, mientras la del profesor en el Departamento tiene una media de 4,14. La evaluacin de los procesos formativos es esencial para la consecucin de la calidad docente, sin embargo, esta evaluacin debe ser consecuente con las metodologas docentes.

1. Introduccin
En el desarrollo de los planes de estudio dentro del marco del Espacio Europeo de Educacin Superior (EEES), o tambin denominado Plan Bolonia, uno de los elementos clave ha sido el aseguramiento de la calidad de la titulacin, que comprende todos los procesos de gestin y formacin relacionados con el Plan de estudios propuesto. Naturalmente esta propuesta implica a un centro, en nuestro caso a la Escuela Universitaria de Enfermera, a los departamentos implicados en la titulacin y a la misma Universidad de Girona (Catalonia, Spain), por los cambios que deben producirse institucionalmente para asegurar los procesos de calidad propuestos [Aneca 2008] Entre estos procesos destacamos un elemento clave que es la evaluacin del profesorado en cuanto a su actividad docente, as como su seguimiento, anlisis e implicaciones en los diversos rganos colegiales en este estudio y propuestas de mejora que se deben llevar a cabo y evaluacin, para volver de nuevo al primer momento del proceso. La Universidad de Girona, lleva a cabo des de hace 15 aos una evaluacin de la actividad docente del profesorado a travs de una encuesta realizada a los estudiantes. Esta encuesta ha sido modificada en el segundo semestre del curso 2008-2009, ya que se entenda que no recoga suficientemente las nuevas propuestas metodolgicas dentro de los nuevos planes de estudios propuestos, basados en el aprendizaje del estudiante, en vez de en la docencia del profesor.

PBL 2010 International Conference. So Paulo, Brazil, February 8-12, 2010

Las modificaciones de la encuesta a los estudiantes sobre la valoracin del profesorado, han sido debidas a dos factores esenciales: la necesidad de simplificacin de la encuesta para conseguir un mejor nivel de respuesta y al hecho que la encuesta debe estar acorde con los cambios metodolgicos de los ttulos de grado. De este modo se pas de la encuesta de los aos 1994 a 2008 (tabla 1), a la encuesta 2008 a la actualidad (tabla 2). Ambas encuestas se llevan a cabo de acuerdo con los centros y al finalizar el semestre (unidad acadmica temporal de evaluacin) y se evala con los tems siguientes: 1. Totalmente en desacuerdo 2. En desacuerdo 3. Ni de acuerdo, ni en desacuerdo 4. De acuerdo 5. Totalmente de acuerdo 0. No observado De este modo la evaluacin cualitativa se punta segn los nmeros descritos, teniendo en cuenta que el tem no observado no se contabiliza en las medias. Ante la implantacin del aprendizaje basado en problemas en el estudio de enfermera de la Universidad de Girona, uno de los elementos que consideramos importante desde el inicio, fue el tener en cuenta la valoracin del estudiante del proceso, de la metodologa y del papel del tutor. Este ltimo, despus de estudiar la encuesta de la Universidad y analizarla, comprobamos como no recoga la actividad que se desarrollaba en este proceso de aprendizaje. La encuesta de la Universidad, sobre todo la del perodo 2000/2008, est desarrollada bajo una filosofa formativa basada en la docencia y centrada en el profesor como eje, siendo las preguntas dirigidas hacia una actividad del profesor en clase magistral y por tanto en como es valorada esta actividad en este mbito. De este modo esta encuesta no era vlida ni fiable (tabla 1).
Tabla 1. Encuesta de evaluacin del profesorado de la Universidad de Girona del 2000 al 2008. BLOQUE A. <<Programacin de la asignatura>> Al inicio del curso el profesor ha explicado con claridad los objetivos y el programa de la asignatura Desde el inicio del curso, ha explicado con claridad los criterios de evaluacin Para el conjunto de la asignatura, las clases corresponden con el programa propuesto BLOQUE B. <<Desarrollo de la docencia>> Explica con claridad los contenidos de la asignatura Ha hecho las explicaciones de acuerdo con un esquema definido, organizado y coherente Sus clases parecen bien preparadas El profesor tiene inters a dejar claras las cosas importantes Procura saber si entendemos aquello que explica Responde adecuadamente las preguntas que le hacemos BLOQUE C. <<Prcticas y material de apoyo>>

PBL 2010 International Conference. So Paulo, Brazil, February 8-12, 2010

Recomienda material de consulta adecuado El material de apoyo al estudio de la asignatura (dossier, listas de problemas, artculos, etc.) es til Los ejemplos, problemas, prcticas que se plantean estn bien pensados en el contexto de la asignatura BLOQUE D. <<Evaluacin>> El nivel de exigencia corresponde con el nivel de las explicaciones Los procedimientos de evaluacin permiten al estudiante reflejar sus conocimientos BLOQUE E. <<Interaccin con los estudiantes>> Incentiva a participar activamente en clase Me ha atendido satisfactoriamente en las consultas que le he hecho durante el horario que tiene establecido Tiene en cuenta la opinin de los estudiantes en cuestiones relacionadas con el desarrollo de la asignatura BLOQUE F. <<Valoracin global del profesor>> En general, la valoracin que hago del profesor es buena

Por otro lado, se elabora una nueva encuesta, generada con los tems de la primera encuesta, a partir del segundo semestre de 2008 con la intencin de reducir el tiempo de administracin y manteniendo la validez. Despus del anlisis realizado, en esta nueva encuesta se ha sacrificado la introduccin de elementos innovadores en la misma ante la necesidad de reducir los tems, y por tanto sigue sin ser vlida ante nuevas propuesta docentes innovadoras como el ABP, puesto que su construccin ha partido de la encuesta anterior (tabla 2).
Tabla 2. Encuesta de evaluacin del profesorado de la Universidad de Girona del 2008/09 (segundo semestre) hasta la actualidad. BLOQUE A. Este/a profesor/a ha presentado con claridad el programa de la asignatura y los criterios de evaluacin. Con este/a profesor/a aprendo. Este/a profesor/a me motiva a esforzarme y a aprender por mi cuenta. Los materiales de apoyo que el/la profesor/a pone a mi disposicin me ayudan. Los procedimientos de evaluacin me permiten reflejar mis conocimientos. Este/a profesor/a me ha aclarado las dudas cuando le he hecho consultas. BLOQUE B. Valoro globalmente la docencia de este/a profesor/a como positiva.

PBL 2010 International Conference. So Paulo, Brazil, February 8-12, 2010

La creacin de la encuesta del tutor del ABP, tuvo en cuenta diversos documentos consultados en la bibliografa [Petra and cols 2000; Garca Sbchez and cols 2005; Barrows 1988; Albanese and Mitchell 1993]. Tambin se valor los aspectos relativos al rol del tutor y la actividad formativa que se desarrolla en el ABP. Finalmente tuvimos presente cuenta el asesoramiento realizado por la Oficina de Educacin de Ciencias de la Salud (OFECS) de la Universidad de la Frontera (Temuco, Chile). De este modo surgi la encuesta descrita en la tabla 3, en la que los tems se evalan del mismo modo que en las encuestas anteriores.

Tabla 3. Encuesta de evaluacin del rol del tutor en el ABP de la Escuela Universitaria de Enfermera de la Universidad de Girona del 2006 hasta la actualidad. Considero que el tutor: Facilita la consecucin de los objetivos de aprendizaje Estimula el esfuerzo y las contribuciones del estudiante Lleva a cabo una crtica razonable y constructiva Es objetivo en las evaluaciones de los estudiantes Ayuda a identificar las necesidades de aprendizaje Demuestra un inters activo y se interesa en participar en los procesos del grupo Crea un ambiente relajado y abierto para iniciar una discusin Escucha y responde adecuadamente a mis problemas y preguntas Estimula el inters en aprender Incentiva las buenas relaciones con los miembros del grupo

Por otro lado, el profesorado de nuestro centro est llevando a cabo las dos actividades docentes paulatinamente, ABP y otras actividades docentes ms dirigidas o tradicionales, como clases magistrales, seminarios, prcticas de laboratorio y prcticas clnicas [Tarazona JL 2005]. Una de las sombras en este proceso formativo era si la evaluacin del tutor en el ABP empeorara en relacin a la evaluacin en formato

PBL 2010 International Conference. So Paulo, Brazil, February 8-12, 2010

tradicional. De este modo nos propusimos comparar las evaluaciones del profesorado en los dos procesos, y en el tiempo, para destacar si existen diferencias significativas.

2. Objetivo general:
Comparar la evaluacin de los estudiantes de la actividad formativa del tutor en el ABP con la evaluacin del profesor en la formacin tradicional. 2.1 Objetivos especficos: Analizar el sistema evaluativo del profesorado de la Universidad de Girona en relacin a su relevancia con metodologas docentes innovadoras y participativas. Comparar la valoracin de los profesores entre las encuestas de la Universidad de Girona y de la Escuela de Enfermera. Comprobar si existen diferencias significativas entre la valoracin del profesorado con actividad en docencia tradicional y en ABP.

3. Mtodos:
Poblacin: 215 estudiantes de los 3 cursos de la Escuela Universitaria de Enfermera de la Universidad de Girona (Spain). Se elabora una encuesta como instrumento de evaluacin del tutor en el ABP teniendo en cuenta los aspectos relacionados con la facilitacin, motivacin, estmulo y reflexin en el aprendizaje del estudiante. La encuesta inicial elaborada en el ao 2006, ha sido analizada anualmente y se han llevado a cabo algunas modificaciones dando como resultado final la encuesta de la tabla 3. Se compara la evaluacin del tutor en el ABP con la evaluacin de la Universidad de Girona, realizadas ambas durante el curso acadmico 2008-2009, teniendo en cuenta las puntuaciones de los tems de 1 a 5 (se excluye el 0), siendo el 5 la mxima cualificacin y el 1 la mnima. Los resultados de ambas encuestas no contienen datos sociodemogrficos puesto que se trata de encuestas confidenciales y annimas.

4. Resultados:
Responden a la encuesta de la valoracin del tutor en el ABP el 88,5% de los estudiantes, un total de 191. Consideran que el tutor facilita la consecucin de los objetivos de aprendizaje siempre o casi siempre. El 91,1% opina que el tutor estimula el esfuerzo y las contribuciones del estudiante. El 86,5% manifiesta que ayuda a identificar las necesidades de aprendizaje y el 94,2% que siempre o casi siempre estimula el inters por aprender. El 82,4% considera que es objetivo en las evaluaciones de los estudiantes, aunque 40 estudiantes no opinan sobre este tem (media de 3,87, DE: 1,54), mientras este mismo aspecto en la evaluacin en la formacin magistral tiene una media de 3,94 (DE: 0,97) en el primer semestre del curso, ya que en el segundo semestre ya no consta este tem en la valoracin del profesorado (tabla 4). La valoracin de este mismo profesorado, de la Escuela Universitaria de Enfermera, en su docencia tradicional tiene unas puntuaciones generales de 4,05 y una DE 0,9 en la pregunta sobre la valoracin general del profesorado (tabla 5).

PBL 2010 International Conference. So Paulo, Brazil, February 8-12, 2010

La evaluacin global del tutor en el ABP, se sita en una media de 4,41 (DE: 0,79) sobre 5 puntos, mientras la evaluacin general de este mismo profesorado en la encuesta de la UdG 4,05 y una DE 0,93 (figura 1). Tabla 4. Resultados de la encuesta de valoracin del tutor en el ABP.
Desv. tp.

Media

Facilita la consecucin de los objetivos de aprendizaje Estimula el esfuerzo y las contribuciones del estudiante Lleva a cabo una crtica razonable y constructiva Es objetivo en las evaluaciones de los estudiantes Ayuda a identificar las necesidades de aprendizaje Demuestra un inters activo y se interesa en participar en los procesos del grupo Crea un ambiente relajado y abierto para iniciar una discusin Escucha y responde adecuadamente a mis problemas y preguntas Estimula el inters en aprender Incentiva las buenas relaciones con los miembros del grupo

4,338 5 4,468 8 4,390 6 3,875 8 4,306 7 4,619 0 4,555 0 4,582 8 4,481 7 4,518 3

,76915 ,71562 ,79166 1,5403 4 ,85585 ,59507 ,65362 ,61680 ,62275 ,78030

Tabla 5. Resultados promedios de la encuesta de valoracin del profesor de enfermera, que tambin participan en el ABP, de la UdG.
Desv. tp.

Media

Este/a profesor/a ha presentado con claridad el programa de la asignatura y los criterios de evaluacin. Con este/a profesor/a aprendo. Este/a profesor/a me motiva a esforzarme y a aprender por mi cuenta. Los materiales de apoyo que el/la profesor/a pone a mi disposicin me ayudan. Los procedimientos conocimientos. de evaluacin me permiten reflejar mis

4,208 4,084 3,934 3,927 3,922 4,283 4,055

0,907 0,975 0,989 0,968 0,943 0,889 0,908

Este/a profesor/a me ha aclarado las dudas cuando le he hecho consultas. Valoro globalmente la docencia de este/a profesor/a como positiva.

PBL 2010 International Conference. So Paulo, Brazil, February 8-12, 2010

Aprendizaje

Motivacin

Evaluacin

Figura 1. Diferencias de puntuacin entre tems de las dos encuestas agrupadas por caractersticas.

5. Conclusiones:
La evaluacin de todos los procesos formativos es un elemento primordial para la consecucin de la calidad docente, pero esta evaluacin debe ser consecuente con las metodologas utilizadas [Barrows 1988; Vasquez 2006]. La evaluacin realizada detecta una ligera mayor satisfaccin del estudiante con el tutor en relacin al profesor en su formacin magistral, siendo esta diferencia de casi medio punto sobre 5. El trabajo en grupo pequeo y en ABP estimula al estudiante a un acercamiento al conocimiento y al trabajo grupal, y por tanto se puede mostrar ms motivador y favorece el acercamiento entre el profesorado y los estudiantes. Segn estas encuestas existen pequeas diferencias en la evaluacin de los profesores dependiendo de su actividad docente, con una clara mayor satisfaccin en la actividad en ABP. La nica puntuacin inferior en la encuesta del ABP, es la relativa a la evaluacin de los estudiantes, aunque tambin es la ms dbilmente valorada en la otra encuesta. Se detecta, por tanto, una duda en cuanto a la objetividad en la evaluacin, con diferencias importantes en relacin al resto de tems. Este aspecto debe ser mejorado prximamente. El rol del tutor en el Aprendizaje Basado en Problemas (ABP), sufre un cambio importante en relacin al rol del profesor en la formacin tradicional, pasando de un papel de carcter directivo y centrado en la imparticin organizada de la docencia, a un rol interactivo, reflexivo y centrado en el aprendizaje del estudiante [Lucas and cols 2006]. La evaluacin del profesorado debe estar acorde con las metodologas docentes. El cambio en el ABP, es el de pasar de centrar el proceso en la docencia a hacerlo centrado en el aprendizaje. Este cambio de paradigma genera una necesidad de evaluacin de los procesos diferentes y adaptados a esta filosofa pedaggica.

General

4,5 4,4 4,3 4,2 4,1 4 3,9 3,8 3,7 3,6 3,5

UdG ABP

PBL 2010 International Conference. So Paulo, Brazil, February 8-12, 2010

6. Referencias
Albanese MA, Mitchell S (1993). Problem-based learning: A review of literature on its outcomes and implementation issues. Academic medicine, 17:52-81. Aneca (2008). PROGRAMA AUDIT Gua de Evaluacin del diseo del Sistema de Garanta Interna de Calidad de la formacin universitaria. Disponible en: http://www.aneca.es/media/166350/audit_doc04_guiaevaluacion_080219.pdf Barrows HS. (1988). The tutorial process. Springfield: Southern Illinois University School of Medicine. Garca Snchez JN, de Caso Fuerte A, Fidalgo Redondo R, Arias Gundn O (2005). La evaluacin de prcticas universitarias y su aplicacin en un enfoque innovador. Revista de educacin, nm. 337, pp. 295-325. Lucas M, Garca Guasch R, Moret E, Llasera M, Melero A, Canet J (2006). El aprendizaje basado en problemas aplicado a la asignatura de pregrado de Anestesiologa, Reanimacin y Teraputica del Dolor. Rev. Esp. Anestesiol. Reanim; 53: 419-425. Petra I, Valle R, Marnez-Gonzles A, Pia-G B, Rojas-Ramrez J, Morales S (2000). Aprendizaje Basado en Problemas: Validacin de un Instrumento de Evaluacion. Anales de la Facultad de Medicina. Universidad Nacional Mayor de San Marcos. Vol. 61, N 3. Tarazona JL (2005). Reflexiones acerca del aprendizaje basado en problemas (abp). Una alternativa en la educacin mdica. Rev Colomb Obstet Ginecol vol.56 no.2 Bogot Apr./June 2005. Vasquez Vargas, Julio Csar (2006). Cmo podemos adecuar la evaluacin en la transicin de un modelo tradicional a uno innovado ABP?. Rev. Med. Vallejiana, vol.3, no.2, p.125-128.