Anlisis y modificacin de una grilla de evaluacin de desempeo docente

Introduccin En este trabajo se analiza un instrumento de evaluacin del desempeo docente utilizado en una institucin privada de enseanza de espaol lengua extranjera (ELE) de Montevideo. Primeramente, se describen sus caractersticas en cuanto a objetivos, contexto de aplicacin y criterios de evaluacin, en relacin con el mbito especfico de enseanza de dicha institucin. En segundo lugar, se detiene en el anlisis del concepto de enseanzaaprendizaje y en la visin del docente que subyace al instrumento en cuestin. Asimismo se reflexiona sobre su grado de validez y confiabilidad. Finalmente, se propone una primera modificacin (sujeta a posteriores reajustes de criterios) que intenta reflejar una evaluacin que explicite ms las inferencias que la grilla presenta.

Descripcin del instrumento de evaluacin Este instrumento se aplica en el proceso de incorporacin de nuevos profesores, concretamente es la grilla (ver anexo 1) que completa el coordinador acadmico durante la observacin de las clases dictadas por los candidatos que quieran ingresar al plantel docente de la institucin. La integracin de nuevos docentes es gradual; como parte del proceso los candidatos se familiarizan con el plan general de enseanza, los programas curriculares, el material didctico, el enfoque y la metodologa de enseanza y los procedimientos (formales) a seguir en lo que respecta a cursos, alumnos, materiales y recursos, etc. Existe una clasificacin previa en profesores junior (con muy poca experiencia laboral o sin ella) o senior (con formacin especfica en la enseanza de ELE y amplia experiencia laboral en el rea). Tal divisin, con criterios clasificatorios bien

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

49

definidos determina los procedimientos de integracin a llevarse a cabo en cada caso. La tabla de observacin de clase evala el desempeo de los candidatos docentes. Es completada por el coordinador acadmico en cada clase visitada (por lo menos dos). En primer lugar, el coordinador evala al docente siguiendo los criterios especificados en la tabla y, luego de la visita, hace la devolucin (feedback) correspondiente. De la reflexin conjunta surgen posibilidades de cambio, negociacin de criterios para la segunda visita y se reajustan posibles discrepancias tericometodolgicas. El objetivo de esta grilla es poder evaluar la adecuacin del profesor a los requerimientos y programas de la institucin y su desempeo acorde al enfoque (comunicativo) y metodologa adoptados, ambos ya conocidos previamente por el candidato tras una (o ms, segn requerimientos especficos) entrevista con el coordinador. Cabe destacar que las entrevistas incluyen muestra del material, indicaciones para la observacin posterior de otras clases, intercambio con otros profesores y lecturas tericas recomendadas. La grilla refleja lo que se espera del desempeo docente en clases con las caractersticas particulares que presentan en este mbito concreto. Esta escuela de lengua ofrece exclusivamente cursos de espaol en grupos reducidos (mximo cinco estudiantes) y cuenta con los recursos didcticos cuya utilizacin se consigna en la grilla (videoteca, biblioteca, sala audiovisual, juegos, material didctico, proyector, computadoras, reproductores y grabadores de msica y voz, etc). El instituto proporciona los recursos que pretende encontrar en las clases que evala. El profesor que forma parte del plantel docente de la escuela puede utilizar todos esos recursos en sus clases. En este contexto, se puede decir que la grilla consigna, aunque implcitamente, segn se analiza ms abajo, lo que se espera del individuo evaluado.

Anlisis del instrumento Todo enfoque de enseanza refleja una teora y unas creencias concretas acerca de la lengua y su aprendizaje, tambin acerca del profesor y del estudiante. Este

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

50

instituto de enseanza opt por el enfoque comunicativo y esa eleccin se ve en sus opciones metodolgicas, en sus materiales y en algunos de sus instrumentos de evaluacin. En la grilla que se seleccion para el anlisis, se explicitan 29 criterios de evaluacin que incluyen aspectos de diversa ndole: la adecuacin al programa de estudios de la institucin y el uso del libro de texto, las explicaciones y ejemplos del profesor, los recursos que utiliza, el tipo de tareas que plantea, la interaccin en el aula, la motivacin de los estudiantes, entre otros. Si bien no aparece explicitada en la grilla puede inferirse la visin del profesor y del alumno que subyace a este instrumento. En esta visin, el profesor se concibe como facilitador, gestor, cocomunicador (en conjunto con el estudiante), supervisor, organizador de recursos, gua, investigador y analista de necesidades, asesor y gestor de procesos grupales (Richards y Rodgers, 1986). En relacin con el alumno, se lo concibe como un individuo motivado a hacer algo til con la lengua que estudia, animado por el profesor a expresar su individualidad compartiendo ideas, opiniones, experiencias, con una seguridad reforzada por medio de la comunicacin cooperativa, como controlador de su propio proceso de aprendizaje. Esta concepcin est avalada por la institucin, en consonancia con las orientaciones terico-metodolgicas de la escuela, su concepto de lengua y de enseanza-aprendizaje, as como tambin del rol docente en la prctica, las metas y objetivos curriculares. Por otro lado, en cuanto a la validez de contenido, la grilla pretende medir la habilidad del candidato para fomentar la autonoma del alumno, y su capacidad de descubrir y desarrollar diferentes estilos de aprendizaje y estrategias en el aula. Atendiendo a la validez de criterio, el coordinador realiza dos visitas al candidato y en ambas se aplica la misma grilla. Al mismo tiempo, la grilla posee cierta validez paralela porque el candidato llega al instituto con sus propias creencias sobre los procesos implicados en el aula y los pone en prctica. A partir de la primera observacin de clase, el coordinador hace una devolucin de lo observado y en base a ella puede predecir el desempeo esperable en la prxima visita, un desempeo que

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

51

deber tener en cuenta las sugerencias de la primera instancia y mostrar una incorporacin de nuevas tcnicas y habilidades de manejo

de clase. De este modo, el coordinador puede realizar una prediccin (validez predictiva, Brown, 2004 apud Schlatter et ali, 2005) sobre el desempeo del nuevo docente, en base a los resultados de la primera visita. En cuanto a la validez de constructo (Bachman, 1988), este instrumento es vlido, aunque podra serlo solo para este contexto especfico, en la medida en que es coherente con el concepto de una buena clase de lengua que maneja tanto el coordinador como la institucin. No obstante, la validez se ve comprometida por el alto grado de inferencias que requiere para ser cabalmente comprendido. En relacin con la confiabilidad de esta grilla, una especificacin mayor de los descriptores de los criterios de evaluacin aumentara significativamente su confiabilidad, que en este formato se ve comprometida. Una descripcin ms detallada de los criterios y la posibilidad de explicacin dada en el tem especificar reduce la discordancia, aunque no elimina la subjetividad y la interpretacin por parte del evaluador. Esta discordancia estara an ms presente de no existir la posibilidad de especificacin de los criterios empleados en la instancia de evaluacin, es decir, en la observacin de clase. Por ltimo, la finalidad de este instrumento de evaluacin es, segn se mencion, poder orientar a los nuevos docentes, a partir de los presupuestos que avalan el funcionamiento y las orientaciones programticas de la institucin. La evaluacin busca ante todo mejorar el proceso de enseanza-aprendizaje que refleja, a su vez, un posicionamiento terico-metodolgico. El objeto de evaluacin en este caso es el desempeo del docente en el aula y su habilidad para fomentar el desarrollo de estudiantes autnomos y reflexivos. Sin embargo, la fiabilidad y validez se consiguen mediante el contraste de opiniones entre las partes implicadas, esto es, entre el profesor y el coordinador.

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

52

Propuesta de modificacin del instrumento de evaluacin Una formulacin ms cuidadosa y detallada de los descriptores de desempeo que acompae a los criterios de evaluacin mejora y ampla la validez y confiabilidad de esta grilla. Los descriptores deben incluir ejemplos ilustrativos u opciones de desempeo en cada uno de los items valuados, incluso preguntas de autorreflexin. La nueva propuesta (ver anexo 2) establece la divisin de los criterios de evaluacin en seis grandes grupos, a saber: 1. Objetivos y contenidos programticos; 2. Manejo de la clase; 3. Uso de recursos; 4. Interaccin y dinmicas de grupo; 5. Foco en el alumno y fomento de la autonoma y 6. Tratamiento del error y evaluacin. Cada grupo se subdivide, a su vez, en varios criterios que retoman los propuestos en la grilla original (ver anexo 1) y se agrega un criterio no contemplado, el de la evaluacin. La innovacin ms importante es la incorporacin de preguntas para cada uno de los criterios evaluados. En la tabla original solo apareca la instruccin especificar, sin ninguna orientacin en cuanto a la descripcin de lo que se debera tener en cuenta. En la grilla reformulada, las respuestas a las preguntas generarn un descriptor de desempeo del profesor que podr ser luego discutido. Otra manera de organizar esas preguntas sera en forma de descriptores, afirmaciones de lo que es esperable de un profesor practicante en este contexto. Siguiendo a Doll (2000), no hay evaluacin perfecta, pero tras estas modificaciones, este instrumento de evaluacin se torna un poco ms justo en cuanto a que la instancia posterior a la aplicacin de la grilla no solo se basar en una evaluacin analtica, dividida en una escala de desempeo que va del insuficiente al muy bueno, sino en su adecuacin o no adecuacin al contexto de enseanzaaprendizaje especfico que ofrece este instituto en particular. Con los criterios y los descriptores especificados y la posibilidad de recurrir adems a los apartados de especificar y observaciones, existe un grado mayor de confiabilidad cuyo resultado favorecer la retroalimentacin que brinda el coordinador al docente observado.

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

53

El objetivo de la grilla sigue siendo el fomento de la reflexin de las propias prcticas de aula de los docentes en general, y, principalmente, de los docentes nuevos. Su finalidad es mostrar qu ocurre en el aula a partir de la aplicacin de esa grilla y de la observacin del coordinador y luego reflexionar conjuntamente en el proceso de devolucin. Avala la confrontacin de presupuestos y el contraste de creencias de enseanza, metodologas, estilos de enseanza, concepciones tericas que trae el docente nuevo.

Consideraciones finales A primera vista la grilla analizada, y posteriormente modificada, parece ser una evaluacin diagnstica, que busca la reflexin del profesor sobre su propia prctica docente y su desempeo en el aula. Sin embargo, qu ocurre si el docente novel y su sistema de creencias e inferencias acerca de lo que es una buena clase, o de cmo debe ser la relacin docente-alumno, o del rol de los agentes implicados en el proceso de enseanza-aprendizaje, son diferentes a los del evaluador y la propia institucin? En este caso, este instrumento se convertir en clasificatorio luego de su segunda aplicacin, debido a que el coordinador-evaluador obra de acuerdo a los principios que propone la institucin y que se ven reflejados en la grilla en cuestin. Resulta evidente que la evaluacin ser negativa y por tanto tendr como resultado la no incorporacin al plantel docente del candidato.

Bibliografa consultada DOLL, Johannes (2000) Avaliao na ps-modernidade. In: Paiva, Maria da Graa Gomes & Brugalli, Marlene. Avaliao: novas tendncias, novos paradigmas. Porto Alegre: Mercado Aberto. p. 11-44. (xerox) MARCUSCHI, Elizabeth (2001) Os destinos da avaliao no manual do professor. In: Dionisio, Angela P. & Bezerra, Maria A. (orgs.) O livro didtico de portugus: mltiplos olhares. Rio de Janeiro: Lucerna. p. 139-150. RICHARDS, J. C. y T. S. RODGERS (1986). Enfoques y mtodos en la enseanza de

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

54

idiomas. Madrid: Cambridge University Press, 1998. SCARAMUCCI, Matilde V. R. (2004) Efeito retroativo da avaliao no

ensino/aprendizagem de lnguas: o estado da arte. Trabalhos em Lingstica Aplicada, 43 (2): 203-226 SCHLATTER, Margarete; ALMEIDA, Alexandre do N.; FORTES, Melissa S.; SCHOFFEN, Juliana R. (2005) Avaliao de desempenho e os conceitos de validade, confiabilidade e efeito retroativo. A avaliao do texto de vestibular: diferentes enfoques. Coperse. UFRGS. SCHLATTER, M.; GARCEZ. P. M. & SCARAMUCCI, M. V. R. (2004) O papel da interao na pesquisa sobre aquisio e uso da lngua estrangeira: implicaes para o ensino e para a avaliao. Letra de Hoje, 39 (3): 345-378.

Anexo 1. Grilla original

Docente: Integrantes del grupo: Objetivos y contenidos de la clase: (MB: muy bueno B: bueno R: regular I: insuficiente N/O: no se observa) Coherencia de los objetivos y contenidos con el Programa del curso y con el Plan General de Enseanza. Coincidencia de los objetivos y contenidos con la planificacin hecha. Desempeo y uso de didctica. Uso del libro del nivel correspondiente. Organizacin y secuencia de tareas. Uso del pizarrn. Uso de recursos visuales. Uso de recursos auditivos. Uso de recursos audiovisuales. Uso de Internet. Juegos didcticos y juegos de roles. Uso del diario, textos, materiales complementarios, etc. Uso del diccionario. Uso de lenguas extranjeras. Explicaciones y ejemplos. Variedad e interrelacin de los contenidos (lingsticos, semnticos, socioculturales) y su correspondencia con la planificacin. Trabajo con fontica y fonologa. Flexibilidad y adaptacin a los estilos y ritmos de aprendizaje de los alumnos. Manejo de dinmica de grupo. MB B R I N/O Especificar: fecha: OBSERVACIN DE CLASE Nivel y unidad/es:

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

55

Distribucin del tiempo de clase para el desarrollo de cada destreza o habilidad. Motivacin, participacin y desarrollo del aprendizaje autnomo y continuo por parte de los alumnos. Uso y motivacin para usar materiales complementarios y de apoyo dentro y fuera de la sesin. Interaccin entre los alumnos. Foco en el alumno. Correlacin de las actividades comunicativas con situaciones reales Tareas para la prxima clase. Registro de temas, preguntas, necesidades y sugerencias de los alumnos. Estmulo a los alumnos para la reflexin del propio proceso de aprendizaje. Estmulo para el uso de Internet, para mirar pelculas, consultar diarios, etc. como continuacin del proceso de aprendizaje fuera del aula. Observaciones:

Extrada de: Procedimiento de incorporacin de nuevos profesores. Grilla de observacin de clase, Academia Uruguay, Montevideo, 2011.

Anexo 2- Versin modificada de la grilla

OBSERVACIN DE CLASE Docente: Fecha: Nivel y unidad: Integrantes del grupo: Objetivos y contenidos de la clase (de acuerdo a la planificacin del docente): Criterio Descripcin A N/A N/O Especificar

1. Objetivos y contenidos programticos: Coherencia de los objetivos y El docente conoce los objetivos y contenidos contenidos con el Programa del curso y programticos y planifica sus clases en base a con el Plan General de Enseanza. ellos? La planificacin se corresponde con la leccin del manual o el profesor programa de forma personal sus clases, reorganizando el material y adaptndolo as a su particular contexto de aula? Coincidencia de los objetivos y contenidos con la planificacin hecha. El docente elabora planificaciones de clase con los objetivos (lingsticos, socioculturales, discursivos, etc), los contenidos necesarios para alcanzarlos, las destrezas a trabajar, tareas, agrupamientos de los estudiantes, secuencia y tiempo para cada actividad, evaluaciones, etc? Las tareas propuestas cuentan con variedad

Variedad e interrelacin de los

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

56

contenidos (lingsticos, semnticos, socioculturales) y su correspondencia con la planificacin. 2. Manejo de la clase: Desempeo y uso de didctica.

de actividades, con el fin de favorecer el inters y la motivacin de los alumnos?

El docente demuestra conciencia de lo que ocurre en el el aula y del rol docente? Favorece un ambiente de aprendizaje enriquecedor y motivante para sus estudiantes? El docente selecciona los contenidos, materiales y actividades con una distribucin, combinacin y progresin adecuada a las caractersticas del grupo al nivel? Muestra flexibilidad de adaptacin al grupo y a las diferentes situaciones? Los objetivos de las actividades son claros para los estudiantes? Los ejemplos estn debidamente contextualizados y las explicaciones hacen uso de un metalenguaje adecuado al estudiante y nivel? Qu papel le da el profesor en la clase (solo para actividades prcticas, explicacin de consignas, traduccin de algn trmino)? Es flexible segn las necesidades de los alumnos y principalmente su nivel? O recurre a ella sin un objetivo didctico definido? El docente propone a sus alumnos actividades variadas (de diagnstico, de introduccin, de motivacin, de sntesis, de consolidacin, de ampliacin, de evaluacin, etc)? Contemplan el desarrollo de las distintas destrezas? Aparecen integradas o por separado? El docente propone a sus alumnos actividades domiciliarias que continen, revisen o profundicen lo trabajado en clase o que sirvan como actividades previas importantes para el cumplimiento de los objetivos de prximas clases?

Organizacin y secuencia de tareas.

Explicaciones y ejemplos.

Uso de lenguas extranjeras o de la L1 de los estudiantes.

Distribucin y desarrollo de cada destreza o habilidad.

Tareas para la prxima clase.

3. Uso de recursos: Pizarrn. El docente utiliza este recurso como apoyo a sus explicaciones?El contenido est bien organizado, hay alguna divisin establecida, etc? El docente utiliza estos recursos como input real?El contenido est bien seleccionado, es adecuado al nivel de los estudiantes? Se emplean con objetivos didcticos claros? Hay indicaciones claras, seleccin previa de pginas para trabajar, objetivos definidos? El docente estimula su uso? En qu situaciones? El docente utiliza estos recursos como input real (uso de materiales autnticos)? El contenido est bien seleccionado, es adecuado al nivel de los estudiantes? Se emplean con objetivos didcticos claros?

Recursos visuales/ auditivos/ audiovisuales.

Internet. Diccionario. Diario, textos, materiales complementarios, etc.

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

57

Juegos didcticos.

Los estudiantes conocen los objetivos perseguidos con los juegos o les son proporcionados luego del juego?

4. Interaccin y dinmicas de grupo Interaccin entre los alumnos. Se fomenta la interaccin como parte del proceso de aprendizaje? Se infiere una concepcin de la lengua como sistema para expresar significado cuyo papel principal es la interaccin y la comunicacin o como sistema de reglas gramaticales? El docente crea simulaciones de situaciones reales en clase (lengua en accin)? Qu tipo de agrupamientos utiliza?, con qu objetivos? Las tareas comunicativas propuestas son significativas para los estudiantes? El profesor se preocupa por la participacin del alumno en intercambios comunicativos reales?

Juegos de rol. Manejo de dinmica de grupo. Correlacin de las actividades comunicativas con situaciones reales

5. Foco en el alumno y Fomento de la autonoma Flexibilidad y adaptacin a los estilos y El docente fomenta la toma de conciencia de ritmos de aprendizaje de los alumnos. la existencia de estilos, con el fin de sacar el mximo provecho de ellos? Utiliza diversos recursos, por ejemplo: materiales didcticos que requieran el desarrollo de varios estilos; atencin a la variable afectiva para crear un ambiente en el que las diferencias individuales no generen sentimientos negativos; promocin del aprendizaje cooperativo para que en la realizacin de una tarea conjunta se empleen diferentes estilos; etc? Motivacin, participacin y desarrollo del aprendizaje autnomo y continuo por parte de los alumnos (aprender a aprender) El profesor fomenta en el alumno la observacin y el anlisis del propio proceso de aprendizaje y la reflexin sobre la forma en que aprende y cmo puede seleccionar las estrategias de aprendizaje apropiadas para cada situacin? El desarrollo de la clases es una actividad conjunta, de negociacin entre estudiantes y profesor? El profesor es consciente de la importancia de la enseanza centrada en el alumno? Estimula el uso de Internet, mirar pelculas, consultar diarios, etc. como continuacin del proceso de aprendizaje fuera del aula?

Registro de temas, preguntas, necesidades y sugerencias de los alumnos.

Uso y motivacin para usar materiales complementarios y de apoyo dentro y fuera de la sesin. 6. Tratamiento del error y evaluacin Correccin en clase.

Se proporcionan criterios claros acerca de qu se va a corregir y por qu? Se proporciona informacin al alumno sobre la ejecucin de las tareas y cmo puede mejorarlas? Se favorecen procesos de autoevaluacin y coevaluacin? El docente usa estrategias y procedimientos de autoevaluacin y coevaluacin en grupo que favorezcan la participacin de los alumnos en la evaluacin? El error se considera un elemento activo y

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

58

necesario en el proceso de aprendizaje o se mantiene la correccin sistemtica? Se intenta estimular la autocorreccin por parte del mismo aprendiente como una manera de potenciar su autonoma? Tareas de evaluacin y autoevaluacin. Se establece de modo explcito, los criterios, procedimientos e instrumentos de evaluacin y autoevaluacin que permiten hacer el seguimiento del progreso de los alumnos?

Observaciones:

Soledad Gorga Oreiro - Licenciada en Lingstica egresada de la Facultad de Humanidades y Ciencias de la Educacin (FHCU) de la Universidad de la Repblica (UdelaR). Est terminando su Maestra en Lingstica Aplicada a la enseanza de espaol lengua extranjera (Funiber- Universidad de Jan). Est cursando su segunda Maestra en Ciencias Humanas, opcin Lenguaje, cultura y sociedad (Udelar). Es profesora de espaol como lengua extranjera y coordinadora acadmica de un instituto privado de Montevideo (Academia Uruguay).

paginas.ufrgs.br/revistabemlegal

REVISTA BEM LEGAL Porto Alegre v. 2 n 1 2012

59