La evaluacin de la comprensin auditiva Gustavo Marcelo Bravo Liliana Ins Etcheverry Claudia Lpez Camelo Graciela Paladino Daniel

Peir Alzugaray En diciembre de 2001, se convoc a alumnos y egresados del Programa de Capacitacin para la Enseanza del Espaol como Lengua Segunda y/o Extranjera de la Universidad de Buenos Aires, para la formacin de comisiones destinadas a elaborar los exmenes de Certificacin de Dominio del Espaol en los niveles bsico, intermedio y avanzado. Bajo la coordinacin general de la profesora Silvia Prati se constituy, entre otras, la Comisin de Audiocomprensin . Se inici as un proceso que exigi, originalmente, precisar un marco de referencia para orientar su accin. Logrado el mismo, la dinmica de trabajo de esta comisin adopt un modelo de construccin en proceso, modalidad que le ha permitido y permite la permanente retroalimentacin en sus procesos y productos, y una flexibilidad para la integracin horizontal con otras comisiones. Esto signific planteos, ajustes, reajustes y replanteos en la bsqueda y en los constructos generados. I. ANCLAJE REFERENCIAL Actualmente, desde la perspectiva de la didctica de lenguas segundas y/o extranjeras, el inters se centra en un punto de relevancia general para la enseanza y la evaluacin: la relacin entre conocimiento de una lengua y las habilidades en la realizacin de este conocimiento. Se reconocen como tales, la comprensin auditiva y lectora, y la produccin oral y escrita (Canale, 1983) . Los exmenes de dominio del espaol como lengua segunda y/o extranjera que instrumenta la Universidad de Buenos Aires a travs del Laboratorio de Idiomas de la Facultad de Filosofa y Letras constituyen una evaluacin de la proficiencia y en tal sentido "pretenden determinar si los alumnos han adquirido un cierto nivel de competencia en una lengua"Como instrumentos evaluativos, organizan un modelo en el que se interrelacionan conocimiento y habilidades, entre las que la audiocomprensin es integrada en el conjunto pero como una prueba especfica, a medir de manera separada de los intercambios que se producen en la interaccin oral dialogada. Encuentra fundamento su

especificidad, por una parte, en la relevancia pedaggica que se le reconoce en el proceso de aprendizaje de lengua segunda o extranjera; contundente es Canale al respecto al afirmar que la audiocomprensin "es sin duda la base para el desarrollo de la expresin oral, y finalmente, de toda capacidad comunicativa". Por otra parte, y ya desde las posibilidades de dominio de uso como una habilidad de la lengua, es evidente que hay un nmero importante de situaciones en las que el "escuchar" no precede necesariamente al dilogo. En tal sentido, el Marco de referencia europeo para el aprendizaje, la enseanza y la evaluacin de lenguas describe como actividades que se "ejecutan" por audiocomprensin:

escuchar declaraciones pblicas (informacin, instrucciones, avisos, etc.); escuchar medios de comunicacin (radio, televisin, grabaciones, cine); escuchar conferencias y presentaciones en pblico (teatro, reuniones pblicas, conferencias, espectculos, etc.); escuchar conversaciones por casualidad, etc.. "

Ahora bien, en todo proceso de audiocomprensin, en tanto oyente que comprende, cualquier usuario recibe y procesa una informacin de entrada en forma de enunciadoemitida por uno o ms hablantes. Sin embargo, en este proceso los no nativos son considerablemente ms lentos que los nativos en el reconocimiento de fonemas y palabras lo que es poco sorprendente- ya que estn menos acostumbrados a los sonidos y palabras que oyen. Por lo tanto, la mayor diferencia es la rapidez del reconocimiento (Garca Fernndez, M. y otros, 1993). I.1 Qu evaluar? Cyril Weir desarrolla el conjunto de operaciones que un usuario de lengua realiza en todo proceso de audiocomprensin. Este conjunto de operaciones fue el marco asumido para determinar las unidades de anlisis del dispositivo evaluativo: a) Comprensin del significado directo:

Entender lo esencial. Entender la(s) idea(s) principal(es) o la informacin importante. Incluye la habilidad de: o seguir la lnea de desarrollo de una argumentacin,

distinguir las ideas principales de los detalles que dan soporte, diferenciar afirmaciones de ejemplos, o diferenciar una proposicin de su argumentacin, o distinguir un hecho de una opinin cuando estn claramente marcados. Entender la informacin especfica. Incluye la habilidad de distinguir detalles importantes. Determinar la actitud o intenciones del hablante respecto del interlocutor/ tpico (persuasin / explicacin) cuando resulten obvias a partir del texto.
o

b) Comprensin del significado inferido:

Realizar inferencias y deducciones; evaluar contenido en trminos de informacin claramente disponible a partir del texto. Relacionar las expresiones con el contexto social y situacional en el que se realizan. Reconocer la funcin comunicativa de las expresiones. Deducir, a partir del contexto, el significado de temes lxicos que no son muy conocidos.

c) Comprensin del significado contribuyente (microlingstico):

Comprender rasgos fonolgicos [suprasegmentales], tales como el nfasis, la entonacin, etc. Comprender conceptos (nociones gramaticales), tales como la comparacin, la causa, el resultado, el grado, el propsito. Comprender marcadores del discurso. Comprender la estructura sintctica a nivel oracional y proposicional, tales como elementos de la estructura de una proposicin, modificaciones de sustantivo y verbo, negacin. Comprender la cohesin gramatical, especialmente la referencia. Comprender la cohesin lxica mediante colocacin y asociacin en conjuntos lxicos. Comprender el lxico.

d) Escuchar y escribir (tomar notas de conversaciones telefnicas, clases, etc.)

Habilidad para extraer los puntos destacables a fin de resumir el texto completo, reduciendo lo que se escucha a un bosquejo de puntos principales y detalles importantes.

Habilidad para seleccionar de un texto los puntos clave sobre una idea o un tpico especficos, teniendo en cuenta especialmente la coordinacin de la informacin relacionada".

II. EVALUACIN DE LA AUDIOCOMPRENSIN Para la evaluacin de las distintas operaciones de audiocomprensin se decidi la utilizacin de material autntico. II.1 Elaboracin del dispositivo de evaluacin II.1.1 Obtencin del material De acuerdo con las actividades de la comprensin auditiva que plantea el Marco, pueden ser fuentes materiales autnticas: declaraciones pblicas, como informacin, instrucciones, avisos; discursos de los medios de comunicacin, como la radio, la televisin, grabaciones, cine, conferencias; presentaciones en pblico como reuniones, conferencias, espectculos; y conversaciones odas al azar, entre otras. Con arreglo a razones de orden facultativo y de viabilidad operativa, ante la inexistencia de instituciones de acceso libre que acuen bancos de textos orales, se opt por acudir al mensaje radiofnico para armar el corpus de textos que seran aplicados a la evaluacin de la audiocomprensin. "La materialidad sonora del lenguaje de la radio resulta cotidiana y se insina en todas partes", dicen Michel de Certeau y Luce Girad. Lo que distingue a la radio es el sonido en cualquiera de sus posibilidades: articulado en palabras, concretado en ruidos, armonizado musicalmente o como silencio. En cuanto a estos usos del sonido y especialmente a los usos lingsticos de la interaccin oral, la radio es rica en una tipologa de textos organizados en torno a una intencin comunicativa (informar, persuadir, entretener, ensear, etc.) de cada programa, que a su vez frecuentemente suele obedecer al formato cannico de los diferentes gneros que se identifican con la radio (Lomas, 1999). En consecuencia, se procedi a la grabacin directa de un amplio universo de producciones orales radiofnicas. II.1.2 Seleccin del material

Seleccionar involucra la tarea de estimar, de ponderar, de apartar segn criterios determinados: en definitiva, de elegir a partir de juicios racionales en funcin de tales criterios. En este sentido, el universo recolectado fue sujeto a este proceso de seleccin. Desde el punto de vista didctico, pensar el universo como un espacio de decisiones, permiti determinar qu emisiones resultaban pertinentes para ser usadas en el dispositivo de evaluacin de la audiocomprensin. La construccin de criterios implic, para la Comisin, un conjunto de decisiones tericas. Para ello sirvieron los trabajos de de Beaugrande y Dressler (1981); Weir y Bachman (1990); y Weir, Brindey y Nunan (1992). La lectura de Beaugrande y Dressler permiti trazar el primer criterio de seleccin. Este fue que, para considerar como dispositivo de evaluacin una produccin oral radiofnica, esta fuera portadora de unidad semntica, en relacin con su organizacin interna; y unidad pragmtica, con su posibilidad de ser interpretada en una situacin. Es decir, que fueran "texto". Para estos autores, una emisin lingstica debe cumplir siete normas de textualidad para ser considerada como texto: cohesin, coherencia, intencionalidad, aceptabilidad, informatividad, situacionalidad e intertextualidad. Ciertamente, el modelo procedural postulado por los autores result singularmente til porque el alcance del mismo no slo tiene en cuenta los procesos y procedimientos que se ponen en juego en la produccin (texualizacin), sino tambin y este fue el punto de inters para la formulacin del criterio- en la decodificacin (recepcin) de los textos. En relacin con lo sostenido respecto de que la diferencia en la recepcin de las emisiones orales entre hablantes nativos y no nativos puede estar dada por la rapidez del reconocimiento, se asumi como otro criterio de seleccin, analizar los textos a la luz ciertas variables que Weir y Bachman plantean como facilitadoras del reconocimiento. En este sentido, proponen tener en cuenta: " la velocidad a la que el discurso es emitido, grado de pausa, grado de redundancia interna (...) ". II.1.2-a Valoracin didctica de los textos: Permiti discriminar aquellos textos que se ajustaban a un fin exclusivamente evaluativo y los que se adecuaban mejor para una actividad de clase.

En este punto resulta oportuno preguntarse qu textos son pertinentes para llevar a cabo una evaluacin. Por ejemplo, la claridad y la extensin son factores decisivos. Tambin, en el caso de que haya ms de un interlocutor, que los solapamientos no atenten contra la comprensin del texto. A su vez, se tuvo en cuenta que los textos no estuvieran sesgados por una marca dialectal, que el lecto utilizado fuera lo ms neutro posible. Del mismo modo, se prest especial atencin a que las referencias socioculturales presentes en los textos no requirieran, para su inteligibilidad, un conocimiento mayor del que un extranjero promedio pueda alcanzar. II.1.2-b Adjudicacin de nivel. Para ello, fue necesario tener presentes las habilidades y contenidos detallados en cada descriptor de nivel propuestos por el Laboratorio de Idiomas. Hay dos aspectos que deben considerarse a la hora de decidir qu nivel se evaluar con el texto elegido: la complejidad inherente al texto, y "qu y cmo preguntarle". En cuanto al primero, los criterios que se tuvieron en cuenta fueron: la velocidad en el discurso, el gnero textual, el uso de estructuras sintcticas adecuadas al nivel, el caudal lxico. Todos ellos deben confluir para que el texto pueda evaluar si el grado de dominio de audiocomprensin de los candidatos alcanza el nivel al que aspiran. Por eso, un texto accesible para el nivel bsico en cuanto a los contenidos detallados en los descriptores de nivel, puede no ser apropiado a causa de la excesiva velocidad. En ese caso se le podr adjudicar un nivel ms alto, efectuando cambios en la forma de "preguntar" al texto. Llegamos as a la instancia final del proceso de determinacin del corpus, que incluye el testeo de este material en grupos de pares, nativos y no nativos, pues de los resultados de aqu obtenidos se harn los ajustes necesarios para asegurar la viabilidad de los textos destinados a cada uno de los niveles. Con este conjunto de criterios se seleccion, entonces, un corpus de textos didcticamente pertinentes para ser utilizados como dispositivos de evaluacin de la audiocomprensin de los diferentes niveles de dominio.

II.1.3 El procesamiento didctico Con la elaboracin de los temes para los textos seleccionados, se inici el procesamiento didctico de los mismos. Entendemos por tem el "mtodo de elicitar conductas o lenguaje acompaado de un sistema mediante el cual la conducta o lengua se pueden juzgar". II.1.3-a Criterios generales para la elaboracin de consignas Antes de procesar cada texto, fue preciso tomar ciertas decisiones, relacionadas bsicamente con la elaboracin de consignas. Se resolvi, siguiendo el criterio de Weir:
o o

o o

o o

o o o

que las consignas estuvieran formuladas en la lengua meta (al igual que en el resto del examen escrito y oral); que, en caso de que las respuestas exigieran elaboracin por parte del candidato, deberan estar expresadas tambin en lengua meta; que se escuchara dos veces cada texto; que cada consigna contextualizara el texto, mnimamente (por ejemplo: "A continuacin usted escuchar un fragmento de una entrevista radial entre un periodista y un jugador de ftbol..."); que la frmula de tratamiento utilizada en las consignas fuera la formal ("usted"); que los candidatos tuvieran alguna familiaridad con el tipo de tarea propuesta y con los elementos ambientales de la evaluacin (ubicacin en el laboratorio, aislamiento, etc.); que la ayuda brindada fuera nula; que las consignas fueran presentadas y resueltas por escrito; que el tiempo de resolucin fuera de 15 minutos.

II.1.3-b Pasos del procesamiento didctico En la tarea de cmo procesar los textos, se siguieron los siguientes pasos: a. audicin de cada texto seleccionado por parte de cada miembro de la comisin; b. audicin de los textos, en forma conjunta; c. audicin para el relevamiento de informacin aportada por el texto; d. nueva audicin para determinar las posibles operaciones de audiocomprensin por relevar;

e. redaccin de temes para evaluar la audiocomprensin. II.1.3-c Elaboracin de temes Una vez determinada la operacin de audiocomprensin que se evaluara en cada caso, se procedi a elaborar los temes adecuados. Para ello, hubo que plantearse qu se le "preguntara" a cada texto. Nuevamente, se parti de los aportes de Weir. Para cada texto, las actividades fueron entre otras: eleccin mltiple, opcin entre verdadero y falso, respuesta corta, completamiento de tablas y resumen. Cada actividad fue seleccionada segn lograra neutralizar, en la mayor medida posible, la intervencin de factores tales como la deduccin por contexto (de las consignas o resto del examen) y el azar. No es viable evaluar todos los textos con el mismo formato, por eso se analizaron los pros y los contras de cada actividad. Por ejemplo, un ejercicio de opcin mltiple segn Harris y Mc Cann "tiene a su favor la facilidad en su correccin y, por ende, gran utilidad cuando es amplia a cantidad de candidatos- y la eficacia para chequear la comprensin de lo esencial. Sin embargo, es difcil de construir, es inevitable la intervencin del azar y, por otra parte, las opciones distractoras pueden llegar a confundir a los buenos estudiantes." As se podran encontrar ventajas y desventajas de cada actividad. Nuestro trabajo fue, entonces, cotejar qu actividad, a pesar de sus falencias, poda medir mejor la operacin de audiocomprensin que se pretenda evaluar, en cada texto en particular. Teniendo en cuenta todo lo anterior, entonces, se elaboraron las consignas y actividades con los distintos temes ponderados como pertinentes. II.2 Puesta a prueba del dispositivo de evaluacin. Para esto, adjudicados por niveles los textos, se procedi a ponerlos a prueba para lograr su validacin definitiva. Se sigui el modelo el utilizado por la Universidad de Cambridge, que hace una triple prueba: con pares, con nativos y con una muestra aleatoria de hablantes no nativos. A partir de los comentarios de los pares y los resultados obtenidos del testeo con otros nativos, se procedi a: a) volver a escuchar los textos seleccionados,

b) analizar y corregir las actividades con sus respectivas consignas, segn criterios como claridad, uso de metalenguaje, ambigedad, relacin entre informacin dada y conocimiento de mundo, es decir, que no se pregunte de tal forma que no sea necesaria la informacin del texto). Se trabaj tambin sobre el formato de las propuestas, adems de rever la seleccin del vocabulario adecuado para un hablante no nativo (por ejemplo, se lleg al acuerdo de tomar la denominacin de "sntesis" para la elaboracin de un resumen, por una cuestin de facilidad en la comprensin de la palabra para un extranjero y, en otros, se trat de evitar la posibilidad de falsos cognados). En el caso de los nativos, adems debimos tener en cuenta que sus competencias lingstica y sociolingstica superaba la de los extranjeros. Sin embargo, a partir de esta instancia, se pudieron perfeccionar consignas , que para los pares eran claras. Tambin aparecieron temas de discusin, como la interpretacin de actitudes de los hablantes o la jerarquizacin de ciertos temas en las consignas. De la puesta a prueba con los hablantes no nativos, surgieron otras necesidades. Una de ellas fue eliminar textos, por diversas razones: falta de progresin lgica; intervenciones poco relevantes que obstaculizaban la comprensin; confusin en la comprensin por falta de referencias culturales no dadas por el texto y que los extranjeros no podan reponer; posibilidad de prescindir de la escucha del texto para responder, debido al conocimiento de mundo, por parte del no nativo. Otra tarea de revisin consisti en corregir temes por resultar demasiado obvios o complicados para el nivel, por ser confusos para el extranjero, o por ser reiterativos. En algunos casos, tambin fue necesario cambiar el nivel de algn texto, o la operacin de comprensin que se trataba de evaluar. Por otra parte, se propuso continuar con la elaboracin de ejercicios sobre ciertos textos ricos en posibilidades pero difciles de abordar para un examen de dominio. Finalmente, se discutieron las relaciones entre la audiocomprensin y otras competencias, como la produccin escrita: cmo evaluar un resumen (aunque sea pautado) cuando la respuesta exige, adems de la comprensin auditiva, la produccin de un nuevo texto...? Observamos en estas muestras que algunos extranjeros, oralmente, demostraban haber comprendido los contenidos, pero no lograban expresarlos por escrito. Referencias bibliogrficas:

AA.VV. (1998) Competencia comunicativa: documentos bsicos en la enseanza de lenguas extranjeras. Madrid, Edelsa. Alderson, J. C., Clapham, C. y Wall. (1995) Language Test Construction and Evaluation. Cambridge: Cambridge University Press. Anceaux, H.. (1991) "Rol y significado de la comprensin auditiva en la enseanza de lenguas extranjeras", en CABLE 8. Barolo, Marta. (1999) La adquisicin del espaol como lengua extranjera. Madrid, Arco/Libros. Ciapuscio, G.. (1994) Tipos textuales. Buenos Aires, Eudeba. Corts, M..(2001) "Los textos. Marcos tericos y prcticas de enseanza."; en Alvarado, M.: Entre lneas.Teoras y enfoques en la enseanza de la escritura, la gramtica y la literatura. Buenos Aires, FLACSO/Manantial. de Beaugrande, R. y Dressler, W.. (1981; edicin en espaol: 1997) Introduccin a la Lingstica del texto. Barcelona, Ariel. de Certau, M. y otros. (1994). Linvention du quotidien 2.Paris, Gallimard. Gabbiani, B..(org.) Espaol para hablantes de portugus. Buenos Aires, Universidad de Buenos Aires: Facultad de Filosofa y Letras / ELSE N3 (Febrero, 2000) Garca Fernndez, M. y otros. "La comprensin auditiva en el aula de E/LE: propuesta de actividad."; en Barrs Graca, P. (comp.) II Jornadas sobre aspectos de la enseanza del espaol como lengua extranjera. Granada, Universidad de Granada, 1993. Harris, M. y Mc Cann, P..(1994) Assessement. Oxford, Heinemann. Klett, E.. Prcticas, reflexiones e interrogantes en la enseanza de lenguas extranjeras. Buenos Aires, Universidad de Buenos Aires: Facultad de Filosofa y Letras / ELSE N 2 (Octubre, 1999) Littlewood, W.. (1994) La enseanza de la comunicacin oral. Un marco metodolgico. Barcelona, Paids. Lomas, C.. (1999) Cmo ensear a hacer cosas con palabras. Teora y prctica de la educacin lingstica. Barcelona, Paids. Martn Peris, E. (1991). "La didctica de la comprensin auditiva.", en CABLE 8. (Noviembre) Nez, R. y del Teso, E.. (1996) Semntica y pragmtica del texto comn. Madrid, Ctedra. Weir. C.. (1995) Understanding and Development Language Tests. New York, Phoeneix ELT.

http://www.salvador.edu.ar/vrid/publicaciones/revista/peiro.htm