LA

ACTUACIN

DE

PARES

EVALUADORES

DE

CARRERAS

DE

POSGRADO: PERCEPCIONES DESDE EL PROPIO CAMPO ACADMICO THE PERFORMANCE OF PEER REVIEWERS IN THE ASSESMENT OF GRADUATE PROGRAMS: PERCEPTIONS FROM THE ACADEMIC FIELD Mnica Marquina Beatriz Ramrez Gabriel Rebello Resumen El artculo se propone estudiar el trabajo realizado por pares evaluadores de carreras de posgrado en la Argentina, a diez aos de funcionamiento del sistema nacional de evaluacin y acreditacin universitaria. En esta oportunidad, complementando trabajos anteriores, el anlisis se focaliza en la mirada de los propios pares evaluadores y de los evaluados, es decir, autoridades de carreras que fueron objeto de evaluacin o acreditacin. Se analiza cmo se traduce, en la percepcin de estos actores, la latente tensin entre el mejoramiento y el control que subyace a los procesos de evaluacin, producto de la incidencia de conflictos propios del campo acadmico. Para ello, luego de un breve marco conceptual que concibe a la evaluacin como un espacio de tensin entre actores, se muestran resultados de la aplicacin de una encuesta estructurada a acadmicos que actuaron como pares evaluadores y de la realizacin de entrevistas autoridades de carreras evaluadas. Se concluye que, si bien el rol del par evaluador no est puesto en cuestin, los procesos de acreditacin de carreras de posgrado estn atravesados por tensiones propias del campo acadmico que se articulan con los intentos de la agencia por perfeccionar los procesos y mitigar estos conflictos.

Palabras clave: Pares evaluadores, profesin acadmica, acreditacin de posgrados, aseguramiento de la calidad de la educacin superior, polticas de educacin superior.

Abstract The purpose of this paper is to study the work done by peer reviewers in the assessment of graduate programs in Argentina, after ten years of existence of the national system of university evaluation and accreditation. This time, complementing previous work, the analysis focuses on the perceptions of the peer reviewers and the "evaluated", ie

RAES / Ao 1 / Nmero 1 / Noviembre 2009 57

academics coordinating programs that were subject to accreditation. It shows how results in the perception of these players the latent tension between improvement and control that underpins the assessment processes, as a consequence of the incidence of conflicts characteristics of the academic field. To do so, after a brief conceptual framework that sees evaluation as an area of tension between the actors, results of two fieldworks are shown: the implementation of a structured survey to academics who served as peer evaluators; and interviews conducted to authorities of evaluated programs. We conclude that although the role of the evaluator is not called into question, the processes of accreditation of graduate programs are traversed by tensions inherent in the academic field and are linked to the agency's attempts to improve processes and mitigate these conflicts. Keywords: Peer review, academic profession, accreditation of graduate programs, quality assurance in higher education, higher education policies.

Introduccin En un trabajo anterior (Marquina, 2008) nos propusimos analizar la experiencia de diez aos del trabajo de pares acadmicos como actores centrales de los procesos de evaluacin y acreditacin universitaria en Argentina, desde la mirada de la agencia encargada de llevar adelante los procesos evaluativos. All, a partir de la realizacin de entrevistas a informantes clave miembros y tcnicos de la CONEAU pudimos concluir que la agencia en los ltimos diez aos ha generado procesos que van en la direccin de un aprendizaje institucional, en un tenso equilibrio que le permite avanzar en el cumplimiento de las funciones previstas a travs de procesos autorregulados. En este marco, el par evaluador es un actor central en el que se deposita la confianza por obtener juicios evaluativos de calidad, a partir de su conocimiento experto. Los problemas en su tarea abundan, pero no llegan a poner en cuestin esta autoridad, sino que se busca perfeccionarla a travs de nuevas metodologas e instrumentos. Afirmbamos tambin que, al concebir a la evaluacin como un espacio poltico, existen tensiones que no son resueltas con soluciones de tipo instrumental. En todo caso, los instrumentos forman parte de este entramado de procesos variados y actores con diferentes intereses en juego. En el presente artculo nos proponemos continuar con la indagacin acerca del funcionamiento del trabajo de los pares evaluadores, pero ahora desde la mirada de otros actores del proceso: a) los propios pares evaluadores y b) los evaluados, es decir,
RAES / Ao 1 / Nmero 1 / Noviembre 2009 58

autoridades de carreras de posgrado que fueron objeto de evaluacin o acreditacin. Trataremos de analizar cmo se traduce, en la percepcin de estos actores, aquella latente tensin entre el mejoramiento y el control que se advirti en las propias percepciones de actores de la CONEAU.

Algunas cuestiones conceptuales que guiaron la investigacin Analizando la evolucin reciente de los sistemas de evaluacin universitaria de Amrica Latina, Daz Sobrinho (2003) brinda aportes tericos que son de utilidad para este trabajo. El autor realiza una primera distincin en la perspectiva netamente poltica de la evaluacin, es decir, como un espacio social de disputa de valores y de poder. En las ltimas dcadas la evaluacin, entendida como mecanismo de regulacin y control, ha tenido un lugar central en las reformas de la educacin superior encaradas desde los gobiernos, en su vnculo con las reformas sociales. Esta perspectiva se diferencia de una mirada ms completa de la evaluacin, distinta de un retrato momentneo de una realidad fija (p. 37), que implica una construccin colectiva de sentidos ticos, polticos y filosficos que se da una comunidad acadmica con el propsito de un mejoramiento permanente. Una segunda distincin ms tcnica, sin que por ello deje de ser poltica, nos lleva a mirar el cmo de la evaluacin. La perspectiva de la evaluacin como control y regulacin se traduce en prcticas con supuesta objetividad apoyadas en instrumentos que pretenden convertir a los procesos evaluativos en bsquedas de datos o indicadores mensurables y a los evaluadores en el marco de una estricta neutralidad. Al respecto, Neave (2001) habla de una instrumentalidad abrumadora tendiente a inducir a los acadmicos a cumplir con los objetivos, las metas y los fines de los dirigentes. Esta visin del cmo evaluar se diferencia de concebir a la evaluacin como un proceso amplio de conocimiento, interpretacin, atribucin de juicios de valor, organizacin e instauracin de acciones y metas para el mejoramiento y el cumplimiento de las finalidades pblicas y sociales de las instituciones (D. Sobrinho, 2003: 38). Consideramos que estas tensiones caractersticas del espacio de la evaluacin estn presentes en el funcionamiento del sistema de evaluacin y acreditacin de Argentina e impactan en nuestro objeto de anlisis, que es el trabajo de los acadmicos como pares evaluadores. En efecto, el espacio de produccin y transmisin del conocimiento ha definido que son los acadmicos los actores legtimos para juzgar la calidad del trabajo
RAES / Ao 1 / Nmero 1 / Noviembre 2009 59

de sus pares. No obstante, muchas de las crticas a la participacin de acadmicos en la evaluacin de sus pares podran vincularse con las caractersticas del acadmico en tanto miembro de una comunidad o "profesin" cuya razn de ser es su capacidad de generar y transmitir conocimiento. Esta "comunidad de sabios con intereses en comn tiene algunas caractersticas especficas que nos interesar considerar: 1) ser beneficiarios de ciertos privilegios, como la libertad de investigar y de ensear (Clark, 1983); 2) ser objeto de una heterogeneidad que atraviesa su tarea, dada por la tensin entre una pertenencia disciplinar versus una pertenencia institucional; 3) poseer cierta tendencia al conservadurismo dada por un nivel estructural de regulaciones que protegen sus intereses legtimos de los acadmicos; 4) en vinculacin con el cambio, otra especificidad del grupo es la capacidad de torcerse y adaptarse a diferentes circunstancias 1 . En este sentido, es posible asociar esta idea del Clark con la de Bourdieu (1983, 1989), quien enriquece esta caracterizacin incorporando la nocin de campo acadmico, en donde se plasma una disputa por el acceso a bienes materiales y simblicos en un mbito como la universidad, creado socialmente para ello 2 . Para el autor, el campo acadmico, como todo otro campo, es el espacio de autonoma relativa respecto de otros campos poltico, econmico, religioso- en el que se plantea una pugna para determinar las condiciones y criterios de la pertenencia y la jerarqua legtimas para decir la verdad, y que remiten siempre a una lucha que no se limita al campo universitario, sino que se extiende a lo social y poltico. En este campo, la actividad profesional desarrollada por el acadmico es incompatible con la vida poltica y est animada por un ideal propiamente universitario. Estos aportes son de gran utilidad para el anlisis de la participacin de los pares evaluadores en nuestro sistema de evaluacin, ya que operan en el espacio de la evaluacin, en permanente tensin y confrontacin de diversos intereses. En qu medida los juicios evaluativos elaborados por los pares se cruzan con intereses particulares

Esta capacidad de adaptacin, segn Clark, puede ser sostenida o frenada por las formas especficas de los diversos sistemas nacionales. Algunas formas fomentan la adaptacin, otras se resisten a ello. De ah que ciertas formas negocien exitosamente el cambio y sobrevivan a l (pp. 268). 2 La vinculacin hecha se refiere especficamente al anlisis del poder entre los grupos de inters acadmicos dentro de la organizacin universitaria. A este anlisis, Bourdieu aporta un valor agregado dado por la relacin que establece entre estas tensiones y la estructura social dominante.

RAES / Ao 1 / Nmero 1 / Noviembre 2009 60

vinculados a su pertenencia institucional o disciplinar, as como otros intereses de tipo individual son cuestiones que interesan analizar en el presente trabajo.

La experiencia de evaluacin de posgrados en Argentina La acreditacin de carreras de posgrado antecede en el tiempo a la constitucin de la Ley de Educacin Superior (LES) y, por tanto, a la CONEAU. En 1994 el Ministerio de Educacin crea la Comisin de Acreditacin de Posgrados (CAP); organismo que lleva adelante durante 1995 la primera convocatoria para la acreditacin voluntaria de maestras y doctorados. En ese mismo ao, con la sancin de la LES, el Ministerio de Educacin transfiri estos procedimientos de acreditacin de la CAP a la CONEAU. La funcin de la CONEAU de acreditacin de posgrados fue implementada por primera vez en 1997, siendo sta una de las primeras funciones que la CONEAU puso en marcha en la prctica; no obstante, dicha funcin estuvo sujeta a varas modificaciones a lo largo de los aos, respecto de la normativa, de la conformacin del Registro de Expertos Acadmicos y de los procedimientos que se implementaron. Se ha podido observar a travs del anlisis de la normativa que los cambios realizados en el rea tuvieron el propsito de lograr una mejor implementacin y supervisin de los procesos de acreditacin (Ramrez, 2008). Por ejemplo, esto se visualiza en la incorporacin -a partir del 2002- de la prctica de correr vista a los informes de evaluacin elaborados por los pares, para que los propios actores del sistema universitario puedan realizar los aportes pertinentes; todo ello con el fin contribuir al mejoramiento de la educacin de posgrado. Por su parte, algunos actores de la CONEAU miembros y tcnicos- han identificado problemas en la actuacin de pares evaluadores a lo largo de la experiencia de diez aos, a la vez que reconocen esfuerzos por desarrollar estrategias tendientes a resolverlos (Marquina, 2008). En ningn caso, como s podra advertirse en otras experiencias internacionales, est en juego el rol del par acadmico como la mejor opcin para desempear el rol de evaluador. Las estrategias para neutralizar los problemas identificados van desde mayor capacitacin a mejoramiento en los procesos de seleccin y en el perfeccionamiento de los instrumentos a fin de guiar mejor el trabajo de los pares, entre las soluciones que renen mayor consenso. Hay puntos, no obstante, en donde no hay acuerdo: por ejemplo, si estos problemas se resuelven conformando grupos ms estables de evaluadores, o a travs de una mayor rotacin, lo cual significara dotar de mayor poder a los grupos establecidos, en un extremo, o bien
RAES / Ao 1 / Nmero 1 / Noviembre 2009 61

privilegiar la inexperiencia en la rotacin permanente, en el otro. Veremos que estas cuestiones tambin aparecen como problemas al analizar las percepciones de los evaluados.

Aspectos metodolgicos En este artculo se informa sobre dos trabajos de campo realizados, uno sobre la base de una encuesta estructurada a acadmicos que actuaron como pares evaluadores en el rea de postgrado de la CONEAU, y otro a partir de la realizacin de entrevistas a autoridades de carreras de postgrado que pasaron por al menos dos ciclos de evaluacin. Sobre la encuesta No se cuenta dentro de la informacin pblica que brinda la CONEAU con la identidad de las personas que evaluaron efectivamente las careras postgrado -que son los casos ms numerosos de evaluacin- debido a que en las actas de reuniones de la Comisin son publicadas las listas de candidatos a integrar los comits, el nmero que deber tener cada comit y el perfil de los pares que debern integrarlos. Con esta informacin se reconstruy un listado de 4000 candidatos a pares evaluadores utilizando como fuentes todas las actas de reuniones de Comisin de la CONEAU, desde el inicio de su funcionamiento hasta fin del ao 2007, listado que fue clasificado segn rea de conocimiento e institucin de pertenencia de los evaluadores. El nmero inicial obtenido fue reducido sobre la base de una estimacin de evaluadores efectivos que actuaron en los comits (alrededor de 500 comits en el perodo) calculando para ello por cada uno de estos comits un promedio de tres miembros, nmero que era ampliado en casos particulares (por ej. ante la necesidad de contar adems de los especialistas en las disciplinas evaluadas, con uno en educacin a distancia para las carreras con tal modalidad). Esta estimacin permiti aproximarnos a un nmero de 1.500 evaluadores posibles. Se contaba con la informacin a travs de los informantes clave que exista un porcentaje elevado de pares que eran convocados en ms de una oportunidad para integrar los comits. Este hecho pareca tambin sugerido por la repeticin de candidatos en los listados publicados en las actas. De manera tal que se estim como definitiva a los fines del estudio una cantidad de 1.000 evaluadores efectivos, que constituy la poblacin estimada del estudio.

RAES / Ao 1 / Nmero 1 / Noviembre 2009 62

Se procedi luego a elaborar el instrumento que permitiera recabar informacin sobre las percepciones de los pares evaluadores respecto de su propia participacin en procesos de evaluacin, a travs de diferentes dimensiones de anlisis. Para ello se confeccion una encuesta estructurada que se administr on line a una muestra al azar del listado de 4000 pares elaborado en la etapa anterior. El instrumento comprendi cinco secciones: datos personales y laborales, proceso de seleccin, aceptacin y capacitacin como par y opinin sobre el sistema de evaluacin. Tal como se esperaba, al aplicar el instrumento se obtuvo un importante nmero de personas que, si bien haban aparecido en las nminas, nunca haban evaluado. Por tanto, se procedi a utilizar reemplazos con similares perfiles (en trmino de sexo, procedencia y disciplina) para aumentar el nmero de respuestas de evaluadores efectivos descartando candidatos que no haban participado. Se obtuvo as una muestra de 261 evaluadores, lo que permite otorgar un nivel de confianza del 90% y un error muestral de 5,5% para un universo estimado de 1.000 evaluadores efectivos. Caractersticas demogrficas de la muestra Se presentan a continuacin datos correspondientes a pares que evaluaron efectivamente en el rea de posgrado. Esta informacin nos puede proveer una caracterizacin de la poblacin, es decir, quines son los pares que en estos diez aos actuaron como evaluadores de carreras de posgrado 3 . La muestra est compuesta por un nmero mayor de hombres que de mujeres, guardando relacin con la composicin original de la lista de candidatos. De las personas que respondieron la encuesta, el 57% est constituido por hombres. Respondiendo al perfil del evaluador establecido en las reglamentaciones, la mayor cantidad de evaluadores de la muestra poseen ttulo de doctor (73.08%) y slo un 6.79% slo ttulo de grado. Un 17.3 % posee ttulo de maestra y slo un 2,8% de especialista. En el mismo sentido, la mayor cantidad de pares encuestados tiene a la actividad acadmica como ingreso exclusivo (71%) y complementario a otra actividad no acadmica. slo un 12% como un ingreso

Como se dijo, la muestra se realiz sin contar con una certeza de la poblacin total, sino con una estimacin. En este sentido, cualquier generalizacin con la poblacin real debe ser corroborada.

RAES / Ao 1 / Nmero 1 / Noviembre 2009 63

El par evaluador encuestado, por su parte, asume poseer un perfil equilibrado entre su inters en la dedicacin a la docencia y a la investigacin, con una inclinacin a preferir estas ltimas (52,6%). Un 32,5% manifiesta una dedicacin prioritaria a la investigacin. Respondiendo al universo total, es fuerte la presencia de evaluadores de universidades nacionales en la muestra (82,4%), lo que demuestra el lgico nivel de presencia de estos ltimos en los comits en virtud del perfil requerido y el tipo de relacin laboral ms precario en la mayora de las universidades privadas. Esta informacin confirma algunas crticas que en las entrevistas aparece respecto del sesgo de procedencia institucional, por parte de las autoridades de universidades privadas. Los datos obtenidos de la muestra respecto de cargo y dedicacin confirman el perfil de evaluador definido por la CONEAU: Son mayoritariamente profesores titulares (59,6%), y mayoritariamente con dedicacin exclusiva (64,9 del total de evaluadores de la muestra). Finalmente, de los datos obtenidos surge que el 60% ha actuado ms de una vez como evaluador. Ms del 45% actu al menos tres veces. Esto confirma cierta tendencia a constituir un grupo estable de evaluadores con experiencia que apareci en las entrevistas a miembros y tcnicos de CONEAU (Marquina, 2008). Sobre las entrevistas en profundidad La segunda parte del trabajo de campo consisti en la indagacin de las percepciones de los actores que son evaluados respecto de la actuacin de pares evaluadores, es decir, autoridades de carreras de posgrado sometidas a procesos de acreditacin. Para ello se elabor un instrumento de entrevista en profundidad y se seleccionaron informantes clave tomando como criterio aquellos responsables que hubieran experimentado al menos dos ciclos de acreditacin. La seleccin procur obtener una representacin equilibrada entre disciplinas y dependencia de la universidad, sean estas pblicas o privadas 4 . Sobre esta base, se realizaron los respectivos contactos con responsables y se lograron realizar diez entrevistas en profundidad. El instrumento de entrevista se dise sobre la base de algunas dimensiones relevantes, a saber: 1) Descripcin del proceso de acreditacin; 2) percepciones sobre la experiencia de la visita; 3) percepciones sobre el trabajo de los pares evaluadores respecto del
4

Esta tarea llev ms tiempo del previsto dado que la CONEAU no dispona de una base que permitiera identificar carreras de posgrado evaluadas dos veces (Ramrez, 2008).

RAES / Ao 1 / Nmero 1 / Noviembre 2009 64

ejercicio y la prctica concreta de la evaluacin; 4) percepciones sobre el dictamen final; 5) percepciones sobre la utilidad de las recomendaciones

Resultados obtenidos en la aplicacin de la encuesta Como resultado principal de la aplicacin de la encuesta a acadmicos que actuaron como pares evaluadores se ha encontrado una aceptacin generalizada a actuar como par evaluador, evidenciando una ausencia de preconceptos hacia ese rol. Casi un 60% de los encuestados acept actuar como evaluador todas las veces que se le ofreci. Menos de un 8% dej de aceptar luego de la primera experiencia y menos de un 5% manifest rechazo inicial. Cuadro 1. Aceptacin o rechazo de las participaciones como par (%)
Total Le fue ofrecido en ms de una oportunidad y acept en todas o en general Le fue ofrecido en una sola oportunidad y acept Le fue ofrecido en ms de una oportunidad y acept inicialmente pero luego declin las invitaciones Le fue ofrecido en ms de una oportunidad y declin inicialmente pero luego acept las invitaciones Total general 58,77% 28,95% 7,89% 4,39% 100,00%

En coincidencia con la alta adhesin a la participacin, y su consiguiente legitimacin, no parece necesario para los pares indagar en los motivos para su seleccin como tales. El 44,7% de ellos form parte de los comits sin haber recibido o requerido informacin sobre los motivos, mientras que otro 22,81% fue comunicado tan slo informalmente. Entre los que fueron informados, tanto formal como informalmente, las razones guardan porcentajes similares, siendo el principal motivo sus antecedentes acadmicos (47%). Cuadro 2. Informacin sobre los motivos para su seleccin como par (%)
Total Nunca se le informaron de manera explcita los motivos de su seleccin Se le informaron formalmente los motivos de su seleccin Se le informaron informalmente los motivos de su seleccin Total general 44,74% 32,46% 22,81% 100,00%

Cuadro 3. Motivos manifestados para la seleccin como par (%)

Motivos para la designacin como par Su pertenencia a una categora en el programa de incentivos Sus antecedentes profesionales en el sector acadmico Se le comunic informalmente 27,27% 50,65% Se le comunic formalmente 20,59% 51,47% Total

24,14% 51,03%

RAES / Ao 1 / Nmero 1 / Noviembre 2009 65

Sus antecedentes profesionales fuera del sector acadmico Su actuacin previa como par evaluador

6,49% 15,58%

5,88% 22,06%

6,21% 18,62%

La mayora de los evaluadores encuestados asume haber recibido algn tipo de capacitacin para su actuacin como par, ya sea formalizada (46,5%) o no formalizada (42,11%). Dentro de la formacin formalizada, la misma se bas principalmente en documentos con instrucciones especficas para el desempeo como par (40%), la provisin de informacin general sobre la evaluacin, (29.1%), reuniones con personal tcnico (21.8%) y. documentos de experiencias previas de evaluacin (12.7%). Cuadro 4. Capacitacin requerida para la actuacin como par (%)
Total No recibi instruccin o capacitacin Recibi capacitacin o instruccin formalizada Recibi indicaciones informales durante su desempeo Total general 11,40% 46,49% 42,11% 100,00%

Cuadro 5. Capacitacin efectiva recibida para la actuacin como par (pares que recibieron capacitacin formal (%)
Documentacin con informacin general sobre evaluacin Documentacin con instrucciones especficas para el desempeo como par Informes u otros documentos de experiencias previas de evaluacin Reuniones previas con el personal de apoyo tcnico a tal fin Total informal formal Total general 62,1% 29,1% 49,3% 80,5% 42,5% 70,1% 100,0% 40,0% 12,7% 21,8% 100,0% 64,8% 31,0% 51,4% 100,0%

En trminos generales, hay acuerdo mayoritario respecto de la pertinencia de la informacin que la CONEAU solicit a la universidad, aunque es menor el acuerdo respecto de la suficiencia y pertinencia de la informacin efectivamente recibida. Cuadro 6. Opinin sobre la informacin recibida (%)
La informacin solicitada a la universidad por la CONEAU era adecuada 46,49% 31,58% 2,63% 0,00% 19,30% 100,00% La informacin dada por la universidad a la CONEAU era suficiente y pertinente 21,05% 48,25% 10,53% 0,88% 19,30% 100,00%

Totalmente de acuerdo Parcialmente de acuerdo Parcialmente en desacuerdo Totalmente en desacuerdo NS/NC Total general

Una serie de preguntas respecto del proceso de evaluacin llevado adelante por el/los comits en los que los evaluadores participaron demuestran un alto grado de acuerdo con
RAES / Ao 1 / Nmero 1 / Noviembre 2009 66

la forma en que se desarrollaron dichos procesos. Por ejemplo, acuerdan con haber realizado un anlisis exhaustivo de la informacin recibida. En menor medida, pero igualmente significativa, acuerdan haber dispuesto de un tiempo suficiente para las actividades realizadas. Y acuerdan con la adecuacin de los instrumentos de evaluacin provistos por la CONEAU para el trabajo solicitado, garantizando su autonoma de opinin. Cuadro 7. Opiniones sobre el trabajo realizado por los comits (%)
Total acuerdo La informacin solicitada a la universidad por la CONEAU era adecuada La informacin dada por la universidad a la CONEAU era suficiente y pertinente Se hizo un anlisis exhaustivo de la informacin en el marco del trabajo con los otros pares El tiempo fue adecuado para las actividades programadas Los instrumentos de evaluacin fueron adecuados para la emisin de juicios que le fuera solicitada Los instrumentos de evaluacin permitieron el trabajo autnomo de los pares 46,5% 21,1% 55,3% 33,3% 43,0% 48,3% Acuerdo parcial 31,6% 48,3% 20,2% 32,5% 29,0% 26,3% Desacuerdo Total parcial desacuerdo NS/NC 2,6% 10,5% 4,4% 8,8% 5,3% 4,4% 0,9% 1,8% 6,1% 3,5% 2,6% Total

19,3% 100,0% 19,3% 100,0% 18,4% 100,0% 19,3% 100,0% 19,3% 100,0% 18,4% 100,0%

Respecto de la forma en que se elaboraron los juicios evaluativos del comit, mayoritariamente acuerdan en que fueron producto del consenso, y que influyeron las opiniones de los evaluadores con ms conocimiento en el rea disciplinar. Es menor la percepcin de influencia de quienes poseen mayor status acadmico o poltico, as como tambin es menor la percepcin de influencia de quienes poseen conocimiento tcnico en evaluacin. Los encuestados no consideran que los tcnicos de la CONEAU ni otros actores externos hayan tenido algn nivel de influencia en su trabajo como evaluador. Si agrupamos las opiniones respecto de la influencia de manera de polarizarlas entre las respuestas positivas (total y parcial) y negativas (total y parcial), los nicos casos en que la influencia reconocida supera el 50% son el conocimiento disciplinar y la experiencia previa en evaluaciones. Por su parte, el desacuerdo con la influencia supera el 50% de las opiniones en el estatus acadmico o poltico, el personal de la CONEAU o los actores externos.

Cuadro 8. Opiniones sobre consenso e influencia de actores en el funcionamiento de los comits (%)
Total Acuerdo Desacuerdo Total acuerdo parcial parcial desacuerdo NS/NC Total Las evaluaciones se realizaron por consenso entre 59,7 16,7 1,8 1,8 20,2 100,0

RAES / Ao 1 / Nmero 1 / Noviembre 2009 67

los pares Los pares con mayor conocimiento en el rea disciplinar ejercieron ms influencia Los pares con mayor status acadmico o poltico ejercieron ms influencia Los pares con mayor experiencia o conocimiento tcnico en evaluaciones ejercieron ms influencia Personal de CONEAU ejerci influencia significativa en los juicios de los pares Actores externos ejercieron influencia significativa en los juicios de los pares

32,5 5,3 19,3 4,4 0,0

29,8 26,3 34,2 12,3 7,9

10,5 15,8 8,8 26,3 8,8

7,0 31,6 16,7 34,2 61,4

20,2 21,1 21,1 22,8 21,9

100,0 100,0 100,0 100,0 100,0

De manera coherente con estas opiniones, los pares evaluadores consideran que no existen sesgos en los juicios que realizan en dicha funcin. Cuadro 9. Opiniones sobre la existencia de sesgos en los juicios de los pares (%)
Totalme nte de acuerdo Los evaluadores emitieron sus juicios sobre la base de elementos ajenos al material presentado Los juicios presentaron sesgos por las trayectorias disciplinares de los evaluadores Los juicios presentaron sesgos por los compromisos institucionales o polticos de los evaluadores 2,6 6,4 Parcialm Parcialmen Totalmente ente de te en en acuerdo desacuerdo desacuerdo NS/NC 10,2 22,9 19,1 22,9 47,8 28,7 20,4 19,1 Total general 100,0 100,0

1,3

11,5

11,5

55,4

20,4

100,0

Resulta interesante considerar la opinin de los pares evaluadores respecto de su conocimiento sobre el resultado final de los procesos en los que participaron. Casi un 20% no contesta, y un 33% responde que desconocen el dictamen final que realizan los miembros de la CONEAU a partir del informe de evaluacin por ellos realizado. Cerca de un 30% sostiene conocer el dictamen y saber que ratifica lo dictaminado por ellos, y casi un 18% sostiene conocerlo y saber que el dictamen final tuvo cambios menores (14,91%) e importantes (2,63%). Cuadro 10. Conocimiento de los dictmenes (%)
Conoce Ud. el dictamen final de los miembros de CONEAU sobre las carreras que evalu? S, el dictamen ratifica sin cambio la opinin de los pares. S, el dictamen ratifica con cambios menores la opinin de los pares. S, el dictamen cambi la decisin de los pares. No, desconozco el dictamen final. NS/NC Total general Total 29,82% 14,91% 2,63% 33,33% 19,30% 100,00%

RAES / Ao 1 / Nmero 1 / Noviembre 2009 68

En la ltima seccin de la encuesta se le pidi a los pares que manifestaran su opinin general sobre el funcionamiento del sistema de evaluacin por pares y sobre su participacin en el mismo. Las respuestas mostraron un alto grado de adhesin. En la primera de ellas, donde se solicitaba una opinin general, slo un 8,8% manifest algn grado de desacuerdo. Asimismo, el 77,2% est de acuerdo con la utilidad de la evaluacin por pares para el desarrollo del sistema universitario (cuadro 11). Por el contrario, las opiniones crticas sobre el sistema, es decir las afirmaciones acerca de su carcter burocrtico y la influencia de los intereses acadmicos y disciplinares y

polticos cuentan con porcentajes de desacuerdo menores a las anteriores preguntas: un desacuerdo cercano a la mitad en los dos primeros casos y de casi 2/3 para el ltimo. Cuadro 11. Opiniones sobre el funcionamiento del sistema de evaluacin por pares (%)
Parcialmente Totalmente Totalmente Parcialmente en en Total de acuerdo de acuerdo desacuerdo desacuerdo NS/NC general 24,6 51,8 7,0 1,8 14,9 100,0

El sistema funciona adecuadamente El sistema de evaluacin por pares es til como mecanismo de desarrollo del sistema universitario El sistema de evaluacin por pares tienen un marcado carcter burocrtico El sistema de evaluacin por pares presenta problemas por influencia de intereses acadmicos o institucionales El sistema de evaluacin por pares tiene un marcado sesgo poltico El sistema de evaluacin por pares genera instancias de intercambio y discusin entre evaluadores

49,1 9,7

28,1 23,7

6,1 25,4

1,8 26,3

14,9 14,9

100,0 100,0

9,7 1,8

31,6 18,4

21,1 18,4

22,8 46,5

14,9 14,9

100,0 100,0

44,74

32,46

3,51

4,39

14,91

100,00

De forma similar, los pares valoran de manera positiva su participacin en los procesos de evaluacin, en un porcentaje que va de casi el 50% que coincide en calificarla como un proceso de aprendizaje a cerca de un 80% que cree que le result til en el aspecto poltico - institucional. Cuadro 12. Evaluacin general de la participacin (%)
Parcialmente Totalmente Totalmente Parcialmente en en de acuerdo de acuerdo desacuerdo desacuerdo NS/NC La participacin le result til en lo profesional La participacin le result til en lo poltico-institucional La participacin le result un proceso de aprendizaje 39,5% 22,8% 64,0% 30,7% 25,4% 15,8% 7,0% 11,4% 3,5% 7,9% 25,4% 1,8% 14,9% 14,9% 14,9% Total general 100,0% 100,0% 100,0%

RAES / Ao 1 / Nmero 1 / Noviembre 2009 69

Resultados obtenidos de la realizacin de entrevistas En este apartado se analizan las percepciones que tienen las autoridades de las carreras de posgrado evaluadas sobre el trabajo de los pares evaluadores en cuanto al ejercicio y la prctica concreta de la evaluacin. Los testimonios de los entrevistados revelan que la participacin de los pares en las distintas tareas de la acreditacin es compleja. Por un lado, hay acuerdo sobre el impacto positivo que generan las apreciaciones de un evaluador externo para el fortalecimiento de la carrera. La mirada de una alta autoridad a cargo de la acreditacin de posgrado de una universidad privada as lo manifest: [El proceso de acreditacin] s, sirvi. Mira, agreg en el sentido que nosotros no hubiramos hecho jams esta autoevaluacin. En los nuevos estatutos, tienen previsto la evaluacin de los Departamentos, lo que la gente public, no public, ese tipo de cuestiones pero nunca hubisemos tenido esto de que toda la universidad sea evaluada (). Creo que fue un nuevo xito pensar que esto haba que tomrselo en serio; en serio quiere decir: Veamos cules son los problemas. Y despus muchos de esos coincidan con los de la CONEAU, y en otros salan nuevos temas, algunos a m me parece- que no son crticas vlidas, y otros que me parecan adecuados, y est bien que lo hagan, que digan todo lo malo. Por otro lado, existen amplias coincidencias acerca de la necesidad de que la CONEAU introduzca mejoras en los procesos de acreditacin, considerando el perfeccionamiento de los recursos humanos a ellos dedicados, fundamentalmente, el de los pares evaluadores, en los cuales se percibe falta de experiencia o capacidad para evaluar y falta de informacin acerca de las carreras a evaluar. stas son algunas de las crticas enunciadas por los propios entrevistados responsables de las acreditaciones de posgrado: Por ejemplo, en el caso de una carrera se le perdieron tres veces en CONEAU la documentacin, y cuando los pares se reunieron no la tenan completa. Igual tuvieron que dictaminar, y por eso en la respuesta uno pudo decirle con toda la elegancia del caso- que era todo inexacto, porque gran parte de lo que investigaban estaba incompleto en la documentacin. Pero eso se debe a la desorganizacin interna de la CONEAU y a su poca experiencia; como van cambiando los pares , entonces no hay pares con experiencia evaluadora; que ese es otro problema serio (Autoridad de una carrera de posgrado del rea de Educacin de una universidad nacional).

RAES / Ao 1 / Nmero 1 / Noviembre 2009 70

haba gente que era una estampa; es decir, haba gente que integr el Comit de Pares () que te hablaba de la ficha de investigacin y no saba ni de lo que estaba hablando. (Autoridad de una carrera de posgrado del rea de Docencia Universitaria de una universidad nacional). [Las recomendaciones] fueron totalmente intiles. Lo peor es que la gente que evalu era buena, eh. Pero yo digo, no le informaron bien (). Es que hicieron observaciones ridculas, observaciones que ninguna nos servan Yo creo que pas esto por la falta de informacin de los pares; y yo creo que la CONEAU no tena gente para evaluar (). Pero me llama la atencin porque los nombres son gente buena; me parece que hubo quizs falta de informacin. (Autoridad de una carrera de posgrado del rea de Historia de una universidad privada). la comisin de pares parti de una resolucin que no era la que estaba vigente (). Realmente, una cosa muy fea, porque adems la discusin ma era: Ustedes nos estn perjudicando, porque en el momento que se inicia el proceso ustedes tienen que saber qu tipo de carrera estn proponiendo. (Autoridad de carrera de posgrado en Educacin de otra universidad nacional). De acuerdo con la propia explicacin de los protagonistas, una razn de esta supuesta impericia de los pares radica en el hecho que la CONEAU estara pagando poco y en forma tarda a los acadmicos que integran su Registro de Expertos. Esto podra haber ocasionado que en el transcurso de unos pocos aos- hubiera disminuido el nivel acadmico de los pares. Uno de los entrevistados, con amplia trayectoria en el campo de la educacin, indic que: CONEAU paga poco y tarde a los pares, y tienen muchos problemas, entonces, como en el curriculum basta con haber sido uno o dos veces par evaluador, en general ha bajado notablemente el nivel de los pares. Y prosigui diciendo: () a m me pas algo sorprendente en la ltima evaluacin. Yo creo conocer a casi todo el mundo de todas las universidades () pero una de las cosas que yo not es que de esos 20 o 30 (pares) el 70% yo no los conoca. Otro tema reiterado en varias oportunidades por los entrevistados fue la organizacin del proceso de acreditacin respecto del manejo de los tiempos en las visitas de los pares. Una de las autoridades entrevistadas para dirigir el proceso de acreditacin de una universidad nacional destac lo siguiente: En la primera vuelta, en el 99, fue una visita yo te dira que hasta demasiado light, por el hecho que era la primera visita. Vino una sola persona recuerdo. Del mismo modo, hay coincidencias respecto de la existencia de prejuicios y una mirada sesgada de los pares evaluadores, a la hora de formular las recomendaciones. Ello podra

RAES / Ao 1 / Nmero 1 / Noviembre 2009 71

deberse al peso que tiene la experiencia personal de los pares como base de los juicios. Esta observacin es compartida por la mayora de los entrevistados, los cuales sostienen que los estndares de evaluacin dicen una cosa y los pares exigen otra, que se presentan con una mirada sesgada sobre el funcionamiento del sistema, tratando de imponer un modelo nico, situacin que genera incomodidades y, segn los entrevistados, no hacen a la calidad a una carrera. Uno de los profesionales entrevistados, involucrado profundamente con la acreditacin de la carrera que dirige, sostuvo: entre los pares quizs falta un debate () sobre el tema de las polticas de conocimiento; lo que creen que necesita el sistema no es necesariamente lo que se necesita como te dir- los pares no tienen formacin sobre el sistema, tienen formacin sobre sus creencias, y sta es una de las debilidades (Autoridad de una carrera de posgrado del rea Ciencias de la Salud de una universidad privada). Las recomendaciones de los pares parecieran estar generado efectos no deseados en el proceso de acreditacin, como la conformacin de respuestas formales por parte de los responsables institucionales, producto de la repeticin de soluciones tipo que va instalndose en los informes, y que van formando parte de un saber experto de la evaluacin. As, se observan casos en los que los directores de carreras de posgrado tuvieron que adaptar su accionar a lo que ellos suponan que los pares queran ver, con el riesgo de convertir el proceso en una simulacin de la evaluacin. El siguiente fragmento, extrado del dilogo con uno de los entrevistados responsable de la acreditacin de posgrado de una universidad privada, lo ejemplifica claramente: No puede ser que haya universidades que contraten gente que trabaj en la CONEAU para despus presentar todo correcto y que [la acreditacin] le salga bien (). Lo que pienso es que el mecanismo de acreditacin es engorroso. Hay que contratar gente para que haga estas cosas. O sea, me parece bueno que alguien que haya trabajado en la CONEAU, con su experiencia, venga a lo que no puede ser es que el que llen mejor los papeles -por esa razn- tenga una evaluacin mejor que aquel que no los lleno tan bien. Y no lo creo, yo he visto algunos resultados de universidades privadas que son malsimas, con buenos resultados. En el mismo sentido, uno de los directores de posgrado de una universidad nacional agreg: () en todos estos procesos [de evaluacin] Argentina est funcionando tal como s. Entonces, establece un sistema de acreditacin y evaluacin como s estuvieran dadas las condiciones. Primero, de condiciones de existencia de las carreras. O sea, como si las carreras efectivamente- tuvieran

RAES / Ao 1 / Nmero 1 / Noviembre 2009 72

una existencia, un espacio institucional, con profesores dedicados full time en esas instituciones a la docencia, a la investigacin; fundamentalmente en el caso de posgrado a la investigacin. Eso no existe, y no existe en este posgrado, como no existe en otros. Otro problema a considerar en el proceso acreditacin de posgrados surge como resultado de que los comits de pares estn integrados por profesionales de diferentes disciplinas. Aparece el interrogante sobre quin efectivamente evala, si uno de los miembros del comit, que es experto en el rea especfica de la carrera que est siendo evaluada, o si la evaluacin es el resultado de una reflexin conjunta de todos los pares del comit y, por tanto, el dictamen final es el resultado de esta evaluacin global. Uno de los entrevistados abord el tema subrayando lo siguiente: los comits son mixtos, entonces, dictaminan un montn de expertos de los cuales slo uno es experto en el tema, y los dems opinan. Entonces, yo tengo que tomar esto de una manera muy clara: u opinan y su opinin es intrascendente o me evala una sola persona. Si me evala una sola persona, no estamos ante un comit de pares; si me evala un comit, ste est integrado por un especialista en el tema y gente que, en general, es de la disciplina pero que no conoce el tema. Entonces, la opinin de esta persona -en trminos especficos- va a fraccionar toda la opinin del comit. Y a veces a nosotros nos pas en una carrera- vos tenes el experto en el rea, porque es una carrera muy nueva la que tenemos, (), o sea, nuestra directora es una Doctora en (ese tema especfico), una doctora con una gran trayectoria en el tema, y la persona que vino no s si tena Doctorado (Autoridad de una carrera de posgrado de universidad privada). En relacin estrecha con el dictamen que realizan los pares, se encuentra otra de las dimensiones consideradas: la redaccin del informe final. Las crticas respecto de los informes se vinculan con dos principales motivos: los canales de informacin, esto es, cmo llega la informacin de los resultados a la institucin; y la rigurosidad de los informes: Por absoluta casualidad dijo uno de los responsables de la acreditacin de la carrera de posgrado de una universidad nacional- a alguien se le ocurri entrar (a la pgina de la CONEAU) -porque yo no (la) reviso normalmente- y dice: Ah, sali la acreditacin de la maestra y cuando vimos (fue categorizada como)B, con un dictamen que est plagado de errores . En esta lnea tambin discurren varias de las crticas que sostienen que los informes presentan desaciertos. Vanse algunos casos:

RAES / Ao 1 / Nmero 1 / Noviembre 2009 73

... (los pares marcaron) debilidades que no estaban puestas en los estndares. Fijate que constantemente- este es uno de los temas; la 1168 es una norma absolutamente general, vaga, las especializaciones son carreras de carcter profesional donde slo se fija un estndar de horas presenciales, y en el rea de () en la carrera que nosotros armamos tenemos supervisin, pasantas hospitalarias, tienen como 600 horas. Entonces, sobre esto haba observaciones, sobre que las horas eran insuficientes. Todo un material de opinabilidad, dada la inexistencia de jurisprudencia (). Sin embargo, la CONEAU no acta en un marco jurdico, acta en un marco de opinin (Director de Posgrado del rea de Ciencias de la Salud de una universidad privada). los pares (en la segunda acreditacin) partieron de la primera evaluacin en la que la carrera apareca como B. Entonces, para ellos seguamos siendo B, pero en la misma pgina (de la CONEAU) tenan colgado la Resolucin por la que (la carrera posterior a la respuesta a la vista) era A (Director de Posgrado del rea de Educacin de una universidad nacional). Se advierten, de esta manera, ciertas inconsistencias en el momento de elaboracin del informe que, en ocasiones, ni siquiera constituyen problemas de la actuacin de los propios pares; tal es el caso en donde la informacin sobre las carreras llega a manos de los pares incompleta, porque se extravi la documentacin, la informacin se encuentra desactualizada, etc., falencias que corresponden, en este caso, a una posible desorganizacin de la informacin que tiene CONEAU. Entonces percepciones como la falta de profesionalismo, desinters del evaluador por el trabajo que desempea, falta de capacitacin, desinformacin o -causas externas- como la desorganizacin interna de la CONEAU, hacen que el proceso de evaluacin se perciba como un acto meramente burocrtico y desgastante para las instituciones universitarias.

Conclusiones El sistema de evaluacin argentino ha dado un lugar clave a la participacin de los pares acadmicos en funcin de sus propsitos. Esto se observa en la normativa que regula la tarea de los pares evaluadores y en los instrumentos que progresivamente la agencia fue elaborando y ajustando para guiar su trabajo. Podra decirse que estas previsiones han sido fructferas para el logro de los objetivos de la evaluacin ya que, pese a las variadas crticas a la tarea del par evaluador, hoy nadie cuestiona la existencia de ese rol. No est en juego en la discusin correr al par evaluador de ese rol clave en los procesos evaluativos.

RAES / Ao 1 / Nmero 1 / Noviembre 2009 74

Los cambios o variaciones que se han producido durante la ltima dcada en los mecanismos de evaluacin y, en ese marco, en la regulacin de la participacin de los pares evaluadores de instituciones y carreras, parecen orientarse ms bien a mejorar y guiar el trabajo de los pares, que a limitar su poder por incidir con sus opiniones en los procesos. Podra decirse que esos cambios obedecen ms a criterios de mejoramiento que de mayor control tanto a las instituciones como al propio trabajo de los pares. En la percepcin de los problemas reconocidos respecto del trabajo del par evaluador, dentro del campo acadmico pareciera advertirse la tensin y el conflicto entre evaluadores y evaluados. Los propios pares evaluadores prcticamente adhieren en su totalidad a la forma en que se han diseado y llevan adelante los procesos de evaluacin. Los evaluados en su mayora pertenecientes al campo acadmico- encuentran problemas de todo tipo en la actuacin de sus colegas: desconocimiento de su tarea, poca preparacin, sesgos por procedencia institucional, sesgos disciplinares, sesgos por la propia experiencia personal. Como se dijo, la percepcin de los evaluadores respecto del sistema de evaluacin dista mucho de mostrar un espacio de pugna o tensin respecto de qu y cmo evaluar. Si bien aparecen levemente aspectos a ser mejorados -falta de tiempo para el trabajo, procesos burocratizados- no se advierten mayores objeciones. Pareciera que el status del rol otorgado es ms que suficiente para adherir a las reglas establecidas de manera externa a sus prcticas. Por su parte, la percepcin de los evaluados respecto de las caractersticas de los procesos de evaluacin y de la actuacin de sus colegas se encuentra en las antpodas de las opiniones de sus colegas evaluadores. Cunto de estas diferencias puede ser explicado por la necesidad de ajustes o perfeccionamiento de los procedimientos? Cunto de esta brecha en las opiniones obedece a la distribucin simblica y/o material de poder que implican los procesos de evaluacin y que es inherente a la pertenencia al campo acadmico de evaluadores y evaluados? Considerando los resultados de esta indagacin y los de trabajos anteriores podra decirse anticiparse que ms que la existencia de una tensin o disputa entre el gobierno y la comunidad acadmica por el poder de interpretar el funcionamiento de las instituciones universitarias, la mayor tensin aparece al interior del campo acadmico, entre quienes han adquirido cierto status basado en el poder de valorar el trabajo de sus colegas y quienes no tienen ese poder. En este sentido, la actuacin de los pares acadmicos en los procesos de evaluacin sera la resultante tanto de lo que se espera de
RAES / Ao 1 / Nmero 1 / Noviembre 2009 75

ellos de acuerdo a un rol preestablecido en marcos, regulaciones y capacitacin, como de su pertenencia a un campo en el que tambin se suscita una pugna para determinar las condiciones y criterios de pertenencia y la jerarqua legtimas para decir la verdad, en este caso, respecto del buen funcionamiento de carreras de posgrado. De esta manera, tanto las regulaciones generales del sistema, as como los instrumentos utilizados, las propias actitudes de los pares en los procesos evaluativos y la de los evaluados, seran expresin de aquella tensin que pone en cuestin el sentido participativo y autorregulado tendiente al mejoramiento, que debiera ser intrnseco a cualquier proceso de evaluacin y acreditacin de la calidad de la educacin superior. Qu est en juego de manera especfica en esta disputa? Qu margen hay para neutralizar sus efectos no deseados desde las regulaciones estatales? Ms instrumentos y criterios que regulen el trabajo de los pares mejoraran los procesos o los burocratizaran ms? Estos interrogantes nos animan a seguir investigando la cuestin.

Bibliografa BOURDIEU P. (1983). Campo de Poder y Campo Intelectual. Folios, Buenos Aires. BOURDIEU, P. (1989). Homo Academicus. Standford University Press, California. CLARK, B (1983). El sistema de Educacin Superior. Una Visin Comparativa de la Organizacin Acadmica. Nueva Imagen. Universidad Autnoma Metropolitana. DIAZ SOBRINHO, J. (2003). Avaliacao da Educacao Superior. Regulacao e emancipacao. RAIES, Vol. 8, No. 2. Junio. MARQUINA, M.. (2008). Acadmicos como pares evaluadores en el sistema argentino de evaluacin de universidades: diez aos de experiencia. Revista de la Educacin Superior, Asociacin Nacional de Universidades e Instituciones de Educacin Superior - ANUIES, Vol XXXVII (4), No 148, Octubre Diciembre, pp 7-21. Mxico DF. ISSN 0185-2760. MARQUINA, M. (2005). La evaluacin por pares en el escenario actual de aseguramiento de la calidad de la educacin superior. Un estudio comparativo de seis casos nacionales. Ensayo encomendado por la Comisin Nacional de Evaluacin y Acreditacin Universitaria (CONEAU). Evaluado por comit de pares. Libro en proceso de publicacin. Disponible en

http://www.coneau.gov.ar/archivos/1331.pdf ltimo acceso 18/8/09.

RAES / Ao 1 / Nmero 1 / Noviembre 2009 76

NEAVE, G. (1998). "The evaluative state reconsidered". European Journal of Education No 33. NEAVE, G. (2001) Educacin Superior: historia y poltica. Estudios comparativos sobre la universidad contempornea. Gedisa. RAMREZ, Beatriz (2008). Proyecto Implicancias institucionales de la evaluacin y acreditacin universitaria a una dcada de la creacin de la CONEAU. Informe final de beca de graduados. UNGS.

RAES / Ao 1 / Nmero 1 / Noviembre 2009 77