Estudios e investigaciones

 

Académicos como pares evaluadores en el sistema argentino de evaluación de universidades: diez años de experiencia

 

Mónica Marquina*

 

* Master of Arts in Higher Education Administration. Boston College. (USA); Profesora – Investigadora. Coordinadora del Área de Educación en la Universidad Nacional de General Sarmiento. Instituto del Desarrollo Humano. Correo e: mmarqui@ungs.edu.ar, marquina@fibertel.com.ar

 

Ingreso: 24/08/07
Aprobación: 10/10/07

 

Resumen

Este artículo tiene como fin analizar la experiencia de diez años de evaluación y acreditación universitaria en Argentina, haciendo énfasis en el trabajo de los académicos como evaluadores, desde la perspectiva de la agencia nacional encargada de llevar adelante los procesos evaluativos. Se intenta colaborar en el desarrollo de conocimiento sobre un área escasamente estudiada en el ámbito nacional e internacional, con el fin de aportar una mejor comprensión de los sistemas de evaluación universitaria en nuestra región.

Palabras clave: evaluación universitaria, profesión académica, evaluación por pares.

 

Abstract

The purpose of this paper is to analyse ten years of university evaluation and accreditation in Argentina, focusing on the work of academics as peer evaluators, from the view of the national agency in charge of the development of the evaluative processes. The article is aimed at collaborating in a scarce studied area of knowledge in both, national and international literature, and then having more elements for a better understanding of the systems in our region.

Key words: higher education quality assurance, academic profession, peer evaluation.

 

Introducción

Este trabajo tiene como fin analizar la experiencia de diez años de evaluación y acreditación universitaria en Argentina, colocando el foco en el trabajo de pares académicos como actores centrales de estos procesos, desde la mirada de la agencia encargada de llevar adelante los procesos evaluativos.

Existe la idea de que el mecanismo de revisión por pares es indispensable al considerar las cualidades intrínsecas de una institución. La evaluación por pares académicos, en este sentido, está en el corazón de la empresa académica orientada a los ideales básicos de búsqueda de la verdad y del conocimiento. Es así como la mayoría de los países prevén en sus sistemas de evaluación la participación de pares que emiten juicios evaluativos sobre las respectivas instituciones y carreras.

No obstante, el análisis sobre la participación de pares en procesos de evaluación involucra un problema principal que es el cómo encontrar el equilibrio adecuado que permita, por un lado, obtener una mirada valorativa única, producto del conocimiento y experiencia previa del evaluador sin que, por el otro lado, esta mirada tan específica esté sesgada por preconceptos u otras subjetividades producto de situaciones e intereses particulares ajenos al rol asignado, pero íntimamente asociados a su pertenencia a la comunidad académica. Para ello, los sistemas de evaluación despliegan un conjunto de dispositivos instrumentales con el fin de orientar e incluso acotar el trabajo de los académicos.

En este trabajo se analiza el papel desempeñado por los pares evaluadores en los procesos de evaluación y acreditación llevados adelante por la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) durante sus más de diez años de existencia. Se intenta colaborar en el desarrollo de conocimiento sobre un área escasamente estudiada en la literatura nacional e internacional, con el fin de aportar a una mejor comprensión de los sistemas de evaluación universitaria de nuestra región.

Para ello, el trabajo comienza con la presentación de un marco conceptual acerca de la evaluación como espacio de disputa; luego se revisa el estado del tema en la perspectiva internacional y finalmente se esbozan algunas líneas para interpretar el caso argentino, producto de la realización de entrevistas a miembros y técnicos de la agencia acreditadora encargada de llevar adelante los procesos evaluativos en Argentina¹.

 

La evaluación como concepto político

A principios de la década de los noventa Guy Neave desarrolló el concepto de "Estado Evaluador" para referirse al análisis de fenómenos sucedidos en la educación superior europea a fines de la década anterior, en los cuales los gobiernos dotaron de mayor autonomía a las instituciones para el control de sus procesos, pero a la vez instalando sistemas de evaluación para juzgar el uso de dicha soberanía atendiendo a los resultados obtenidos.

En este marco se desarrollaron la mayor parte de los sistemas de aseguramiento de la calidad en los diferentes países, incluyendo a América Latina. A diferencia de Europa continental, donde el proceso se dio con las particularidades propias de los sistemas de la región de tradición reformista, caracterizados por altos grados de autonomía de origen. El concepto de "Estado Evaluador" también permitió durante diez años en la región reflexionar sobre la convergencia de los procesos de evaluación en marcha, de sistemas de educación superior con diferentes tradiciones hacia un modelo heterónomo (Schugurensky, 1999).

Así, es posible interpretar estas tendencias considerando a la evaluación –en este caso universitaria– como un proceso político que exige, en tanto objeto de estudio, reflexionar sobre preguntas básicas: ¿Para qué evaluar? ¿Quién evalúa? ¿Cómo se evalúa? Preguntas que involucran una tensión inherente a la evaluación entendida como un espacio de conflicto.

Analizando la evolución reciente de los sistemas de evaluación universitaria de América Latina, Díaz Sobrinho (2003) brinda aportes teóricos que han permitido responder a estas preguntas. Como se dijo, una primera distinción aparece en la perspectiva netamente política de la evaluación, es decir, como un espacio social de disputa de valores y poder. De acuerdo con el autor, en las últimas décadas la evaluación, entendida como mecanismo de regulación y control, ha tenido un lugar central en las reformas de la educación superior encaradas desde los gobiernos, en su vínculo con las reformas sociales. Esta perspectiva se diferencia de una mirada más completa de la evaluación, "distinta de un retrato momentáneo de una realidad fija" (p. 37), que implica una construcción colectiva de sentidos éticos, políticos y filosóficos que se da una comunidad académica con el propósito de un mejoramiento permanente.

Una segunda distinción más técnica, sin que por ello deje de ser política, nos lleva a mirar el "cómo" de la evaluación. La perspectiva de la evaluación como control y regulación se traduce en prácticas con supuesta objetividad apoyadas en instrumentos que pretenden convertir a los procesos evaluativos en búsquedas de datos o indicadores mensurables y a los evaluadores en el marco de una estricta neutralidad. Al respecto, Neave (2001) habla de una "instrumentalidad abrumadora" tendiente a inducir a los académicos a cumplir con los objetivos, las metas y los fines de los dirigentes. Esta "orgía de técnicas, auditorías, elaboración de instrumentos" introducen una "complejidad y nivel de penetración que van mucho más allá de los que pudiera idear la más febril de las imaginaciones burocráticas". Esta visión del "cómo" evaluar se diferencia de concebir a la evaluación como "un proceso amplio de conocimiento, interpretación, atribución de juicios de valor, organización e instauración de acciones y metas para el mejoramiento y el cumplimiento de las finalidades públicas y sociales de las instituciones" (D. Sobrinho, 2003: 38).

Estas tensiones características del espacio de la evaluación están presentes en el funcionamiento del sistema de evaluación y acreditación de Argentina, e impactan en nuestro objeto de análisis, que es el trabajo de los académicos como pares evaluadores. De allí que convenga realizar una breve caracterización de este grupo para luego analizar cómo ha jugado este actor en este espacio de tensión.

 

El lugar de los académicos en el espacio de la evaluación

Como se verá más adelante, el espacio de producción y transmisión del conocimiento ha definido a los académicos como los actores legítimos para juzgar la calidad del trabajo de sus pares. Este común acuerdo se sostiene pese a ciertas críticas o limitaciones surgidas de la propia experiencia.

Muchas de las críticas a la participación de académicos en la evaluación de sus pares se vinculan con las características del académico en tanto miembro de una comunidad o "profesión" cuya razón de ser es su capacidad de generar y transmitir conocimiento.

Esta "comunidad de sabios" con intereses en común tiene algunas características específicas que nos interesará considerar: 1) ser beneficiarios de ciertos privilegios, como la libertad de investigar y de enseñar (Clark, 1983); 2) ser objeto de una heterogeneidad que atraviesa su tarea, dada por la tensión entre una pertenencia disciplinar versus una pertenencia institucional; 3) poseer cierta tendencia al conservadurismo dada por un nivel estructural de regulaciones que protegen sus intereses legítimos de los académicos; 4) en vinculación con el cambio, otra especificidad del grupo es la capacidad de "curvarse y adaptarse" a diferentes circunstancias². Estas características permiten comprender al trabajo académico en términos de "campo", en el que se plantea una pugna entre sus miembros para determinar las condiciones, criterios de la pertenencia y la jerarquía legítimas para decir la verdad (Bourdieu, 1983, 1989).

Estos aportes son de gran utilidad para el análisis de la participación de los pares evaluadores en nuestro sistema de evaluación, ya que operan en el espacio de la evaluación, en permanente tensión y confrontación de diversos intereses. En qué medida los juicios evaluativos elaborados por los pares se cruzan con intereses particulares vinculados a su pertenencia institucional o disciplinar, así como otros intereses de tipo individual son cuestiones que atañen analizar en el presente trabajo.

 

La evaluación por pares en revistas académicas y en proyectos de investigación

La evaluación por pares en el campo académico es una práctica usual que ha merecido la atención de pocos autores. La escasa literatura en la materia sostiene que la revisión por pares es un proceso central del trabajo académico que aún constituye un campo inexplorado y en algunos casos una actividad "secreta" (Tight, 2003). No obstante, existe algún desarrollo sobre el tema en campos específicos de la vida académica como es el de sistema de arbitraje de revistas especializadas y el de evaluación de proyectos de investigación.

El ejemplo más tradicional de un proceso de revisión por pares es el sistema de arbitraje con que cuentan las revistas científicas. En este caso, un manuscrito anónimo es juzgado por un grupo de colegas, también anónimos (pares), a quienes se reconoce tener suficiente experticia para pronunciarse sobre las cuestiones abordadas en el artículo. Las normas y criterios que ellos emplean en su juicio son producto del conocimiento acumulado por la "buena ciencia" que predomina en la disciplina que trate. Dichas normas no son, generalmente, explícitas, ni podrían transformarse en datos compartidos. Ese grado inevitable de subjetividad involucrado en el juicio de colegas es un componente esencial del proceso de revisión por pares, el cual hoy es objeto de críticas.

Sesgos respecto a la nacionalidad de los autores, el idioma, la especialidad y el género han sido probados en los escasos estudios existentes. Asimismo, factores como el anonimato del autor para el evaluador o la previsión de co–evaluadores no han garantizado la calidad de las revisiones (Goldbeck, 1999).

La revisión por pares también se utiliza en la evaluación de proyectos de investigación, frecuentemente como paso previo para su financiamiento por agencias públicas y/o organismos privados. Esta dimensión de la revisión por pares aparece fuertemente criticada en la literatura, sobre todo en relación al Research Assessment Exercise (RAE) aplicado en Gran Bretaña. Además de las consecuencias negativas sobre el ánimo en el trabajo académico (Warde, 1996), el impacto en la actividad de docencia, la gran cantidad de dinero público invertido y su ineficiencia, el sistema es particularmente criticado por lo restrictivo de los criterios aplicados, su imperfección, y el sesgo y escaso esmero con el que actúan los pares evaluadores, favoreciendo la actual situación a los grupos ya establecidos (Lee & Harley, 1998). Según Bauer y Kogan (1997), este procedimiento es percibido como un medio controlado por el sistema tradicional de grupos consolidados, pese a la incorporación de indicadores de rendimiento de carácter cuantitativo. Si bien se han aplicado ajustes a lo largo de las diferentes experiencias anuales, los juicios aún no son lo suficientemente transparentes.

En el mismo sentido, el sistema de investigación australiano (Research Quantum) también ha sido analizado críticamente. Las fallas detectadas en estos sistemas estarían cuestionando su capacidad de crear un "estándar de oro" para evaluar la calidad de la investigación (Peek, 2003).

 

La evaluación por pares en instituciones y carreras

La idea de evaluación por pares se ha trasladado desde el campo científico, asociado a una disciplina, al campo de la educación superior. En el caso de la evaluación institucional y de carreras, la revisión por pares tiene un sentido más laxo, involucrando todo tipo de juicio o apreciación emitida por una persona reconocida y autorizada. En general, los juicios evaluativos de pares se combinan y apoyan en antecedentes provistos por los sistemas de información e indicadores de desempeño disponibles (Acherman, 1999).

De acuerdo con Maasen (1997) el mecanismo de revisión por pares es indispensable al considerar las cualidades intrínsecas de una institución. La evaluación por pares académicos, en este sentido, está en el corazón de la empresa académica orientada a los ideales básicos de búsqueda de la verdad y del conocimiento. No obstante, se sostiene que un sistema de aseguramiento de calidad también debería considerar las cualidades extrínsecas, ante el riesgo de aislar a las instituciones de la sociedad.

Como se dijo, la mayoría de los países prevén en sus sistemas de evaluación la participación de pares que emiten juicios evaluativos sobre las respectivas instituciones y carreras. En la metodología predominante, su intervención aparece luego de una primera etapa de autoevaluación que culmina en un informe. Un grupo de pares evaluadores visita la institución durante varios días, en donde se intenta relacionar el informe de autoevaluación con su propia experiencia en la visita. Los pares también pueden observar las instalaciones y aún las clases, aunque esto último no es tan usual (Harvey, 1999).

Entre las ventajas asociadas comúnmente con los procesos de revisión por pares, la literatura destaca que sólo mediante este procedimiento es posible obtener juicios válidos y directos sobre la calidad de productos o procesos, a diferencia de indicadores que sólo reflejarían aproximada y parcialmente los aspectos cualitativos de aquéllos. También se valora que la revisión por pares sea flexible, pudiendo adaptarse a las tradiciones de las diversas disciplinas o, incluso, paradigmas o escuelas. Asimismo, puede usarse, con adaptaciones mínimas, a diversos tipos de unidades, instituciones, carreras o proyectos.

En la escasa literatura específica sobre la actuación de pares en instituciones y carreras, se destacan algunas limitaciones. Se afirma que los procesos de revisión por pares no son en sí mismos un medio efectivo para desentrañar lo que realmente sucede en una institución (Harvey, 1999). Entre las principales críticas (Harvey, 1999; Pilot, 2001; Díaz Barriga, 2005; Fortes y Malo, 2002; Barrow, 1999 y Marquina, 2005) se sostiene que:

• Es reducida la experiencia de observación directa de los pares, ya que pasan la mayor parte del tiempo en reuniones y discusiones con diferentes "grupos seleccionados".

• Se advierte una brecha significativa entre las percepciones de los pares y los autores del informe de autoevaluación.

• No es usual que los pares sean provistos de detallada documentación o, si así fuera, que dispongan del tiempo de leerla en profundidad. Otras veces carece de claridad sobre el rol que va a desempeñar. Esto genera, entre otras consecuencias, baja calidad de los informes.

• Se pretende que los pares realicen preguntas cuando no están suficientemente entrenados para ello.

• Son escasas las instancias para neutralizar de manera previa sus preconceptos o prejuicios. La capacitación recibida está usualmente relacionada con cuáles son las áreas a examinar y los aspectos que tienen que focalizar.

• Raramente son entrenados en cómo identificar e interpretar lo que ven, ni de qué manera desentrañar situaciones en las que las instituciones "orquestan" la visita.

• En evaluación institucional frecuentemente se requiere la participación de pares que no sólo sean especialistas disciplinarios sino expertos calificados, por ejemplo en cuestiones administrativas, financieras u organizacionales. Este es otro de los puntos en discusión, respecto de cómo encontrar un balance en la distribución de los perfiles del comité evaluador dado el amplio espectro a evaluar.

• Es inevitable el carácter subjetivo de la revisión de pares. En efecto, los juicios que resultan de aplicar este procedimiento reflejan el resultado de procesos mentales poco verificables de los jueces.

• Los principales problemas de parcialidad en los juicios se deben a que toman como base su propia experiencia, su institución de pertenencia, o utilizando como referencia el modelo de universidad tradicional.

• Al querer resolver los problemas de parcialidad a través de la metodología, se genera en ella una rigidez que dificulta la innovación de las perspectivas de análisis y las recomendaciones, favoreciendo el desarrollo de un rol de evaluador pragmático o instrumental, estandarizado.

• La escasez de personas para desempeñar el rol dificulta la rotación y, consecuentemente, los juicios y recomendaciones tienden a repetirse en diferentes casos.

• Tiende a primar un criterio de endogamia académica entre grupos o instituciones que incide en la imparcialidad de los procesos.

En función de estas limitaciones, parte del debate se orientó hacia la conveniencia de la aplicación de "indicadores de rendimiento" para mitigar estos riesgos. Sin embargo, durante la década de los noventa fue abundante la literatura que puso en cuestión a este tipo de información –más allá de su confiabilidad– como operaciones válidas del concepto "calidad" (Harvey, 1999). Algunos estudios sugieren que el beneficio que acarrearía el refinamiento y mejoramiento de las medidas estadísticas para transformarlas en verdaderos y significativos indicadores sería sobrepasado por los costos que dicha tarea consumiría (Yorke, 1998).

Con el fin de neutralizar las desventajas en el ámbito de la evaluación institucional, la mayoría de las experiencias internacionales muestra un uso combinado de procesos de revisión por pares e indicadores de desempeño que estaría mostrando buenos resultados. Su combinación con la autoevaluación también funciona en la medida en que los evaluadores reconocen y respetan los valores de los evaluados y aceptan que su principal contribución es asistir al autoaprendizaje.

También se observa que un medio usual para mitigar los problemas en el desenvolvimiento de los pares evaluadores es a través de la formación específica. Otro conjunto de soluciones aparecen por un mejoramiento de los instrumentos y metodologías, a fin de encontrar el adecuado balance que permita imparcialidad y a la vez creatividad de los juicios.

En un trabajo reciente (Marquina, 2005) se han estudiado los cambios durante la última década en los sistemas de evaluación de seis casos nacionales. En el marco de una tendencia a mayor control de los procesos de evaluación por parte de los gobiernos con la consecuente pérdida de autonomía por parte de las instituciones, el trabajo de los pares académicos aparece como uno de los principales puntos críticos que se reconsideran, estableciéndose modificaciones en su participación a través de la puesta en juego de nuevos dispositivos instrumentales que la limitan.

¿En qué medida esta tendencia internacional ha tenido algún impacto para el caso argentino? ¿Cuál es el diagnóstico hecho por quienes organizan y coordinan los procesos de evaluación de instituciones y carreras, sobre el trabajo de los pares académicos en estos procesos y, en ese marco, qué medidas se han tomado para su mejoramiento?

 

El sistema de evaluación argentino y el lugar de los pares

En materia de evaluación y acreditación, Argentina presenta interesantes particularidades con la creación de la Comisión Nacional de Evaluación y Acreditación Universitaria. Ha adoptado un modelo peculiar de aseguramiento de la calidad, debido a que es una agencia que se ocupa de varios propósitos a la vez. Acredita carreras de grado reguladas por el Estado y carreras de posgrado, con fines de control y aseguramiento de estándares mínimos; evalúa con fines de mejoramiento a las instituciones y tiene implicancias directas en el reconocimiento de instituciones privadas. También se pronuncia por la viabilidad de los proyectos de instituciones por crearse. A la vez, es una agencia gubernamental, pero descentralizada. Sus miembros son representantes de diferentes sectores implicados en la educación superior.

También es importante destacar que la CONEAU no es un organismo que elabora normas para el sistema, sino que aplica regulaciones definidas por el Ministerio de Educación, quien lo hace en consulta con el Consejo de Universidades que representa a las instituciones universitarias, públicas y privadas, entre ellos, los estándares utilizados para la acreditación de carreras. No obstante, la agencia se encarga de la elaboración de instrumentos de apoyo a los procesos, tales como manuales de pares, guías y otros documentos con incidencia en los procesos de evaluación.

Respecto del lugar de los pares en dichos procesos, es curioso observar que la Ley de Educación Superior habla de la conformación de equipos de pares de reconocida competencia en sólo un pasaje, y refiriéndose específicamente a la evaluación institucional (Art. 44). Todas las regulaciones existentes orientadas al trabajo de pares fueron generadas por el decreto 173/96. En esa norma, se establece la conformación de Comisiones Asesoras para cada función de la agencia; se dispone la constitución de comités de pares para contar con recomendaciones técnicas en cada trámite de que se trate, conformados sobre la base de áreas disciplinarias o profesionales y aplicando criterios, estándares y procedimientos "aprobados por la CONEAU"³, en los que serán debidamente instruidos; y se dispone la organización de un registro de expertos por áreas disciplinarias y profesionales con evaluadores del exterior también, en consulta con las universidades. Por su parte, allí se establecen condiciones y requisitos que deberán cumplir estos miembros, garantizando nivel intelectual, independencia de criterio y aceptación de reglamentos, a la vez que se establece que estos pares recibirán sumas compensatorias de acuerdo al trabajo realizado.

Otra serie de regulaciones del trabajo de pares fueron establecidas por la propia CONEAU: el Código de Ética; la guía de evaluación para pares en grado; orientaciones para la elaboración de los informes en evaluación institucional; orientaciones para la acreditación institucional para pares. La agencia también coordinó la elaboración de informes de comisiones asesoras de expertos, por áreas de conocimiento, que constituyen las orientaciones específicas del trabajo de los pares para la evaluación de posgrados según cada especialidad.

Estas regulaciones han constituido el marco en el que los diferentes equipos de pares académicos han llevado adelante su tarea de evaluación externa. Cada área de trabajo, se trate de evaluación institucional o acreditación de carreras de grado o posgrado, ha establecido, a partir de estos marcos, procedimientos para la actuación de pares, que en términos generales comienzan con la selección, la conformación de los equipos, la visita a las instituciones, y la elaboración del informe de evaluación, el cual es considerado por la Comisión o plenario de la CONEAU, conformada por los miembros que la conducen y toman las decisiones finales.

Tal como lo estableció la normativa, el organismo ha constituido un registro de pares evaluadores según especialidad, el cual es utilizado a la hora de la constitución de los equipos. También realiza talleres previos a las visitas, a los que asiste el equipo de pares constituido, y en donde se definen las agendas de las visitas. Finalmente, como se dijo, se han elaborado manuales que tienen por fin orientar el trabajo de los pares para el buen desempeño de su tarea.

Lo que nos interesa analizar en el próximo apartado es cómo se ha desarrollado el trabajo de los pares evaluadores en diez años de funcionamiento del sistema. Para ello, se utiliza como fuente de información un conjunto de entrevistas realizadas a miembros y técnicos de la agencia.

 

Los pares evaluadores desde la mirada de la agencia

Sobre el concepto, atributos y formas de regular el trabajo del par evaluador

Un primer aspecto a indagar fue la propia concepción de "par evaluador" en los entrevistados. En línea con lo visto anteriormente, se ha podido observar que hay cierto reconocimiento respecto a las dificultades de trasladar la concepción de evaluación por pares del campo científico al campo de la educación superior.

Esta dificultad es menor en la función que podría definirse como más cercana al campo científico, en la evaluación de carreras de posgrado. Aquí, al igual que en la evaluación por pares de revistas o de investigación, los designados son diestros en una materia específica, en un campo disciplinar bien delimitado. En este sentido, es aquél experto que puede dar un juicio fundado vinculado con el tema de su especialidad.

Por su parte, en la evaluación de carreras de grado, en donde esta especificidad disciplinar comienza a diluirse, ya no se habla de "par" sino de "pares" evaluadores, bajo la idea de que los juicios sobre las carreras se construyen en un espacio colegial, de trabajo integrado y simultáneo.

Finalmente, en la evaluación de instituciones la noción de par alude a cuestiones más distantes a una disciplina. Allí, el par es un especialista en evaluación, o en gestión académica, o alguien que se desempeña en el sistema pero que necesariamente requiere capacitación sobre evaluación de la calidad, que es menos necesaria en la evaluación de carreras de grado o posgrado.

Por su parte, sin importar la función a evaluar, hay coincidencia en que el par debe tener ciertos atributos, como capacidad de trabajo en equipo y de comunicación; experiencia y capacidad para escuchar, "ver" y entender; preocupación por saber las causas de lo que "ve"; conocer el tema que lo convoca (sea la disciplina o la gestión en caso de evaluación institucional); imparcialidad⁴. En general existe un reconocimiento de la existencia de sesgos inevitables, asociados a la pertenencia a la profesión académica. La cuestión, para los entrevistados, es cómo controlarlos o acotarlos, a partir de un consenso –para algunos inevitable, para otros valorable– de que el sistema de evaluación por pares tiene más fortalezas que debilidades.

Se han observado diferencias en las metodologías utilizadas para la evaluación por pares según las áreas de evaluación. Por ejemplo, como se dijo, en la evaluación de carreras de grado se ha optado por la constitución de equipos de pares evaluando simultáneamente varias carreras, con posteriores instancias de consistencia entre equipos en donde se discuten miradas comparables. Esta metodología, según los entrevistados, ha permitido construir de muchas subjetividades juicios únicos, más integrales, como forma de garantizar juicios comprehensivos e imparciales. El éxito de este recurso está tratando de derivarse a las otras áreas, como posgrado.

Resulta interesante la percepción de miembros y técnicos de la agencia respecto de la actuación de los pares en terreno, como una instancia también muy valorada para neutralizar los posibles sesgos. Se afirma que la actitud del par evaluador va variando a lo largo del proceso. Se afirma que al comienzo, cuando realiza la lectura del material, antes de la visita, los pares tienden a ser muy críticos. Aquí, el parámetro desde el cual el par valora es un ideal sobre cómo quisieran ser ellos. Luego, en la visita, se produce cierta empatía con los evaluados, a los que perciben como pares e, incluso, con cierta actitud paternalista respecto de la comprensión de las circunstancias en las que se enmarcan los problemas detectados. Por su parte, es en la visita en donde el par recibe reconocimiento y legitimidad de su rol, lo cual estaría reforzando esa actitud protectora y comprensiva. Una estrategia recomendada es que los pares escriban sus percepciones sobre el material leído antes de ir a la visita. Ese documento sirve como elemento equilibrante entre los dos momentos.

Problemas en la actuación de los académicos como evaluadores

Los problemas detectados por los entrevistados en la actuación de pares coinciden en gran medida con los citados por la bibliografía internacional. En primer término, se reconocen problemas asociados con cuestiones de parcialidad que, como dijimos, se intentan neutralizar a través de ajustes en la metodología de evaluación definida por la agencia. Entre estos problemas, se cita la proyección en el objeto a evaluar de las propias miradas o experiencias del par. Esto es, que el par evaluador tome como referencia de evaluación su realidad institucional, su experiencia; incluso, se reconocen casos en que la exigencia es mayor que la propia experiencia del evaluador.

Otro sesgo que apareció de manera reiterada en los testimonios se vincula con el tipo de institución que se evalúa, según sea pública o privada. Habría una mayor comprensión y disposición hacia las primeras, en virtud de un preconcepto respecto de la existencia de difíciles condiciones para su desarrollo. También se citan sesgos según grupos de pertenencia de los profesores evaluados, definidos por paradigmas, corrientes o ideologías. Estos sesgos, que aparecen con más frecuencia en la evaluación de carreras de posgrado por su mayor cercanía a la disciplina, son asumidos como inherentes a la actividad académica, y se intenta resolverlos a través de los instrumentos y metodologías de trabajo.

Un conjunto de problemas está delimitado por el desconocimiento de los procesos o del objeto a evaluar. Se observan limitaciones de los pares para evaluar la función de "gestión" implicada en cualquier proceso evaluativo de carreras o instituciones. Aquí, las recomendaciones de los pares, sobre todo cuando no tienen experiencia en gestión, son soluciones equivocadas o a veces soluciones "tipo" que se dan de manera repetitiva más allá de la especificidad de la carrera o institución que se evalúa. Aparece cierta preocupación en este aspecto, ya que puede ocurrir que se le esté pidiendo al par un asesoramiento en algo que no es de su incumbencia.

La evaluación de instituciones tiene, en esta cuestión, una particularidad debido a la poca claridad sobre "qué" se evalúa. Al no existir criterios ni orientaciones precisas sobre las que basarse para emitir los juicios, como sí lo hay para las carreras, con la definición de estándares, aparece en la redacción de los informes de evaluación lo que se define como "eufemismo" del par, basado en un discurso elíptico o ambiguo que intenta no generar en el evaluado un efecto negativo. La dificultad en este tipo de evaluación radica en que es más difícil diseñar una metodología que ayude al par a "mirar" la institución para encontrarle el sentido, y hay un reconocimiento sobre la dificultad de encontrar pares con esta capacidad natural.

Finalmente, otro conjunto de problemas se asocia más a las características personales de los pares. Se citan casos de no cumplimiento de la tarea (en tiempos, formas de comportamiento en las visitas, sesgos en las resoluciones). En estos casos, la tendencia de la agencia, aunque no formalizada, es la de no convocar nuevamente a evaluadores que hayan incurrido en estas fallas. También se reconoce como problema la tendencia a que prevalezca la opinión de los pares según su personalidad y capacidad de influencia en el grupo, anulándose el pensamiento individual. En estos casos, algunos entrevistados sostienen que una buena manera de mitigar este riesgo es con la introducción de una instancia individual del juicio, previa a la instancia colegial. Otro problema detectado es el conservadurismo de muchos pares, y la no posibilidad de apertura a miradas innovadoras, situación que tiende a resolverse con mayor rotación de pares en los equipos evaluadores.

 

Problemas en los procedimientos previstos para la evaluación por pares

Sin embargo, muchos de los problemas detectados en el sistema de evaluación por pares no están directamente asociados a las condiciones del par, en tanto miembro de la profesión académica, sino que se vinculan con problemas en el propio diseño del sistema. Y aquí, curiosamente, hay más disidencias que coincidencias entre los entrevistados. Las visiones más críticas sobre el funcionamiento de los procedimientos sostienen, además, que los problemas existentes se vinculan con cuestiones de prácticas, más que de normatividad.

Un primer problema, en este aspecto, aparece en el proceso de selección de los pares. Como hemos dicho, la agencia dispone de un banco de pares evaluadores que sirve como base de información. Cada área tiene sus propios mecanismos para la selección de los equipos evaluadores, sobre la base de la propia experiencia que cada una de las funciones fue adquiriendo. Las posiciones van desde un extremo, que privilegia la calidad de los equipos al riesgo de la repetición de individuos que los conforman, a otra que sostiene que la riqueza está en la rotación. Entre ambas posturas, aparecen sospechas sobre sesgos en la propia selección de pares y problemas vinculados a la propia capacidad de la agencia para hacer frente a una carga de tarea cada vez mayor.

Desde la primera postura, se resalta la dificultad para conformar equipos con diferentes perfiles, según región de procedencia, género, tipo de institución, área de conocimiento, etc. Se privilegia a individuos con las capacidades necesarias –por ejemplo, resulta fundamental el que desempeña el rol de "redactor" del informe–, y en este sentido se justifica la frecuencia de las mismas personas en diferentes evaluaciones. Estas apreciaciones son más frecuentes cuando se hace referencia a selección de pares para evaluación de instituciones.

Desde la postura que privilegia la rotación, el principal problema que se advierte es la insuficiencia de personas que puedan desempeñarse como pares evaluadores. Esta dificultad aparece en la evaluación de carreras de grado, en donde se necesita gran cantidad de ellos actuando a la vez. En función del perfil de las carreras que se evalúan, se ha pensado en convocar a evaluadores procedentes del campo profesional no académico, pero la dificultad permanece aún en esta opción. En el caso de posgrado, hay reconocimiento de casos de no afinidad del campo de procedencia del par con el perfil de la carrera que se evalúa. No obstante, estas cuestiones no son recusadas por las carreras.

La primera postura se enfrenta al riesgo de formar un grupo estable de buenos evaluadores, con las implicaciones de consolidación de grupos académicos, conservadurismo en el tipo de juicios emitidos, y limitaciones respecto de la posibilidad de apertura a miradas más innovadoras. La segunda, por su parte, se enfrenta a la dificultad de disponibilidad de nuevos evaluadores, y a la necesidad de capacitación permanente.

Como se dijo, algunos entrevistados han marcado la importancia de establecer un mecanismo objetivo en la selección de los pares evaluadores, ya sea a través de listas predefinidas o mecanismos de selección al azar, entre otros, ante cierta sospecha de existencia lobbie, en donde puede primar el criterio de selección por amistades o por instituciones, o contrarios a ciertas ideologías. La diferencia entre la información relevada en este punto radica en el grado de reconocimiento de este fenómeno. En las posturas extremas, se asume la existencia de vetos por procedencias ideológicas, políticas o de enfoques.

Así y todo, si la presencia de estas situaciones fuese significativa, la preocupación por su incidencia en los procesos evaluativos también difiere, según el tipo de área que se evalúa. En evaluación institucional la presencia de estas situaciones no se ve como grave, por el nivel de colegialidad de los equipos y porque la evaluación no tiene implicancias directas. En las carreras de grado, en donde el resultado de la evaluación tiene implicancias –acredita / no acredita– la instancia de consistencia también opera como efecto amortiguador de cualquier sesgo. El área de posgrado aparece como la más vulnerable, y en este sentido se podrían explicar los cambios más recientes en los procedimientos de evaluación.

Por su parte, los testimonios de los técnicos dan cuenta de un nivel creciente de actividad de la agencia, sobre todo en acreditación de carreras de posgrado, producto de una demanda institucional de acreditación en crecimiento. Por estas razones, muchas veces el proceso de selección de pares, organización de equipos, capacitación, realización de visitas y elaboración de informe, termina convirtiéndose en una suerte de carrera contra el tiempo, con el consecuente riesgo de que los procesos sean rutinarios, sin la necesaria reflexión sobre las prácticas por parte del área correspondiente o de la Comisión en general.

En síntesis, en términos de selección de pares, se considera importante la rotación, pero a la vez este criterio choca con la necesidad de experticia. No hay acuerdo sobre las ventajas o desventajas de la frecuencia y la permanencia de pares en distintas evaluaciones, aunque sí se acepta que en todo equipo debería al menos haber algún evaluador nuevo, que pueda ir formándose sobre la base de la experiencia. Estos procesos, además, son susceptibles de estar afectados por sesgos de tipo político, por una parte, y rutinarios, por la otra.

Finalmente, de las entrevistas aparecieron otro conjunto de cuestiones vinculadas con la calidad de los dictámenes y, consecuentemente, con la decisión o juicio final de la evaluación. Hay un reconocimiento de la existencia de casos, aunque marginales, en que los dictámenes de los pares son cambiados por la Comisión, que es quien tiene la decisión final. Hay coincidencia en que estos casos aparecen cuando los informes elaborados por los pares son inconsistentes, entre las argumentaciones esgrimidas y los resultados o conclusiones establecidas. Esas brechas podrían estar dando lugar a influencias de criterios parciales en el momento de la decisión por parte de la Comisión, sobre todo cuando se trata de acreditaciones de carreras, según de qué institución se trate. Es más frecuente que estos casos aparezcan cuando el dictamen del par no es favorable y la Comisión encuentra razones para revertirlo. En estos casos, se afirma que los equipos de pares tienden a respetar la opinión de la Comisión y cambian su propio dictamen para no asumir personalmente el peso de una resolución no favorable ante sus colegas.

Las limitaciones del propio sistema son susceptibles de ser mejoradas. Aparece una fuerte preocupación por lograr informes de evaluación de calidad, lo que redundaría en el acotamiento de los casos marginales de parcialidad mencionados. Y la calidad de dictámenes se obtendría con mayores orientaciones y delimitaciones a través de los instrumentos, perfeccionamiento de la metodología de evaluación, según áreas, capacitación específica para los grupos de pares, y fortalecimiento de las instancias colegiadas de evaluación en todas las áreas.

 

Algunas conclusiones

En el marco de la evaluación como espacio de tensión tratamos de analizar el papel desempeñado por los académicos en su rol de evaluadores de carreras e instituciones. Hemos visto cómo algunas de las características propias de la profesión académica se manifiestan en el desempeño de este rol.

La evaluación es entendida por estos actores como proceso de distribución –o no distribución– de beneficios o privilegios, y se manifiesta en la aparición de sesgos al momento de considerar el tipo de institución evaluada o el grupo disciplinar que es objeto de evaluación. También se evidencia en el grado de compromiso que el académico asume como evaluador de sus pares, que se traduce en informes ambiguos en términos del señalamiento de problemas o recomendaciones en sus juicios.

Por su parte, la tensión entre la pertenencia disciplinar e institucional producto de la heterogeneidad del rol del académico se refleja según el tipo de objeto que se evalúa. Las particularidades de la agencia respecto de la variedad de funciones hace que en algunas áreas predomine el criterio disciplinar, mientras que en otras opere con mayor fuerza la pertenencia institucional.

El análisis de esta variedad de funciones en relación al trabajo de los pares evaluadores ha permitido reconocer problemas de diferentes órdenes, alguno de los cuales se vinculan con los ya vistos en el nivel internacional, mientras que otros están más ligados a la peculiaridad del funcionamiento de la agencia argentina.

Entre los problemas comunes, ya reconocidos en la literatura internacional, podemos citar la tendencia a la parcialidad de los juicios, muchas veces vinculada a la proyección de la propia experiencia o expectativas del par, ya sea en relación a su institución o a su disciplina. También aquí ubicamos problemas de conocimiento de los procesos, así como la tendencia a aportar soluciones estandarizadas en diferentes casos, o la dificultad para conformar los equipos.

En general, coinciden algunas de las soluciones previstas, como mayor capacitación e información, a través de metodologías de trabajo planteadas por la agencia que orienten el trabajo del par. Sin embargo, no existe demasiado acuerdo respecto de la tensión entre las ventajas y desventajas de la rotación y la estabilidad de pares, así como la perfectibilidad de los procesos de selección.

Entre las cuestiones más específicas, aparecen preocupaciones de un orden más complejo, que podrían ser producto de la variedad de funciones desarrolladas por la agencia y de las diferencias entre los grupos de pares con los que trabaja, según estén más o menos cerca de su pertenencia disciplinar o institucional. La experiencia acumulada en estos diferentes órdenes estaría aportando una base mayor para la reflexión sobre el perfeccionamiento de los procesos.

Así, por ejemplo, la mayor parte de los testimonios evidencia una preocupación por sortear la dificultad del traslado del sistema de evaluación por pares del campo científico al de la educación superior, a través del fortalecimiento de instancias colegiales de trabajo del par. Estas instancias podrían colaborar en el logro de juicios comprehensivos, a partir de la práctica de "ver" el conjunto y en conjunto con el equipo de pares, más allá de cada juicio individual.

Hay un reconocimiento de la dificultad de incorporar esta práctica en los equipos de evaluadores, y se trata de lograr a través de un refinamiento de los instrumentos orientadores de la tarea del par. Pareciera que hay suficiente acuerdo en la necesidad de lograr a través de estos medios dictámenes de mayor calidad, con todas las ventajas que ello implica en la medida en que neutraliza el inevitable sesgo individual del par, así como la posibilidad de que dichos dictámenes sean revertidos por lógicas externas ajenas a la académica.

En este sentido, el análisis realizado da cuenta que los permanentes cambios en las regulaciones del trabajo de los pares, a través de la metodología y de los instrumentos, no parecieran estar acotando el trabajo del par, sino encuadrándolo con el fin de garantizar juicios de calidad que, a la vez, perfeccionen los procesos llevados adelante por la propia agencia. No obstante, estos intentos van de la mano de la dificultad por responder a una demanda creciente de actividad, que podría estar poniendo en riesgo los espacios para la reflexión sobre los procesos y su perfeccionamiento permanente.

En síntesis, podemos afirmar que la agencia en los últimos diez años ha generado procesos que van en la dirección de un aprendizaje institucional, en un tenso equilibrio que le permite avanzar en el cumplimiento de las funciones previstas a través de procesos autorregulados. En este marco, el par es un actor central en el que se deposita la confianza por obtener juicios evaluativos de calidad, a partir de su conocimiento experto. Los problemas en su tarea abundan, pero no llegan a poner en cuestión esta autoridad, sino que se busca perfeccionarla a través de nuevas metodologías e instrumentos. No obstante, será preciso considerar que la evaluación constituye un espacio político con tensiones, que no son resueltas con soluciones de tipo instrumental. En todo caso, los instrumentos pasarán a formar parte de este entramado de procesos variados y actores con diferentes intereses en juego.

 

Referencias

Acherman, H. (1990). "Quality Assessment by Peer Review", Higher Education Management, Vol.2, N°2.         [ Links ]

Barrow, A. (1995). "Quality management systems and dramaturgical compliance", en Becher, T. (1989). Academic Tribes and Territories: Intelectual Enquiry and the Cultures of Disciplines, Buckingham, Inglaterra, Open University Press.        [ Links ]

Bauer, M. y Kogan, M. (1997). "Evaluation systems in the UK and Sweden: successes and difficulties", en European Journal of Education, Vol. 32, No. 2, p. 129.         [ Links ]

Brennan, J.; De Vries, P. y Williams, R. (1997). «Standards and Quality in Higher Education», en Higher Education Policy Series 37, Londres, Jessica Kingsley Publishers.        [ Links ]

Cave, M.; Hanney, S. y Kogan, M. (1991). "The use of performance indicators in Higher Education. A critical analysis of developing practice", en Higher education Policy Series 3, Londres, Jessica Kingsley Publishers.        [ Links ]

Clark, B. (1983). El sistema de Educación Superior. Una Visión Comparativa de la Organización Académica, Nueva Imagen–UAM.        [ Links ]

Díaz Barriga, A. (2005, junio). Riesgos de la evaluación y Acreditación de la Educación Superior, Ponencia presentada en el Seminario Regional: Las nuevas tendencias de la evaluación y la acreditación en América Latina y el Caribe, IESALC–CONEAU.         [ Links ]

Diaz Sobrinho, J. (2003). "Avaliacao da Educacao Superior. Regulacao e emancipacao", en RAIES, Vol. 8, No. 2        [ Links ]

Fortes, M. y Malo, S. (2002). "Una revisión de las evaluaciones por comités de pares", Quinto Foro de Evaluación Educativa, Ensenada, México, CENEVAL.         [ Links ]

Goldbeck Wood, S. (1999). "Evidence on peer review–scientific quality control or smokescreen?", en British Medical Journal, Vol. 318, pp. 44–45.        [ Links ]

Hammersley–Fletcher, L. (2004). "Evaluating our peers: is peer observation a meaningful process?, en Studies in Higher Education, Vol. 29, No. 4.        [ Links ]

Harvey, L. (1999) "Evaluating the evaluators", en Opening keynote of the 5th Biennial Conference of the International Network of Quality Assurance Agencies in Higher Education (INQAAHE), Santiago, Chile, Mayo, Centre for Research into Quality, University of Central England in Birmingham (Http:www.uce.edu)        [ Links ]

Harvey, L. (1999). "Quality in Higher Education", Documento presentado en Quality Conference, Göteborg. UCE.        [ Links ]

Maasen, P. (1997). "Quality European Higher Education: recent trends and their historical roots", en European Journal of Education, Vol. 32, 2.        [ Links ]

Malo, S. y Fortes, S. (2004). "An assessment of Peer Review Evaluation of Academia Programmes in Mexico", en Tertiary Education and Management, Vol. 10, No 4. EAIR.        [ Links ]

Marquina, M. (2005). La evaluación por pares en el escenario actual de aseguramiento de la calidad de la educación superior. Un estudio comparativo de seis casos nacionales, Ensayo encargado por la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU).        [ Links ]

Morley, L. (2001) "Subjected to review: engendering quality and power in higher education", en Journal of Education Policy, Vol 6, No. 5.        [ Links ]

Neave, G. (1998). "The evaluative state reconsidered", en European Journal of Education, No. 33.        [ Links ]

Neave, G. (2001). Educación Superior: historia y política. Estudios comparativos sobre la universidad contemporánea, Gedisa.        [ Links ]

Peek, R. (2003). "Could Peer review be wrong?", Information Today, Vol. 20, No 4.        [ Links ]

Pilot, A. (2001, Abril). Quality assurance and accreditation in higher education in the Netherlands: internal quality care and external quality assessment", Conferencia presentada en la Rumanian University Education, Bucarest, Matra Project.        [ Links ]

Radford, J.; Raaheim, K.; De Vries, P. y Williams, R. (1997). "Quantity and Quality in Higher Education", en Higher Education Policy Series 40, Londres, Jessica Kingsley Publishers.        [ Links ]

Schugurensky, D. (1999). "Higher education restructuring in the era of globalization: toward a heteronomous model?", en Robert Arnove y Carlos Alberto Torres Comparative Educaction. The Dialectic of the Global and the Local, Rowman & Littlefield Publishers.        [ Links ]

Tight, M. (2003). "Reviewing the reviewers", en Quality in Higher Education, Vol 9, No 3.        [ Links ]

Van der Wende, M. y Westerheijden, D. (2002). "International aspects of quality assurance with a special focus on European Higher Education", en Quality in Higher Education, Vol. 7, No 3.        [ Links ]

Warde, A. (1996). "The effects of the 1992 Research Assessment Exercise", en Network: Newsletter of the British Sociological Association, No. 64 enero.        [ Links ]

Westerheijden, D. (2001). "Ex oriente lux?: national and multiple accreditation in Europe alter the fall of the Wall and alter Bolonia", en Quality in Higher Education, 7.        [ Links ]

Williams, R. (1997). "Factors impacting on academic standards", en: J. Radford, K. Raaheim, P. de Vries, y R. Williams. Quantity and Quality in Higher Education. Higher Education Policy Series 40.        [ Links ]

Yorke, M. (1998). "Performance indicators relating to student development: can they be trusted?, en Quality in Higher Education, 4(1), pp. 45–61.        [ Links ]

 

Notas

¹ Estos dos primeros aspectos toman parte de lo desarrollado en Marquina (2005), un ensayo encargado por la CONEAU. La información de base producto de las entrevistas, surge de los resultados de un proyecto de investigación dirigido por la autora, en su universidad de pertenencia, entre 2006 y 2007.

² Esta capacidad de adaptación, según Clark, puede ser sostenida o frenada por las formas específicas de los diversos sistemas nacionales. Algunas formas fomentan la adaptación, otras se resisten a ello. "De ahí que ciertas formas negocien exitosamente el cambio y sobrevivan a él" (pp. 268).

³ Resulta curiosa la expresión, cuando claramente las normas vinculadas establecen que es el Ministerio de Educación, en consulta con el Consejo de Universidades, quien aprueba los estándares.

⁴ Se destaca de los testimonios la preocupación por diferenciarla de "objetividad", característica que es ajena a cualquier tipo de juicio.