Los rankings universitarios. Bases teóricas, metodología y su impacto en la educación superior global*

Santos López Leyva**

** Profesor de la Facultad de Economía y Relaciones Internacionales de la Universidad Autónoma de Baja California, Campus Tijuana. Correo e: slleyva@hotmail.com

En 2011, editorial Springer publicó el libro University Rankings . Theoretical basis, methodology and impacts on global higher education, el cual constituye una importante obra de consulta obligada para quienes trabajamos y estamos preocupados por los estudios de calidad en la educación superior, pero también para aquellos que diseñan e implementan políticas en este campo. La publicación se integra de trece capítulos, distribuidos a lo largo de 271 páginas. El capítulo 1, constituye la presentación del libro, cuyo título es: "El pasado, presente y futuro de los rankings universitarios". Los restantes doce capítulos se dividen en tres partes: a) efectividad organizacional, calidad y rankings, con tres capítulos; b) aspectos metodológicos de los rankings universitarios, integrada por cinco capítulos, y c) el impacto social de los rankings universitarios, compuesta por cuatro capítulos.

En sus concepciones iniciales los rankings fueron pensados como una herramienta para medir la efectividad de las instituciones de educación superior, su trabajo era considerar los avances internos de las instituciones; sin embargo, en la actualidad los calificadores de universidades y los promotores de este tipo de evaluación ponen poca atención a esta situación, sólo asumen que las instituciones ubicadas en un alto nivel en la tabla son más productivas y tienen mejor calidad de docencia e investigación que las ubicadas en un nivel más bajo. Estos instrumentos se han convertido en simples listados de instituciones, donde se abre la competencia, primero por incluirse en la tabla y después por aparecer en mejores lugares.

La permanencia y credibilidad de la evaluación a través de los rankings depende de su trasparencia, relevancia y la validación de los datos, pero se deben atender determinadas reglas que se encuentran expresas en los denominados Principios de Berlín, los cuales fueron aprobados en mayo de 2006 por el International Ranking Expert Group (IREG).

El capítulo 2 lo desarrolla Jung Cheol Shin y se denomina "Efectividad organizacional y rankings universitarios". Establece que los líderes institucionales de las universidades están considerando y atendiendo este esquema evaluado en forma seria y comprometida, ya que los gobiernos y los estudiosos de las políticas consideran que la participación de la institución en estos sistemas constituye una forma de evaluar la conducción universitaria, de tal forma que se toman acciones que lleven a posicionar de mejor manera a la institución en la estructura del ranking. Aunque, señala el autor, no existe evidencia clara que esta forma de evaluación contribuya a la efectividad institucional o al mejoramiento de la calidad de la universidad.

En la actualidad se consideran tres mecanismos para la instrumentación de políticas con rumbo al mejoramiento de la calidad, estos son: aseguramiento de la calidad, rendición de cuentas y participación en rankings. Aunque los tres mecanismos tienen en común que proveen información al público acerca de la calidad de las instituciones y buscan mejorar su desempeño; presentan diferencias en cuanto a metas, métodos de evaluación, principales interesados, fuentes de información, publicación de resultados y los vínculos con el sector de políticas.

El principal objetivo de los rankings es proporcionar información a los estudiantes y al público en general para la selección de universidad al listar en forma jerarquizada las instituciones de educación superior de acuerdo con su calidad; de tal forma que las instituciones se preocupan más por la reputación que el mejoramiento de la calidad institucional.

El capítulo 3 se titula: "Competidores de rankings: Nuevas direcciones para el aseguramiento de la calidad y la rendición de cuentas", desarrollado por Grant Harman.

Desde 1985 se intensifica el aseguramiento de la calidad y rendición de cuentas, pero a partir de 2003 la búsqueda de la calidad adquiere otra visión al asumir la competencia internacional a través de los rankings, los cuales fueron originados en cuerpos no gubernamentales y han conformado la noción de universidad global. Se han convertido en una forma de demostrar súper calidad que ha atraído la atención de ministros y el público en general, es una calidad expresada en un score numérico presentado en una tabla de resultados que al ser jerarquizados llevan implícito la competencia en un mercado.

Este esquema de evaluación refleja la calidad en un punto, en un momento; por otro lado el modelo de aseguramiento de la calidad tiene la gran ventaja que puede ser conceptuado en políticas, actitudes, acciones y procedimientos necesarios para asegurar la calidad y cómo mantenerla y mejorarla, pero tiene la desventaja que no puede presentarse en forma tan sintetizada. Por otra parte, la rendición de cuentas da a conocer lo que la institución está haciendo en relación a las metas que ha establecido, legitima las expectaciones de otros, los involucrados. Una ventaja del sistema de rankings es que proporciona información al público en forma muy resumida.

La Thematic Review of Tertiary Education de la OECD insiste en que los rankings tienen sólo impacto en la perspectiva internacional de los estudiantes e incluso, afectan la relación entre las instituciones de educación superior y los gobiernos, ya que las universidades dedicadas a la investigación frecuentemente están solicitando recursos para avanzar en esta función y así poder competir en el contexto internacional logrando mejores posiciones en las tablas de puntaje.

Al hacer un balance acerca de esta temática sobre los debates llevados a cabo entre Japón y Estados Unidos en los años 70, el autor concluye que la relevancia social de los rankings en Japón era mucho mayor que en E.U., la proporción de estudiantes que participan de esta información era mucho menor en este segundo país.

El autor también señala que los rankings reflejan o emiten en el discurso del público una idea sub intelectual, extra intelectual o inclusive, se les puede considerar como seudoacadémica, que no se expresa en cuanto a calidad asegurada ni en la rendición de cuentas, de alguna forma, los rankings son más provocativos puesto que abren la idea de una información fácil y ligera, la cual resulta entendible a primera vista; han desarrollado toda una cultura, donde la cobertura mediática es mucho mayor que los otros dos mecanismos señalados; ofrecen la cuestión emocional de participar en una especie de competencia deportiva.

El autor elabora y analiza una serie argumentos tanto a favor como en contra de los rankings. Insiste en nueve elementos que se consideran las debilidades de este mecanismo de evaluación. En primer lugar se presenta un círculo vicioso de constante distorsión, donde cada vez surge un mayor número de esquemas de menor credibilidad y menor sustento académico; existe una debilidad de la información utilizada, lo que hace menos creíble su calidad; no se observa un acuerdo en cuanto al significado de calidad; se ejerce una especie de imperialismo a través de este medio; se observan las desviaciones sistemáticas de las clasificaciones; preocupación por los agregados; promueven procesos que fomentan la concentración de recursos; empujan hacia la estratificación pronunciada, y tiene efectos antimeritocráticos al fijar la atención sólo en el lugar alcanzado en la clasificación.

El capítulo 5, ya en la parte II, denominado "Los indicadores del ranking y sus pesos", cuyo autor es Bernard Longden, concluye su trabajo con una pregunta ¿Cómo puede la universidad ser reducida a una medida única que sea creíble?

El capítulo está centrado en proponer y analizar las siete etapas críticas para la creación de un ranking universitario: 1) clarificar las razones para la elaboración del ranking; 2) seleccionar los indicadores adecuados; 3) recopilación de datos; 4) comportamiento de los indicadores; 5) estandarización de medidas antes de la incorporación; 6) definir las posibles ponderaciones en el comportamiento de los indicadores antes de atender el proceso a nivel agregado, y y) por último, la creación de un índice simple que refleje el comportamiento de la universidad.

El capítulo 6, a cargo de Karen L. Webber, se titula "La medición de la productividad del profesorado", apunta la existencia de múltiples métodos que buscan medir la productividad del profesorado, los cuales cada vez adquieren un mayor refinamiento como producto de la rendición de cuentas, de la competencia entre las universidades y su reducción de fondos, entre otras causas.

Se ofrecen indicadores para evaluar la docencia, la investigación y la prestación de servicios, que constituyen las tres principales funciones de la universidad.

El capítulo 7 se titula "Medición del rendimiento de la investigación en las universidades", y es desarrollado por Robert K. Toutkoushian y Karen Webber.

Los autores mencionan que dos elementos han incrementado el interés por medir la investigación: por un lado, se encuentra el mayor compromiso que han adquirido las universidades con las empresas y el gobierno en la transferencia de conocimiento; por otra parte, la intensificación en los procesos de rendición de cuentas. Los mecanismos para medir la calidad de una universidad en cuanto a investigación son los siguientes:

Por el número de publicaciones, lo cual también presenta ciertas dificultades, entre ellas se encuentran la diversidad en las formas de evaluar los artículos y las revistas en los diferentes campos disciplinarios; la concentración de revistas en bancos de datos que forman posibles barreras de entrada; la carencia de revistas en algunos campos; barreras en el idioma, etcétera.

Por el número de citas, puede tener las mismas deficiencias que presentan las publicaciones en revistas; existen diferentes formas de citación dependiendo de la revista y del campo disciplinario, pero también diversas formas de considerar las citas en una evaluación; muchos trabajos publicados no son citados nunca; existen desviaciones provenientes del lenguaje, del peso institucional que influyen para que un trabajo sea citado, entre otras.

Por los premios y reconocimientos otorgados a los profesores de la institución.

Por el número de patentes. No toda la investigación está asociada a las patentes, esto favorece a instituciones que se encuentran en campos donde es más común su uso, generalmente una patente es más difícil de obtener que otras medidas de la investigación.

El capítulo 8, desarrollado por Lutz Bornmann, se titula "Revisión por pares y bibliometría: potencialidades y problemas", reconoce que cada día la revisión por pares aumenta su aceptación, pero además los procesos alcanzan una mayor eficiencia, e incrementan su credibilidad, para ello las revistas han tenido que ir superando una serie de obstáculos: en primer lugar, conseguir la publicación de todos los números en el tiempo establecido; la integración de un comité editorial; formar la cartera de árbitros; definir los mecanismos de evaluación y las formas de poner en concordancia las opiniones de los pares; lograr que la evaluación sea justa y que tenga como propósito mejorar la calidad de los artículos y por ende, la calidad de la revista, y establecer las formas de comunicación de los pares con el editor de la revista y con los autores, entre otras acciones.

Por otra parte, las citas pueden verse desde diferentes dimensiones. Una es cómo considerarlas, definir las formas de citar y cómo contabilizarlas. Los factores de influencia de las citas están referidos al tiempo, por ejemplo: el Factor de Impacto, desarrollado por Garfield considera las citas de los artículos que recibe una revista, entre el número de artículos publicados en un periodo de dos años, el Factor de vida media se considera el tiempo en que la revista logra el 50% de las citas, el Índice de Inmediatez, atiende sólo las citas que recibe una revista en el periodo de un año.

Otros elementos a considerar son el campo del conocimiento de que se trate y el tipo de revista en cuestión.

"La medición del rendimiento de la docencia" es el nombre del capítulo 9 y es desarrollado por Keith Trigwell. El autor insiste en que los rankings son un fenómeno global, ya que al menos 40 naciones participan y cuentan con este tipo de evaluación en sus sistemas de educación superior. La mayoría de ellos conceden un mayor peso a la investigación, pero también se observa mucha preocupación por incluir la docencia en este tipo de evaluaciones ya que existe una estrecha relación entre docencia e investigación.

Las formas de evaluación de la docencia se han concentrado en los cuestionarios aplicados a los estudiantes, en la evaluación por pares y en el uso plataformas de enseñanza. En todos los casos es preciso considerar las características del programa, su efectividad, la satisfacción de los estudiantes y los resultados alcanzados.

Los rankings se han vuelto populares por dos razones -señalan los autores-: primero por lo nebulosa que se ha vuelto la evaluación de una universidad, debido a la gran cantidad de información que se maneja, esto como producto de la tecnología y la diversificación de las funciones que esta institución desempeña; y segundo, para la industria y el gobierno resulta mucho más fácil y comprensible ver la calidad de una universidad reflejada en un número.

Las lecciones que nos dejan los rankings -según los autores- son la siguientes: a) este sistema de evaluación es una realidad y resulta difícil que se abandone ya que se ha vuelto muy popular; b) las universidades si no pueden mejorar su reputación, cuando menos, deben aspirar a mantenerse en el lugar donde se encuentran y no perder puntos; c) las universidades han utilizado técnicas de juego, ven este ejercicio como la participación en un campeonato deportivo y han movido todo lo que tienen a su alcance para incorporarse a los rankings o bien mejorar su posición, y d) toda universidad que participa en este modelo deber atender elementos como la equidad que son reclamos de los propios modelos de evaluación.

El capítulo 11, cuyo título es "La institucionalización de los rankings: el manejo del estado de ansiedad en un entorno cada vez más mercantilizado", es desarrollado por William Locke.

Los rankings han favorecido el proceso de mercantilización de la educación superior en los Estados Unidos, Inglaterra y cualquier parte del mundo donde se instauren. Esto es el resultado de haber introducido procesos de competencia estilo mercantil en las instituciones de educación superior; han estimulado en las universidades las ideas de parecerse cada vez más a las empresas; han influido entre los administradores de las universidades para fomentar la competencia interna y crear mercados internos de educación, han promovido los sistemas de clasificación y jerarquización. También han remodelado los mercados de educación superior en forma significativa al influir en las universidades, en los clientes y unidades externas vinculadas a este tipo de educación.

El capítulo 12, desarrollado por Akira Arimoto, se titula "Las reacciones ante los rankings: producción de conocimiento y productividad del profesorado desde una perspectiva internacional", establece que el proceso de rankings es un movimiento global porque a nivel internacional ha sido introducido y difundida su utilización por el Times de Londres (thes), la Universidad de Shangai y por U.S. News and World Report, entre otras organizaciones. Además los gobiernos están atentos y presionan a los administradores de las universidades para que estas instituciones aparezcan en el sistema de rankings.

El auge de estos sistemas de evaluación viene aparejado a un cambio en la producción de conocimiento en las instituciones de educación superior. Se observa una intensificación en la función de investigación, reformas a los currículos de las universidades, imposición de restricciones a la endogamia, lo cual se inicia en las universidades de Harvard y Yale, internacionalización de las escuelas de graduados, reformas en las asociaciones académicas, propagación del uso del periodo sabático hacia universidades extranjeras y hacia las empresas.

Al analizar por países, señala que en Estados Unidos se pueden anotar las siguientes características: 1) el hecho de que los rankings se hayan desarrollado desde hace un medio siglo demuestra que desde esa fecha ya existían mecanismos de mercado y la competitividad en la educación superior; 2) ciertas universidades, como propósito principal, tienden a ser situadas en la parte alta de la tabla; 3) las universidades que ocupan los primeros lugares son reconocibles y aceptables; 4) las universidades de investigación ocupan los mejores lugares en la tabla y tienen mayor posibilidad de participar ellos; 5) los rankings constituyen una reflexión del mercado académico, el cual prioriza su trabajo hacia la competencia; 6) involucra a toda la institución estableciendo una especie de meritocracia hacia algunos departamentos, y 7) la institucionalización de los rankings académicos en los Estados Unidos ha funcionado como una internacionalización de este mecanismo y del sistema de educación superior.

El capítulo 13, referido al futuro de los rankings universitarios es desarrollado por Ulrich Teicher, quien señala que aunque estos mecanismos tienen una larga historia, su popularidad ha crecido desde la década de los ochenta, pero más a partir de 2003, esto por la masificación de la educación superior, el incremento en la competencia y la internacionalización de este nivel educativo.

Los futuros posibles de los rankings están dados en las siguientes orientaciones: 1) prevalecerá la inercia de la clasificación de las universidades, continuará el interés por observar este tipo de listados; 2) un escenario de expansión porque los países cada vez más buscarán que sus universidades aparezcan en los listados; 3) puede estar presente un escenario político donde los promotores de los rankings se preocupen solo por el crecimiento vertical de las universidades y se desatienda el crecimiento horizontal; 4) puede existir un escenario de conciencia, es decir, atender las modificaciones internas de la institución a la vez que la participación en esquemas de competencia; 5) el escenario alternativo donde un más deseable sistema de educación superior pueda existir: 6) un escenario de mayor sofisticación técnica, y 7) un escenario de gran trasparencia y de racionalidad de los actores puede ser posible, que impere el logro de la racionalidad.

Nota

* Cheol Shin, Jung; Robert K.Toutkoushian y Ulrich Teicher, editors (2011), University rankings. Theoretical Basis, Methodology and Impacts on Global Higher Education, Springer, London-New York, 271 p.         [ Links ]