Resonancias

 

Estudio comparativo de universidades mexicanas (ECUM): otra mirada a la realidad universitaria*

 

Alejandro Márquez Jiménez**

 

** Doctor en Educación; Investigador titular del Instituto de Investigaciones sobre la Universidad y la Educación de la Universidad Nacional Autónoma de México; actualmente se desempeña como jefe de Proyectos de Evaluación Universitaria en la Dirección General de Evaluación Institucional , UNAM; temas de investigación: economía de la educación, políticas educativas, evaluación; correo electrónico: amj08@servidor.unam.mx.

 

Recepción: 16/04/2010.
Aprobación: 30/04/2010.

 

El 27 de enero del año en curso, la Universidad Nacional Autónoma de México (UNAM) realizó la presentación oficial del Estudio Comparativo de las Universidades Mexicanas (ECUM) y de su herramienta de exploración de datos en línea denominado ExECUM. Ambos proyectos fueron desarrollados por la Dirección General de Evaluación Institucional (DGEI) de la UNAM, cuyo propósito central consiste en aportar información comparable sobre las características y funciones de las universidades y de otras instituciones mexicanas de educación superior.

Este documento constituye una invitación a conocer dicho estudio y a valorar sus alcances y limitaciones en un contexto donde la publicación de rankings universitarios se ha constituido en un referente importante en la valoración social del desempeño de las instituciones de educación superior.

El documento se divide en tres partes; en la primera se describen algunas diferencias entre el enfoque y metodología del ECUM y los utilizados por algunos de los rankings (nacionales e internacionales) más importantes; en la segunda parte, se describen las características del ECUM y de su herramienta de exploración de datos ( ExECUM), los rubros de datos que actualmente contiene y las posibilidades que brinda a sus potenciales usuarios para analizar la información disponible; en la tercera parte se presentan algunos de sus principales resultados.

 

El impacto de los rankings en la valoración social de la universidad

En el contexto actual, la preeminencia del modelo de desarrollo económico neoliberal, los procesos de globalización y la economía basada en el conocimiento han llevado a considerar al mercado como el mecanismo más eficiente para satisfacer las diversas necesidades de la sociedad, incluida la educación. Por ello, no resulta tan extraño que hoy día estén proliferando los sistemas de rankings o escalas de posiciones en el ámbito universitario, pues representan la forma en que —bajo dicho contexto— se hace evidente el lugar que ocupan las universidades en la competencia educativa.

A pesar de que la competencia entre instituciones universitarias históricamente no es un suceso novedoso, la práctica de clasificar comparativamente instituciones y programas universitarios, dando a conocer los resultados a través de rankings, es algo relativamente nuevo que se remonta a la década de los ochenta (Rodríguez, 2006a).

Las primeras experiencias se delimitaron a comparaciones nacionales. Estados Unidos e Inglaterra fueron los países pioneros pues, de manera casi simultánea, iniciaron este tipo de prácticas (idem). Los rankings nacionales proliferaron rápidamente, lo cual, sin duda, influyó para que se diera un siguiente paso: la elaboración de rankings internacionales. Actualmente, existe ya un buen número de rankings que realizan comparaciones entre instituciones de diversos países a nivel regional o mundial. No obstante, cabe resaltar que una de las principales limitaciones que existen en su realización es la disponibilidad de información comparable entre instituciones a través de los medios electrónicos, puesto que el internet constituye una de las herramientas principales de recopilación de información al respecto.

La disponibilidad de información y la delimitación de objetivos, metodología y variables consideradas en cada uno de los rankings existentes explican, en cierta forma, las amplias diferencias que existen en el número de países e instituciones que son incorporados a cada uno de ellos. Éste es el caso de tres de los rankings internacionales más importantes: elAcademic Ranking of World Universities (ARWU),¹ que se sustenta en indicadores cuantitativos de producción científica, jerarquiza a 500 universidades de todo el mundo; elranking Times Higher Education (THE),² utilizando una metodología que combina indicadores de producción científica y una escala sustentada en las opiniones de pares académicos y empleadores, jerarquiza sólo a las 200 mejores universidades del mundo, y el Ranking of World Universities, mejor conocido como Webometrics,³ evalúa a las instituciones de educación superior a través de la presencia de sus páginas web, considerando que la actividad y visibilidad de las instituciones a través de la web es un buen indicador del impacto y prestigio de las universidades, y jerarquiza actualmente a 8 000 universidades sobre una base de 18 000 instituciones de educación superior de todo el mundo (Rodríguez 2006b; Ordorika et al., 2009).

Independientemente de sus objetivos y alcances, la relativa simpleza con que usualmente se interpretan los resultados de los rankings, en términos de posiciones que diferencian el prestigio y desempeño académico de las instituciones, parece brindar respuesta a las necesidades del nuevo contexto de establecer comparaciones bajo criterios de competencia en el ámbito educativo. Además, la amplia difusión que les han brindado los medios de comunicación ha permitido que éstos se constituyan, en relativamente poco tiempo, en referentes del prestigio y desempeño académico de las instituciones; no obstante, esta forma de valorar a las universidades presenta diversos problemas. Entre los principales se encuentran: a) la parcialidad de los elementos que son considerados por los rankings para jerarquizar a las instituciones y que pasa por alto el conjunto más amplio de funciones académicas que cumplen las universidades; b) el ignorar las diferentes trayectorias históricas y características tan diversas que guardan las instituciones y los recursos con que cuentan; y c) las limitaciones que presentan las metodologías que sirven de base a la jerarquización, utilizando principalmente el procedimiento de "ponderar y sumar" (Ordorika et al., 2008).

En relación con el primer aspecto, se ha señalado que los rankings que utilizan los resultados de investigación como medidas objetivas del desempeño académico, evaluados a través del número de publicaciones y citas en los índices internacionales (como el ISI Thompson o SCOPUS), además de pasar por alto muchas otras funciones de las universidades, tienden a favorecer ampliamente a las instituciones de habla inglesa y los procesos de producción y divulgación científica de las denominadas ciencias duras (cuya producción es mayoritaria en los índices de revistas más comúnmente utilizados). Por su parte, sobre los rankings que utilizan metodologías "reputacionales", se considera que tienden a reafirmar las distinciones preexistentes entre las instituciones, pues si una institución ya cuenta con cierto prestigio y reputación académica es verosímil que los pares académicos y empleadores tiendan a reconocerla como tal en las encuestas de opinión. En este sentido, se cuestionan los resultados de los rankings puesto que no son más que "profecías autoconfirmadas"⁴.

En cuanto al segundo punto, se considera que debido a que los rankings usualmente toman como referente a las universidades de investigación, sus resultados tienden a replicar elstatus quo, puesto que al ignorar las distintas tradiciones, características y recursos con que cuentan las universidades para desarrollar las actividades de investigación, los listados de posiciones reflejan las asimetrías preexistentes entre las instituciones en estos aspectos.

Respecto a las limitaciones metodológicas, conviene destacar que la jerarquización de las instituciones se basa en una selección un tanto arbitraria de indicadores, a lo que hay que añadir la falta de claridad en los criterios para asignar y ponderar los valores de cada indicador. Por otra parte, debido a que los rankings centran su atención en generar las listas de posiciones, ignoran la distribución real de las instituciones en las escalas que ellos mismos construyen, lo cual implica que las diferencias entre las instituciones pueden no ser estadísticamente significativas, por lo cual el listado de posiciones brinda una visión distorsionada de sus propios resultados.

Los problemas antes señalados advierten sobre los riesgos que entraña el hecho de que este tipo de mediciones se constituyan en referentes de la valoración social de la calidad académica de las instituciones, e incluso se constituyan en elementos para el diseño de políticas y la toma de decisiones relativas al financiamiento de las instituciones de educación superior.

En este sentido, el enfoque que sigue el ECUM difiere y se presenta como una alternativa a los rankings existentes. En principio, su objetivo no consiste en calificar a las universidades o construir ordenamientos bajo determinados supuestos sobre la calidad o el prestigio de las instituciones y sus programas, sino en brindar rubros de información proveniente de fuentes de acceso público, datos objetivos que abarquen tanto las características de las instituciones (alumnos, docentes, financiamiento, por ejemplo) como las funciones sustantivas de las actividades universitarias (docencia, investigación y difusión de la cultura). En este sentido, el ECUM privilegia la presentación de datos brutos, sin agrupaciones ni ponderaciones, que siempre terminan siendo cuestionables.

Estas características del ECUM permiten que sean los propios usuarios los responsables de establecer las comparaciones y relaciones que pudiesen existir entre los distintos rubros de información existentes, o construir indicadores a partir de sus propias necesidades y perspectivas de análisis. Asimismo, los usuarios son los responsables de adaptar sus interpretaciones a las diferentes características que guardan entre sí las universidades mexicanas.

 

Las características del ECUM y de su herramienta de exploración de datos (ExECUM)

El acceso a la página principal del ECUM se encuentra en http://www.ecum.unam.mx (véase figura 1). En ella se encuentra una explicación detallada de sus objetivos, sus principales características, la metodología utilizada para el tratamiento de la información, una guía que explica al usuario la forma de explorar la información del Estudio y la liga para acceder al explorador de datos ( ExECUM).

Al ingresar al explorador de datos, lo primero que se debe tomar en cuenta es que hay tres formas de consultar la información:

• Universidades seleccionadas:⁵ aquí se presenta la información de un conjunto de 58 instituciones (públicas y privadas) que fueron incorporadas en esta sección por ser representativas de cada sector del sistema de educación superior y tener una participación importante en los distintos rubros de información considerados en el estudio. Además, la selección de estas instituciones procuró garantizar condiciones mínimas de comparación entre éstas.

• Primeras veinte: aquí se presenta el listado de las instituciones o conjuntos institucionales⁶ que ocupan las primeras veinte posiciones en cada uno de los rubros de información que reporta el estudio. En esta selección se consideran tanto a las 58 universidades como a la mayoría de instituciones de educación superior, centros y otras organizaciones que realizan actividades de investigación en el país.

• Selección personalizada:en esta sección se dispone de información de más de 600 instituciones o conjuntos institucionales mexicanos, y el usuario puede establecer a partir de cuatro criterios de selección las instituciones que desea comparar: por tipos institucionales, por conjuntos institucionales, por sector de actividad, o bien realizar una selección individualizada a partir de un listado que aparece en orden alfabético.

Al plantearse el ECUM como un sistema dinámico que se actualiza periódicamente, otro aspecto de la consulta consiste en la selección del año que se desea consultar. Actualmente, cuenta con información para los años 2007 y 2008, y próximamente se espera incluir la información correspondiente a 2009.

En cuanto a los rubros de información sobre los cuales se desea realizar la consulta, actualmente el ECUM presenta siete grandes rubros de información:⁷

• Participación de las instituciones en documentos, artículos y citas indexados en ISI-web of Knowledge.

• Participación de las instituciones en documentos y artículos indexados en las bases de datos de revistas académicas Clase y Periódica.

• Académicos de las instituciones en el Sistema Nacional de Investigadores (SNI).

• Cuerpos académicos reconocidos en el Programa Nacional de Mejoramiento de Profesorado (PROMEP).

• Programas de posgrado reconocidos en el Padrón Nacional de Posgrados de Calidad (PNPC).

• Programas de educación superior evaluados favorablemente por los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES)

• Programas acreditados por las agencias reconocidas por el Consejo para la Acreditación de la Educación Superior (COPAES).

Tomando como referencia lo anterior, la consulta del ExECUM consiste en seguir cinco pasos para elaborar un reporte (véase figura 2):

• Selección de instituciones o conjuntos institucionales.

• Selección del año.

• Selección de los parámetros o rubros de información que se desea consultar.

• Indicar en qué orden se requiere que aparezca la información.

• Dar clic en el botón de ‘Generar reporte’.

Una vez realizados los cinco pasos, el ExECUM brinda un reporte como el que se presenta en la figura 3. Adicionalmente, los usuarios tienen la posibilidad de exportar el reporte a un formato de archivo de Excel, lo cual brinda la posibilidad de manipular la información dependiendo de sus necesidades e intereses de análisis.

 

Algunos resultados del ECUM

En un contexto donde las universidades públicas están siendo fuertemente cuestionadas, los resultados que reportó el ECUM para 2008, permitieron poner en perspectiva el relevante papel que juegan estas instituciones en la producción científica y en las actividades docentes en el contexto de la realidad nacional.

El ECUM reportó los siguientes resultados sobre las funciones de investigación:

• La investigación científica en el país se realiza fundamental, aunque no exclusivamente, en el sistema de universidades públicas. En 2008, éstas concentraron el 71% de la producción de artículos indexados en el ISI-Web of Knowledge, el 66% de los académicos incorporados al Sistema Nacional de Investigadores y el 70% de los programas de doctorado integrados al Programa Nacional de Posgrados de Calidad.

• En mayor o menor medida, prácticamente todas las instituciones de educación superior públicas participan en la investigación científica nacional.

• Las universidades privadas tienen una participación marginal, de sólo el 5% en la producción de la investigación científica nacional.

• Existe una amplia concentración de las actividades de investigación en unas cuantas instituciones. Aproximadamente el 33% del total de artículos indexados en el ISI-Web of Knowledge, el 30% del total de investigadores incorporados al SNI y el 25% del total de programas de doctorado en el PNPC, se concentran en tres instituciones: Universidad Nacional Autónoma de México, Instituto Politécnico Nacional y Universidad Autónoma Metropolitana.

• Entre 2007 y 2008, se advierte una tendencia a la desconcentración geográfica de las actividades de investigación y el aumento en la participación de estas actividades de algunos centros de investigación, tales como los Institutos Nacionales de Salud, el Centro de Investigación y de Estudios Avanzados (CINVESTAV) y los Centros de Investigación SEP-CONACYT.

En relación con los resultados sobre las funciones docentes se reportó lo siguiente:

• En los procesos de evaluación y acreditación de programas docentes (PNPC, CIEES, COPAES) participan casi todas las universidades (públicas y privadas). Aunque este resultado parecería indicar la consolidación de estos procesos, todavía se perciben amplias disparidades entre las instituciones.

• También se percibe una alta concentración en los resultados de los procesos de evaluación y acreditación. De las 58 universidades que sirven de base al ECUM, sólo 35 cuentan con doctorados registrados en el PNPC (30 son públicas y 5 privadas) y concentran el 73% del total de programas de doctorado reconocidos por éste.

• En las evaluaciones de los CIEES, la amplia mayoría de los programas de licenciatura y posgrado mejor evaluados se encuentran en las universidades públicas. Además, sólo cuatro instituciones (Universidad Autónoma de Nuevo León, Universidad de Guadalajara, Universidad Veracruzana y la Universidad Autónoma del Estado de México) concentran cerca del 30% de los programas mejor evaluados que, en conjunto, tienen las 58 universidades seleccionadas.

• En los procesos de acreditación de programas realizados por el COPAES, se percibe una mayor participación de las instituciones privadas, que contrasta con la baja participación que tienen en las evaluaciones que realizan los CIEES. En este rubro también se aprecia una amplia concentración de los resultados, pues sólo cuatro instituciones (Instituto Tecnológico y de Estudios Superiores de Monterrey, Universidad de Guadalajara, Universidad Nacional Autónoma de México e Instituto Politécnico Nacional) concentran poco más del 30% de los programas acreditados que en conjunto tienen las 58 universidades seleccionadas.

De acuerdo con su enfoque, los resultados que inicialmente presenta el ECUM permiten conocer, en una perspectiva comparada, ciertas características de las instituciones de educación superior, así como su desempeño en algunas de sus funciones principales. Ello, sin duda, ofrece elementos de contraste para que las instituciones identifiquen su situación en el contexto universitario y pongan en marcha políticas institucionales y estrategias para mejorar sus resultados. Aun cuando falta por avanzar, se ha previsto —ya la incorporación de nuevos rubros de datos—, el enfoque al que se ciñe el ECUM parece ser el más adecuado para brindar una visión integral de la realidad universitaria, antes que juzgar a las instituciones sobre una selección parcial de indicadores. No obstante, sobre los alcances y limitaciones que pueda presentar el ECUM, los usuarios tendrán la última palabra.

 

Referencias

Ordorika Sacristán, Imanol; Roberto Rodríguez Gómez; Armando Alcántara Santuario; Alejandro Canales Sánchez; Pilar López Martínez; Francisco Javier Lozano Espinosa; Alejandro Márquez Jiménez y Jorge Martínez Stack (2008), Comentarios al Academic Ranking of World Universities 2008, Cuadernos de Trabajo de la Dirección General de Evaluación Institucional, año1, núm. 1, México, DGEI-UNAM, [http://www.dgei.unam.mx/cuaderno2.pdf], consultado: 20/11/09.         [ Links ]

Ordorika Sacristán, Imanol; Roberto Rodríguez Gómez; Francisco Javier Lozano Espinosa; Alejandro Márquez Jiménez (2009), Desempeño de universidades mexicanas en la función de investigación: estudio comparativo, Cuadernos de Trabajo de la Dirección General de Evaluación Institucional, año1, núm. 2, DGEI-UNAM, México, [http://www.dgei.unam.mx/cuaderno2.pdf], consultado: 20/11/09.         [ Links ]

Rodríguez Gómez, Roberto (2006a), "Rankings universitarios ¿un oscuro objeto de deseo? Segunda parte", en Suplemento Campus del Diario Milenio, núm. 202, 23 de noviembre 2006, México, Milenio, [http://rodriguez.blogsome.com/campus-202/], consultado: 05/04/10.         [ Links ]

Rodríguez Gómez, Roberto (2006b), "Rankings universitarios ¿un oscuro objeto de deseo? Tercera parte", en Suplemento Campus del Diario Milenio, núm. 203, 30 de noviembre 2006, [http://rodriguez.blogsome.com/campus-203/], consultado: 05/04/10.         [ Links ]

 

Notas

* Para la elaboración de este documento se consultaron y retomaron diversos materiales elaborados por el personal de la DGEI de la UNAM, sin embargo, la responsabilidad del presente texto recae exclusivamente en quien lo suscribe.

¹ El ARWU es realizado desde 2003 por la Universidad de Jiao Tong Shangai.

² El ranking THE se realiza desde 2004, inicialmente fue publicado por el periódico Times de Londres y apoyado para su realización por la transnacional QS Ltd.

³ El Webometric también apareció en 2004 y es realizado para Cybermetrics Lab (CCHS), un grupo de investigación perteneciente al Consejo Superior de Investigaciones Científicas (CSIC) de España.

⁴ Para una visión más amplias de estos cuestionamientos se recomienda consultar a Ordorika et al., 2008.

⁵ En el anexo 1 se presenta el listado completo de las universidades incluidas en esta selección.

⁶ Los conjuntos institucionales se refieren a instancias educativas o de investigación que están agrupadas bajo una sola identidad institucional, es el caso de los Centros Nacionales de Salud o los Centros de Investigación SEP-CONACYT, por ejemplo.

⁷ Los procedimientos metodológicos que fueron utilizados para la obtención de la información también pueden consultarse en la página electrónica del ECUM. A estos rubros se añaden los correspondientes a matrícula, planta académica y financiamiento (subsidio), actualmente estos rubros de información sólo están disponibles para la selección de 58 universidades en el ciclo escolar 2006-2007, pero se está trabajando para obtener la información actualizada.