Introducción

El objetivo del artículo es analizar el Programa de Carrera Docente en Universidades Públicas Estatales (UPES) en lo relativo a su composición general, las tareas académicas y productos de investigación que evalúa, así como la lógica de valoración y ponderación con la que opera, con la finalidad de conocer su funcionamiento integral. Se analiza a partir de su operación en nueve universidades a partir de sus respectivos reglamentos y documentos anexos más recientes, con precisiones sobre los mecanismos de evaluación. El análisis no tiene por objetivo conocer el impacto o incidencia del programa, sino comprender su funcionamiento y la lógica de evaluación académica que promueve.

El escrito se estructura de la siguiente forma: en el segundo apartado se detallan los nueve casos y la documentación analizados, así como los abordajes de estudio; en el tercer apartado se muestran los resultados del análisis, con énfasis en dos aspectos: la composición integral del programa y la especificidad y ponderación de los productos de investigación que se consideran. En el cuarto apartado se articula la lógica de evaluación académica del programa con un contexto generalizado de performatividad académica que reitera conceptos como "excelencia", "calidad" e "internacionalización", principalmente observables desde el tipo de productos de investigación evaluados y, por ende, promovidos entre las diferentes comunidades académicas. Finalmente, en el quinto apartado se expone una serie de reflexiones finales, no exhaustivas, a modo de conclusión.

El Programa de Carrera Docente en UPES es un instrumento de evaluación académica promovido por el gobierno federal de México a partir de la Secretaría de Hacienda y Crédito Público y la Secretaría de Educación Pública (SEP); está dirigido a las UPES y es operado por ellas, las cuales emiten reglamentos internos en apego a los lineamientos gubernamentales generales. El programa se dirige exclusivamente a 35 UPES (^{SEP, 2020}) y tiene su origen en 1990 con la creación del Programa Nacional de Becas al Desempeño Académico como estrategia derivada del Programa Nacional para la Modernización Educativa establecido por el Gobierno de México (periodo salinista, 1988-1994) a partir de la SEP. En 1994 el Programa Nacional de Becas al Desempeño Académico transitó al Programa de Estímulos al Desempeño del Personal Docente (ESDEPED) (^{Covarrubias-Papahiu, 2017}). Finalmente, en 2015 el ESDEPED se convertiría en el actual Programa de Carrera Docente en UPES (^{SEP, 2015}; ^{SEP, 2014}).

El programa está dirigido a profesores de tiempo completo (PTC) con perfil deseable, un reconocimiento gubernamental que otorga la SEP mediante el Programa para el Desarrollo Profesional Docente (PRODEP). En 2019 el Programa de Carrera Docente en UPES documentó un total de 33 mil 562 PTC adscritos a las UPES participantes, de los cuales 20 mil 858 contaban con perfil deseable; 8 mil 747 de ellos solicitaron participar en el programa y el total de beneficiados fue de 3 mil 791 PTC (^{SEP, 2019a}). Es decir, el alcance del programa puede establecerse en los siguientes términos: la cobertura real es de 3 mil 791 académicos, 18.2 por ciento con perfil deseable en 2019 y 11.3 por ciento del total de PTC; mientras que la cobertura o población potencial son 20 mil 858 académicos. Este aspecto denota la relevancia de analizar este instrumento de evaluación de alcance nacional y transversal a las UPES, y esboza una primera línea sobre la racionalidad exclusiva y jerárquica que lo caracteriza.

En la actualidad, el programa establece como objetivo

...transformar la educación superior para alcanzar la excelencia educativa, fomentando a través de la entrega de estímulos económicos un mayor involucramiento de las plantas académicas, una mayor y mejor atención docente, mejores trayectorias escolares y un mayor bienestar de los estudiantes (^{SEP, 2020: 4}).

Y en específico, el programa establece tres líneas de acción:

...promover una mayor dedicación a la docencia en licenciatura... mejorar las trayectorias escolares de los estudiantes... y aumentar significativamente la eficiencia terminal de los programas educativos de licenciatura... (^{SEP, 2020: 4}).

Estas áreas de incidencia establecidas por el programa se acompañan de una conceptualización de categorías que los académicos y las UPES deben cumplir para ser beneficiados. En el caso de la reglamentación de 2020, los requisitos de participación para los académicos son contar con perfil deseable y haber impartido diez horas semanales-mensuales de docencia. Por su parte, entre 2019 y 2016 se establecieron como criterios de asignación de recursos económicos a las UPE la cantidad de PTC en el Sistema Nacional de Investigadores (SNI) y de publicaciones en revistas indizadas en Scopus. Asimismo, entre 2019 y 2016 se solicitaba a los académicos cumplir con cinco de diez requisitos como haber publicado en revistas que formen parte de las bases Scopus, Journal Citations Report (JCR) o evaluables con factor de impacto (FI); haber desempeñado acciones internacionales como estudiar en el extranjero o impartir docencia en el extranjero; haber participado en programas educativos con acreditación internacional; o haber participado en programas de posgrado reconocidos en el Padrón Nacional de Posgrados de Calidad del Consejo Nacional de Ciencia y Tecnología (CONACyT) (^{Subsecretaría de Educación Superior, 2019}; ²⁰¹⁸; ²⁰¹⁷; ²⁰¹⁶).

La transformación de la educación superior que persigue el Programa de Carrera Docente en UPES no está exenta de las tensiones y dispersiones conceptuales y metodológicas que caracterizan a la evaluación académica (^{Lastra y Comas, 2014}). En cada uno de los diferentes instrumentos de evaluación académica que operan en México, y en general en América Latina, se observa una racionalidad específica de lo que se considera deseable entre las comunidades académicas; y por su parte, las comunidades académicas adecuan sus actividades para responder a estos instrumentos. De forma general, los instrumentos de evaluación académica en la actualidad se caracterizan por operar a partir de mecanismos como a) una auditoría o vigilancia de los resultados del trabajo académico; b) una reorientación administrativa de las instituciones de educación superior, incluidas las UPES, hacia una lógica de eficiencia; y c) una asignación de recursos económicos extraordinarios al margen del salario con base en un reconocimiento diferenciado del trabajo académico mediante indicadores de productividad (^{Sánchez et al., 2013}).

Las transformaciones del objetivo, parámetros de medición y requisitos de participación del Programa de Carrera Docente en UPES son aspectos que dan cuenta de la trascendencia y complejidad que encierra por tratarse de un dispositivo de evaluación que opera de forma transversal a 35 instituciones de educación superior, con lineamientos estructurales centralizados, pero instrumentalizado por las UPES a partir de reglamentos específicos. El análisis del funcionamiento integral de este instrumento de evaluación se orienta conceptualmente desde las categorías "dispositivo" y "performatividad", las cuales pueden sintetizarse, en términos generales, como un conjunto de discursos y patrones de conducta que pueden establecerse o no en códigos y reglas formales y escritas (tecnologías, dispositivos), con la finalidad de establecer una racionalidad última, con base en la prescripción y reiteración de prácticas de forma positiva y voluntaria (^{Agamben, 2011}; ^{Ramos-Zincke, 2018}; ^{Ball, 1995}).

Universo de estudio y metodología

El universo de estudio lo constituyen los reglamentos del Programa de Carrera Docente en UPES de nueve universidades públicas estatales mexicanas; se descartaron 25 casos que no contaban con un tabulador con valores explícitos de los rubros, subrubros y productos de investigación que consideran en la evaluación, o en los cuales dicha información no pudo ser encontrada en los sitios web oficiales de cada universidad; de igual forma no se incluyó a la Universidad Autónoma de Occidente por tratarse de un caso reciente de inclusión al programa y no contar con información disponible en el momento de la recolección de la información (julio de 2020). Los casos analizados son:

En conjunto, los nueve casos de estudio representan 41.7 por ciento de los académicos beneficiados con el Programa de Carrera Docente en UPES. A su vez, de acuerdo con el Explorador del Estudio Comparativo de Universidades Mexicanas (ExECUM), en conjunto representan 36.0 por ciento del personal docente de todas las UPES (33 mil 832 académicos de 93 mil 948) y 40.3 por ciento del total de académicos que pertenecen al SNI (4 mil 196 académicos de 10 mil 419) (^{UNAM-ExECUM, 2021}), aspectos que hablan de la significatividad del universo de estudio en el contexto académico nacional. Los reglamentos y documentos anexos más recientes con precisiones sobre la evaluación fueron obtenidos de los sitios web de cada una de las universidades. Por su parte, el análisis de los programas se condujo en las siguientes direcciones:

1. Con la finalidad de realizar un análisis comparativo de la composición integral del programa se estableció un esquema de análisis común a los nueve casos de estudio en el que se distinguen tres niveles de evaluación en sus reglamentos:

• a) El primero corresponde al nivel más general y se compone de tres rubros: i) la impartición o dedicación a la docencia; ii) la antigüedad o permanencia en la participación en actividades académicas; y iii) la calidad en el desempeño académico. Los rubros tienen intervalos definidos de puntaje y en conjunto suman mil puntos, que es el puntaje máximo que el programa establece como tope en la evaluación. El análisis se centró en el tercer rubro, dado que es el que incluye las actividades de interés para el estudio.

• b) El segundo nivel corresponde a los subrubros, los cuales también cuentan con intervalos de puntaje definidos. El análisis se dirigió a los subrubros que constituyen el rubro de calidad en el desempeño académico: i) investigación (denominado también generación y aplicación del conocimiento); ii) docencia; iii) gestión académica y participación en cuerpos colegiados; iv) tutoría a estudiantes; y, v) en un caso (Universidad Autónoma del Estado de México), a experiencia y desarrollo profesional.

• c) El tercer nivel corresponde a los productos de investigación considerados en cada reglamento. En este mismo nivel se ubica la pertenencia al SNI cuando corresponde en cada caso.

2. Con el objetivo de realizar un análisis comparativo de la valoración de los diferentes productos de investigación en los nueve casos de estudio, se establecieron seis productos de investigación comunes: artículo científico, libro científico, capítulo de libro científico, conferencia, proyecto de investigación y memoria. Por su parte, los productos que no tuvieron cabida en dicha categorización se consideraron en la categoría "otros productos". En cada uno de los seis productos de investigación seleccionados es posible identificar diferentes categorías o tipos, principalmente relacionados a su alcance institucional o local; o bien, nacional o internacional. En los reglamentos que especifican estas características, fueron distinguidas en el análisis. Asimismo, en el caso de algunos productos se realizan diferenciaciones según la indización de la revista o la casa editorial; este aspecto fue considerado también en el análisis.

3. El conteo del puntaje de los productos de investigación se realizó de dos formas:

• a) con la finalidad de proyectar el peso máximo que los productos de investigación podrían alcanzar si fuera posible realizar todos y en la cantidad máxima permitida, se consideró el puntaje resultante de la cantidad máxima de productos permitidos por cada reglamento; dado que éste podría no coincidir con el puntaje límite establecido en el subrubro de investigación, se estableció una regla de equivalencia. Por ejemplo, en un programa que estableciera como límite dos artículos científicos internacionales (con valor individual de 40 puntos), dos nacionales (con valor individual de 20 puntos) y dos institucionales (con valor individual de 10 puntos), el puntaje máximo considerado para el análisis sería de 140 puntos para la categoría de artículo científico en su conjunto. A su vez, si el puntaje máximo establecido del subrubro de investigación fuera de 200 puntos, los 140 puntos de los artículos científicos, según su equivalencia, representarían porcentualmente un 2.8 por ciento: 140 puntos x 20 (peso porcentual del subrubro de investigación en la estructura general del programa) / 1000 (puntaje máximo permitido del programa; o bien, un puntaje diferente resultante de la suma de todos los puntajes máximos posibles de los productos de investigación.

  Si bien este enfoque de análisis no necesariamente tiene una equivalencia real en términos de lo que en efecto permite el programa en cada una de las UPES, sí permite proyectar qué peso se le asignaría a cada producto de investigación en un estado hipotético de productividad ideal. En aquellos programas que no especifican las cantidades máximas admisibles de productos de investigación se consideró apenas un caso de cada producto.

• b) Con la finalidad de distinguir el peso posible y real de cada producto de investigación en el reglamento de cada una de las UPES, se consideró el puntaje individual de cada producto. Desde este enfoque es posible identificar, por ejemplo, cuántos y cuáles productos de investigación permitirían alcanzar el puntaje máximo permitido en el subrubro de investigación.

4. El análisis de puntajes se realizó considerando el valor asignable a los académicos de la categoría más alta. Es decir, en aquellos casos donde los programas de evaluación realizan diferencias según la categoría de los académicos se consideró la más alta en cada caso de estudio, es decir, la de PTC o similares.

Resultados

En la distribución más general del programa en los nueve reglamentos se observa una designación relativamente similar en el peso que tiene el rubro de calidad del desempeño: este valor oscila entre 60 y 70 por ciento (el último es el porcentaje más recurrido, con cinco universidades). Por otro lado, la dedicación a la docencia es el segundo rubro mejor valorado, ya que representa entre 20 y 30 por ciento del puntaje total obtenible en los diferentes programas, mientras que el valor asignado a la antigüedad permanece invariable en los nueve casos de estudio con 10 por ciento del puntaje total. Los cambios significativos entre las diferentes estructuraciones del instrumento de evaluación tienen lugar en el nivel de los subrubros, donde se observa una valoración disímil de las diferentes actividades que constituyen el subrubro de calidad en el desempeño académico. Una nota que cabe destacar antes de detallar el análisis es la diferencia entre el rubro dedicación a la docencia y el subrubro docencia: el primero hace referencia a las actividades de enseñanza frente a grupo, mientras que el segundo se refiere a la generación de materiales de apoyo a la docencia, como son materiales didácticos o guías de apoyo al estudiante, o bien, evaluación del desempeño docente por parte de los estudiantes.

Resalta que el subrubro de docencia es el mejor valorado en siete de los nueve programas analizados, en los que adquiere un peso relativo de entre 19 y 31.1 por ciento en el total del puntaje; una excepción al respecto son la Universidad de Guadalajara, donde el aspecto mejor valorado es la gestión académica, y la Universidad Veracruzana, la cual valora primordialmente actividades de publicación científica.y Por su parte, en la mayoría de los programas el subrubro de investigación adquiere un valor de entre 13 y 20 por ciento, con excepción de la Universidad Veracruzana, que le asigna 36 por ciento. La importancia de la generación de materiales de docencia en la mayoría de los programas es un aspecto que da cuenta de la orientación de este instrumento de evaluación, primordialmente enfocado a fortalecer la enseñanza. Otra perspectiva desde la cual se puede dimensionar la alta valoración del subrubro docencia respecto del subrubro investigación es: si un académico generase todos los productos posibles en las cantidades máximas establecidas, obtendría un mayor beneficio de la generación de materiales de apoyo al estudiante que de la publicación de productos derivados de investigación. En el primer caso podría cubrir hasta 31.1 por ciento del puntaje total de los programas, y en el segundo apenas 20 por ciento.

La generación de materiales de docencia es el aspecto mejor valorado por la mayoría de las UPES; pese a ello, es posible identificar que la valoración de las diferentes actividades académicas se estructura de forma diferente en cada uno de los casos; incluso, hay ejemplos dispares, como los siguientes: mientras que la Universidad Autónoma del Estado de México muestra un relativo equilibrio entre los cinco subrubros que considera, las actividades derivadas de la docencia son las mejor valoradas con un valor máximo de 19 por ciento, y el aspecto menos valorado es la gestión académica, la cual puede representar sólo 7 por ciento; la Universidad de Sonora muestra una distribución diferente y relativamente más polarizada: las actividades derivadas de la docencia son las mejor valoradas, con 30 por ciento, mientras que el aspecto menos valorado es participación en cuerpos colegiados y gestión académica, con 8 por ciento (Fig. 1).

Fuente: elaboración propia a partir de los reglamentos y documentos más recientes del programa en cada una de las UPES.

Figura 1 Composición integral del Programa de Carrera Docente en UPES, nueve casos de estudio 

Otra diferencia significativa entre los instrumentos institucionales de evaluación académica se encuentra en el tercer nivel de análisis, que es el que hace referencia a los productos de investigación. El artículo científico es el producto mejor valorado en cuatro universidades (Querétaro, Yucatán, Colima y Universidad Veracruzana); en tres casos el producto más valorado es el libro (Aguascalientes, Estado de México y Guadalajara), y en dos casos el producto mejor valorado es el proyecto de investigación (Guanajuato y Sonora). En contraste con la valoración de libros y artículos, aquellos derivados de presentaciones, como conferencias y memorias, tienen un valor menor, así como el capítulo de libro: la memoria es el producto menos valorado en cinco casos (Estado de México, Colima, Guadalajara, Sonora y Universidad Veracruzana), el capítulo de libro es el menos valorado en dos (Querétaro y Universidad Veracruzana), y la conferencia es el menos valorado en dos (Aguascalientes, Guanajuato).

En una proyección (hipotética) en que un académico realizara todos los productos de investigación posibles y en la mayor cantidad admitida en cada UPE, éstos se valorarían de diferente forma por cada una de las universidades, lo que permite hablar del efecto performativo de cada uno de los esquemas de evaluación. Por ejemplo, en contraste con las universidades de Aguascalientes, Estado de México y Guadalajara, en las que el libro es el producto mejor valorado (con 3.8, 1 y 2.1 por ciento respectivamente del valor total del programa), existen casos como las universidades de Guanajuato y Sonora donde éste no es considerado en sus esquemas de evaluación académica. Asimismo, el capítulo de libro no es reconocido por las universidades de Guadalajara, Guanajuato y Sonora. Lo anterior conduce a cuestionar en qué medida esto constituye un mecanismo que inhibe tanto la publicación de libros como la participación en libros colectivos a partir de la publicación de capítulos, formatos centrales de comunicación y debate en áreas como las ciencias sociales y las humanidades.

En otra arista, cabe señalar el carácter circular o complementario de los instrumentos de evaluación académica promovidos por el gobierno federal: cuatro universidades (Aguascalientes, Guadalajara, Guanajuato y Sonora) consideran entre sus criterios de evaluación la pertenencia al SNI y su peso equivale, por ejemplo, al puntaje que un académico podría recibir en el concepto de participación en proyectos de investigación (Estado de México) o en la publicación de artículos científicos (Guadalajara). Llama la atención la inclusión de la pertenencia al SNI como criterio de evaluación en la medida en que, al considerarlo, las UPES lo legitiman como instrumento de evaluación de calidad y con ello orientan a los académicos a formar parte de éste.

Por su parte, aunque apenas es un caso entre los nueve estudiados, destaca que la Universidad Veracruzana no considera entre sus criterios de evaluación los proyectos de investigación, sino que se enfoca a considerar los productos derivados de ésta; es decir, a un académico adscrito a la Universidad Veracruzana no se le reconoce -y por ende, no se promueve- la participación en proyectos de investigación de diversa escala y alcance, sino que sólo se reconocen los productos de investigación que genere. Ello conduce a cuestionar cuántos productos de investigación de entre los admisibles puede generar un académico de esta universidad y, en general, de los nueve casos analizados, si se considera que -con excepción de la universidad mexiquense- la vigencia de este programa es de un año, aspecto que denota la orientación hacia resultados (no procesos) cuantificables y con una alta exigencia en términos del tiempo que las universidades asignan al Programa de Carrera Docente en UPES (Fig. 1). Cabe destacar que, en algunos casos, como el de la Universidad Autónoma del Estado de México, algunos productos, como los artículos científicos, se consideran en la evaluación hasta por dos años consecutivos después de su publicación, lo que reduce relativamente la presión por contar con productos de investigación.

Hasta ahora, el análisis de los productos de investigación se ha orientado a proyectar su peso según su máxima valoración y cantidad; esta perspectiva se completa al tomar en cuenta también la especificidad de los productos y su peso real aplicable. Un primer aspecto que se identificó en algunos instrumentos es la clasificación de los artículos científicos según su alcance: local (o regional), nacional o internacional. Asimismo, otras universidades realizan diferenciaciones de artículos con base en la indización de las revistas donde se publicaron, mientras que algunas distinguen entre revistas no arbitradas, arbitradas e indexadas; y revistas arbitradas, pero no indexadas. Una universidad (Colima) cataloga los artículos en función del FI de la revista. Los detalles de esta diversidad de clasificaciones de los artículos científicos se exponen a continuación y se representan gráficamente en la Fig. 2.

Fuente: elaboración propia a partir de los reglamentos y documentos más recientes del programa en cada una de las UPES.

Figura 2 Valoración de los productos de investigación del Programa de Carrera Docente en UPES, nueve casos aplicados 

En cinco de los nueve casos analizados se prioriza la publicación de artículos en revistas según su indización en bases de datos comerciales: Aguascalientes, Yucatán, Estado de México, Colima y Universidad Veracruzana. En estos casos, los grupos editoriales que se consideran en la evaluación son Clarivate Analytics y Elsevier a partir de diferentes bases de datos gestionados por ellos, algunos referidos con nombres en desuso; en cualquier caso, las bases de datos para evaluación son Science Citation Index, Scopus, Journal Citation Reports (JCR), ISI y Web of Science. De igual forma, tres universidades priorizan la publicación de artículos científicos en revistas reconocidas por el CONACyT: Yucatán, Estado de México y Universidad Veracruzana. Al respecto, cabe retomar la forma en que el CONACyT evalúa y categoriza a las revistas científicas desde el instrumento que promueve y cómo éste se articula con los grupos editoriales comerciales que se usan como referencia para evaluación en las UPES.

Inicialmente, el instrumento de evaluación de revistas científicas del CONACyT era el "Padrón de revistas CONACyT", el cual, hasta 2006, tenía una orientación de tipo cualitativo y consideraba aspectos como la naturaleza de los contenidos publicados, el arbitraje que realizaban (comité editorial, cartera de árbitros, calidad del arbitraje), los procesos de edición y distribución (antigüedad, periodicidad, distribución en Internet), así como aspectos formales, por ejemplo, el registro en índices o resúmenes internacionales relevantes en la especialidad de la revista (^{CONACyT, 2006}). Los criterios de evaluación de las revistas en el padrón CONACyT fueron modificados en 2014, cuando se añadió la exigencia de "proporcionar información generada por el Journal Citation Report, Google Scholar Metrics, SciELO Citation Index" como requisito opcional a "proporcionar un análisis donde conste el número de visitas al sitio y países de origen, número de accesos y descargas a texto completo de los artículos publicados, así como el número de citas por artículo y autor" para que las revistas pudieran acreditar difusión y visibilidad (^{CONACyT, 2014: s/p}).

Un segundo momento de cambio, y más profundo aún, se dio en 2016, cuando el padrón se transformó en el Sistema de Clasificación de Revistas Mexicanas de Ciencia y Tecnología (CRMCyT). Con este cambio, realizado bajo la responsabilidad del Grupo SCImago, se estableció una escala de valoración que clasifica a las revistas en ocho grupos, de manera que los cuatro más altos corresponden a las revistas indizadas por Scopus y por Web of Science (ahora Clarivate Analytics), las cuales se estructuran jerárquicamente según su ubicación en los cuartiles que tales bases de datos les asignen con base en su FI y SCImago Journal Rank (^{CONACyT, 2016}). Por su parte, las revistas de los cuatro grupos calificados en las categorías bajas se evalúan con base en criterios como el nivel de citación (de nueva cuenta, con base en Scopus, WoS y Google Scholar) o visibilidad internacional (por ejemplo, indización de la revista en SciELO Citation Index, a su vez, el primer sistema regional de Clarivate Analytics), y establece los siguientes grupos: competencia internacional, competencia nacional, en proceso de consolidación y en desarrollo. Tal sistema de evaluación es vigente hasta la actualidad, dado que, hasta marzo de 2021, en el sitio web del Sistema CRMCyT del CONACyT, la última edición disponible del manual de evaluación es la de 2019 (^{CONACyT, 2019}; ²⁰²¹).

Con lo anterior se busca mostrar, desde otra arista, la circularidad o complementariedad de los instrumentos de evaluación promovidos institucionalmente, los cuales parten de una racionalidad orientada a resultados, cuantitativa, jerárquica y referida a universos específicos de información a partir de los cuales se establece un mapa o configuración específica del ámbito académico. La articulación entre los instrumentos de evaluación de las UPES con el SNI y con las revistas científicas por parte del Sistema CRMCyT del CONACyT es ilustrativo. Respecto al instrumento de evaluación a las UPES cabe resaltar que apenas una universidad (Yucatán) considera a las bases regionales como referente en la evaluación (Latindex y la Red de Revistas Científicas de América Latina y el Caribe, España y Portugal, Redalyc), y les asigna un puntaje menor (70 puntos) respecto al asignado a las publicaciones en revistas Scopus y CONACyT (80 puntos), o JCR-Clarivate Analytics (110 puntos). Por su parte, en los casos de universidades que distinguen entre publicación local, nacional e internacional de los artículos científicos no se establecen los criterios para diferenciar los tres tipos de alcance.

La evaluación diferenciada con base en universos editoriales específicos implica una valoración diferenciada del trabajo intelectual y académico. Tómese como ejemplo el instrumento de evaluación de la Universidad Autónoma de Aguascalientes: la publicación de un artículo científico en una revista con presencia en el Science Citation Index o Scopus (según lo referencia el reglamento) o en una revista nacional (sin una especificación clara de revista nacional por parte del reglamento del programa, considérese una revista mexicana no indizada en el mainstream) establece una relación 3 a 1, dado que la publicación de un artículo del primer tipo tiene un valor de 30 puntos, y una del segundo tipo tiene un valor de 10 puntos. En el caso de la Universidad Autónoma de Yucatán, la relación entre un artículo en una revista JCR o Clarivate Analytics (según lo refiere el programa) y uno publicado en una revista Latindex o Redalyc es de 1 a 0.6 (110 puntos versus 70, respectivamente). En el caso de la Universidad Autónoma del Estado de México la relación entre un artículo publicado en una revista Scopus o CONACyT y uno publicado en una revista no indexada (el reglamento la define como una revista no reconocida por CONACyT, ISI Thomson Reuters, SciELO; e-Revist@s, Scopus, Science Citations Index-Expanded -SCIE- y en el Social Science Citation Index -SSCI-) es de 3 a 1 (70 puntos versus 25, respectivamente). Finalmente, enelcaso de la Universidad Veracruzana la relación entre un artículo publicado en revistas ISI y WoS y uno publicado en una revista arbitrada (es decir, que no tiene presencia en ISI, WoS o el Índice CONACyT, según lo refiere el reglamento) es de 3 a 1 (60 puntos versus 20, respectivamente).

La valoración diferenciada del trabajo intelectual y académico que implica la evaluación con base en universos editoriales específicos puede apreciarse desde otra arista: en el caso de la Universidad Autónoma de Aguascalientes un académico podría publicar 5.3 artículos en el Science Citation Index o Scopus para cubrir el total de 160 puntos de valor del subrubro de investigación; por el contrario, serían necesarios 16 artículos nacionales u 8 internacionales (tampoco hay una especificación clara de revista internacional por parte del reglamento del programa) para cumplir dicho puntaje. Asimismo, en la Universidad Autónoma del Estado de México serían necesarios 1.8 artículos en Scopus o CONACyT para alcanzar el puntaje máximo de 130 puntos en el subrubro de investigación, mientras que serían necesarios 5.2 artículos publicados fuera de estos circuitos para cubrir el mismo puntaje. De esta forma, cuando se habla de evaluación diferenciada se hace referencia, en última instancia, a diferentes asignaciones de valor aun mismo producto, el artículo científico, a partir de la diferenciación de universos editoriales, de índices, y no a partir de las características intrínsecas del trabajo académico e intelectual (Fig. 2).

El caso de la Universidad de Colima resulta peculiar en esta orientación de la evaluación al trabajo académico, ya que, al evaluar a los artículos científicos con base en el FI de la revista de publicación, relega a la categoría de menor de puntaje a aquellos artículos publicados fuera de los universos de información que calculan esta métrica, en específico, del JCR. Así, por ejemplo, un artículo publicado en una revista con FI menor a 0.5 (o también, por ejemplo, una revista sin FI) tiene un valor de 10 puntos, mientras que el valor de un artículo con FI igual o superior a 3.0 quintuplica su valor (50 puntos). Así, en este instrumento de evaluación sería suficiente publicar 3.6 artículos de FI 3.0 o superior para cubrir los 160 puntos del subrubro de investigación, en contraste con los 18 artículos de FI igual o inferior a 0.5 que serían necesarios para cubrir el mismo puntaje. Así, cabría preguntar, ¿cuántas revistas del área de ciencias sociales están incluidas en los universos de información como el JCR que generan métricas de citación (FI)? ¿Cuántas de éstas tienen un FI igual o superior a 3.0? De acuerdo con la edición 2020 del JCR, apenas 527 revistas de entre las 3 mil 492 de ciencias sociales con presencia en este conjunto de datos cuenta con un FI igual o superior a 3.0; esto representa el 15.1 por ciento de las revistas de ciencias sociales. A su vez, 98.5 por ciento de las revistas con FI igual o superior a 3.0 pertenece a Europa Occidental (45.9 por ciento) y a América del Norte (Estados Unidos y Canadá, 52.6 por ciento). Es decir, para que un académico de la Universidad de Colima pueda cubrir el puntaje de investigación publicando en las revistas mejor valoradas, tendría que hacerlo en una revista del Norte global, específicamente de Europa Occidental o Norteamérica, con las implicaciones en términos lingüísticos (idioma inglés), de agenda de investigación (temas de interés para tales revistas, posiblemente alejándose de la relevancia local al contexto del investigador y de su universidad) y de costos económicos (actualmente las revistas de dichas regiones se caracterizan por tener un modelo de negocio basado en el pago por publicación o procesamiento -article processing charge o APC).

De igual forma, el instrumento de evaluación de la Universidad de Colima tiene la particularidad de establecer parámetros diferenciados de FI por áreas de conocimiento (en el análisis fueron considerados los propios del área de ciencias sociales). El rango de FI de esta área supera el de ciencias naturales y exactas, que tradicionalmente tienen valores superiores. Esto resulta contradictorio a lo que se observa en el propio referente de evaluación que considera la Universidad de Colima: en el JCR en su edición 2020 se identifica que en las revistas de ciencias sociales los grupos más poblados son los que tienen un FI de entre 0 y menor a 2.0 (66.8 por ciento de las revistas se ubica aquí). Por su parte, en las revistas de ciencias naturales y exactas se observa una mejor valoración en términos de FI, dado que los grupos según este parámetro muestran una distribución más equilibrada, como se observa en la Tabla 1.

Finalmente, resulta de igual forma interesante para el análisis la valoración que hacen los instrumentos de evaluación de las UPES de los instrumentos de propiedad intelectual. Ocho de los nueve casos estudiados consideran entre los productos de investigación instrumentos de propiedad intelectual como patentes y registros de derechos de autor. En todos los casos, éstos forman parte de los productos mejor valorados, como es el caso del programa de la Universidad Autónoma de Yucatán, donde después del libro (280 puntos), la patente es el segundo producto mejor valorado (150 puntos), dado que con un registro se cubriría 75 por ciento del puntaje máximo del subrubro de investigación. El mismo caso se presenta para el Estado de México, Guadalajara y Guanajuato. Este último muestra un comportamiento peculiar, ya que con una patente podría cubrirse la totalidad del puntaje del subrubro de investigación. Incluso, dicho programa de evaluación valora de una mejor forma las transferencias a la industria de propiedad intelectual de tecnología desarrollada, y su puntaje (220) supera el total que considera el subrubro de investigación (200).

Discusión

La evaluación académica en la actualidad responde de forma general a una lógica orientada a resultados, principalmente cuantificables, en las diferentes áreas del trabajo académico: docencia, investigación, gestión, divulgación, tutoría y formación de egresados de nivel superior. Asimismo, la evaluación académica actual opera a partir de un sistema de estímulos económicos condicionados a la productividad, es decir, un sistema meritocrático de valorización del trabajo académico (^{Arcos et al., 2013}). La productividad, es decir, la capacidad de generar productos observables y cuantificables en el lapso establecido por los programas de evaluación académica constituye una cualidad central (rentable) para hacer frente a esta lógica de evaluación (^{Vera, 2018}). Se trata de una racionalidad de orientación y valorización del ámbito académico que opera en América Latina, incluido México, desde la década de los ochenta y los noventa. Opera a partir de instrumentos y ritmos propios en cada país de la región y ha tomado como pilares conceptuales la calidad, la excelencia y la internacionalización, los cuales se han institucionalizado en diferentes direcciones (mejorar prácticas estandarizadas por medio de la competencia, la certificación de procesos y el otorgamiento de incentivos; contar con insumos de información para financiamientos, entre otros) y actúa sobre distintas aristas (estudiantes, instituciones, revistas, gobiernos, académicos, políticas públicas); así mismo, se desenvuelve en una articulación entre los ámbitos nacionales e internacional, principalmente desde una perspectiva cuantitativa de evaluación (^{Tiana, 2009}; ^{Vera, 2017}).

La búsqueda de excelencia, calidad e internacionalización se ha instrumentalizado a partir de diferentes herramientas, tanto de evaluación académica al desempeño académico como de jerarquización de los actores que se desempeñan en el ámbito académico universitario. En el caso de las universidades y demás instituciones de educación superior, un ejemplo al respecto son los sistemas de acreditación y rankings en torno al desempeño, prestigio y productividad académicas. En el caso de las revistas científicas, un ejemplo son los sistemas de indización y rankings construidos mediante métricas como el FI y estructurados a partir de cuartiles, como es el JCR (Clarivate Analytics) o el SCImago Journal & Country Rank (SJR, Scopus), gestionados por empresas privadas que a su vez editan gran parte de las revistas que jerarquizan (y posicionan) mediante el FI. En el caso de los académicos (investigadores, profesores de carrera), en alusión exclusivamente al contexto mexicano, un ejemplo son programas como el estudiado en el presente escrito, el PRODEP (SEP) y el SNI (CONACyT); todos ellos programas de alcance nacional y transversales a las universidades, instituciones de educación superior y centros de investigación. Así, este andamiaje de evaluación académica que opera en distintos ámbitos y a partir de diferentes instrumentos puede caracterizarse en términos de una "hegemonía de la auditoría" (^{Guzmán, 2019}; ^{Basail, 2019}).

Un aspecto central de los esquemas de evaluación es su doble naturaleza: en primer lugar, como indicadores de la diversidad de tareas desempeñadas por los académicos a partir de productos y tareas homologados; en segundo lugar, como esquemas de prescripción de las tareas académicas que deben ser desempeñadas para generar los productos admisibles por cada instrumento de evaluación y, consecuentemente, hacer frente de forma positiva a la evaluación académica. Es decir, se trata de un modelo de evaluación académica performativo (^{Ball, 1995}). Esta característica se articula con el carácter "voluntario" de la participación de los académicos en los diversos instrumentos de evaluación (^{Ramos-Zincke, 2018}): ni legal ni administrativamente, los académicos están obligados a participar en estos esquemas de evaluación, sin embargo, dado el carácter complementario de los programas, la participación en uno implica la participación en otro, además de las claras ventajas en el desenvolvimiento institucional que tiene participar en ellos. Piénsese, por ejemplo, en el PRODEP como requisito formal de inclusión en el Programa de Carrera Docente en UPES. A ello cabe añadir la valoración -en términos de puntaje de evaluación- la pertenencia a otro programa, como es el caso de las universidades de Aguascalientes, Guadalajara, Guanajuato y Sonora, que asignan puntaje a la pertenencia de los académicos al SNI. Así, los esquemas de evaluación académica se caracterizan por su cualidad performativa, dado que al establecer productos específicos y tareas precisas que se puntúan, prescriben prácticas, culturas y epistemologías que los académicos cumplen para verse beneficiados por el reconocimiento y apoyo económico que los programas representan. Asimismo, éstos se caracterizan por cualidad reiterativa, es decir, son mecanismos que, en su individualidad, operan articulados unos con otros, de manera que reiteran un conjunto de productos y prácticas entre los académicos.

En la composición general del Programa de Carrera Docente en UPES se identificó que la dedicación a la docencia tiene un peso significativo que oscila entre 20 y 30 por ciento. A su vez, en el segundo nivel de análisis (subrubros) el programa hace una valoración central de la generación de materiales de docencia en siete de los nueve casos analizados: si un académico generase todos los productos posibles en las cantidades máximas establecidas, obtendría un mayor beneficio de la generación de materiales de apoyo al estudiante que, por ejemplo, de la publicación de productos derivados de investigación. Este aspecto representa una particularidad del programa respecto a otros instrumentos de evaluación en instituciones de educación superior en México, ^{Vera (2018)} señala que las universidades que participan en el Programa de Carrera Docente en UPES hacen una mejor valoración de actividades derivadas de la docencia respecto de otras universidades federales y centros de investigación, los cuales privilegian las actividades de investigación, en específico, la publicación de artículos científicos: la docencia vale 170 por ciento más de lo que vale un artículo científico, mientras que, en otro tipo de universidades y centros de investigación, este valor es de 63 por ciento.

Del tercer nivel de análisis resalta la valoración diferenciada de productos de investigación y la falta de reconocimiento de formatos fundamentales en las ciencias sociales y humanidades, como el libro en algunas universidades: el artículo científico es reconocido por los nueve casos analizados, es incluso el mejor valorado en cuatro casos, pero el libro lo reconocen apenas seis universidades, y sólo en tres de ellas es el mejor valorado. Destaca también una tendencia a priorizar los artículos publicados en revistas que forman parte de bases de datos específicas (privadas) o valorados en función de su FI. Cinco de nueve casos analizados conducen de esta forma su evaluación, mientras que en los casos restantes no hay claridad de lo que se considera "artículo internacional", "artículo nacional" o "artículo local o regional". De igual forma, no se especifican algunos productos como libros "internacionales" o "nacionales".

Por otro lado, cabe señalar la cobertura y orientación del Programa de Carrera Docente en UPES. Como programa de evaluación dirigido al fortalecimiento de la docencia en la educación superior ha logrado una cobertura de 18.2 por ciento en académicos con perfil deseable y de 11.3 por ciento del total de PTC de las 35 UPES a las que va dirigido, de acuerdo con información proporcionada por la Subsecretaría de Educación Superior y la Dirección General de Educación Superior Universitaria (^{SEP, 2019b}). La cobertura alcanzada (3 mil 791 académicos beneficiados) representa un reto de cara a la población potencial sobre la cual busca tener incidencia: 20 mil 858 académicos. Si se trata de uno de los instrumentos a partir de los cuales se busca fortalecer al docente (impulsar hacia estándares de excelencia en la docencia mediante una performatización de las actividades académicas), cabe destacar que la cobertura nacional que ha logrado es todavía insuficiente. Otra perspectiva desde la cual se observa lo anterior es la que arroja la matriz de indicadores para resultados proporcionada por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (^{CONEVAL, 2019}) sobre el Programa de Carrera Docente en UPES en 2019: este programa proyectó para 2019 una cobertura de 18.8 por ciento de PTC y la meta alcanzada fue de 18.1 por ciento; por su parte, la meta proyectada para 2018 fue una cobertura de 18.54 por ciento y la meta alcanzada fue de 17.25 por ciento. Es decir, la cobertura real entre 2018 y 2019 avanzó poco menos de 1 por ciento (0.86 por ciento) y no hay elementos que conduzcan a pensar que incluso las metas de cobertura planeadas o proyectadas se incrementarán sustancialmente en el futuro. Un elemento que cabe agregar es la desemejanza que existe en la información referente: en contraste con la información proporcionada por el propio programa y la matriz de indicadores para resultados del CONEVAL, el "Informe de la evaluación específica de desempeño 2014-2015" publicado en 2015 por el ^{CONEVAL (2015)} documenta para 2014 una cobertura del Programa de Carrera Docente en UPES de 19 mil 466 PTC.

Aunada a la promoción primordial de la docencia y -en el ámbito de la investigación- de la publicación de artículos científicos con presencia en bases de datos comerciales, el Programa de Carrera Docente en UPES se caracteriza también por impulsar el registro de instrumentos de propiedad intelectual, de manera que ocho de los nueve casos analizados consideran, entre los productos de investigación, patentes y registros de derechos de autor, y el valor que se les asigna tiene un peso preponderante en este subrubro. Esto puede comprenderse desde un contexto en el que la innovación tecnológica tiene un papel central en el desenvolvimiento industrial y económico, y en ello, los instrumentos de propiedad intelectual (patentes, derechos de autor, secretos de negocio, etc.) forman parte central de los diferentes contextos de transferencia e innovación tecnológica (^{Teece, 2003}).

La lógica de evaluación académica promovida por el Programa de Carrera Docente en UPES en México se articula a un patrón global de evaluación caracterizado principalmente por hacer uso de instrumentos de medición principalmente cuantitativos de productos de investigación, y por operar desde un mecanismo meritocrático de asignación condicionada de recursos económicos al margen del salario; se trata de mecanismos de evaluación propios de las ciencias exactas y naturales, pero adoptados en áreas como las ciencias sociales y las humanidades (^{Manzano-Arrondo, 2017}). Entre los efectos de este modelo de evaluación académica está la modificación de las motivaciones y valoraciones del trabajo académico, incluso por parte de los propios investigadores, principalmente de las tareas de publicación científica (^{Niles et al., 2020}). Por su parte, entre las críticas a este modelo cabe destacar la relativa a haber instaurado (a partir de mecanismos tanto institucionales como no formales) un sistema dirigido a cumplir satisfactoriamente las evaluaciones y secundariamente a buscar un desenvolvimiento de los diferentes campos científicos (^{Buendía et al., 2017}), así como una evaluación parcial y sesgada en detrimento de las ciencias sociales y las humanidades por considerarse exclusivamente (o prioritariamente) métricas derivadas de la citación y universos editoriales específicos donde estas áreas de conocimiento y regiones como América Latina no tienen representatividad. Estas tensiones y contradicciones han sido reconocidas en América Latina y en función de ello se han hecho esfuerzos organizados formales, como el Foro Latinoamericano sobre Evaluación Científica (FOLEC), y fuera de la región con iniciativas como The Declaration on Research Assessment (^{DORA, 2012}) o el Manifiesto de Leiden sobre indicadores de investigación (^{Hicks et al., 2015}); estas iniciativas, en su especificidad, buscan y promueven transformaciones en las culturas evaluativas de cara a la lógica de evaluación imperante y que opera desde dispositivos de distinto alcance.

Reflexiones finales

El Programa de Carrera Docente en UPES promovido transversalmente en las universidades públicas estatales de México es un instrumento de evaluación académica que promueve principalmente la docencia así como las actividades derivadas de ésta (generación de materiales didácticos o guías de apoyo al estudiante, o bien, evaluación del desempeño docente por parte de los estudiantes), mientras que en el ámbito de la investigación, las UPES han procurado orientarlo principalmente hacia la publicación de artículos científicos con presencia en bases de datos comerciales y el registro de instrumentos de propiedad intelectual. El análisis hizo énfasis en la valoración diferenciada de los productos de investigación, en específico de los artículos científicos: una construcción arbitraria construida a partir de la distinción de índices de revistas científicas, y no a partir de las características intrínsecas del trabajo académico e intelectual. Este aspecto redunda en el valor que las diferentes universidades le dan al trabajo académico: un mismo formato (el artículo científico) puede ser valorado de diferentes formas en función del índice de revistas en que tenga presencia, ya que siempre se privilegia el contendor sobre el contenido, en lugar de la calidad y aportes del trabajo.

Destaca la doble naturaleza de los instrumentos de evaluación académica como es el Programa de Carrera Docente en UPES: por un lado, califican el desempeño académico mediante indicadores y productos homologados; en segundo lugar, son performativos, ya que, al evaluar, priorizan y descartan actividades y productos académicos, y con ello prescriben prácticas, culturas y epistemologías entre las comunidades académicas a las cuales se dirigen. Así, cabe resaltar el efecto performativo que el programa analizado tiene sobre el tipo de ciencia que se genera o inhibe en las nueve universidades analizadas; específicamente en lo que concierne a los artículos científicos, libros y capítulos de libro, ya que estos últimos formatos son centrales en la narrativa de las ciencias sociales. Resalta de igual forma el carácter perfomativo, reiterativo y complementario de los instrumentos de evaluación académica: en el caso de México, el PRODEP (orientado principalmente a la profesionalización), el Programa de Carrera Docente en UPES (orientado principalmente al fortalecimiento de la docencia) y el SNI (orientado principalmente a la promoción de la investigación) son un ejemplo al respecto: el primero resulta requisito obligatorio para participar en el segundo, y el tercero surge como la cúspide de las habilidades y prácticas de un profesor-investigador en el país.