Las evaluaciones internas del SNI: coherencias o coincidencias*

SNI Internal Evaluations: Coherence or Coincidences

Gerardo Reyes R. y Jordi Suriñach

Fecha de recepción: octubre de 2010 ]]> Fecha de aceptación: julio de 2011

Resumen

En el presente artículo se muestra la dinámica de las solicitudes recibidas por el SNI durante el periodo de 1997 a 2008. Este análisis permite profundizar en las características de este proceso de evaluación iniciado con el fin de mejorar el sistema de política científica mexicana. Se realiza un análisis del porcentaje de investigadores que optan por la evaluación, las respuestas favorables versus las desfavorables, las diferencias que se alcanzan por áreas de conocimiento, así como los indicadores promedio que deben alcanzarse para obtener la evaluación positiva en los distintos niveles del SNI. En consecuencia, se permite realizar una primera valoración sobre los Criterios Internos de Evaluación definidos por este sistema de investigación mexicano.

Palabras clave: SNI, la ciencia en México, política de investigación, minería de datos y bibliometría.

Abstract

This article shows the dynamics of the applications received by SNI during the period from 1997 to 2008. This analysis explores the characteristics of this evaluation process begun to improve the Mexican scientific policy system. It analyzes a percentage of the researchers who submit to the evaluation, the favorable and unfavorable responses, the differences achieved by areas of knowledge and the average indicators that must be achieved to obtain a positive assessment at the various SNI levels. The article constitutes an initial assessment of the Internal Evaluation Criteria defined by the Mexican research system.

Key words: SNI, science in Mexico, research policy, data mining, bibliometrics.

El capital humano, en una economía basada cada vez más en el nivel de conocimiento, supone el elemento clave que permite el desarrollo tecnológico, económico y social de un territorio. Asimismo, ayuda a conocer si un país o región puede satisfacer sus procesos tecnológicos e innovadores que se transforman en beneficios tangibles para la población.¹ Por tanto, el nivel de conocimiento es básico para permitir tanto la generación de innovación² como su adopción por parte de terceros.

Indicadores que suelen utilizarse para medir el nivel de capital humano de un país son el número medio de años de estudios de la población o el porcentaje de población que dispone de estudios universitarios. Sin embargo, existen otros indicadores, basados en los outputs de investigación, que permiten valorar el nivel de capacidad de un país para generar y adoptar innovaciones. Dichos indicadores son los basados en el número de patentes generadas, el número de artículos publicados en revistas científicas de primer nivel, o el número de proyectos internacionales competitivos alcanzados, entre otros.³

México, como el resto de los países que quieren progresar en su desarrollo, debe tomar medidas para mejorar su nivel científico, para poder seguir creciendo en un mundo basado en el conocimiento. De ahí que se hayan tomado medidas para mejorar su sistema de ciencia y tecnología, y surja la necesidad de conocer y evaluar el impacto de los programas de apoyo a la ciencia y la tecnología.

Al día de hoy, el Consejo Nacional de Ciencia y Tecnología (Conacyt) se ha consolidado en México como la principal institución que impulsa, promueve y fortalece la formación de recursos humanos de alto nivel. Primero, porque es la institución mexicana que más apoyos otorga para realizar estudios de posgrado,⁴ ya sean estos en instituciones nacionales o en instituciones que se encuentran en el extranjero. Y segundo, porque contiene al organismo más importante en México, denominado Sistema Nacional de Investigadores (SNI), que promueve y reconoce, a través de una evaluación interna, la calidad de la investigación científica y tecnológica, así como la innovación que se produce en el país.

Demasiado se ha comentado en torno del SNI, desde la pérdida de objetivos y la falta de compromiso de sus integrantes o sesgo en su productividad,⁵ vicios internos para conservar la permanencia⁶ (sin mencionar el fraude y el plagio), criterios internos que valoran más la cantidad que la calidad⁷ o bien que se le aplican los mismos criterios a diferentes disciplinas,⁸ pasando por la inequidad de género⁹ y hasta su desaparición.¹⁰ En fin, la lista puede ser extensa. Sin embargo, con el transcurso del tiempo (poco más de 25 años) el SNI se ha transformado de un simple estímulo económico a una

pieza fundamental del sistema de educación superior y científica del país, de la evaluación de los investigadores, de la acreditación de los posgrados, del nivel de las universidades. Hoy, aún más que en la época de su fundación, el SNI es pieza fundamental de la economía personal de los investigadores miembros y signo distintivo de la calidad de su trabajo.¹¹

El SNI definitivamente no es responsable de la formación académica de los recursos humanos que lo integran. Sin embargo, sí es responsable de captar a los recursos humanos intelectuales con mejor vocación para realizar investigación en México. La selección de una solicitud por parte del SNI indudablemente dependerá del factor humano. Por ello se justifica la existencia de una comisión evaluadora en cada una de las siete áreas del conocimiento definidas por dicho sistema de investigación. No obstante ¿cómo ha sido esta selección de solicitudes?

En México, pertenecer al SNI es una distinción que simboliza la calidad y el prestigio de las contribuciones científicas realizadas por una persona con vocación investigadora. En ese contexto nace la motivación de este trabajo de investigación. El objetivo es analizar las características propias e inherentes del proceso de selección que realiza el SNI de los investigadores mexicanos¹² que presentan su solicitud a algunas de sus convocatorias para con ello conocer los criterios de evaluación, sus resultados e inferir una valoración sobre todo el proceso.

El periodo de estudio será el comprendido entre los años 1997 y 2008. El análisis se efectuará para cada área del conocimiento definida por el SNI. Asimismo, y con el fin de conocer más a detalle el procedimiento realizado, se analizará el proceso de evaluación para los distintos niveles o categorías de investigadores. Por último, también se analizarán los resultados diferenciales entre los investigadores que obtienen una evaluación positiva respecto a los que no la alcanzan.

La metodología a utilizar se basará principalmente en el tratamiento descriptivo de la información,¹³ lo que permitirá obtener ratios, porcentajes y probabilidades asociados a los distintos perfiles de investigadores y áreas. El análisis permitirá determinar los perfiles productivos (promedio) de los investigadores que acceden a esta elite de investigación mexicana, que indudablemente se derivan de las evaluaciones internas realizadas por cada comisión evaluadora definida en dicho sistema. Somos conscientes, sin embargo, de que para proceder a una valoración más completa del SNI se debería comparar la información aquí presentada con otra más cualitativa o incluso de otras fuentes (como las del isi–web of knowledge), por lo que el objetivo final del artículo es avanzar con unos resultados iniciales que permitan tener un buen punto de partida del procedimiento de evaluación seguido, pero que necesariamente deberá completarse en el futuro.

El presente artículo lo hemos estructurado de la siguiente manera: tras esta introducción, en la segunda sección se describen las bases de datos utilizadas así como la metodología seguida. En la tercera se presenta brevemente al SNI y sus principales características. En la cuarta sección se presenta el conjunto de resultados derivados del proceso de evaluación del SNI. Finalmente, en la quinta sección el artículo sintetiza y reflexiona sobre algunos de los principales resultados obtenidos. Con todos ellos se pretende, por un lado, dar a conocer a los investigadores mexicanos el proceso y las prácticas que deben llevar a cabo para ingresar/permanecer en el SNI y, por otro, en su caso, fortalecer el sistema de política científica mexicana para valorar su proceso de evaluación. Conocer y hacer más eficiente al SNI es mejorar la política de investigación en México.

METODOLOGÍA

En este trabajo se dan por entendidos dos hechos que son innegables: el primero es que los dictámenes emitidos por las comisiones evaluadoras del SNI son dados, es decir, congruentes o no, son considerados como irrefutables e irrepetibles. El segundo, que los nombramientos otorgados, correctos o no, son perfectibles.¹⁴ Por lo tanto, la selección y el nivel asignado a una solicitud presentada al SNI dependerá del factor humano; en concreto, dependerá del criterio del evaluador, además de la información recogida en la memoria del investigador evaluado.

La información de base utilizada es la proporcionada por el propio SNI para los años 1997–2008, referida a los investigadores incluidos en él, las solicitudes presentadas anualmente al SNI, así como sus dictámenes, y la información histórica de los investigadores que alguna vez pertenecieron a dicha elite de investigación.

Se analiza la evolución de las solicitudes presentadas al SNI por los investigadores mexicanos durante el periodo de 1997 a 2008, así como los resultados de la evaluación de cada candidatura. Este análisis permitirá conocer y justificar las promociones a un nivel superior dentro del SNI, así como analizar su evolución a lo largo del periodo de estudio. También permitirá conocer la probabilidad total y condicional para un nombramiento en cada una de las áreas del conocimiento definidas por dicho sistema. Como corolario se determinará el nivel medio exigible asociado a cada solicitud para ser positivamente evaluada por cada comisión evaluadora del SNI.

Para conocer tanto la evolución como el rigor y la coherencia de los dictámenes realizados por el SNI se efectuará, en primer lugar, la dinámica de las solicitudes aprobadas y promovidas a un nivel superior durante los años de 1997 a 2008 para el colectivo de investigadores mexicanos con una situación de reingreso vigente.¹⁵ En segundo lugar se examinará tanto la producción científica de los aspirantes (perspectiva del solicitante) como los dictámenes de evaluación de dicha institución (perspectiva de las comisiones evaluadoras del SNI).

La producción científica reportada al SNI por cada investigador aprobado durante los años de 1997 a 2003 también servirá como insumo para realizar otro análisis bibliométrico y mostrar los aspectos que más influyeron (o los conceptos que las comisiones evaluadoras toman más en consideración, al menos desde el punto de vista cuantitativo, para asignar un nombramiento) para que una solicitud fuese aceptada y/o promovida en dicho grupo de investigación. Este análisis permitirá conocer el estándar del perfil productivo (promedio) con el cual fueron aceptados, para todos los niveles, dichos investigadores mexicanos en el sistema. Además, este análisis bibliométrico permitirá conocer la correspondencia que existe entre el nivel asignado dentro de dicho círculo de investigación y la producción científica reportada por cada investigador aprobado.

EL SISTEMA NACIONAL DE INVESTIGADORES¹⁷

El SNI es un subprograma del Programa de Fomento a la Investigación Científica establecido por el gobierno federal, cuya conducción y operación, así como el establecimiento de sus objetivos y funciones, organización y reglamentación interna están a cargo del Conacyt.¹⁸ El SNI de México tiene por objeto promover y fortalecer, a través de una evaluación, la calidad de la investigación científica y tecnológica y la innovación que se produce en el país.¹⁹

El ingreso a este sistema de investigación mexicano es voluntario y gratuito para el solicitante. Una vez analizada su solicitud por las comisiones evaluadoras de cada una de las siete áreas del conocimiento definidas por el SNI, se le comunica al solicitante su valoración positiva o negativa y, en el primer caso, un nombramiento como miembro del SNI con la adscripción a un nivel (candidato, nivel I, nivel II o nivel III),²⁰ que además tiene asociada una compensación económica variable. Pertenecer al SNI, en el contexto nacional, supone un reconocimiento a la calidad y prestigio académico del investigador, resultado de una producción científica de considerable trascendencia a escala nacional y, en algunos casos, también en el ámbito internacional.

En el subperiodo 1997 a 2006,²¹ tal como muestra la gráfica 1, el número de investigadores del SNI en equivalente de tiempo completo,²² permaneció relativamente constante, situándose alrededor de 30%. Es decir, en un lapso de diez años uno de cada tres investigadores en equivalente de tiempo completo de México fue miembro del SNI. Sin embargo, y para este subperiodo de tiempo, dicho porcentaje constante esconde un fuerte crecimiento del número total de investigadores miembros del SNI, que ha sido de 115% (véase gráfica 2).

Estos resultados muestran que en trece años el SNI ha más que duplicado el número de sus investigadores, y que el nivel predominante en él es el denominado investigador nacional nivel I.

Actualmente existen siete áreas²³ de conocimiento definidas por el SNI, y la distribución promedio de estas, para los investigadores vigentes durante el periodo de 1997 a 2008, se presenta en la gráfica 3. Las áreas del SNI con mayor número de investigadores son las denominadas Físico–Matemáticas y Ciencias de la Tierra y la de Biología y Química.

Para finalizar esta breve presentación, cabe señalar que el Distrito Federal concentró, durante todo el periodo de 1997 a 2008, el mayor número de investigadores con registro en el SNI (véase gráfica 4). Es claro que en la capital de la república mexicana se ha concentrado, con el paso del tiempo, el mayor número de investigadores con registro en el SNI, siendo la razón Distrito Federal vs. estados, de 1.1:1 para los años de 1997 a 2008.

RESULTADOS Y DISCUSIÓN

Evolución de las solicitudes evaluadas por el SNI en los periodos 1997–2002 y 2003–2008

En este apartado se analiza la evolución de todas las solicitudes presentadas, en cada convocatoria anual, al SNI por los investigadores mexicanos durante el periodo de 1997 a 2008. La definición de los dos subperiodos se llevó a cabo con la finalidad de que ambos tuviesen el mismo número de años y de esta manera hacerlos comparables entre sí.

Las solicitudes que recibió el SNI entre 1997 y 2008 ascendieron a un total de 53 848, de las cuales 40 520 (75.2%) fueron solicitudes aprobadas y 13 328 (24.8%) no aprobadas. La proporción anual de solicitudes aprobadas para el subperiodo de 1997 a 2002 fue de 77.5%, y para el sub–periodo de 2003 a 2008 dicha proporción fue de 74.1%. Estos resultados muestran una política bastante continuista en cuanto al porcentaje de evaluaciones aprobadas entre los dos subperiodos, con un ligero sesgo a la baja (criterio de evaluación más restrictivo).

Este ligero descenso del porcentaje de solicitudes aprobadas no supone que progresivamente se aprueben menos solicitudes, dado que el número de ellas ha ido aumentando. Lo que sucede es que, durante todo el periodo de 1997 a 2008, el número de solicitudes aprobadas ha crecido 278.1%, mientras que las aprobadas sólo crecieron 135%. Ello corresponde con un crecimiento medio anual de las solicitudes aprobadas de 10.4%, frente a 18% anual de las evaluadas negativamente. Es decir, las solicitudes aprobadas por el SNI se reproducen con una tasa promedio anual menor que las solicitudes no aprobadas. Es decir, el SNI ha "endurecido" sus resultados, haciendo cada vez más selectiva su pertenencia o permanencia en él.²⁴ En cualquier caso, destaca el elevado porcentaje de evaluaciones positivas realizadas, cercanas a 75% en el promedio del periodo (véase gráfica 5).

Dicha conclusión se confirma en la gráfica 6, donde la evolución de la probabilidad de ser aceptada una solicitud presentada al SNI durante el periodo de 1997 a 2008 muestra una tendencia descendente, mientras que el comportamiento de la probabilidad para una solicitud de no ser aprobada presenta una tendencia creciente.

El SNI recibió casi el triple de solicitudes en el año de 2008 (7 259) respecto del número de solicitudes recibidas en 1997 (2 734). Con referencia al total de solicitudes recibidas por el SNI de 1997 a 2008, en la gráfica 7 se muestra la evolución de las aprobadas y de las no aprobadas por dicho sistema de investigación mexicano. Como se ha comentado anteriormente, en el periodo 1997 a 2008 la tendencia absoluta respecto al número de solicitudes aprobadas fue creciente, pero no en términos relativos, dado que el número de solicitudes presentadas aun fue mayor. También resalta la estrecha relación que existe entre las solicitudes aprobadas y el total de solicitudes evaluadas por el SNI durante el correspondiente periodo de estudio, la cual se ve reflejada en un coeficiente de correlación simple de 0.986.

Por áreas del conocimiento, la definida como Físico–Matemáticas y Ciencias de la Tierra fue la que mostró, durante el periodo de 1997 a 2008, una mayor probabilidad de aceptar una solicitud (88.1%). En contraparte, el área denominada Biotecnología y Ciencias Agropecuarias mostró, durante este periodo, la mayor probabilidad de rechazar una solicitud (33%).

Los criterios internos de evaluación sin duda se han transformado, pero sobre todo se han adecuado a las características propias productivas de cada área del SNI,dado que no todos los ámbitos de conocimiento se rigen por los mismos parámetros de publicación. Es lógico que quien hace investigación en matemáticas, medicina o ingeniería no publique muchos libros, a diferencia de los investigadores en Humanidades y Ciencias Sociales, que es en los libros donde pueden mostrar un avance sólido del conocimiento, más allá de los aportados en artículos. Pero más que referirse a un endurecimiento en términos generales de los criterios a evaluar,²⁵ los resultados se inclinan a que son los evaluadores los que se han tornado más selectivos al momento de aprobar/promover una solicitud.²⁶

Del total de solicitudes aprobadas (40 520) durante los años de 1997 a 2008, 61% correspondió a la categoría de reingreso vigente; 24% a nuevo ingreso y el restante 15% fue para los investigadores denominados de reingreso no vigente. Esta dinámica demuestra que los investigadores mexicanos que no han dejado de pertenecer al SNI (reingreso vigente) son aquellos que más probabilidad tienen de permanecer en dicha elite de investigación mexicana. Por su parte, los nuevos ingresos tienen mejores oportunidades de ser aceptados en el SNI que los reingresos no vigentes, es decir, que aquellos investigadores mexicanos que alguna vez formaron parte de dicha elite pero que debido a ciertas circunstancias dejaron de pertenecer a este sistema por algún determinado periodo de tiempo.

Con respecto al tipo de nivel del SNI obtenido en cada subperiodo de estudio, en la gráfica 9 se muestra la distribución de las evaluaciones realizadas por las comisiones evaluadoras. Para el periodo de 2003 a 2008 el crecimiento del rechazo de las solicitudes presentadas (de 23 a 26%) ha sido a costa del descenso en el porcentaje de evaluación positiva de los dos niveles más bajos de los investigadores que ya estaban en el SNI (mayor descenso cuanto menor era el nivel del investigador).

Por su parte, y para ambos subperiodos de estudio, se aprecia que los niveles de candidato (14.8 y 16.3%) y nivel I (45.6 y 41.9%) son los que predominan en el SNI. A su vez, los dos niveles superiores son otorgados con mucha más reserva, permaneciendo casi constantes en ambos periodos de tiempo (alrededor de 12.5% el nivel II y del 3.6% el nivel III). En referencia a los datos mostrados en las gráficas 8 y 9, se puede deducir que el único nombramiento que ha mostrado un incremento significativo de un periodo a otro ha sido el de candidato a investigador, y muy en particular el de los nuevos ingresos.

Por áreas de conocimiento del SNI, la que más solicitudes aprobó en ambos periodos de estudio fue la denominada Físico–Matemáticas y Ciencias de la Tierra (área que además tiene el mayor número de investigadores en el sistema), con una proporción, respecto al total de solicitudes evaluadas por esta área en cada subperiodo de estudio, de 87.9% para los años de 1997 a 2002 y de 88% para el subperiodo de 2003 a 2008. Es decir, la proporción de solicitudes aprobadas en esta área de conocimiento ha permanecido muy estable durante ambos periodos de tiempo (gráfica 10).

En concordancia con estos resultados, en el cuadro 1 se presenta la probabilidad para el subperiodo de 1997 a 2008 de que una solicitud aprobada obtuviese una evaluación positiva en cada área del conocimiento definida por el SNI.

En el mencionado cuadro 1 se aprecia que la probabilidad condicional para una solicitud aprobada en el SNI fue siempre mayor en el denominado nivel I. Este resultado implica que si una solicitud era aprobada por el SNI, independientemente del área en donde haya sido evaluada, entonces era más probable que se le asignase el nombramiento de investigador nacional nivel I. Si no se le asignaba dicho nombramiento, entonces el dictamen variaba según el área donde se llevó a cabo la evaluación de la solicitud. Pero sin lugar a dudas, el nivel III se otorgó con mucha más reserva en todas las áreas del SNI.

En lo que se refiere a las solicitudes no aprobadas desglosadas por áreas de conocimiento, en el cuadro 2 se presentan sus principales características. Es evidente que para ambos subperiodos de tiempo, y en todas las áreas de conocimiento del SNI, tanto los nuevos ingresos como los investigadores que en algún momento pertenecieron al SNI (reingreso no vigente) fueron los que menos oportunidad tuvieron de pertenecer o de reingresar a dicho sistema. El área de Humanidades y Ciencias de la Conducta fue la que mayor participación relativa promedio presentó en el subperiodo de 1997 a 2002 para dichas situaciones, con 77.3 por ciento.

Por su parte, el área denominada Sociales fue la que mayor dificultad relativa (85.2%) tuvo en estos conceptos para su ingreso/reingreso en los años de 2003 a 2008. En cambio, en el primer subperiodo, el área con mayor ratio de ingresos/ reingresos fue la de Medicina y Ciencias de la Salud, mientras que en el segundo sub–periodo fue la de Biología y Química.

Los resultados de estos dos subperiodos también muestran la escasa probabilidad de perder la condición de miembro del SNI cuando se alcanza sobre todo los niveles II y III.²⁷ Este resultado abre la duda sobre si esta estabilidad se sustenta con los resultados obtenidos por los investigadores de esos niveles, o si puede considerarse como cuasidefinitiva la adscripción al SNI cuando se alcanzan estos niveles, sin que se justifique dicha posición con el mantenimiento de elevados resultados en publicaciones científicas.

Las evaluaciones de los investigadores del SNI con una situación de reingreso vigente de 1997 a 2008

En este apartado se procede a analizar la evaluación que realiza el SNI para el colectivo sobre el cual se conoce a priori información sobre sus características personales previas, y que han continuado en el SNI (y por tanto han obtenido una evaluación positiva) tanto en el mismo nivel como variándolo. Es decir, son los llamados investigadores con una situación de reingreso vigente. La finalidad de este apartado es justificar los dictámenes realizados a estos investigadores mexicanos. Este análisis evidencia la importancia que el SNI le otorga a la trayectoria de los investigadores, considerados de alto rendimiento, que han dedicado y demostrado una continuidad para innovar e implementar ciencia y tecnología en México.

43% del total de solicitudes aprobadas (24 685) por el SNI con una situación de reingreso vigente, se concentró en el subperiodo 1997–2002, mientras que el restante 57% correspondió al subperiodo comprendido entre los años de 2003 y 2008. Estas cifras son congruentes dado que el número de solicitudes y evaluaciones ha crecido a lo largo del periodo 1997–2008.

Los resultados de los dictámenes de las comisiones evaluadoras del SNI correspondientes al periodo de 1997 a 2008 se presentan en la gráfica 11. En la gráfica 8 se observó que el porcentaje de evaluaciones positivas (que continúan en el SNI) son mayoritarias. Ahora, en la gráfica 11 se observa que las evaluaciones son conservadoras en el sentido de que mayoritariamente mantienen en el mismo nivel a los investigadores evaluados. Este comportamiento se produce en ambos subperiodos (véase cuadro 3).

Partiendo del supuesto de una evaluación objetiva por parte del SNI, el resultado obtenido viene a confirmar que pocos investigadores reducen su actividad investigadora: poco más de 25% mejoran de categoría y la gran mayoría (70%) consigue mantener su permanencia, sin que se produzcan mejoras en su nivel investigador que le permitan aumentar de categoría.

El detalle de las solicitudes de reingreso vigente aprobadas por el SNI según el nivel al cual fueron promovidas, así como su participación relativa respecto al tipo de solicitud, se presenta en el cuadro 4.

Así, cabe resaltar que el ascenso de nivel I a nivel II fue el movimiento que más participación porcentual presentó de un subperiodo de estudio a otro (1.77%), en referencia al total de reingresos vigentes aprobados. El segundo colectivo con mayor incremento (0.45%) fueron los investigadores que pasaron del nivel II al nivel III.

Como complemento al cuadro 4, la gráfica 12 permite concluir que el nombramiento de investigador nacional nivel III es otorgado con muchas reservas, y también es claro que para acceder a dicho nombramiento se tiene que transitar por el nivel inmediato anterior, es decir, por el nivel II. El paso más habitual es del nivel candidato al nivel I, y de este al nivel II. Por tanto, es claro que en el SNI existe una ruta, perfectamente definida, para poder acceder al máximo nivel (nivel III), es decir, comenzar desde cierto nombramiento y después, con la ayuda del tiempo, ascender nivel por nivel.

Por subperiodos, los investigadores con nivel II tuvieron una evaluación más favorable para ser promovidos al nivel III en el SNI durante el periodo de 2003 a 2008, al igual que para los investigadores con nombramiento de nivel I fue más probable que obtuvieran un ascenso al nivel II. En cambio, en este segundo subperiodo fue más difícil alcanzar el nivel I, siendo candidato.

Finalmente, cabe mencionar que durante el periodo comprendido entre los años de 1997 y 2008, el área del SNI que otorgó con más frecuencia el nombramiento de investigador nacional nivel III fue la denominada Físico–Matemáticas y Ciencias de la Tierra. Por su parte, el área del SNI que se reservó más para otorgar este nombramiento fue la denominada Ingeniería y Tecnología.

Posibles ponderaciones para una solicitud aprobada por área de conocimiento y nivel del SNI, 1996–2003

Las solicitudes aprobadas por el SNI inevitablemente permiten detectar el perfil productivo (promedio) de los investigadores que fueron evaluados positivamente. En este apartado se muestra información sobre los outputs científicos que fueron más relevantes para obtener una evaluación positiva durante las promociones de 1996 a 2003.

En primer lugar, en la gráfica 13 se presenta el porcentaje de outputs que aparecen al menos una vez en las solicitudes evaluadas positivamente. Los conceptos que requieren una mayor frecuencia de outputs para obtener una evaluación positiva son el número de citas (36%), las invitaciones a congresos (17.6%), el número de artículos (16.8%) y las tesis dirigidas (9.1%).

Al realizar el análisis para cada una de las siete áreas de conocimiento del SNI, y como se puede apreciar en la gráfica 14, aunque a grandes rasgos los promedios son similares para las distintas áreas, pero existen algunas diferencias significativas sobre el número promedio de outputs necesarios para obtener una evaluación positiva.

En segundo lugar, en el cuadro 5 se resumen las frecuencias medias requeridas de los distintos tipos de outputs, según el nivel del SNI. Los outputs requeridos en mayor número son las citas, los artículos, las invitaciones a congresos y las tesis dirigidas. sorprende que en la mayoría de los ítems no se produzca un crecimiento de los outputs promedio requeridos a medida que el investigador alcanza un nivel superior. Todo lo contrario, sorprende que el número de artículos, desarrollos tecnológicos, distinciones, estancias de investigación, posdoctorados, invitaciones a congresos, libros, tesis dirigidas... y otros tengan un comportamiento decreciente a medida que aumenta el nivel del investigador. La única excepción relevante es el número de citas. Ello puede indicar o que los criterios se han ido "endureciendo" con el paso de los años, que los nuevos candidatos tienen una preparación y un nivel de investigación superior a la que en su día tenían los investigadores del SNI del mismo nivel o que la calidad de la investigación se mide sobre todo con la cantidad de citas.²⁸

En este contexto es importante mencionar la relevancia que tiene el número de citas. En el caso que el número de citas y de artículos (considerado en la evaluación por el SNI) fuera el de todo el historial del investigador evaluado, y dado que las publicaciones recientes no tienen tantas citas como las publicaciones que ya se hicieron hace unos años, sería lógico esperar que los investigadores con más experiencia tuvieran una probabilidad mayor de ser citados.²⁹ En cambio, si el número de citas y publicaciones que se contabilizan son las del último trienio, como es el caso del SNI, todos los investigadores están en igualdad de condiciones y, por lo tanto, la diferencia sería la calidad de la investigación (reflejada por el número de citas). Este criterio de la importancia de las citas en la evaluación sugiere que la pauta evaluatoria no es tanto la cantidad como la calidad. El hecho de que los artículos promedio decrezcan a medida que aumenta la clasificación del nivel del investigador, podría estar indicando también el primar la calidad frente a la cantidad (en el caso de que los investigadores mejor evaluados publiquen menos, pero en revistas de mayor calidad).

Realizando el análisis por áreas, véase gráfica 15, se corrobora este cambio en la importancia que los distintos outputs tienen en la evaluación de los diferentes niveles del SNI. A medida que el nivel evaluado crece, también lo hace la importancia del número de evaluaciones que ha requerido tener "citas" asociado a sus trabajos.³⁰ En cambio, decrecen los artículos, las distinciones recibidas, las invitaciones a congresos, las memorias a congresos y las direcciones de tesis.

Por último, la gráfica 15 confirma las diferencias de outputs (y de requerimientos promedio) entre áreas de conocimiento para ser evaluado positivamente. Es una confirmación más de la heterogeneidad en cuanto a los productos de las tareas investigadoras entre áreas distintas que, al menos parcialmente, son recogidas por el SNI en sus evaluaciones.

COMENTARIOS A MANERA DE CONCLUSIONES

En este artículo se ha realizado un análisis sobre los resultados del sistema de evaluación que el SNI lleva a cabo en México con el objetivo de captar y promocionar a los principales investigadores. El objetivo de dicha política no es otra que mejorar la calidad de la investigación en México. Los resultados muestran que el porcentaje de investigadores que forman parte de dicha elite se mantienen alrededor de 30% de los potenciales recursos humanos con una verdadera vocación para crear y desarrollar ciencia y tecnología en el territorio nacional. sin embargo, este promedio no debe esconder que el porcentaje fue creciente hasta 2001 y que desde entonces observa un claro descenso.

Otros factores potencialmente explicativos de dicha evolución podrían ser la limitación presupuestaria en cuanto a investigadores a financiar y/o la menor calidad global de los candidatos que se presentan a los procesos de evaluación del SNI, tanto debido a un crecimiento cuantitativo (pero no cualitativo) de la calidad de la investigación en México, como a una mayor petición de evaluación, al ser progresivamente más conocido dicho programa.

En contraposición a la característica anterior, debe señalarse que una vez que se entra en el SNI la permanencia se hace muy longeva, sobre todo en los dos niveles superiores, ya que el sistema termina por mantener, en la gran mayoría de sus dictámenes, el mismo nivel a una solicitud de reingreso vigente. Ello introduce ciertas dudas sobre el mantenimiento de la rigurosidad en la evaluación en estos niveles, sobre todo cuando se observa que el número de artículos, desarrollos tecnológicos, distinciones, estancias de investigación, posdoctorados, invitaciones a congresos, libros, tesis dirigidas, etc., no aumenta a medida que se evalúa a los investigadores de niveles cada vez más altos.

En cualquier caso, y para los años de 1997 a 2008, se observa que los niveles de candidato y nivel i son los nombramientos que predominan en el SNI y son estos mismos los que con mayor probabilidad seguirán abandonando dicho sistema. En cambio, los dos nombramientos superiores, nivel II y nivel III, son otorgados con mucha más discreción. Es por ello que sólo los investigadores mexicanos que han demostrado, con el paso del tiempo, una verdadera vocación y compromiso para crear, desarrollar e implementar ciencia y/o tecnología en México, alcanzan esos niveles de privilegio. Aunque cuando llegan a ellos, es difícil que los abandonen (aunque quizá no mantengan el nivel en cuanto a indicadores de investigación).

Otro elemento que debe resaltarse es la cultura de la evaluación que ha conseguido introducir la política iniciada por el SNI entre los investigadores mexicanos. El programa del SNI ha conseguido que progresivamente se vea la evaluación de méritos como algo consustancial a la labor investigadora. Ello ha conducido a que los investigadores que optan por este programa vayan creciendo a lo largo de los últimos quince años. Probablemente esta cultura política permitirá, en una segunda fase, fijar mejor los criterios para optar (y mantenerse) en los distintos niveles existentes.

También los resultados mostrados en este artículo demuestran que pertenecer al SNI no es ninguna casualidad. Por el contrario, este sistema realiza una secuencia bastante coherente desde el preciso momento en que aprueba una solicitud. Esta congruencia se detecta incluso al promover una solicitud con registro vigente, ya que difícilmente un investigador mexicano que cuenta con poca experiencia para realizar investigación podrá acceder, en el corto plazo, a los niveles superiores del SNI.

Finalmente, merecen destacarse las diferencias que existen en cuanto a criterios de evaluación entre las distintas áreas de conocimiento. La investigación realizada muestra que los outputs requeridos son similares entre áreas, pero no coincidentes. Es un ejemplo de flexibilidad y de reconocimiento que no toda la investigación es igualmente sistematizable en la misma cantidad de indicadores outputs de investigación.

FUENTES CONSULTADAS

Hemerografía

Campus, suplemento universitario, Milenio, ciudad de México.         [ Links ]

El Universal, ciudad de México.         [ Links ]

La Jornada, ciudad de México.         [ Links ]

La Jornada Semanal, ciudad de México.         [ Links ]

Nexos, ciudad de México.         [ Links ]

Proceso, ciudad de México.         [ Links ]

BIBLIOGRAFÍA

Aguilar, José Antonio, "Grisuras del Conacyt", Nexos, 2011, p22.         [ Links ]

Álvarez M., G. et al., Los efectos indeseados del SNI y la necesidad de su transformación, Departamento de Investigaciones Educativas–Cinvestav, México 2010, pp. 1–20.         [ Links ]

CONACYT, Informe general del estado de la ciencia y la tecnología, México, 2008 y 2009.         [ Links ]

–––––––––––, Posición institucional relativa a la evaluación específica de desempeño 2009 del programa: S 191 Sistema Nacional de Investigadores. Institución evaluadora: C–230, Consultores, S. C., México, 2009.         [ Links ]

Foro Consultivo Científico y Tecnológico y Academia Mexicana de Ciencias, Una reflexión sobre el Sistema Nacional de Investigadores a 20 años de su creación, México, 2005.         [ Links ]

Gonzalez Brambila, C., Exploring Academic Scientific Productivity for the Design of Public Policies, Department of Engineering and Public Policy, Carnegie Mellon University, Pittsburgh, PA, 2005.         [ Links ]

Licea de Arenas, J. y E. G. Santillán–Rivero, "Bibliometría ¿para qué?", Biblioteca Universitaria, nueva época, vol. 5, núm. 1, 2002, México, pp. 3–10.         [ Links ]

Pallan, Carlos, "ASF y SNI", segunda y última parte, Campus, suplemento universitario, Milenio, núm. 405, 2011, p. 2.         [ Links ]

Pérez, Ruy, "Para mejorar el SNI", Nexos, 1997, pp. 31–34.         [ Links ]

Peña, José Antonio de la, "El Sistema Nacional de Investigadores: mitos y realidades", Campus, suplemento universitario, Milenio, núm. 367, 2010, p. 8.         [ Links ]

Reyes, Carlos, "Debe el SNI actualizar sus criterios de acceso y permanencia", Campus, suplemento universitario, Milenio, núm. 367, 2010, p. 10.         [ Links ]

Samaniego Alcántar, A., "Búsqueda de los factores que influyen en las decisiones de los inversionistas del mercado de valores sobre empresas que reportan un gasto en I+D", tesis de doctorado, Facultad de Economía y Empresa–Universidad de Barcelona, España, 2011.         [ Links ]

Schneider, J. W. y P. Borlund, "Introduction to Bibliometrics for Construction and Maintenance of Thesauri", Journal of Documentation, vol. 60, núm. 5, 2004, pp. 524–549.         [ Links ]

Sheridan, Guillermo, "El SNI debe desaparecer", La Jornada Semanal, 1997.         [ Links ]

Veloso, F., C. Brambila y G. Reyes, La ciencia mexicana en el contexto global. Un estudio de la Carnegie Mellon University y del ITAM, ITAM, México, 2006.         [ Links ]

Zubieta, J. y R. Rueda, "La ciencia y la tecnología en el México del mañana: ¿Habrá con quién?", Instituto de Investigaciones Sociales–UNAM, México, 1998, pp. 1–37.         [ Links ]

Páginas web

Conacyt, Convocatoria del SNI, en línea <http://www.conacyt.gob.mx/SNl/2011/Documents/1_ingreso%20permanencia–2011.pdf>. [Consulta: junio de 2011.         [ Links ]]

–––––––––––, Criterios internos de evaluación del SNI (2011), en línea <http://www.conacyt.gob.mx/SNi/SNi_CriteriosInternosdeEvaluacion/Paginas/default.aspx>. [Consulta: junio de 2011.] Los criterios internos de los años 1997, 2002, 2003 y 2008 fueron consultados en forma impresa.         [ Links ]

–––––––––––, CVU (curriculum vitae único) solicitado por el SNI, en línea <http://hrmsepws.main.conacyt.mx:9092/psp/REGCYT2/?cmd=login&languageCd=ESP>. [Consulta: junio de 2011.         [ Links ]]

–––––––––––, Glosario de términos básicos del SNI, en línea <http://www.conacyt.gob.mx/SNl/Paginas/SNi_Glosario.aspx>. [Consulta: junio de 2011.         [ Links ]]

–––––––––––, Página Web del SNI <http://www.conacyt.gob.mx/sni/Paginas/default.aspx>         [ Links ].

NOTAS

¹ CONACYT, Informe, 2008, p. 37.

² Una idea muy interesante sobre la innovación en México es la que se propone en la tesis doctoral de Samaniego, "Búsqueda", 2011.

³ Se reconoce que existen otros indicadores que sirven para medir el nivel de capital humano de un país, como por ejemplo el gasto federal en ciencia y tecnología, el gasto interno en investigación y desarrollo experimental, total de artículos publicados en revistas de prestigio internacional, factor de impacto, total de investigadores por cada mil integrantes de la población económicamente activa, total de graduados con doctorado, número de becas otorgadas, etc. Sin embargo, no es la finalidad de este artículo posicionar a México en el contexto global.

⁴ En 1997 el CONACYT otorgó 5 929 becas nuevas (nacionales y al extranjero) y 15 211 en 2008. Es decir, los apoyos para estudios, en su gran mayoría de posgrado, tuvieron un incremento de 157% durante el periodo de 1997 a 2008.

⁵ Pallán, "ASF y SNI", 2011, p. 2.

⁶ Un testimonio interesante es el narrado por el doctor Jorge Membrillo Hernández en la recopilación realizada en Foro, Reflexión, 2005, p. 102.

⁷ Laura Poy, "Llaman científicos y académicos a transformar el Sistema Nacional de Investigadores", La Jornada, 9 de mayo de 2010, México; Pérez, "Mejorar", 1997, pp. 31–34; Aguilar, "Grisuras", 2011, p. 22.

⁸ Reyes, "Debe", 2010, p. 10.

⁹ Álvarez et al., Efectos, 2010, p. 10.

¹¹ Peña, "Sistema", 2010, p. 8.

¹² El investigador no necesariamente tiene que ser mexicano por nacimiento, sin embargo, en el art. 3° del reglamento del SNI, publicado en el Diario Oficial el martes 26 de septiembre de 2006, se dice al respecto: En caso de que el aspirante no tenga nacionalidad mexicana, deberá contar con adscripción en alguna institución del territorio nacional, con antigüedad mínima de un año al inicio de su nombramiento en el SNI. Deberá, además, demostrar su residencia en el país con documentos oficiales. En consecuencia, sus investigaciones son imputables a México, incluso aquellas investigaciones que son realizadas en el extranjero, por lo que sin pérdida de generalidad, se hablará de investigadores mexicanos.

¹³ No obstante, algunos resultados se obtuvieron mediante las técnicas denominadas minería de datos y bibliometría.

¹⁴ Es por ello que existen subcomisiones evaluadoras, que tienen por objetivo evaluar las solicitudes de inconformidad y pueden emitir un dictamen diferente al de la comisión evaluadora correspondiente.

¹⁵ Se limitó el estudio a este tipo de investigadores porque para ellos se conoce perfectamente su nivel inmediato anterior al momento de solicitar su permanencia en dicho sistema de investigación mexicano. Por su parte, para los investigadores con una situación de nuevo ingreso no se define tal criterio y para los investigadores con una situación de reingreso no vigente difícilmente se contó con dicha información. Además los investigadores con una situación de reingreso vigente representaron, de 1997 a 2008, 75.2% respecto del total de solicitudes evaluadas en el SNI, por lo que son un conglomerado muy significativo para evidenciar los dictámenes realizados por los evaluadores durante dicho periodo de estudio.

¹⁶ Este análisis hubiera sido más rico si el SNI dispusiera de información para las solicitudes no aprobadas en todas sus modalidades.

¹⁷ Los autores agradecen al SNI de México por toda la información proporcionada para poder realizar este trabajo.

¹⁸ Lineamientos de la Junta de Honor del SNI, en línea <http://www.conacyt.gob.mx/SNl/SNI_Reglamentacion/Documents/LINEAMIENTOS–JUNTA–DE–HONOR.pdf>. [Consulta: junio de 2011.]

¹⁹ CONACYT, Reglamento vigente del Sistema Nacional de Investigadores, 2008 en línea <http://www.conacyt.gob.mx/SNI/SNI_Reglamentacion/Documents/SNI_Reglamento_2008.pdf>. [Consulta: junio de 2011.] Los reglamentos de 1997 a 2006 fueron consultados en forma impresa.

²¹ Hasta el año 2006 se dispuso del dato correspondiente al total de investigadores de México en equivalente de tiempo completo. Se entiende que este número integra tanto al sector público como al privado a escala nacional.

²² Los reglamentos vigentes del SNI durante los años de 1997 a 2006 solicitaban, generalmente en su cap. IX y art. 32, realizar actividades de investigación científica o tecnológica de tiempo completo.

²³ Para los años de 1996 a 1999 en el SNI existían únicamente cuatro áreas del conocimiento, posteriormente se incrementaron a siete, por lo que para estos años se adecuaron las cifras a siete áreas con base en la disciplina asociada al área de conocimiento del SNI.

²⁴ Un aspecto a resaltar es que desde el año 1996 se modificó el reglamento interno del SNI y se exige el grado académico de doctor para ingresar por vez primera a dicha elite de investigación. En consecuencia muchos investigadores tuvieron que "abandonar" dicha elite de investigación mexicana por no cumplir con ese requerimiento. Además, el nombramiento de candidato a investigador pasó a ser único y por tan sólo tres años, aunque hoy en día dependerá de la comisión evaluadora correspondiente si otorga o no una prórroga.

²⁵ Los criterios internos de evaluación de las nuevas áreas I, II, III, vI y vII del SNI, de 1997 y 2008, no hacen referencia a ningún aspecto cuantitativo para ingresar y/o permanecer en dicho sistema. En cambio, las áreas IV y V tienen perfectamente bien definidos los aspectos cuantitativos para cada nivel y tipo de situación. Por lo que definitivamente, y en términos generales, se le da mucho peso al criterio subjetivo del evaluador para aprobar/promover una solicitud. En consecuencia, un comparativo cuantitativo carecería de sentido alguno.

²⁶ Dos casos, por citar tan sólo algunos muy representativos, pueden verificarse en Ricardo Cerón, "Cuestiona criterios de evaluación", El Universal, 22 de agosto de 2007, y en la carta del investigador Carlos Aguirre Rojas publicada en la revista Proceso, núm. 1663, 14 de septiembre de 2008.

²⁷ Este resultado está en correspondencia con el encontrado por Zubieta y Rueda, "Ciencia", 1998, p. 30, y el cual se refiere a que "de llegar al nivel III, la probabilidad de mantenerse como tal es la mayor de todas las probabilidades calculadas en una matriz de transición mediante un proceso estocástico o proceso de Markov". Además, estando en el nivel II, es más probable promoverse que descender al nivel I.

²⁸ Las citas se refieren a la mención por parte de terceros en algún producto de investigación científico con ficha bibliográfica bien determinada de alguna aportación, resultado, idea, construcción, desarrollo, etc. aparecida dentro de algún producto de investigación (libro, artículo, etc.) con ficha bibliográfica bien determinada realizada o atribuible al investigador o grupo de coautores dentro del cual se encuentra incluido el investigador. Además el rubro de artículos hace referencia a la suma de artículos enviados, artículos aprobados y artículos publicados.

²⁹ Para mayor información al respecto consultar Licea y Santillán–Rivero, "Bibliometría", 2002.

INFORMACIÓN SOBRE LOS AUTORES:

Gerardo Reyes R. Investigador en la Facultad de Economía y Empresa de la Universidad de Barcelona (doctorado perfil Actuariales). Su área de investigación es la evaluación académica y el Sistema Nacional de Ciencia y Tecnología. Entre sus últimas publicaciones destacan: Ángel Samaniego A., G. Reyes R. y Jordi Bachs F., "Coeficiente de pesimismo relativo", Contaduría y Administración, UNAM, núm. 226, 2008, pp. 59–72; Gerardo Reyes R. y J. Suriñach, "Los nuevos ingresos como candidato a investigador en el SNI, 1996–2003", Revista Perfiles Educativos, UNAM, vol. XXXII, núm. 127, 2010.

Jordi Suriñach. Investigador y catedrático en la Facultad de Economía y Empresa de la Universidad de Barcelona (doctorado en Ciencias Económicas). Es miembro de la European Regional Science Association y de la Asociación Española de Ciencia Regional, de la RSAI. Es también codirector del Grupo de Investigación Análisis Cuantitativo Regional (Grupo Consolidado de Investigación por la Generalitat de Cataluña) y director del Instituto de Investigación en Economía Aplicada Regional y Pública (IREA). Ha publicado en revistas de reconocido prestigio tanto en el ámbito nacional (Revista de Economía Aplicada, Estadística Española, ICE), como internacional (Annals of Regional Science, Papers in Regional Science, Economic Letters, International Journal of Development Planning and Literature, Urban Studies, Regional Studies, Applied Economics, etcétera).

ABOUT THE AUTHORS:

Gerardo Reyes R. Researcher at the Economics and Business Faculty at Barcelona University (Ph. D. Actuarial Profiles). His area of research is academic evaluation and the National System of Science and Technology. His latest publications include: Ángel Samaniego A., G. Reyes R. and Jordi Bachs F., "Coeficiente de pesimismo relativo," Contaduría y Administración, UNAM, no. 226, 2008, pp. 59-72; Gerardo Reyes R. and J. Suriñach, "Los nuevos ingresos como candidato a investigador en el SNI, 1996 2003", Revista Perfiles Educativos, UNAM, vol. XXXII, no. 127, 2010.

Jordi Suriñach, Researcher and professor at the Economics and Business Faculty at Barcelona University (Ph. D. in Economic Science). Member of the European Regional Science Association and of the Spanish Association of Regional Science of the RSAI. He is also co-director of the Regional Quantitative Analysis Research Group (Consolidated Research Group for the Generalitat de Cataluña) and direct of the Institute for Research on Public and Regional Applied Economics (IREA). His work has been published in prestigious national (Revista de Economía Aplicada, Estadística Española, ICE) and international journals (Annals of Regional Science, Papers in Regional Science, Economic Letters, International Journal of Development Planning and Literature, Urban Studies, Regional Studies, Applied Economics, etc).