Documentos

 

Mesa "Las políticas científicas nacionales y la evaluación de las revistas de investigación".^* Seminario Permanente de Editores

 

Panel on "National Scientific Policies and Evaluation of Research Journals". Editors' Ongoing Seminar

 

Ricardo Cantoral Uriza**

 

** Jefe del Departamento de Matemática Educativa del Centro de Investigaciones y Estudios Avanzados (CINVESTAV-IPN). Doctor en Ciencias con especialidad en matemática educativa por el CINVESTAV. Investigador nacional II. Director de la Revista Latinoamericana de Investigación en Matemática Educativa (RELIME). Fundó un campo de investigación sobre los procesos de construcción social del conocimiento matemático avanzado y de su difusión institucional, que se ha acuñado como teoría socioepistemológica de la matemática educativa.

 

En esta ocasión quisiera compartir, desde mi experiencia personal, mi punto de vista sobre las políticas científicas y la evaluación de las revistas de investigación en México.

Comenzaré por presentar muy brevemente el contexto del CINVESTAV, institución para la cual trabajo. En primer término, el CINVESTAV es una institución de investigación de nivel internacional en la que no se cuenta con una editorial propia, por tanto no publica, ni edita, ni promueve revistas institucionales de investigación; quienes impulsamos la edición de revistas nacionales es porque estamos convencidos de su importancia como medio de comunicación y de difusión de ideas, y en consecuencia, para la conformación de comunidades. Y lo hacemos fundamentalmente a través de asociaciones profesionales. En ese contexto, la lógica con la que el CINVESTAV evalúa la producción científica de sus miembros es muy clara, aunque también muy excluyente: sólo se aceptan las publicaciones que estén en el ISI Web of Science (WoS). Ningún otro índice. Tampoco es suficiente que la revista esté indizada en SCOPUS o en la base del CONACYT. Además, cada vez es mayor la exigencia de que las revistas estén ubicadas en el diez por ciento más alto de factor de impacto en su área de especialidad, lo que significa, en los hechos, que ninguna revista mexicana es un espacio adecuado para publicar con validez institucional de alto impacto. Esa es su política. Yo no la comparto, pero así operamos. Quizá eso explica la razón del por qué la Revista Latinoamericana de Investigación en Matemática Educativa (RELIME), que personalmente dirijo, se encuentra indizada en el Web of Science (WoS) como medio de visibilidad internacional e institucional.

Para comenzar esta charla a la que gentilmente fui invitado, haré referencia al diálogo que recientemente sostuvimos editores de revistas académicas mexicanas con las autoridades del CONACYT, a propósito de nuestra inconformidad por los excesos de información solicitados en la última convocatoria para la evaluación de las revistas en el Índice de Revistas Mexicanas de Investigación Científica y Tecnológica (IRMlCYT).¹ Lo que percibí de ese encuentro me motivó a hacer esta presentación acerca de por qué el CONACYT se muestra tan insensible ante el tema de la evaluación de las revistas científicas.

Como decía muy bien Alejandro Canales, a los investigadores nos toca evaluarnos en el Programa Nacional de Posgrados de Calidad (PNPC), en el Sistema Nacional de Investigadores (SNI), y en varias otras instancias; y sabemos que el tipo de información que debemos entregar en cada una es muy similar, y que cada trámite implica hacer cosas parecidas. Para el caso que nos ocupa -las revistas científicas- éstas se han quedado al mismo nivel de evaluación que los citados, es decir, parten de criterios que expresan la desconfianza, a diferencia de otros espacios de evaluación que han logrado superar ese nivel.

Hablo de todo esto con conocimiento de causa, pues fui evaluador y también he sido evaluado en todas esas instancias. También fui miembro de un comité de evaluación de revistas del CONACYT hace algunos años; aún recuerdo el tema de entonces para publicaciones de la UNAM. Como sabemos la UNAM no sólo es una gran institución, sino que también es enorme, y a pesar de ello los miembros de los comités se conocen entre sí, es decir que una gran proporción de los colegas que forman parte de los comités pertenecen a una sola institución. Este fenómeno da lugar, por ejemplo, a que algunos afirmen que "tal o cual autor aparece ahí solamente para darle prestigio a la publicación en cuestión, y no tanto por haber colaborado realmente en ella"; mientras que los del otro "bando" (Bourdieu hablaba de campos, pero a la hora de la lucha operan como "bandos") cuestionan eso mismo respecto de la obra propuesta por los otros. Reconozco, sin embargo, que al final impera la razón y se imponen criterios de sensatez, pero la desconfianza priva.

Esto ocurría al tiempo en que un grupo de investigadores de El Colegio de México había enviado al CONACYT una serie de cartas sobre el tema de la ética y la confidencialidad en la evaluación, pues protestaban por ese requisito puesto por el CONACYT. Yo apoyaba esta idea de la confidencialidad, porque me parecía innecesario conocer el resultado de la evaluación de un artículo en una revista, mucho menos el nombre del evaluador para dictaminar sobre la calidad de la publicación; perfectamente se puede dictaminar una revista ignorando estos datos. Otros, sin embargo, insistían en personalizar las discusiones. Desde mi punto de vista, aunque las políticas públicas nos llegan como discursos, en el fondo están personificadas.

Ahora bien, retomando el debate con las autoridades del CONACYT, esa experiencia me hizo pensar que, en aras de contribuir a esta excelente iniciativa del Seminario Permanente de Editores, era necesario plantear qué es lo que sí puede modificar el CONACYT, y qué es lo que no puede modificar. Si logramos encontrar esa franja, encontraremos cómo contribuir con el Consejo; pero al mismo tiempo se necesitaría que éste fuera sensible, que estuviera dispuesto a modificar algunas de sus políticas para el caso de las publicaciones científicas.

El punto central que mueve hoy al discurso público en ciencia, tecnología e innovación, es el Plan Nacional de Desarrollo, y sobre todo el Programa Especial de Ciencia, Tecnología e Innovación (PECITI). En ese documento se plantea el "hacer del desarrollo científico, tecnológico y la innovación, pilares para el progreso económico y social sostenible". Estas son frases, en el fondo, del Banco Mundial, pero ¿cómo se expresa eso un contexto concreto? Es lo que tenemos que descifrar.

Nuestra posición es que las revistas son fundamentales porque ayudan a cumplir el propósito enunciado por el PECITI y forman comunidad y tradición académica entre nosotros. Lo que los editores nos preguntamos es, por ejemplo, ¿qué tipo de evaluación, y en qué medidas, necesitan las revistas mexicanas para incrementar su visibilidad y para elevar su calidad? Nos hacemos estas preguntas porque hay la percepción de que el proceso de evaluación tan burocrático no contribuye a elevar la calidad y mejorar la visibilidad. Sí permite en cambio mejorar la documentación, pero no necesariamente ayuda en el sentido que nos interesa en esta mesa. Es por ello que el debate entre el CONACYT y los editores al que ya hemos hecho referencia versó sobre cuatro temas: 1) lo que es política científica; 2) la gran política científica y la micropolítica; 3) los mecanismos para la visibilidad; y 4) los apoyos del CONACYT. Al respecto Manuel Ángel Castillo afirmó en su exposición que los apoyos del CONACYT han ido en descenso brutal, al nivel de que hoy se confunde el apoyo a SciELO y a la UNAM con el apoyo a las revistas. Esto es muy grave porque son dos cosas distintas: el tema de SciELO es fundamental para tener una racionalidad en los indicadores de la evolución, pero no necesariamente ayuda a que la revista modifique, progrese, cambie y tenga manera de sobrevivir. Quienes impulsamos revistas desde asociaciones sufrimos con el financiamiento; no hay quien nos dé un peso, y ahora nos dicen... que todo lo tiene SciELO.

Hablaré entonces de las medidas de mejora que el CONACYT contempla. Intentaré señalar las que nosotros creemos que podrían servir, siempre sobre la base de nuestra experiencia. El Plan Nacional de Desarrollo declara explícitamente que parte de un principio básico del Banco Mundial, es decir, se sustenta en una política amplia, no local. Al final sí habla de mejorar la infraestructura para la investigación, habla de "mano de obra calificada", y en algún momento menciona los productos que son el vínculo entre la sociedad y la institución; es ahí donde las revistas empiezan a aparecer.

¿Qué presentaron las autoridades de CONACYT en su carta de respuesta a los editores? Lo exponemos para tomar postura, porque estamos del mismo lado: "Contribuir y promover el desarrollo de la ciencia y la tecnología a través de la profesionalización", es decir, tenemos que escudriñar y llegar a acuerdos sobre qué significa la profesionalización.

Es una noción, no sólo es una palabra. Y más adelante señala: "las revistas, como mecanismo de difusión de la producción científica". Ese es el concepto; las revistas son eso. Con base en estas afirmaciones es que apuntalo una tesis: es posible evaluar la calidad del producto mediante el producto mismo; no se precisa de evaluar de nueva cuenta su proceso de evaluación y publicación. Por lo tanto, como diré más adelante, se puede evaluar a las revistas sin tener que evaluar los procesos que la revista llevó a cabo para concretar ese producto. Todo ello ha sido documentado por los colegas de las ciencias bibliométricas.

 

Mecanismos de visibilidad

El CONACYT planteó dos cosas, en primer lugar: "Aumentar la incorporación de títulos nacionales en la Web of Science y en SCOPUS". Para CONACYT, que no para el CINVESTAV, ambas son válidas; y de hecho, también reconoce al IMRlCYT, que es el índice mexicano. Para algunas áreas del SNI estas tres son válidas, aunque para otras no. Pero entonces, ¿cómo vamos a lograr incorporarnos al WoS o a SCOPUS? La respuesta es: mejorando las publicaciones a partir de estándares internacionales. El estándar internacional del que se habla esencialmente se refiere a los gestores, como el OJS y otros, y a su visibilidad internacional.

Adicionalmente, el CONACYT también promueve una política de acceso abierto, presente también en el Plan Nacional de Desarrollo, en el PECITI. Ya lo dijo Obama: está en el mundo. El problema en México, con una economía menos desarrollada que la de Estados Unidos, es el financiamiento. Si hubiera recursos para producir con acceso abierto no tendríamos problema en ese aspecto. Me parece, a reserva de lo que crean las y los colegas aquí presentes, que tendría que ser una demanda explícita de este seminario la petición de que las revistas reciban recursos económicos para su publicación, con el formato que ellas mismas decidan tener, y no etiquetado a un solo rubro. Eso daría la posibilidad de elegir a qué rubros aplicar el financiamiento que reciban; además, en términos de monto no sería muy elevado si lo consideramos en proporción al financiamiento total del CONACYT.

Ahora bien, la mayor tensión que se está dando es en relación a la segunda acción a la que se refirió el CONACYT para mejorar la visibilidad; si bien hay una cierta tensión en algunos mandos altos del Consejo con el tema del acceso abierto, hay un segundo tema que está generando una tensión aún mayor, que es el de la especialización. El Consejo lo expresa en términos de "actualizar, mantener y especializar el índice", pero ¿qué significa "especializar el índice"? Así como se hablaba antes de los criterios de selección, pertinencia, etc., ahora se dice que "el índice debe de tener dos variables"; es ahí donde el CONACYT vive una tensión, porque son dos variables contradictorias: la primera es que tiene que ser incluyente, es decir, tenemos que tener más publicaciones; pero a la vez es excluyente, en el sentido de que los requisitos establecidos reducen mucho las posibilidades de las revistas de ser incluidas en el índice del Consejo.

El CONACYT salva esta tensión que surge de la necesidad de "especializar el índice" creando un comité que depende de él, y que debe ser lo suficientemente riguroso y exigente como para reconocer a las mejores revistas. Esto es, si una revista ya se ha evaluado y ha sido reconocida, le faltaría todavía que se verificaran algunas cuestiones esenciales, como los indicadores de LATINDEX, por ejemplo, es decir, los indicadores formales de la edición. Sin embargo, cuando se debate en los comités no sólo interviene el asunto de los indicadores, sino que se personaliza y se discute acerca de si la publicación de tal o cual persona deberá ser apoyada o no.

Para tal efecto, y aquí es donde veo el punto de mayor contradicción, el CONACYT sigue considerando que la vía insustituible es la evaluación cualitativa de los contenidos realizada por paneles de expertos conformados por investigadores nacionales. Es ahí donde el CONACYT puede, o cree que puede mantener esa dialéctica -o esa contradicción- entre ser incluyente y ser a la vez cuasi excluyente. Pero esto está sujeto a muchos factores, por ejemplo, de si confío o no en el comité que evalúa mi publicación. Y ahí es donde se produce una dificultad mayor, pues por ejemplo, a las revistas que están en el Web of Science, que es como la "liga mayor" de las publicaciones científicas seriadas, se les pide que también estén incluidas en otra serie de índices de menor prestigio, pues argumentan que el WoS no evalúa el proceso. Y es cierto, Web of Science; evalúa el producto a través de su citación.

¿Qué podemos usar como argumento de respaldo frente a esto? La estrategia que sigue una combinación entre WoS, SCOPUS y la Asociación de Academias de Ciencias de Europa. Esta red tiene un índice que se llama ERIH (European Reference Index for the Humanities) que funciona por criterios cualitativos emitidos por comités de expertos, y lo único que evalúan es a la revista, o sea, conocen sus ejemplares. Lo revisan varios años y emiten una opinión sobre la revista. Si tienen dudas le preguntan a un experto específico de ese campo. Es decir, las Academias de Ciencias de toda Europa -nótese la envergadura-sostienen que es posible evaluar una revista por sus productos. De ella forman parte también la Academia de Ciencias de París o la alemana. Valdría la pena estudiar esta estrategia, para el bien de las publicaciones nacionales.

En el caso de México, el PNPC, en su rubro tres, que es el que nos toca fundamentalmente, habla de educación con calidad. Es ahí donde entra todo el trabajo que hacemos. Pero ¿qué apoyos aporta el CONACYT?: "Contribuir a la transferencia y aprovechamiento del conocimiento". Para ellos eso es apoyar la divulgación de la ciencia: revistas de divulgación, apoyar museos (y sí están apoyando eso, aunque con poco dinero). Un proyecto de divulgación puede tener hasta 3 millones de pesos, mientras que una revista podía, hasta hace unos años, recibir hasta 100 mil pesos. No era poca cosa, pero lo que cabe hacer es la comparación. ¿Qué otra acción asume el CONACYT para favorecer la divulgación del conocimiento? El acceso abierto. Pero en este aspecto sólo se está alineando con una política internacional. Es, desde luego, una buena idea, pero siempre y cuando se garantice el financiamiento. El CONACYT quiere promover el tema del uso de información, y para ello está generando repositorios.

Una acción concreta de acceso abierto en Latinoamérica es la red federada, lo que llaman LA Referencia: Red Federada de Repositorios Institucionales de Publicaciones Científicas, que me parece muy buena iniciativa. En ese sentido, México y la UNAM, esta última como la gran institución que es, tienen que ser parte de esas acciones. Es muy importante que todas las publicaciones científicas sean de acceso abierto en Centroamérica y en el Caribe.

¿Qué otras acciones toma en concreto el CONACYT? ¿Por qué nos dicen que sí lo están haciendo? Recuérdese el contexto de este debate, en el que el discurso de las autoridades y el nuestro estaban como en mundos diferentes. El CONACYT establece que "El Índice de Revistas Mexicanas de Investigación Científica y Tecnológica no evalúa a las revistas", no las pondera, y eso lo distingue, por ejemplo, de un índice como Qualis, en Brasil. El ERIH tampoco pondera a las revistas, solamente las clasifica en tres grandes niveles: visibilidad internacional, visibilidad cuasi-internacional y visibilidad nacional; no se considera el factor de impacto, por ejemplo, porque en Europa no se considera útil esa estrategia cuantitativa.

También quisiera referirme a que, si bien el CONACYT ha afirmado que apoya a LATINDEX, REDALYC y SciELO, yo tengo mis dudas de la forma efectiva en que lo están haciendo para el caso de REDALYC, por ejemplo.

En mi opinión SciELO va a lograr la visibilidad que estamos buscando, pero no sé si logrará lo que la comunidad de REDALYC hacía. En un artículo de Alfredo Rodríguez que se publicó en Biblio, una revista de investigación, se indaga si existe correlación entre la visibilidad y la calidad, y toma cuatro variables que ellos calificaron como claves: la pertenencia a una institución, el idioma de la revista y otros dos. En ese mismo artículo el autor analiza nuestro índice, el de CONACYT, y en su análisis muestra que en 2007 había 99 revistas (hoy son 120). Era de esperar que en aquellos años, 50 por ciento de las revistas del índice de CONACYT estuvieran en las áreas IV y V, es decir, Humanidades y Sociales. Si revisamos las publicaciones por área veremos que en el Área I y II es muy fuerte la presencia de sociedades y asociaciones. Hay áreas que tienen más dinero, que tienen más vínculo con la industria, y hay otras que no. En el área IV son muy pocas las revistas que producen las asociaciones; la mayoría se realiza en instituciones. En cuanto al idioma, el español domina en el área IV: más de 70 por ciento se publica en ese idioma, lo cual indica que la política de la traducción no resultará trivial para esa área, y por lo tanto los mecanismos para el llenado de la evaluación tendrían que ser diferenciados. No es cierto, por otro lado, que la traducción al inglés produzca automáticamente más visibilidad y un factor más alto que el Q2. En la mencionada reunión entre autoridades y editores, CONACYT presentó un informe de la producción científica mexicana donde nos ubicábamos principalmente en Q4, Q3, y de pronto subimos a Q2, pero podría ser momentáneo; esto es así porque es muy difícil mantenerse en ese nivel, ya que esos indicadores no miden la revista, sino que miden la relación de la revista con una comunidad de referencia, de manera que si la comunidad es muy grande a nivel internacional, el indicador Q será muy pequeño. En este aspecto difiero del CONACYT: el Consejo sostiene que la traducción es lo que permitirá que la visibilidad de las revistas se incremente sustancialmente, y esto mismo lo sugiere SciELO, pero no necesariamente es así. La Revista Latinoamericana de Investigación en Matemática Educativa (RELIME), por ejemplo, es multilingüe (los artículos se aceptan en español, inglés, portugués o francés, y los resúmenes se publican en esos cuatro idiomas), pero lo importante es que tiene comunidades de referencia maduras y diversificadas, esto es, no se trata solamente de tomar en cuenta al idioma en que se publica, sino de quiénes la leen, cuál es el tamaño de su comunidad de referencia.

Para estar en WoS no se requiere que los artículos estén escritos en inglés; basta con que el resumen y el título estén en ese idioma. Y para que WoS evalúe la revista se le entregan los productos y ellos hacen el trabajo bibliométrico en sus redes. Para que la Asociación de Academias de Europa evaluara a la RELIME lo que les entregamos fueron los productos y nuestras ligas, es decir, los contenidos de la revista. Lo mismo sucedió con SciELO. En cambio el CONACYT exige la documentación de todo el proceso (árbitros, dictámenes, porcentajes, currículos.), y desde mi punto de vista ahí es donde podemos proponernos incidir, es decir, en convencer al CONACYT de que modifique su manera de evaluar a las revistas científicas. No conviene a la comunidad partir de la desconfianza.

Cuando la RELIME entró a WoS efectivamente comenzaron a llegar artículos de distintas latitudes (Turquía y China, por ejemplo); ahora también recibimos más propuestas de Europa y de Estados Unidos, pero el grueso de nuestra comunidad sigue siendo de Iberoamérica, a la que se agregan Francia e Italia por cuestiones disciplinares. Hay, por supuesto, otras áreas en donde "todo mundo" escribe en inglés, o donde todo se lee en inglés. La RELIME formó parte de índices como LATINDEX y SciELO desde antes de que el índice de CONACYT la incluyera; esto debido al contexto institucional. Para quienes editamos la relime, LATINDEX y clase nos enseñaron muchas cosas porque al principio ignorábamos todo lo concerniente al proceso editorial. Les hicimos caso y progresamos. Cuando el CONACYT evaluó la revista en 2004 nos admitió, y desde entonces nos hemos mantenido ahí. Cuando nos piden enviar dictámenes los mandamos sin nombres y nunca nos los han pedido, por eso creo que éste es un tema de la comisión, y no del CONACYT, y por lo tanto es algo que se puede modificar.

Para incrementar la visibilidad, consideramos que no se trata solamente de entrar a las grandes bases; en la RELIME recorrimos un camino paralelo que consistió en entrar a las bases locales, a las bases regionales: en Brasil a Qualis, en Colombia a Colciencias, en Chile a CONICYT, y a la ANECA en España; con eso logramos aumentar la visibilidad de la revista como etapa previa, porque esa es nuestra comunidad de referencia. El 50 por ciento de nuestros autores son latinoamericanos y los demás son del resto del mundo. Si nos enfocamos en Latinoamérica podemos observar la importante presencia de México. ¿Qué acciones llevamos a cabo? Incrementar el banco de árbitros con colegas de diferentes países e instituciones, fundamentalmente de Brasil, España y Latinoamérica toda: cruzar informaciones entre bancos de datos con revistas brasileñas nos ayudó mucho. Y también hicimos un esfuerzo por "hermanar a las revistas". En el portal de la revista agregamos a Perfiles Educativos y a Bolema, una revista brasileña, y les pedimos que hicieran lo mismo en sus portales, porque eso da visibilidad y hermana.

 

Reflexiones finales

Esa es, muy resumida, nuestra historia. Entramos al CONACYT, a LATINDEX, a las bases nacionales, al WoS y a SCOPUS, y a EBSCO para la distribución en bibliotecas. Hoy nuestro tema a mejorar es el relativo a los factores de impacto. Y lo más nuevo que estamos haciendo es promover a la revista en las redes sociales, porque los jóvenes investigadores se mueven por Facebook y Twitter, van más rápido que nosotros... Para ellos OJS es "pan comido". Está por verse cómo nos va con las redes sociales, porque es algo nuevo. Nosotros empezamos a explorar el uso de OJS antes de que el CONACYT lo pidiera como un requisito o lo considerara como un medio adecuado. Creo que es la ruta que llevaremos todas las publicaciones de una u otra manera.

Para cerrar esta intervención quisiera mencionar que la comunidad de referencia de la relime tiene en WoS sólo seis o siete revistas; por lo tanto los factores de impacto del cuartil más alto Q2, son a su vez bajos con respecto a otras revistas de otras áreas en el mismo cuartil. Pero esto no es así por la revista misma, sino por las características de la comunidad de diálogo, que es lo que determina en gran medida al factor de impacto. Entonces, hay que trabajar mucho para que las instituciones no caigan en la tentación de evaluar al investigador por el factor de impacto que tiene una revista, cuando el investigador lo que ofrece es un producto. Es en esta tentación (evaluar por el factor de impacto) en la que caen con frecuencia las instituciones.

El factor de impacto de la relime va subiendo; pero como le hemos dicho a los colegas de Thomson Reuters, nunca vamos a llegar a los factores de impacto Q1 porque el tamaño de la comunidad de referencia de la revista, numéricamente hablando, no alcanza para este nivel. En lo que quiero hacer énfasis, para finalizar, es en que lo que el CONACYT no mostró en la reunión a la que nos hemos referido en estas líneas: datos que tienen que ver con nuestras comunidades, pero no con las revistas. Al respecto, quiero reiterar que valdría la pena considerar como referencia el ERIH, porque atiende también a los aspectos cualitativos de las revistas.

Para terminar, creo que podríamos proponer estrategias que desarrollaría la Red, como hacer que nuestros sitios web y nuestros accesos abiertos se vinculen entre los portales de todas las revistas, no sólo de México, sino de toda Iberoamérica o en su comunidad de diálogo. Es decir, que las revistas dejen de pensarse cada una singularmente, y que se hermanen entre sí, lo que implica, por cierto, comenzar por precisar qué es eso de hermanarse. El acceso abierto ayuda a la difusión; pero también es cierto que persiste la preferencia por citar autores del llamado primer mundo. En ese sentido, hay que diseñar, explicitar y llevar a cabo una política desde el CONACYT para promover la lectura y la citación entre las revistas nacionales e iberoamericanas, dentro de los márgenes éticos permitidos. También es necesario compartir editoriales, escribir en conjunto, es decir, que las revistas compartas discusiones sobre temas de política pública nacional o internacional. Otra acción posible sería compartir bases de datos de los comités editoriales y las carteras de árbitros. Además de que, como hemos dicho a lo largo de este texto, lo que se evalúe sean las revistas. Algunas de mis propuestas muy concretas son:

1. La evaluación del CONACYT podría, sin violar el PECITI ni el Plan Nacional de Desarrollo, hacer una combinación entre criterios cualitativos y cuantitativos. El efecto que tendría esta combinación no afectaría, por ejemplo, a los indicadores del índice h. Ellos estarían confiados en que hay calidad y nosotros no tendríamos que hacer tantos trámites administrativos de carácter burocrático para ser evaluados.

2. Una evaluación tendría que tener como respuesta un apoyo económico. Una revista que depende de sus propios recursos no puede sobrevivir en acceso abierto si no recibe financiamiento. Creo que la propuesta de los editores para que se regrese el financiamiento a las revistas es fundamental; ahora el reto es mantenerlo.

3. Sería muy bueno que el CONACYT hiciera esfuerzos por sensibilizar a las instituciones -y al propio SNI- de que los factores de impacto, como variable cuantitativa, no son suficientes, y que la evaluación cualitativa no precisa de lo que hoy nos están pidiendo. Es en esta zona donde creo que podemos intervenir para modificar su política.

 

Respuestas de Ricardo Cantoral a la sesión de preguntas

Para asistir a esta presentación estuve leyendo algunos artículos de especialistas en evaluación de revistas -y de publicaciones en general- que afirman que el factor de impacto tiene un problema, y lo mostraban matemáticamente. Ellos dicen que el factor h es mejor, u otro tipo de variable. El problema es que al factor h le va a pasar un poco lo mismo. Me gusta más la idea que se está cocinando ahora entre todos los asistentes: pedir que la evaluación sea sobre productos, y que esta idea se sustente en evaluaciones de otros grandes organismos que ya lo han hecho. De hecho, he propuesto una combinación de lo cualitativo con lo cuantitativo, con base justamente en los artículos que leí. Lo que dicen los especialistas en evaluación bibliométrica es que la comunidad considera que la evaluación cualitativa es lo mejor, es decir, analizar los artículos, pero que es muy cara, en tiempo y en costo; en contraste, la evaluación cuantitativa es más eficiente porque implica una manera indirecta de evaluar. Pero cuando hablamos del índice de CONACYT no nos estamos refiriendo ni a una ni a otra; no es que consideren los factores de impacto, sino que en el Consejo se realizan procesos de reevaluación de lo evaluado. Como jefe de departamento en el CINVESTAV, que es el equivalente a director de instituto en la UNAM, cuando presento la documentación de mi instituto pruebo que los estudiantes se graduaron y que hubo jurados de diversos países, pero no presento los dictámenes del evaluador porque con lo que se entrega es suficiente para que puedan confirmar que el posgrado tiene componente internacional. Sin embargo, el CONACYT sí solicita esta reevaluación a las revistas.

El punto neurálgico de la cuestión es encontrar en dónde sí se puede modificar el CONACYT. No se va a modificar el Plan Nacional ni el PECITI; el tema es la contradicción entre ser incluyente y ser cuasi excluyente. Me parece que lo que busca el CONACYT en verdad es que estemos en SciELO para que desde ahí se documente estadísticamente, al final del sexenio, que se incrementó la presencia en WoS a partir del SciELO Citation Index. Creo que esa va a ser la estrategia concreta. Por eso lo que debemos debatir es si es posible evaluar el producto, y si para ello habría que solicitar el apoyo de las instituciones con oficio, por ejemplo Demográficas, El Colegio de México y LATINDEX, para que nos ayuden a saber cómo se identifica una comunidad de referencia y cómo se correlaciona esto con los indicadores. Y si eso se puede medir, se puede cuantificar, resultaría una combinación interesante lo cuali con lo cuanti, pero si le proponemos esto a CONACYT nos va a decir que lo hagamos nosotros, porque saben que nos vamos a tardar más de un año. En verdad conviene que nuestra respuesta próxima sea muy rápida, y que incluya propuestas muy concretas para coadyuvar con las soluciones. Quienes formamos parte del Seminario debemos empezar un proceso más largo de decisión y aclaración, incluso conceptual.

Con el fin de precisar algunas cosas diría que el CONACYT no va a dejar de evaluar, y creo que nosotros debemos de estar abiertos a la evaluación. Lo que tenemos que lograr precisar es cuáles son los mecanismos de evaluación que permiten aumentar la visibilidad y dar estabilidad a una publicación conservando la calidad. Ahí es donde está, en este momento, la contradicción mayor. Lo que se escucha del lado de la convocatoria del CONACYT se refiere más bien a procedimientos administrativos y a desconfianza. Y la desconfianza viene, en parte, de personalizar los procesos de evaluación a las revistas.

En síntesis, este seminario puede muy bien ser un actor para que las comunidades de referencia hagan conciencia del fenómeno que se está viviendo. ¿Cuál es el riesgo mayor? Que las grandes empresas editoriales monopolicen la producción del conocimiento. Por ejemplo, cuando la relime entró al WoS le empezaron a llegar cuatro veces más artículos que los que le llegaban antes, pero también llegan ofertas de Springer para formar parte de su catálogo, por ejemplo. Algunas revistas mexicanas aceptaron algo parecido y les cambiaron el ISSN: hoy aparecen como revistas de otros países. Lo anterior deja ver que hay riesgos. Por todo ello, en mi opinión, lo que esta comunidad pueda empezar a construir y compartir con nuestras comunidades de referencia es lo único que nos va a permitir resistir; pero también hay una zona donde el CONACYT podría hacer modificaciones, de manera que la comunidad de editores y sus publicaciones sigan creciendo.

 

Notas

* Se transcribe la participación del Dr. Ricardo Cantoral Uriza en la séptima sesión del Seminario Permanente de Editores que tuvo como tema "Las políticas científicas nacionales y la evaluación de las revistas de investigación". La reunión se llevó a cabo el 25 de marzo de 2015 en la Coordinación de Humanidades de la UNAM. En la mesa también participaron el Dr. Alejandro Canales (UNAM) y el Mtro. Manuel Ángel Castillo (COLMEX).

1 Dicho diálogo inició con una carta firmada por más de 40 editores de revistas pertenecientes al IRMICYT en diciembre 2014 y dirigida a las autoridades del CONACYT. Dichas autoridades dieron respuesta en carta fechada en enero de 2015, a la cual se hace referencia en esta exposición. Por último, el CONACYT convocó a reunión con los editores de estas revistas para entablar un diálogo sobre la convocatoria en marzo de 2015. En dicha reunión, las autoridades del CONACYT presentaron un panorama de la producción científica mexicana a escala regional; en este texto se hace referencia, también, tanto a la reunión como a dicha presentación. Por último, para dar seguimiento a los acuerdos de este encuentro se organizó la sesión del Seminario Permanente de Editores que ahora presentamos.