Sobre las formas de evaluación de las revistas científicas

On the evaluation methods for scientific journals

Raymundo Dávalos Sotelo¹

¹ Red de Ambiente y Sustentabilidad. Instituto de Ecología, A.C. Xalapa, Veracruz, México. raymundo.davalos@inecol.mx

Manuscrito recibido el 10 de julio de 2015.
Aceptado el 10 de julio de 2015.

Resumen

En la actualidad hay un enorme interés y amplias discusiones en el medio académico para encontrar métodos eficaces de evaluación del impacto del trabajo de los científicos. Se argumenta aquí que el impacto de la información generada por los investigadores tiene relevancia más allá de una mera contabilidad de citas a los productos académicos. Sin embargo, sigue existiendo la necesidad de valorar de una manera más inmediata el efecto o la influencia del trabajo científico. El argumento central de esta contribución es que el número de citas generado por el motor Google Scholar (GS) representa una medida más precisa y completa del trabajo de los investigadores individuales que el Factor de Impacto FI. Asociado a GS existe el concepto del Índice h5. Para ver si hay alguna regularidad en la proporción de citas entre las dos bases de datos, se hizo una búsqueda de citas para artículos de autores considerados representativos para Madera y Bosques: Williams-Linera et al. y Yáñez-Arancibia et al. por ser de los más citados. El valor del coeficiente de determinación demuestra la extraordinaria regularidad de esta relación. Para el caso de la valoración de las revistas, se argumenta que el índice h es más apropiado que el JCR. Reiteramos que el impacto real del trabajo de investigación rebasa el ámbito del trabajo académico y se refleja en el uso de la información en áreas alejadas de los círculos académicos, pero que tienen amplia repercusión en la sociedad como por ejemplo, la información requerida para definir las áreas naturales protegidas.

Palabras clave: Google Scholar, índice h5, índice h, JCR, Web of Science.

Abstract

Today there is a huge interest and wide discussions in the academic world to find effective methods of evaluation of the impact of the work of the scientists. It is argued here that the impact of the information generated by researchers has relevance beyond a mere accounting of citations to academic products. However, there remains the need to assess in a more immediate way the effect or influence of scientific work. The central argument of this contribution is that the number of citations generated by the engine Google Scholar (GS) represents a far more accurate and complete the work of individual researchers that FI impact Factor. Associated with GS, there is the concept of index h5. To see if there are any regularity in the proportion of citations between the two databases, a search for citations was made to articles for authors considered representative: Williams-Linera et al. and Yáñez-Arancibia et al. for being the most cited. The value of the coefficient of determination shows the extraordinary regularity of this relationship. In the case of the valuation of the journals, it is argued that the index h is the most appropriate to the JCR. We reiterate that the real impact of the research work is beyond the scope of academic work and is reflected in the use of information in remote areas of academia, but that have broad impact on society as for example, the information required to define the protected natural areas.

Introducción

En la época actual ha generado un enorme interés y amplias discusiones en el medio académico el encontrar métodos eficaces de evaluación del impacto del trabajo de los científicos. Esto sucede, entre otras razones, porque se buscan criterios óptimos para distribuir los cada vez más competidos fondos para la investigación. Otra razón de importancia es que cada vez más, la sociedad se interesa en conocer y valorar el trabajo de los científicos, puesto que en gran medida, las actividades de los centros de investigación están financiadas con fondos públicos y se espera que los resultados de las investigaciones contengan o generen elementos aplicables para el bienestar general y el desarrollo de los grupos sociales. Como no se han encontrado hasta la fecha criterios uniformes para hacer esta clase de evaluaciones, se siguen buscando formas que resulten aceptables para la mayoría de los actores interesados en el tema, sean estos administradores de la ciencia, funcionarios públicos, legisladores, el público en general o los propios investigadores.

En una publicación reciente, se ha abordado este tema planteando que el celebérrimo factor de impacto, FI, del Web of Science (WofS) tiene aplicación limitada al entorno académico pero que, en términos generales, no representa ni describe de manera adecuada la real utilidad de la información científica (Dávalos-Sotelo, 2015). El impacto de la información generada por los investigadores suele tener relevancia más allá de una mera contabilidad de citas a los productos académicos. Sin embargo, muchos de los criterios que podrían ayudar a reflejar de manera más precisa el impacto de la investigación son de naturaleza intangible y no podrán valorarse de manera justa sino hasta muchos años después de que se haya producido la publicación de los resultados de dichas investigaciones. Sigue existiendo por lo tanto, la necesidad de valorar de una manera más inmediata o cuando menos, a más corto plazo, el efecto o la influencia del trabajo científico. De esta necesidad surgió la invención del FI.

Aun cuando se reconoce esta necesidad, muchos en el ámbito académico consideran debatible el uso del FI para evaluar el trabajo de los científicos. El argumento central de esta contribución es que el número de citas generado por el motor de búsquedas Google Scholar -GS- (o Google Académico, en español) representa una medida más precisa y completa del trabajo de los investigadores individuales. Asociado a este criterio, se encuentra el concepto del Índice h5 del mismo motor de búsqueda. Según la definición vigente del GS, el índice h5 es el índice h de los artículos publicados en los últimos 5 años completos. Se trata del número mayor h en cuanto a que h artículos publicados entre 2010-2014 deben tener al menos h citas cada uno (http://scholar.google.com.mx/citationsPview_op=top_venues&hl=es). En el apartado siguiente se discute la comparación de este índice con el número de citas presentadas por el Journal of Citation Reports (JCR) del WofS.

Comparación de criterios para evaluar el impacto de la producción individual de los científicos

La manera más común de valorar el impacto de los trabajos de los científicos es a través de las citas a dichos productos académicos. La teoría detrás de este criterio es que si el trabajo se considera valioso por otros investigadores, entonces será citado muchas veces. La base de datos más reconocida y prestigiada en el contexto académico es la del JCR de la WofS. Este prestigio se basa en la suposición de que los criterios de admisión de las revistas en esta base de datos son muy rigurosos y que las revistas incluidas en esta base o índice constituyen una garantía de seriedad y rigor científicos. Este es precisamente el punto de contención de muchos en el mundo académico que consideran que este índice es insuficiente para describir con justicia el trabajo académico (ver por ejemplo, Archambault y Lariviere, 2009; Vanclay, 2011; Silva-Aygaguer, 2012).

A partir de la publicación de Hirsch (2005) donde este autor sugirió que con el índice h se podía evaluar la actividad científica de los investigadores y que dicho índice superaba las limitaciones de otros ampliamente utilizados índices de clasificación de la productividad científica, múltiples autores concuerdan en que el índice h de Hirsch es una medida mucho más completa y adecuada que el FI para medir el impacto de las publicaciones científicas (por ejemplo, Salgado y Páez, 2007; Vanclay, 2008). Aunado a este índice, se encuentra el buscador de trabajos académicos GS el cual utiliza este concepto para representar de manera analítica el impacto de la producción de investigadores científicos individuales y de las revistas y publicaciones donde ellos presentan los resultados de sus investigaciones. El buscador GS fue lanzado al público en versión Beta en noviembre de 2004, está circunscrito al ámbito académico, y soportado por una base de datos libremente disponible en Internet. En esa base se almacena un extenso conjunto de trabajos de investigación científica incluyendo el universo de acceso abierto y procedente de las más diversas disciplinas. Su rasgo distintivo más notable es que, aunque se especializa en artículos científicos e incluye las revistas más connotadas en el mundo (específicamente las de las bases de datos JCR de Thomson Reuters y Scopus de Elsevier), también abarca trabajos en diversos formatos de presentación (libros, documentos presentados en conferencias científicas, tesis e informes técnicos ubicados en repositorios institucionales de universidades y centros de investigación) y, en particular, en revistas no indizadas por Thomson Reuters (Silva-Aygaguer, 2012).

Con el fin de verificar si hay alguna regularidad en esta proporción de citas entre las dos bases de datos, se decidió hacer una búsqueda de citas para artículos considerados representativos. Para ello se escogió en primera instancia, el trabajo de Williams-Linera et al. (2002) por ser el de mayor número de citaciones entre los que se han publicado en la revista Madera y Bosques (127 citas de GS y 52 en JCR para el 5 de noviembre de 2015). Para esta comparación se buscaron las citas de los 52 artículos incluidos en la base JCR, tanto con el buscador GS como en la base de JCR. Con esta información se generó la gráfica de la figura 1, que muestra la relación estadística que existe entre las dos bases de datos¹. En el eje horizontal se registran las citas del GS y en el vertical las del WofS. La ecuación de la línea de tendencia resultante es la siguiente:

El valor del coeficiente de determinación, R², de 0.989 demuestra la extraordinaria regularidad de esta relación. Con un alto grado de probabilidad, se puede afirmar que cuando menos para este campo de estudio, ciencia de las plantas o ecología vegetal, en promedio estadístico, 52% de las citas registradas por el GS serían citas del JCR. Con esta información, resulta entonces innecesario recurrir a la búsqueda de las citas del JCR cuando se tienen las del GS. El otro 48% de las citas sería de trabajos en revistas no indizadas, tesis de diferentes grados académicos o informes técnicos. Probablemente estos trabajos no tengan el mismo rigor académico de las revistas indizadas pero no por ello dejan de tener valor como elementos representativos del trabajo de un investigador.

Para verificar si en otros campos de estudio dentro de las ciencias naturales se repite este patrón de proporcionalidad de las citas entre las dos bases de datos, se hizo la búsqueda de las citas de otro de los autores más citados de la revista Madera y Bosques. La referencia dentro de la revista es Yáñez-Arancibia et al. (1998). Este investigador es autor o coautor de cuando menos 34 trabajos publicados que han recibido citas tanto en el GS como en el JCR. Realizando el mismo tipo de análisis que para el caso anterior, se buscaron las citas a dichos artículos. Con esa información se generó la gráfica de la figura 2, donde se muestra la correlación estadística entre las dos bases de datos. La ecuación de la línea de tendencia ajustada a los puntos de la gráfica es:

De nuevo la regularidad estadística es notable como lo demuestra el alto valor del coeficiente R²: 0.963.

Por último, para confirmar que no se trata de casos aislados o producto del azar, se hizo una búsqueda de citas adicional. Al azar se escogieron 49 artículos que han citado a Yáñez-Arancibia et al. y se consiguieron las citas a dichos trabajos en ambas bases. La gráfica de la relación entre los datos de GS y WofS se presenta en la figura 3. La regularidad estadística se manifiesta una vez más, como era de esperarse a estas alturas del análisis (R² = 0.902). La ecuación resultante, muy semejante a la ec. (2), es:

Si se combinan los datos de los tres análisis, se obtiene la gráfica de la figura 4 que nos indica que, con un alto grado de probabilidad, aproximadamente 60% de las citas en el GS corresponden a citas del JCR (R² = 0.928) (ec. 4). Para todos los casos, esta aseveración es válida para todo el intervalo de citación (0 a 407 citas).

Métodos de evaluación de las revistas científicas

Para el caso de la valoración de las revistas, se ha argumentado aquí que el índice h es el más apropiado por ser más inclusivo que el JCR y de manera principal, por ser de acceso abierto. En primera instancia, se registraron los valores del índice h5 del buscador GS, que corresponde al período de 5 años entre 2010 y 2014 y que son los últimos años completos para los que se dispone de información de citas a trabajos académicos. Este trabajo se hizo con las 36 revistas que incluyen los artículos que citan el trabajo de Williams-Linera et al. (2002). Simultáneamente se buscaron los valores del índice h de la base JCR para los mismos años. Con esa información se generó la gráfica de la figura 5. Igual que en el caso de la comparación de citas para las dos bases de datos, la correlación estadística entre los datos de las dos bases de datos muestra una extraordinaria regularidad: un valor de R² muy cercano a la unidad (0.969). Lo que la gráfica de la figura 5 señala es que se puede esperar que el valor del índice h del JCR sea 77% del índice h5 del GS (ec. 5).

El mismo tipo de análisis se repitió para las 34 revistas del tema de Investigación sobre ecología marina de las costas (marine ecology coastal research) donde han publicado trabajos Yáñez-Arancibia et al. y donde han sido citados. El patrón de regularidad estadística se repite con notable similitud, si bien con ligeras diferencias en la proporción del valor h de JCR contra el h5 de GS (Fig. 6; ec. 6): esta regresión estadística apunta a que el valor de h de JCR representa 84% del valor de h5 registrado en GS. El coeficiente de determinación es igualmente cercano a uno: 0.975.

En vista de la gran similitud de los datos analizados, se combinaron los registros para las 70 revistas analizadas resultando en la gráfica de la figura 7. Según estos datos el valor de h de JCR representa 80% del valor de h5 (ec. 7). El valor de R² es de 0.970. El significado de estas cifras es que cuando menos 20% de los artículos de una revista dada que se pueden encontrar en el internet (en la base de datos GS) tienen tantas o más citas que lo que refleja el valor de h de JCR. Lo mismo sucede con las revistas mismas: algunas tienen valores de h5 mayores que revistas de la misma área que forman parte del JCR. En otras palabras, un trabajo no tiene necesariamente que ser publicado en una revista del índice JCR para ser altamente citado. Los que citan a esta clase de trabajos, definitivamente los ven como de gran utilidad. Es el contenido del documento lo que representa el valor para los usuarios y no el medio donde se publica.

Para revisar si este patrón se mantiene con revistas fuera de las 70 analizadas, se obtuvieron los datos de h5 y h para la revista Nature, donde se ha citado cuando menos en una ocasión el trabajo de Yáñez Arancibia et al., pero no se incluyó en el análisis por tener un valor de h superior en un orden de magnitud a la mayoría de las 70 revistas analizadas. Los valores obtenidos son: h5 = 377 y h = 302. La razón h/h5 es 0.801, exactamente igual a la que predeciría la ecuación (7) (h_pred = 303). La presunción que se hace es que para casi cualquier rama de las ciencias naturales, cuando menos, la regularidad estadística manifestada en estos análisis, con un alto grado de probabilidad se repetiría.

Comentarios finales

El tema de la valoración del trabajo de los científicos seguramente se continuará debatiendo ampliamente en los círculos de los propios científicos y más importantemente, entre las entidades o instancias que financian su trabajo. La información presentada aquí tiene el objetivo de ayudar a nutrir la discusión. Como conclusiones se puede afirmar, sin temor a equivocarnos, que los datos de citas registrados por la base de datos de Google Scholar ofrecen un panorama más completo y justo del trabajo de los científicos y del impacto de sus investigaciones. El índice h de Hirsch también parece ser más adecuado para valorar la relevancia de las revistas que publican estos trabajos que el propio índice h de JCR.

Reiteramos que el impacto real del trabajo de investigación rebasa el ámbito del trabajo académico y se refleja en el uso de la información en áreas alejadas de los círculos académicos, pero que tienen amplia repercusión en la sociedad. En Dávalos-Sotelo (2015) se apuntó que un tema de la mayor importancia se refiere a la información requerida para definir las áreas naturales protegidas. El trabajo de Williams-Linera et al. (2002) cumple con esta consideración, como se indicó en el trabajo citado de Dávalos-Sotelo (2015). En realidad, la referencia de Williams-Linera et al. (2002) se ha usado para argumentar o justificar la necesidad de otras áreas naturales igualmente importantes, como los sitios Ramsar. En este caso particular, la información de esta referencia se manejó por parte de Gordillo Morales y Cruz Paredes (2005) para justificar la aplicación de los criterios al sitio Ramsar: "Cascadas de Texolo y su entorno". Gordillo Morales y Cruz Paredes (2005) mencionan, citando a Williams-Linera et al. (2002) que la cascada de Texolo es un humedal rodeado de bosque mesófilo de montaña. Este ecosistema mantiene una gran biodiversidad y es sumamente importante por los servicios ambientales que proporciona a los asentamientos humanos vecinos.

Coincidentemente y de manera muy explicable, la investigación de Yáñez-Arancibia y colaboradores también es citada en este contexto por Flores-Yánez y Cabrera-Martínez (2012) como justificación para otro sitio Ramsar: "Sistema de Humedales Cuyamel-Omoa", éste ubicado en Honduras. Los redactores de esta ficha informática emplean entre las referencias bibliográficas el trabajo de Sánchez-Gil y Yañez-Arancibia (1999) al argumentar la justificación del sitio. Los autores de la Ficha Informativa del humedal Ramsar exponen, empleando la referencia de Sánchez-Gil y Yáñez-Arancibia (1999), que el sitio sustenta especies acuáticas durante el desarrollo de parte de su ciclo biológico, sobre todo en las etapas larvales y juveniles de camarón Litopenaeus spp, representado una de las principales actividades económicas para las comunidades aledañas a este ecosistema Otros ejemplos a mencionar son: el caso del robalo (Centropomus spp), de gran interés comercial e importante para la salud del ecosistema y el pez óseo la Guasa (Epinephelus itajara) que pertenece a la familia de los meros y que desarrolla parte de su ciclo biológico también en este humedal. Usando la misma referencia los autores de la ficha mencionan que especies de interés, tales como: camarones (Litopenaeus spp.), meros (Epinephelus itajara), robalos (Centropomus spp.), sábalos (Tarpon atlanticus) y pargos (Lutjanus spp.) dependen en sus estados biológicos larvales y juveniles de estos ecosistemas, migrando de los humedales al mar y viceversa; generalmente son pescados en aguas fuera del sitio en el Golfo de Honduras.

Estas dos citas desde luego que no son recogidas por la base de datos JCR de Thomson Reuters pero son de innegable significancia y relevancia. Con estos dos ejemplos del impacto del trabajo de los investigadores, reforzamos el argumento de que el valor de sus investigaciones supera lo que puede manifestarse por la pura cuenta de citas, aunque es también razonable suponer que han sido citados en múltiples ocasiones porque su trabajo de investigación es de excelencia.

Referencias

Archambault, É. y V. Lariviére. 2009. History of the journal impact factor: Contingencies and consequences. Scientometrics 79(3):635-649.         [ Links ]

Dávalos-Sotelo, R. 2015. Una forma de evaluar el impacto de la investigación científica. Madera y Bosques 21(Núm. esp.):7-16.         [ Links ]

Flores-Yánez, R.H. y G. Cabrera-Martínez. 2012. Ficha Informativa de los Humedales de Ramsar (FIR)-Versión 2009-2014. "Sistema de Humedales Cuyamel-Omoa". Cuerpos de Conservación Omoa (CCO), República de Honduras. 27p.         [ Links ]

Gordillo Morales, G. y L. Cruz Paredes. 2005. Ficha Informativa de los Humedales de Ramsar (FIR): "Cascadas de Texolo y su entorno". Consejo Estatal de Protección al Ambiente. Gobierno del Estado de Veracruz. Xalapa, Veracruz. 11p.         [ Links ]

Hirsch, J.E. 2005. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America 102(46):16569-16572.         [ Links ]

Salgado J.F. y D. Páez. 2007. La productividad científica y el índice h de Hirsch de la psicología social española: convergencia entre indicadores de productividad y comparación con otras áreas. Psicothema 19(2):179-189.         [ Links ]

Sánchez-Gil, P. y A. Yañez-Arancibia. 1999. Grupos ecológicos funcionales y recursos pesqueros tropicales. In: D. Flores-Hernández, Sánchez-Gil, J.C. Seijo y F. Arreguín- Sánchez, eds. Análisis y Diagnóstico de los pesqueros críticos del Golfo de México. Universidad Autónoma de Campeche. EPOMEX Serie Científica. p:357-389.         [ Links ]

Silva-Aygaguer, L.C. 2012. El índice-H y Google Académico: una simbiosis cienciométrica inclusiva. Acimed 23(3):308-322.         [ Links ]

Vanclay, J.K. 2008. Ranking forestry journals using the h-index. Journal of informetrics 2(4):326-334.         [ Links ]

Vanclay, J.K. 2011. Impact factor: outdated artefact or stepping-stone to journal certification? Scientometrics 92(2):211-238.         [ Links ]

Williams-Linera, G., R.H. Manson y E. Isunza-Vera. 2002. La fragmentación del bosque mesófilo de montaña y patrones de uso del suelo en la región oeste de Xalapa, Veracruz, México. Madera y Bosques 8(1):73-89.         [ Links ]

Yáñez-Arancibia, A., R.R. Twilley y A.L. Lara-Domínguez. 1998. Los ecosistemas de manglar frente al cambio climático global. Madera y Bosques 4(2):3-19.         [ Links ]

Nota

¹ La base de datos con la que se generaron las gráficas Incluidas en este trabajo se pueden consultar en la página electrónica http://www1.inecol.edu.mx/myb/INDICE_TEXTOS_MB.htm#215.

Este documento se debe citar como: Dávalos-Sotelo, R. 2015. Sobre las formas de evaluación de las revistas científicas. Madera y Bosques 21(3):7-15.