Relevancia de las revistas españolas incluidas en las bases de datos del Institute for Scientific Information medida a través del factor de impacto renormalizado

Relevance of the spanish journals included in the databases of the Institute for Scientific Information measured by the renormalized impact factor

A. Matías Gámez*

^* Universidad de Jaén, España, mgmartin@ujaen.es

RESUMEN

Actualmente se emplea el Factor de Impacto (FI) como medida de la relevancia o la calidad de la producción científica de una institución, un proyecto o un grupo de investigación, o un investigador particular, independientemente del campo científico al que pertenecen. En este estudio se presenta una clasificación de las publicaciones españolas indexadas en las bases de datos del Institute for Scientific Information (ISI) en función de su relevancia. Se propone para la medida de esta relevancia el Factor de Impacto Renormalizado (Fr) en lugar del FI. Los resultados encontrados muestran que el 12.64% de las revistas españolas incluidas en el ISI pueden ser consideradas relevantes dentro de sus categorías y que un alto FI no indica necesariamente un alto nivel de relevancia de la revista, por lo que el FI no es un índice adecuado para evaluar actividades científicas pertenecientes a campos diferentes.

Palabras clave: índices bibliométricos; Factor de Impacto; Factor de Impacto Renormalizado; Evaluación de revistas científicas; Institute for Scientific Information (ISI).

ABSTRACT

Nowadays the Impact Factor (IF) is used as a measure of the relevance or the quality of an institution, a research group or project, or a particular researcher's scientific production, regardless of the scientific field to which they belong. This paper shows a classification of the Spanish journals included in the Institute for Scientific Information (ISI) databases based on their relevance. To measure this relevance we propose the Renormalized Impact Factor (Fr) instead of the IF. The results show that 12.64% of Spanish journals included in the ISI may be considered relevant in their categories and that a high IF does not necessarily indicate a high relevance of the journal, so the IF perhaps is not an appropriate index to evaluate scientific activities belonging to different fields.

Keywords: Bibliometric indexes; Impact Factor; Renormalized Impact Factor; Scientific journals evaluation; Institute for Scientific Information (ISI).

INTRODUCCIÓN

Las políticas científicas de los países desarrollados implican a menudo tener que evaluar de una forma más o menos objetiva la relevancia de la actividad científica de los investigadores, grupos de investigación o instituciones pertenecientes a campos científicos muy diferentes, para poder tomar decisiones relativas, por ejemplo, la financiación de proyectos de investigación, el reconocimiento de tramos de investigación para la promoción de investigadores o el acceso a plazas de distintos cuerpos de personal docente e investigador. Actualmente el indicador bibliométrico más ampliamente aceptado para este fin es el Factor de Impacto (FI en adelante), que es una medida del número de citas que recibe una revista científica en un periodo de tiempo determinado. El FI de una revista se calcula dividiendo el total de citas que reciben en un año determinado los artículos publicados en esa revista durante los dos años anteriores, entre el total de artículos publicados por la revista en esos dos años. Por ejemplo, el FI de "Scientia Marina" para el año 2009 expresa el número medio de citas que han recibido durante 2009 los artículos publicados en esa revista en 2007 y 2008.

La idea subyacente al FI es que la calidad de un artículo está en función del número de citas que recibe, de modo que una revista que publica artículos de calidad recibirá muchas citas y tendrá un elevado FI (v.gr., Garfield, 2003). Sin embargo, son cada vez más numerosos los trabajos en los que se pone de manifiesto la falta de validez del FI para hacer la evaluación de la calidad de la actividad científica (v.gr., Aleixandre-Benavent; Valderrama-Zurián; González-Alcaide, 2007; Bordons; Fernández; Gómez, 2002; Buela-Casal, 2001, 2003; Seglen, 1997). Algunas de las limitaciones planteadas son, en primer lugar, que el FI hace referencia a la revista, no a cada uno de los artículos publicados en ella. En segundo lugar, el recuento de citas para el cálculo del FI no tiene en cuenta el tipo de artículo citado, de forma que de un alto número de artículos de revisión teórica resultará un elevado FI, mientras que artículos de menor importancia como cartas, editoriales, entrevistas o reseñas llevarán a un FI bajo. Por otro lado, para el cálculo del FI no se cuentan todas las citas que ha recibido una revista, sino sólo aquellas que se producen en las revistas fuente de las bases de datos SCI y SSCI (puede consultarse una aplicación de los criterios para la selección de estas revistas a las revistas españolas en Ruiz-Pérez, Delgado y Jiménez-Contreras, 2006). De hecho, algunos estudios muestran cómo el FI de una revista varía en función de las revistas fuente consideradas (v.gr., Buela-Casal, Medina, Viedma, Go-doy, Lozano y Torres, 2004; Cangas, Pérez y Gázquez, 2006). Por último, el FI está determinado también por la actividad investigadora de una disciplina científica concreta, de modo que las áreas de conocimiento con mucha actividad tendrán altos FI en comparación con áreas poco desarrolladas. Esto es, el FI no resulta un índice adecuado para realizar comparaciones entre publicaciones que pertenecen a campos científicos diferentes (v.gr., Aleixandre-Benavent et al, 2007; Balaban, 1996; Bordons et al, 2002; Garfield, 2003; Makino, 1998; Ramírez, Garcíay del Río, 2000).

Para evaluar la calidad de las publicaciones científicas parece conveniente entonces acudir bien a estrategias no basadas en índices (v.gr., Coslado, Lacunza y Ros, 2011), o bien a otros índices que superen siquiera parcialmente las limitaciones impuestas por el FI (véase Aleixandre-Benavent et al., 2007). Uno de esos índices es el Factor de Impacto Renormalizado (Fr en adelante), propuesto originalmente por Ramírez et al. (2000). Este factor expresa la diferencia entre los factores de impacto máximo y mediano de una categoría, de forma que un Fr igual a 1 expresa un factor de impacto máximo dentro de la categoría, mientras que un Fr igual a 0 expresaría un FI situado en la mediana de la categoría. Según García, del Río y Ramírez (2002) serán revistas relevantes aquellas que tienen un Fr mayor que cero. La ventaja fundamental del Fr es que es independiente de las características específicas de cada categoría (recordemos que ésta es una de las principales limitaciones del Fl), por lo que resulta muy útil para analizar la relevancia de las publicaciones científicas independientemente de la categoría a la que pertenecen.

Un ejemplo de aplicación del Fr es el estudio de Ramírez, García y del Río (1999; véase García et al, 2002). En este trabajo Ramírez et al. (1999) evaluaron la relevancia de una serie de revistas latinoamericanas pertenecientes a disciplinas científicas diferentes, a lo largo del periodo comprendido entre los años 1991 y 1997. Para ello calcularon el Fr de cada una estas publicaciones. Los resultados encontrados sugieren que en la medida en que se comparan publicaciones que pertenecen a categorías distintas, realizar un análisis de este tipo en función del FI sería inadecuado puesto que este factor es dependiente de la dinámica de cada categoría. Como se comprenderá fácilmente, una revista que tiene un alto FI no será una revista relevante si en su categoría hay muchas revistas con altos factores de impacto. El uso del Fr permite evaluar la relevancia de cada revista dentro de su campo, lo que nos permite hacer comparaciones directas entre revistas que pertenecen a categorías diferentes, así como la relevancia de investigadores o instituciones académicas de múltiples disciplinas (para una aplicación del Fr a este último caso véase Ramírez, del Río y Russell, 2002).

A partir de aquí, nos planteamos como objetivo de este trabajo evaluar la relevancia de las revistas científicas españolas indexadas en el JCR del año 2009, utilizando para ello el Fr de cada una de ellas.

METODOLOGÍA

Las revistas incluidas en este estudio descriptivo son las que recoge el Science Citation índex (SCI) y el Social Science Citation índex (SSCI) publicados en el Journal Citation Reports (JCR) del año 2009. Se calculó el Fr para cada una de estas revistas mediante la fórmula propuesta por Ramírez et al. (2000) y que detallamos a continuación:

Como queda expresado en esa ecuación, el Fr de una revista es igual a la diferencia entre el FI de esa revista y el FI mediano (Fmed) de la categoría a la que pertenece, dividido por la diferencia entre los factores de impacto máximo (Fmax) y mediano de la categoría en la que la revista está listada. En caso de que una revista se encuentre en más de una categoría, el Fr global de la revista sería el promedio de los factores de impacto renormalizados calculados en cada categoría. Como ya se ha señalado, las revistas con Fr mayores que cero serían revistas relevantes dentro de su categoría (García et al, 2002), ya que estarían situadas por encima de la mediana (es decir, estas revistas se encontrarían en los cuartiles 1 y 2); y las revistas con Fr menores que cero serían revistas de menor relevancia dentro de su categoría (estarían situadas en los cuartiles 3 y 4).

RESULTADOS

La Figura 1 presenta el número de revistas científicas españolas en las bases de datos del Institute for Scientific Information (ISI) entre el año 2000 y el 2009. Como puede observarse este número ha aumentado de forma espectacular en la última década. Mientras que en la edición del año 2000 del SCI aparecen 28 revistas españolas, en la del 2009 este número es más del doble que el anterior, y llega a las 60. El aumento en el caso del SSCI es mucho más significativo, ya que en el 2000 el número de revistas listadas en esa base de datos era de sólo 2, mientras que en el 2009 este número es de 31.

La Figura 2 presenta la evolución del FI medio de las revistas españolas desde el año 2000 hasta el 2009. Atendiendo únicamente a los FI medios del año 2000 y del 2009 deberíamos concluir que las revistas científicas españolas no han aumentado su impacto significativamente en estos diez años, sobre todo aquellas incluidas en el SSCI, que han pasado de un FI medio de 0,35 en 2000 a uno de 0,40 en 2009. Sin embargo si observamos la gráfica podemos ver una tendencia ascendente en el FI medio de las revistas del SCI que se ve interrumpida en los últimos tres años. Aunque con más oscilaciones, ocurre algo parecido con las revistas del SSCI, cuyo FI medio desciende bruscamente en los dos últimos años. Además, en este caso se producen sendos picos en los años 2002 y 2007.

DISCUSIÓN

En general las revistas científicas españolas tienen cada vez más presencia en bases de datos internacionales tan relevantes como el JCR, lo que supondría un primer indicio de la creciente calidad de estas publicaciones. Como puede verse en la Figura 1, mientras que durante los primeros siete u ocho años de este siglo la presencia de revistas españolas en el JCR se mantiene aproximadamente constante, el año 2009 supuso un punto de inflexión en este sentido, puesto que el número de revistas casi se duplicó en relación al año anterior. Los resultados mostrados en la Figura 2 corroboran parcialmente esta percepción. Con los matices señalados en el apartado anterior, podemos considerar que a lo largo de los años objeto de estudio se produce un aumento moderado en el FI medio de las revistas científicas españolas, aunque esta tendencia se invierte en los últimos años. Aunque este descenso se deba fundamentalmente a la entrada en las bases de datos de revistas con un bajo FI que provocan un descenso considerable en la media, quizá sea conveniente dedicar futuros trabajos a profundizar en los factores que puedan incidir, desde cualquier perspectiva, en el mantenimiento o mejora del impacto de las publicaciones científicas.

Vista esta tendencia global, es necesario precisar que no todas las revistas han evolucionado de la misma forma. Como ejemplo, las revistas "European Journal of Psychiatry" y "Test" tenían unos factores de impacto similares en 2000 (0,231 y 0,308 respectivamente). Sin embargo, en 2009 "Test" tiene un factor de impacto de 1,241 y "European Journal of Psychiatry" de 0,462. En función de estas diferencias en el FI podríamos pensar que "Test" es una revista más relevante que "European Journal of Psychiatry", y quizá sea así, pero resulta inadecuado llegar a esta conclusión atendiendo únicamente a sus factores de impacto, fundamentalmente porque el número de citas que recibe una revista depende, en gran medida, de la dinámica que rige su campo científico, de modo que factores como el tipo de artículos o el número de revistas que componen una categoría pueden llevar a que dos revistas relevantes dentro de sus respectivas categorías tengan factores de impacto muy diferentes. A modo de ejemplo, las revistas "Annual Review of Psychology" y "Ethnicity & Health", tienen el FI máximo dentro de sus respectivas categorías. Pese a ello, el FI de la primera es de 22,750 y el de la segunda es de 1,673. Por tanto, habríamos errado al considerar que "Annual Review of Psychology" es una publicación de mayor relevancia que "Ethnicity & Health". Por este motivo, a la hora de evaluar los resultados de la actividad investigadora de grupos de investigación, instituciones o investigadores particulares de especialidades diferentes sería conveniente relativizar el FI de las revistas donde se publican tales resultados, utilizando para ello índices como el Fr, que tienen en cuenta las particularidades de la categoría o categorías donde se incluyen esas revistas.

En este sentido a la vista de los resultados mostrados en la Tabla 1 no podemos decir que las revistas españolas sean muy relevantes dentro de sus respectivas categorías. Sólo 11 de las 87 revistas españolas incluidas en el JCR de 2009 pueden ser consideradas relevantes, es decir, que sólo estas 11 tienen factores de impacto superiores a la mediana de sus respectivas categorías, lo cual viene expresado porque sus Fr son mayores que cero. Nótese que estas revistas no son las que tienen los mayores factores de impacto. Resulta clarificador el caso de "Trabajos de Prehistoria", que es la revista española más relevante a juzgar por su Fr, aunque su FI es de 0,425. Una clasificación de las revistas recogidas en la Tabla 1 realizada en función del FI habría situado a "Trabajos de Prehistoria" en la posición 51. Por su parte, aunque el FI de "Enfermedades Infecciosas y Microbiología Clínica" es de 1,393, lo que le lleva a ser la décima revista española con mayor impacto, si atendemos a su Fr esta revista cae hasta la posición 44, estando muy por debajo de revistas como "Afinidad" y "Atención Primaria", cuyos factores de impacto son 0,190 y 0,437 respectivamente. Esto resulta fácilmente comprensible si tenemos en cuenta que en la categoría Historia, a la que pertenece "Trabajos de Prehistoria", el FI de la revista que ocupa la mediana es de 0,217, mientras que en las categorías Enfermedades infecciosas y Microbiología, en las que se encuentra listada la revista "Enfermedades Infecciosas y Microbiología Clínica", el FI mediano es de 2,455 y 2,355 respectivamente. De la misma manera, si miramos la parte baja de la tabla veremos que "Revista Española de Lingüística Aplicada", con un FI igual a cero, es más relevante dentro de su categoría que "Revista Iberoamericana de Automática e Informática Industrial", con un FI de 0,291, dentro de la suya.

A partir de estos resultados podemos concluir que un 12,64% de las revistas españolas incluidas en el JCR en 2009 ocupan lugares relevantes dentro de sus respectivos campos científicos, mientras que el resto juega un papel secundario dentro de sus categorías; y, paralelamente, que un FI alto no debe asociarse necesariamente con una alta relevancia, lo que nos lleva a pensar que el FI no es un índice adecuado, fiable si se quiere, para evaluar actividades científicas pertenecientes a campos diferentes. Para esta evaluación debería emplearse el Fr.

APÉNDICE 1

BIBLIOGRAFÍA

Aleixandre-Benavent, R., Valderrama-Zurián, J. C. y González-Alcaide, G. (2007), "El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos", en El profesional de la información, 16(1), 4-11.         [ Links ]

Balaban, A. T. (1996), "How should citations to articles in high- and low- impact journals be evaluated, of what is a citation worth?", Scientometrics, 37,495-498.         [ Links ]

Bordons, M., Fernández, M. T. y Gómez, I. (2002), "Advantages and limitations in the use of impact factor measures for the assessment of research performance in a peripheral country", en Scientometncs, 53(2), 195-206.         [ Links ]

Buela-Casal, G. (2001), "La Psicología española y su proyección internacional. El problema del criterio: internacional, calidad y castellano y/o inglés", en Papeles del Psicólogo, 79,53-57.         [ Links ]

––––––––––, (2003), "Evaluación de la calidad de los artículos y de las revistas científicas: Propuesta del factor de impacto ponderado y de un índice de calidad", en Psicothema, 15(1), 23-35.         [ Links ]

Buela-Casal, G., Medina, A., Viedma, M. I., Godoy, V., Lozano, S. y Torres, G. (2004), "Factor de impacto de tres revistas españolas de Psicología", en Psicothema, 16, 680-688.         [ Links ]

Cangas, A. J., Pérez, M.C. y GázquezJ.J. (2006), "Factor de Impacto de las publicaciones españolas de Psicología utilizando un amplio rango de revistas fuente", en International journal of Psychology and Psychological Therapy, 6(3), 417-423.         [ Links ]

Coslado, M. A., Lacunza, I. y Ros, G. (2011), "Evaluación de la calidad de revistas científicas españolas: análisis de sus procesos de revisión", en El profesional de la información, 20(2), 159-164.         [ Links ]

García, E. O., del Río, J. A. y Ramírez, A. M. (2002), "Análisis de la relevancia de las revistas latinoamericanas a través de un factor de impacto renormalizado", en Revista Española de Documentación Científica, 25 (4), 467-476.         [ Links ]

Garfield, E. (2003), "The meaning of the Impact Factor", en Internacional Journal of Clinical and Health Psychology, 3(2), 363-369.         [ Links ]

Makino, J. (1998), "Productivity of research groups - Relation between citation analysis and reputation within research communities", en Scientometrics, 43, 87-93.         [ Links ]

Ramírez, A. M., García, E. O. y del Río, J. A. (1999), "Estudio de la relevancia de las revistas latinoamericanas utilizando un factor de impacto renormalizado", en Investigación Bibliotecológica, 13(27), 110-124.         [ Links ]

––––––––––, (2000). Renormalized impact factor. Scientometrics, 47, 3-9.         [ Links ]

Ramírez, A. M., del Río, J. A. y Russell, J. M. (2002), "Hacía la evaluación cuantitativa de instituciones multidisciplinares", en Revista Española de Documentación Científica, 25(4), 387-394.         [ Links ]

Ruiz-Pérez, R., Delgado, E. y Jiménez-Contreras, E. (2006), "Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: metodología e indicadores", en International journal of Clinical and Health Psychology, 6(2), 401-424.         [ Links ]

Seglen, P. O. (1997), "Why the impact factor of journals should not be used for evaluating research", en British medical journal, 314, 498-502.         [ Links ]

INFORMACIÓN SOBRE EL AUTOR

* A. Matías Gámez

Departamento de Psicología, Universidad de Jaén, Paraje de las Lagunillas s/n, C.P.:23071- Jaén, España.Tel.: + 34 953 21 26 72 Fax: + 34 953 211881 E-mail: mgmartin@ujaen.es.