Introducción

Durante décadas se ha aceptado el factor de impacto (FI) de las revistas como un indicador válido para su evaluación. Sin embargo, cada vez hay más argumentos en contra del uso del factor de impacto como único criterio de comparación (^{Waltman y Van Eck, 2013}).

El factor de impacto a 2 años, publicado por Thomson Reuters en el Journal Citation Reports (JCR ), es el número medio de referencias a cada revista en el año actual con respecto a los ítems citables publicados en esa revista durante los 2 años previos (^{Garfield, 1972}). Desde su formulación se han criticado algunas decisiones arbitrarias, como la definición de "ítems citables", el hecho de centrarse exclusivamente en los 2 años previos, etc. (^{Bensman, 2007}; ^{Moed et al. , 2012}), dando lugar a diversas modificaciones (^{Althouse et al. , 2009}; ^{Bornmann y Daniel, 2008}). Como respuesta, Thomson Reuters incorporó en 2007 tres indicadores que emplean una ventana de citación de 5 años: el factor de impacto a 5 años, el eigenfactor score y el article influence score (^{Bergstrom, 2007}). Sin embargo, no existen diferencias significativas entre los rankings de revistas que emplean 2 y 5 años (^{Leydesdorff, 2009}), si bien en muchos casos los impactos obtenidos usando 5 años son mayores a los que se obtienen con 2 años (^{Rousseau, 2009}).

Estos indicadores son útiles para comparar revistas del mismo campo; sin embargo, no lo son al comparar revistas de diferentes campos científicos. Este problema procede de la evaluación institucional, ya que en los centros de investigación trabajan, con frecuencia, científicos con formaciones muy diversas (^{Leydesdorff y Bornmann, 2011}; ^{Van Raan et al. , 2010}; ^{Wagner et al. , 2011}). Los diferentes hábitos de publicación y citación provocan que sea necesario normalizar los indicadores bibliométricos basados en citas antes de comparar las revistas.

Existen patrones estadísticos que permiten la normalización del factor de impacto. ^{Garfield (1979)} propone el término potencial de citación , basado en el número promedio de referencias, para justificar las diferencias sistemáticas entre los campos científicos. En biomedicina, por ejemplo, son comunes los listados con más de 50 referencias, mientras que en matemáticas el estándar está por debajo de 20 referencias (^{Dorta González y Dorta-González, 2013a}). Estas diferencias son consecuencia de los diversos hábitos de citación y afectan la probabilidad de ser citado. El promedio de referencias se ha empleado frecuentemente en la literatura para justificar las diferencias entre campos (^{Leydesdorff y Bornmann, 2011}; ^{Moed, 2010}; ^{Zitt y Small, 2008}). Sin embargo, el número promedio de referencias no se encuentra entre las variables que explican en mayor medida la varianza del factor de impacto (^{Dorta-González y Dorta-González, 2014}). Por ello, es necesario considerar algunas otras fuentes de varianza en el proceso de normalización, como el crecimiento del campo, el ratio de referencias a revistas JCR , el ratio de referencias JCR a la ventana de citación y la proporción entre documentos citantes y citados. Dadas estas importantes diferencias en las prácticas de citación, es una cuestión prioritaria el desarrollo de indicadores bibliométricos que permitan comparaciones significativas entre campos científicos (^{Waltman y Van Eck, 2013}).

Tradicionalmente, la normalización de las diferencias entre campos se ha basado en algún sistema de clasificación de revistas. En esta aproximación, cada publicación pertenece a uno o más grupos, y el impacto se calcula de forma relativa a las otras publicaciones del mismo grupo. La mayor parte de los esfuerzos para clasificar revistas en campos científicos se ha centrado en las correlaciones entre los patrones de citación. Este es el caso, por ejemplo, de las categorías de revistas JCR. En este sentido, ^{Egghe y Rousseau (2002)} proponen el factor de impacto agregado , que considera todas las revistas de una categoría como una única meta-revista. Sin embargo, el campo de muchas revistas es difícil de determinar con precisión, y algunas de ellas se asignan a dos o más categorías. Además, la delimitación de los campos científicos, o sus especialidades, es un problema no resuelto en bibliometría, ya que estas delimitaciones son difusas en cada momento y se desarrollan dinámicamente en el tiempo. Por esta razón, la clasificación de un sistema dinámico en términos de categorías fijas puede llevar a error, porque el sistema de clasificación se define según el histórico, mientras que la dinámica de la ciencia es evolutiva (^{Leydesdorff, 2012: 359}).

Se ha propuesto recientemente la idea de normalización por la fuente, que ofrece un enfoque alternativo a la normalización por el campo. En esta aproximación, la normalización se realiza con base en las revistas citantes. La calidad de una revista es un concepto complejo, multidimensional, difícil de ser recogido en una sola métrica (^{Moed et al. , 2012: 368}). Esto ha provocado la aparición de muchos indicadores, tales como el factor de impacto con recuento fraccional (^{Leydesdorff y Bornmann, 2011}), el factor de audiencia (^{Zitt y Small, 2008}), el factor de impacto normalizado por la fuente (^{Moed, 2010}), el factor de impacto normalizado por el tópico (^{Dorta-González et al. , 2014}), el SJR del grupo Scimago (^{González-Pereira, Guerrero-Bote y Moya-Anegón, 2009}) y el índice de área central (^{Egghe, 2013}; ^{Dorta González y Dorta-González, 2010},²⁰¹¹), por citar algunos de ellos. Sin embargo, aunque todos estos indicadores tienen utilidad, ninguno recoge adecuadamente las diferencias en relación con la velocidad de maduración del impacto.

Como se mencionó, en la literatura al respecto se han considerado factores de impacto con ventana de citación fija (de entre 2 y 5 años). Hasta donde alcanza nuestro conocimiento, no existen trabajos donde se analicen indicadores en los que la variable sea el año de comienzo y finalización de dicha ventana de citas. De esta forma, el objetivo principal de este trabajo es estudiar cómo afecta el año de comienzo y finalización de la ventana de citación sobre el indicador de impacto, para lo cual se comparan los factores de impacto de 2 y 5 años (que emplean ventanas fijas) con otros obtenidos para ventanas variables.

El propósito que se persigue con esta nueva metodología es recoger las diferencias entre campos, ajustando el año de comienzo y la amplitud de la ventana de citación a la velocidad de maduración de las citas en cada campo. Para ello, se presenta una aplicación empírica con 600 revistas de 8 categorías JCR y se comparan entre sí 5 indicadores.

Ventana de citación y velocidad de maduración del impacto

Un indicador de impacto para revistas es una medida del número de veces que los artículos publicados en cierto periodo censal citan los artículos publicados durante alguna ventana de citación previa. La velocidad de maduración del impacto de una revista está relacionada con el tiempo que transcurre desde la publicación de un volumen de la misma hasta el año en que su distribución de citas alcanza el máximo.

Ventanas de citación de 2 y 5 años

El factor de impacto a 2 años de Thomson Reuters considera un periodo censal de un año y usa los 2 años previos como ventana de citación. Como un promedio, este indicador se basa en dos elementos: el numerador, que es el número de citas en el año actual a ítems publicados en una revista en los 2 años previos, y el denominador, que es el número de ítems citables publicados en esos dos mismos años (^{Garfield, 1972}). Los ítems publicados incluyen los ítems citables, pero también editoriales, noticias, correcciones, etc. De forma similar, el factor de impacto a 5 años considera un periodo censal de un año y usa los 5 años previos como ventana de citación.

Si NArtⁱ _t es el número de ítems citables en el año t de la revista i y NCitⁱ _{t, t−j} el número de veces en el año t que los volúmenes del año t-j de la revista i son citados, se define el factor de impacto a n años, para el año t de la revista i , como:

De forma particular se tienen los factores de impacto a 2 y 5 años:

y

El potencial de citación es una fuente de varianza en el factor de impacto a n años. Este potencial depende del campo científico y está determinado por la frecuencia y la rapidez con la que los autores citan otros trabajos, además de la profundidad con la que dicho campo está cubierto por la base de datos considerada. De esta forma, el potencial de citación es una medida de la actualidad y popularidad del campo (^{Moed et al. , 2012}). Los campos más populares tienden a atraer a muchos autores con un interés compartido, por lo que los desarrollos en estos campos avanzan rápidamente. Los artículos se publican en un número limitado de revistas de gran visibilidad y los autores tienden a citar los trabajos más recientes de sus colegas. Estos campos suelen tener un factor de impacto a 2 años mucho más alto (^{Moed et al. , 2012}).

De esta manera, no existe un valor de n óptimo para todas las revistas y campos. En algunos casos, con 2 años se obtiene una buena medida del impacto, pero en otros son necesarios 3 o más años.

Ventana de citación con año de comienzo y amplitud variables

Un indicador de impacto para revistas es, como ya dijimos, una medida del número de veces que los artículos publicados en cierto periodo censal citan los artículos publicados durante alguna ventana de citación previa. Sin embargo, la amplitud óptima de la ventana de citación puede variar tanto entre campos como con el tiempo. Por tanto, a pesar de que durante décadas se han considerado ventanas de citación fijas, no hay evidencias en la literatura que justifiquen su idoneidad con respecto a las ventanas de citación variable.

Un problema que no ha sido resuelto adecuadamente en bibliometría es la correcta delimitación entre campos o especialidades, debido a que dichas delimitaciones son difusas en cada momento y se desarrollan dinámicamente en el tiempo. Por esta razón no es recomendable seleccionar una ventana de citación en relación con la categoría temática de la revista.

Los investigadores, en aquellos campos en los que el impacto madura más rápidamente, hacen un "consumo" inmediato de la producción científica, esto es, una rápida difusión y citación. Esto sucede, por ejemplo, en biomedicina y ciencias de la computación. Por el contrario, el "consumo" de la producción científica es más lento en los campos donde el impacto madura más lentamente, como en matemáticas y economía.

No existe un tiempo de maduración óptimo que sea válido para todas las revistas. La elección de una ventana de citación variable, en lugar de una fija de 2, 3 o 5 años, se basa en la evidencia empírica de que en muchos campos las citas no han alcanzado aún su valor máximo transcurridos 2 años, mientras que en otros campos dicho máximo se alcanza mucho antes de los 5 años. Por lo tanto, la aplicación de una ventana variable es el compromiso óptimo para que aquellos campos en los que el impacto madura lentamente puedan alcanzar sus citas máximas, sin penalizar aquellos otros en los que el impacto madura con mayor rapidez.

La Figura 1 muestra la distribución de citas de cuatro revistas diferentes. Las revistas A y C pertenecen a un campo en el que el impacto madura rápidamente, mientras que las revistas B y D pertenecen a un campo en el que el impacto madura lentamente. Dado que el número de citas es el numerador en la fórmula de impacto, si todas ellas tienen el mismo tamaño (han publicado el mismo número de artículos en los últimos años), entonces A tiene mayor impacto que C y B tiene mayor impacto que D . Sin embargo, ¿qué revistas tienen mayor impacto: A o B, C o D ?

Figura 1 Distribución de citas para revistas en campos de impacto rápido (A con mayor impacto que C) y lento (B con mayor impacto que D). 

Definimos el factor de impacto con ventana de comienzo en j y finalización en k , para el año t de la revista i , como:

Por simplicidad emplearemos la notación FI _j,k , entendiendo que la revista y el año están fijados. Por ejemplo, FI _3,4 representa el factor de impacto con ventana de comienzo en 3 y finalización en 4, esto es, considerando las citas a artículos de entre 3 y 4 años de antigüedad. En la Figura 1 pueden observarse varios factores de impacto con diferentes comienzo y finalización en la ventana de citación. Obsérvese que FI _1,2 y FI _1,5 coinciden con los factores de impacto a 2 y 5 años de Thomson Reuters.

Definimos el tiempo de maduración del impacto en el año t de una revista i como el número de años que transcurren desde t hasta aquél en el que se alcanza el impacto máximo. En la Figura 1 se observa cómo el tiempo de maduración del impacto de las revistas A y C es de 2 años, mientras que el tiempo de maduración del impacto de las revistas B y D es de 6 años. La velocidad de maduración del impacto es, por tanto, muy superior en el caso de las revistas A y C .

Métodos y materiales

En la aplicación empírica estudiamos que la ventana de citación, para el indicador de impacto, produce una distribución de datos más próxima entre campos científicos en relación con sus medidas de centralidad y variabilidad.

Los datos bibliométricos utilizados se han obtenido de la versión online del Journal Citation Reports (JCR ) de 2011, durante la primera semana de noviembre de 2012. La base de datos JCR está gestionada por Thomson Reuters (Philadelphia, USA) y se encuentra disponible en www.webofscience.com. En el JCR , los expertos de Thomson Reuters asignan las revistas a una o más categorías de acuerdo con las revistas citantes y citadas. Dichas categorías se consideran como campos o especialidades de la ciencia.

En el análisis comparativo hemos considerado aleatoriamente una categoría de revista de cada uno de los 8 clusters obtenidos por ^{Dorta González y Dorta-González (2013a},^b). Esto se ha hecho en orden de obtener revistas con diferencias significativas en los hábitos de publicación y citación. En los trabajos mencionados se analizaron todas las categorías temáticas en los índices de revistas Science Citation Index Expanded y Social Science Citation Index . De entre los 8 clusters identificados, 6 incluyen un número significativo de categorías. Dos de ellos son considerablemente amplios, con más del 25 % de las categorías cada uno de ellos, que incluyen las ciencias físicas y de la vida (matemáticas, física, química, ingeniería y biomedicina). Los 2 clusters siguientes contienen aquellas áreas de ciencias sociales que usan en menor medida los métodos matemáticos (educación, sociología, lengua y derecho). Finalmente, los 2 últimos clusters incluyen, en general, las ciencias de la vida con un componente social más importante, y aquellas ciencias sociales que usan en mayor medida métodos matemáticos (psicología, economía y empresa).

En este trabajo se ha considerado un total de 618 revistas. Las categorías y el número de revistas son: Astronomy & Astrophysics (56); Biology (85); Ecology (134); Engineering, Aerospace (27); History & Philosophy of Science (56); Mathematics, Interdisciplinary Applications (92); Medicine, Research & Experimental (112); Multidisciplinary Sciences (56).

Resultados y discusión

La Tabla 1 incluye una muestra de 24 revistas, seleccionadas aleatoriamente de entre las más citadas en las 8 categorías JCR . Esta tabla contiene las citas en el año 2011 de ítems y el número de publicaciones en el periodo 2006-2010. Nótese las importantes diferencias en el número de publicaciones y en las citas entre las revistas y los campos. Esta varianza en los datos incide de manera directa en la variabilidad de los factores de impacto. En particular, se observa un incremento exponencial en el número de publicaciones en PLOS ONE y reducciones lineales en ANN NY ACAD SCI y LIFE SCI .

La Tabla 2 muestra, para las revistas consideradas, algunos factores de impacto variando el año de comienzo y final de la ventana de citación. La velocidad de maduración del impacto varía considerablemente de una categoría a otra. El número de años transcurridos hasta que la distribución de citas alcanza su máximo oscila entre 2 y 5 años. Obsérvese también la amplitud en el intervalo de variación para cada indicador. El FI1,2 varía entre 0.667 y 15.748, por ejemplo.

La Tabla 3 proporciona el coeficiente de correlación de Pearson para todos los pares de indicadores considerados con ventana de 2 años, tanto para las categorías de revistas como para los datos agregados, en la muestra de 618 revistas de 8 categorías JCR . El patrón general que se observa en esta tabla es una fuerte correlación, con la mayor parte de los coeficientes por encima de 0.90. Sin embargo, se debe ser cauto a la hora de sacar conclusiones de las correlaciones presentadas en esta tabla. Los diferentes indicadores tienen distribuciones sesgadas, con muchas revistas con valores relativamente bajos, y sólo un pequeño número de revistas con valores altos. Estas distribuciones sesgadas muy frecuentemente dan lugar a correlaciones de Pearson altas.

En la Tabla 4 se muestra el número de revistas en las que el factor de impacto alcanza el valor máximo dentro de cada ventana de citación de 2 años. Nótese que no hay un tiempo de maduración del impacto óptimo para todos los campos. En algunos casos se obtiene una buena medida del impacto con 2 años, pero en otros casos son necesarios 3 o más años. Obsérvese que el impacto madura rápidamente en Astronomy & Astrophysics (2 años), seguido por Medicine, Research & Experimental (3 años). Sin embargo, el impacto madura lentamente en Ecology y en Mathematics, Interdisciplinary Applications (5 años). El resto de los campos están en una situación intermedia (de 4 a 5 años).

Finalmente, la Tabla 5 muestra las medidas de tendencia central y de variabilidad para las 8 categorías JCR analizadas. Todos los indicadores presentan distribuciones sesgadas, siendo muchas las revistas con valores relativamente bajos del indicador, y sólo unas pocas con valores altos. Esta es la razón por la que las medianas de las distribuciones están muy por debajo de las medias en todos los casos analizados. Obsérvense las grandes diferencias en las medianas, las medias y las desviaciones estándar entre las categorías. Como caso particular, la media es cuatro veces la mediana en Multidisciplinary Sciences, con la mayor desviación estándar. En términos generales, parece que FI _3,4 produce las medianas más próximas.

CONCLUSIONES

Los resultados obtenidos indican que los años de comienzo y finalización de la ventana de citación tienen un efecto determinante sobre el factor de impacto. Las categorías de revistas analizadas en este trabajo son muy diferentes. Los años transcurridos hasta que la distribución de citas alcanza su máximo oscilan entre 2 y 5, por lo que la velocidad de maduración del impacto varía considerablemente de una categoría a otra. Algunas revistas son penalizadas por el factor de impacto a 2 años y favorecidas por el de 5 años, y viceversa. Esta es la razón por la que se debe ser cauto al comparar factores de impacto de revistas de campos diferentes. Sin embargo, existen factores de impacto con ventanas variables que producen, en términos generales, medidas de tendencia central más próximas.

Respecto a la pregunta de investigación (¿se ajustan las ventanas fijas de citación a las distintas velocidades de maduración del impacto de las revistas científicas?), los resultados obtenidos indican que las ventanas de citación de comienzo y finalización fijos que han sido empleadas en la literatura no se ajustan a las diferentes velocidades de maduración del impacto de las revistas científicas, favoreciendo a algunas de ellas y penalizando a otras. Por tanto, es necesario adoptar algún tipo de ventana variable de citación de comienzo y finalización ajustados al campo de investigación.