Cobertura de la ciencia de América Latina y el Caribe en Scopus vs Web of Science

Coverage in Scopus vs. Web of Science off research produced in Latin America and the Ccaribbean

Samaly Santa * y Víctor Herrero–Solana **

* Agencia Andaluza de Evaluación. Consejería de Economía, Innovación y Ciencia. España, samaly.santa@juntadeandalucia.es

** Departamento de Biblioteconomía y Documentación, Universidad de Granada, España UA, Grupo SCImago, CSIC, España. victorhs@ugr.es

Artículo recibido: 6 de agosto de 2010
Artículo aceptado: 24 de septiembre de 2010

Resumen

El propósito del presente trabajo es analizar y comparar el grado de cobertura de las revistas, la producción científica y la visibilidad que tienen los mayores productores de América Latina y el Caribe (LAC) en las bases de datos del Institute for Scientific Information (ISI) y Scopus. Los resultados demuestran una amplia cobertura de las revistas nacionales indizadas en SCimago Journal and Country Rank frente a las que incluye journal Citation Report (JCR). Sin embargo, muchas de estas incorporaciones son recientes, lo que no ha provocado un especial aumento de los documentos en Scopus y por el momento la producción y citación por países es bastante similar en ambas fuentes. Las revistas indizadas en SJR y que no están incluidas en JCR, alcanzan en general un bajo factor de impacto, mientras que las que están en ambas presentan valores similares.

Palabras clave: Producción científica. Revistas científicas latinoamericanas. Bases de datos. Scopus. Web of Science.

Abstract

This paper offers a comparative analysis of databases of the Institute for Scientific Information (ISI) and Scopus in terms of coverage of journals, scientific output and visibility of the most productive Latin American and Caribbean countries in these capacities. Results show wide coverage of national journals indexed in SCimago Journal and Country Rank (SJR) in contrast to those included in the journal Citation Report (JCR). Many of these, however, are recent additions that have not caused a significant increase of documents included in Scopus. Thus, the production and citation numbers for journals listed in both databases are similar, while journals indexed only in SJR exert, in general, lesser impact.

INTRODUCCIÓN

Durante más de 40 años las bases de datos del Institute for Scientific Information (ISI) fueron las únicas que permitían el trabajo bibliométrico. Su carácter multidisciplinar, la información sobre la afiliación institucional, la disponibilidad de las referencias bibliográficas, entre otras muchas características, las pusieron a la vanguardia durante décadas. No cabe duda de que la invención del Science Citation índex por Eugene Garfield, marca un hito en el modo de evaluar la ciencia y supone el nacimiento de la evaluación no sólo de corte cuantitativo sino también cualitativo a través del análisis de citación.

A partir de 2004 Elsevier puso en marcha Scopus, una base de datos que hoy indexa alrededor de 16.500 revistas peer–reviewed,¹ frente a las 11.500 del ISI (Thomson Reuters, 2010) en todas las áreas del conocimiento. Scopus es actualmente, por tanto, la mayor base de datos multidisciplinar existente, y ha terminado con la supremacía de ISI.

Como Scopus contiene también referencias bibliográficas, su mayor cantidad de revistas fuente permite identificar a priori un mayor número de citas. Sin embargo, cabe destacar que si bien Scopus tiene mayor cobertura, su exhaustividad pierde fuerza para las referencias anteriores a 1996. Los trabajos de Bar–Han, Levene y Lin (2007); Bakkalbasi, y otros (2006); Neuhaus y Daniel (2007) se han centrado en comparar los conteos de citación en ambas fuentes, y concluyen que los datos de citación están fuertemente influidos por la cobertura de cada una de ellas, y que la elección de una u otra depende del área temática y del periodo de estudio.

Con la aparición en escena de Scopus aumenta la posibilidad de comparación, una característica crucial en la evaluación de la ciencia, que permite además los estudios complementarios a los que hasta ahora se habían realizado sobre los datos de ISI. Varios autores han centrado sus trabajos al comparar las características de ambas bases de datos teniendo en cuenta cuestiones como el precio, funcionalidades e interfaces de consulta, entre otros (Goodman y Deis, 2005; Jacso , 2005). También han sido comparadas esas bases desde la perspectiva de su cobertura: títulos de revistas, áreas temáticas, idiomas, editores, distribución geográfica, etc. (Gavely Iselid, 2008; Moya–Anegón y otros, 2007; Norris y Oppenheim, 2007, López–Ulescas, Moya–Anegón y Moed, 2008; Gorraiz y Schloegl, 2008).

La validez de las bases de datos ISI para evaluar la ciencia de América Latina y El Caribe (LAC) ha sido cuestionada por muchos autores (Gibbs, 1995; Gaillard, 1996; Cetto y Alonso–Gamboa, 1998, Krauskopf y otros, 1995, Araújo Ruíz y otros, 2005), no obstante la mayoría de los trabajos de corte cienciométrico se han hecho con esta fuente. Para ampliar la cobertura de la ciencia regional en esta base de datos y probablemente por la fuerte presión que ejerce Scopus, se anuncia en 2008 la incorporación de 700 revistas de corte regional, aunque de ellas sólo el 11% se editan en LAC, siendo otras regiones las más favorecidas (Leydesdorff y Wagner, 2009).

Con la aparición en escena de esta nueva fuente se han empezado ya a abordar estudios de este tipo como una alternativa complementaria a la evaluación de la calidad de la investigación regional, haciendo análisis comparativos de la producción científica de un país en ambas bases de datos (Arencibia–Jorge y Moya–Anegón, 2010), sobre un campo temático específico (Wainer, Xavier y Bezerra, 2010; Dorta–Contreras y otros, 2008) o sobre la validez y comparabilidad de algunos de los indicadores disponibles (Jacso , 2009).

El objetivo del presente trabajo es comparar la cobertura de las revistas y de la producción científica de los diez mayores productores de LAC en las bases de datos de ISI y Scopus. En primer lugar hacemos un análisis comparativo de las revistas indexadas en ambas bases de datos que nos permita conocer el grado de cobertura en número de revistas, países, idioma y visibilidad. En segundo lugar buscamos conocer el número de documentos indexados en cada base de datos para cada país, el peso que representan en la producción científica mundial, los ritmos de crecimiento y la visibilidad que alcanza entre dichas fuentes.

MATERIALES Y MÉTODO

Para el estudio de las revistas en ISI utilizamos la fuente Journal Citation Report (JCR) tanto en su versión Science como Social Sciences, edición 2008 disponible en el portal Web of Knowledge (WOK).² Para recuperar las revistas editadas en cada uno de los países seleccionados se hizo una búsqueda por el campo "Country/Territory". Para analizar Scopus utilizamos la información disponible en el portal Scimago Journal and Country Rank (SJR),³ edición de 2008, una herramienta desarrollada por SCImago Research Group, que ofrece indicadores científicos de revistas y países a partir de Scopus. En este caso también se hizo la consulta por el campo "Country". Los datos sobre producción científica se obtuvieron a partir de las bases de datos de WOK y Scopus⁴ para el periodo 1996–2007.

Para identificar el idioma de publicación de cada una de las revistas recuperadas a partir de estas consultas se utilizó como fuente el directorio Ulrich's a través de UlrichsWeb.com, la cual cubre actualmente alrededor de 300.000 títulos y es considerada punto de referencia internacional como la fuente de información más completa de revistas de todo el mundo.

Los países seleccionados fueron los diez mayores productores de la región (que coinciden en ambas fuentes), ya que éstos representan más del 90% de la producción regional, además de contar con muy diferentes niveles de actividad científica, lo que nos permite comprobar su cobertura en estas fuentes y la viabilidad de su uso para evaluar dicha actividad en países de muy diferente nivel de perfil científico. No obstante, en el apartado de distribución de revistas por países, hemos optado por incluir todos éstos que tuvieran indexada al menos una revista en alguna de las dos fuentes, puesto que las consideramos información útil sobre la cobertura de las revistas de la región en general.

Se utilizaron los siguientes indicadores:

• Producción: Número de revistas indexadas. Distribución total y porcentual de las revistas por idioma de publicación y países. Número total de documentos. Tasa de variación media anual.

• Visibilidad: índice h, factor de impacto, porcentaje de artículos citados, promedio de citas por documento.

Revistas en JCR y SJR

La Tabla 1 presenta la distribución de las revistas editadas en la región e indexadas en las dos bases de datos. JCR indexa un total de 79 revistas, mientras que en SJR esta cifra sube a 444 (5.6 veces más), de las cuales 74 están indexadas en las dos bases de datos. El peso de las revistas de la región en ambas sigue siendo sin embargo marginal, y alcanza el 2,5% en SJR, mientras que en JCR se queda en 0,9% del total mundial.

Una de las mayores desventajas que se han señalado sobre las bases de datos del ISI es la falta de cobertura de títulos en idiomas diferentes al inglés (Van Leeuwen y otros, 2001). La mayor presencia de revistas regionales en SJR supone también una mayor cobertura de revistas en otros idiomas. Al analizar la distribución por idioma de las revistas de LAC en cada fuente (Tabla 2) se cumple esta premisa. Así vemos cómo en SJR tienen mayor predominio los títulos en español que suponen el 35% del total, frente al 20% que representan en JCR, al igual que las revistas en portugués, que alcanzan el 27%, frente al 10% de JCR. Ésta es una tendencia normal teniendo en cuenta la fuerte presencia de revistas brasileñas en esta fuente, como veremos más adelante. Con los títulos en inglés sucede lo contrario, ya que es en JCR donde éstos tienen mayor peso. Las revistas que figuran en la categoría de multilingüe publican generalmente en inglés y español, y las que son de Brasil lo hacen además en portugués. Esta categoría como se puede ver tiene un alto peso en JCR, posiblemente porque las revistas de la región han optado como política publicar en inglés además del idioma nacional, ya que esto les dará mayor reconocimiento internacional, una de las principales condiciones para entrar en los índices de esta base de datos.

En la Tabla 3 se presenta la distribución de revistas por países en cada base de datos, en la que se incluyen todos aquellos que tienen al menos una en cualquiera de las dos bases de datos. En términos absolutos, la mayor diferencia la encontramos en Brasil y Chile con 175 y 52 revistas más en SJR que en JCR respectivamente. En términos relativos, Cuba es la que alcanza la mayor diferencia pasando de una sola revista a 20, seguida por Colombia donde las revistas en SJR superan en más de trece veces las que se incluyen en JCR, y Venezuela, que las supera en más de once veces. Por el contrario la situación de los países más pequeños, como se puede observar, no ha variado mucho. Costa Rica y Jamaica sólo cuentan con una revista en ambas fuentes, Ecuador pasa de 1 a 2, Perú de cero a 2 y Puerto Rico es el que ve más incrementado su número de revistas pasando de cero a 4 en este grupo, con lo que la cobertura de la ciencia nacional para estos países sigue siendo muy limitada. Uruguay, a pesar de estar dentro de los diez mayores productores, no tiene ninguna revista indexada en ninguna de las dos fuentes.

Como es de esperar, Brasil es el país que concentra el mayor número de revistas en ambas bases de datos, aunque es mayor su presencia en SJR donde representa alrededor del 46% del total de revistas de la región, mientras que en el JCR es de 39% (Figura 1). Todo lo contrario ocurre con México, país que tiene mayor peso en el total de títulos en JCR (22%), frente a las que se incluyen en SJR (10%). Además, las revistas de estos dos países han experimentado un importante incremento en las últimas décadas en los índices del ISI (Luna–Morales y Collazo Reyes, 2007). Chile es el país con la participación más equilibrada.

La Tabla 4 recoge las 10 primeras revistas con mayor factor de impacto en JCR (IF) y en SJR, en esta última denominada como "citas por documento en ventana de dos años", equivalente al primero. De las revistas que alcanzan los mayores valores en este apartado encontramos que coinciden seis entre las diez primeras y que incluso tres de ellas coinciden en la misma posición en el ranking. La que ocupa el primer puesto en SJR, Brazilian Journal of Pharmacognosy no está indexada en JCR, mientras que la que ocupa el primer lugar en JCR, la Revista Mexicana de Astronomía y Astrofísica, que sí está incluida en SJR en este índice cae hasta el puesto 16. En este sentido habría que aclarar que estos resultados son relativos para aquellas revistas que lleven menos de dos años en la base de datos.

En este ranking se puede ver igualmente el predominio de las revistas brasileñas y mexicanas. Siete de las diez con mayor impacto en SJR son de Brasil, mientras que en JCR se queda en cinco. En México sucede lo contrario, cuenta con cuatro revistas dentro de las de mayor factor de impacto en JCR (4) frente a las que tiene en SJR (2). Chile con la revista Biological Research es el tercer país que logra ubicarse en este ranking.

En general el impacto medio de las revistas de SJR es menor que el alcanzado en JCR. De las 74 revistas que están en ambas bases de datos, también se nota un impacto superior en esta última con una media de 0,51 frente al 0,46 que alcanzan en SJR, lo que supone casi un 11% más de media. Cuando tenemos en cuenta aquellas revistas que solo están incluidas en SJR la media de impacto cae hasta 0,13.

Al contrario de lo que cabría esperarse después de ver el importante incremento de las revistas en SJR, el aumento en el número de documentos no ha ido en paralelo para la mayoría de los diez primeros productores. Al comparar el número total de documentos por país en Scopus y WOK, la correlación es notablemente alta (Figura 2), aunque esto puede deberse a que la mayor parte de las incorporaciones sean recientes. Cuba es el país que alcanza la mejor cobertura, la cual supera en 66% la producción registrada en WOK para el periodo 1996–2007. La producción mexicana es la segunda con mayor diferencia y supera en un 19% la producción en WOK, y Colombia un 16%. En el caso brasileño, a pesar del importante número de revistas nacionales incluidas en SJR, su producción en ambas bases de datos es prácticamente la misma, mientras que para Argentina, Chile y Uruguay es ligeramente superior en WOK (Tabla 5).

Así pues podemos concluir que no necesariamente la inclusión de mayor número de revistas nacionales ha provocado un aumento de los documentos en Scopus frente a los que se incluyen en WOK. Esta misma tendencia la observaron Archambault y otros, quienes después de comparar datos sobre producción y citación por países en dichas fuentes para el mismo periodo de tiempo, han encontrado una altísima correlación entre ambas incluso a nivel de áreas temáticas (Archambault y otros, 2009). Por el contrario sí podemos decir que en Scopus está mejor representada la producción científica de carácter nacional–regional.

Tal como lo han apuntado varios estudios, la ciencia en América Latina ha experimentado un vertiginoso incremento en los últimos años en términos de publicaciones científicas en las bases de datos de ISI, (Moya–Anegón y Herrero–Solana, 1999, Hermes–Lima y otros, 2007, Glanzel, Leta y Thijs, 2006, Grupo Scimago, 2007, Hill, 2004). Según vemos en la Tabla 5 este incremento tiene una estrecha correlación con el que experimentó la producción en Scopus. Brasil, Colombia y Perú, encabezan la lista con tasas de variación media anual (tvma) superiores al 10%. En el lado opuesto están Puerto Rico, Venezuela y Argentina con medias que no superan el 5%. México es el país con mayor diferencia en ritmos de crecimiento al permanecer en 5% en WOK frente al 8% alcanzado en Scopus.

El peso de la producción científica nacional en la producción mundial también tiene una fuerte similaridad en ambas bases de datos, tal como se ve en la Figura 3, al alcanzar un coeficiente de correlación de 0,99. Sólo Brasil supera el 1% de peso en la producción mundial, mientras que el peso del resto de los países sigue siendo muy poco significativo en cualquiera de las dos fuentes.

VISIBILIDAD

El análisis de citación revela varias cuestiones (Tabla 6). Primero que los valores de índice h que alcanzan en ambas fuentes son muy similares, y como este indicador tiene en cuenta los trabajos más citados es evidente que en ambos casos se trata del mismo núcleo de publicaciones. Esto ya había sido observado por Jacsó (2009).

También hemos analizado el porcentaje de documentos citados. En este caso no existe ninguna correlación entre las variables. En general se observa un mayor porcentaje de documentos citados en Scopus, donde 8 de los diez países presentan mayor promedio. Sólo Colombia y Cuba alcanzan mayor número de documentos citados en WOK, en este último además con una gran diferencia de 70% frente al 54% de Scopus. En el lado opuesto se ubica Perú con una amplia diferencia de 13 puntos porcentuales por encima de WOK, seguido por Puerto Rico con 6 puntos. Por último comparamos los datos de la media de citas por documento para el periodo. En este caso también vemos que la mayoría de países alcanzan los mismos valores, y de nuevo Puerto Rico y Cuba son los países que presentan mayor diferencia en los datos.

CONSIDERACIONES FINALES

Los resultados demuestran en primer lugar la amplia cobertura de las revistas nacionales indexadas en SJR frente a las que incluye el JCR. Sin embargo, muchas de estas incorporaciones son recientes, lo que no ha provocado un especial aumento de los documentos en Scopus. Este fenómeno se podrá apreciar fácilmente en los próximos años. Por el momento, la cobertura de producción y citación por países es bastante similar en ambas fuentes.

Por último un comentario sobre el crecimiento en el número de revistas indizadas. Como hemos indicado, paradójicamente son los países más grandes los que parecen crecer más. Esto en realidad no es una paradoja ya que tiene una explicación de raíz comercial. Elsevier está intentando cautivar a los grandes clientes potenciales de la región mediante el agregado de revistas propias. En este sentido el ejemplo de Brasil es paradigmático pues es un gran productor científico, un gran cliente para los nuevos productos de esta empresa. Por el contrario la situación de los países más pequeños, como se ha visto, no ha variado mucho en Scopus y la cobertura de la ciencia nacional para estos países sigue siendo muy limitada.

REFERENCIAS BIBLIOGRÁFICAS

Araújo–Ruíz, J., Van Hooydonk, G., Torricella Morales, R., Arencibia–Jorge, R., (2005) "Cuban scientific articles in ISI Citation Indexes and Cuba Ciencias databases (1988–2003)", en Scientometrics 65 (2), 161–171.         [ Links ]

Archambault, E., Campbell, D., Gingras, Y., Lariviére, V.; (2009) "Comparing bibliometric statistics obtained from the Web of Science and Scopus", en Journal of the American Society for Information Science and Technology, 60 (7), 1320–1326.         [ Links ]

Arencibia–Jorge, R., Moya–Anegón, R, (2010) "Challenges in the study of Cuban scientific out put", en Scientometrics, 83 (3), 723–737.         [ Links ]

Bakkalbasi, N., Bauer, K., Glover, J., Wang, L., (2006) "Three options for citation tracking: Google Scholar, Scopus and Web of Science", en Biomedical Digital Libraries, 3 (7), 1–8.         [ Links ]

Bar–Ian, J., Levene, M., Lin, A., (2007) "Some measures for comparing citation databases", en Journal of lnformetrics, 1 (1), 26–34.         [ Links ]

Cetto, A.M., Alonso–Gamboa, O., (1998) "Scientific periodicals in Latin América and the Caribbean: a global perspective", en Interciencia 23, (2), 84–93.         [ Links ]

Dorta–Contreras, A.J., Arencibia–Jorge, R., Martí–Lahera, Y., Araújo–Ruíz, J. A., (2008) "Productividad y visibilidad de los neurocientíficos cubanos: estudio bibliométrico del período 2001–2005", en Revista de Neurología, 47 (7), 355–360.         [ Links ]

Gaillard, J., (1996) "El comportamiento de los científicos y de las comunidades científicas", en Salomón, J.J., Sagasti, .E, Sach, C. (comps.): Una búsqueda incierta. Ciencia, Tecnología y Desarrollo, México: FCE, pp. 234–271.         [ Links ]

Gavel, Y, Iselid, L., (2008) "Web of Science and Scopus: a journal title overlap study", en Online Information Review 32, (1), 8–21.         [ Links ]

Gibbs, W.W., (1995) "Lost Science in the Third World", en Scientific American, 273 (2), 76–83.         [ Links ]

Glanzel, W., Leta, J., Thijs, B., (2006) "Science in Brazil. Part 1.: A macro–level comparative study", en Scientometrics 67, (1), 67–86.         [ Links ]

Goodman, D., Deis, L., (2005) "Web of Science (2004 versión) and Scopus", en Charleston Advisor, 6 (3), 5–21.         [ Links ]

Gorraiz, J., Schloegl, C, (2008) "A bibliometric analysis of pharmacology and pharmacy journals: Scopus versus Web of Science", en Journal of Information Science, 34 (5), 715–725.         [ Links ]

Grupo Scimago, (2007) "Análisis de la producción científica mundial por regiones", en El Profesional de la Información, 16 (2), 158–159.         [ Links ]

Hermes–Lima, M., Santos, N.C.E, Alencastro, A.C.R., Ferreira, S.T., (2007) "Whither Latin America? trends and challenges of science in Latin América", en IUBMB Life, 59 (4–5), 199–210.         [ Links ]

Hill, D.L., 2004, Latin América shows rapid rise in S&E articles, InfoBrief, Science Resources Statistics, National Science Foundation, NSF04–336, August 2004.         [ Links ]

Jacsó, R, (2005) "As we may search – Comparison of major features of the Web of Science, Scopus, and Google Scholar citation–based and citation–enhanced databases", en Current Science, 89 (9), 1537–1547.         [ Links ]

Jacsó, R, (2009) "The h–Index for countries in the Web of Science and Scopus", en Online lnformation Review, 33 (4), 831–837.         [ Links ]

Krauskopf, M., Vera, M.I., Krauskopf, V., Welljams–Dorof, A., (1995) "A Citation Perspective on Science in Latin America and the Caribbean, 1981–1993", en Scientometrics, 34 (1), 3–25.         [ Links ]

Leydesdorff, L., Wagner, C, (2009) "Macro–Level indicators of the relations between research funding and research output", Journal of Informemos, 3 (4), 353–362.         [ Links ]

López–Illescas, C, Moya–Anegón, R, Moed, H.R, (2008) "Coverage and citation impact of oncological journals in the Web of Science and Scopus",en Journal of Informetrics, 2 (4), 304–316.         [ Links ]

Luna–Morales, M.E., Collazo–Reyes, R, (2007) "Análisis histórico bibliométrico de las revistas latinoamericanas y caribeñas en los índices de la ciencia internacional: 1961–2005", en Revista Española de Documentación Científica", 30 (4), 523–543.         [ Links ]

Moya–Anegón, R, Herrero–Solana, V., (1999) "Science in América Latina: a comparison of bibliometric and scientific–technical indicators", en Scientometrics, 46 (2), 299–320.         [ Links ]

Moya–Anegón, R, Chinchilla Rodríguez, Z., Vargas–Quesada, B., Corera–Alvarez, E., Muñoz–Fernández, F.J., González–Molina, A., Herrero–Solana, V., (2007) "Coverage analysis of Scopus: A journal metric approach", en Scientometrics 73, (1), 53–78.         [ Links ]

Neuhaus, C, Daniel, H., (2008) "Data sources for performing dtation analysis: An overview", en Journal of Documentation, 64 (2), 193–210.         [ Links ]

Norris, M. and Oppenheim, C, (2007) "Comparing alternatives to the Web of Science for coverage of the social science' literature", en Journal of lnformetrics 1 (2), 161–169.         [ Links ]

Thomson Reuters, (2010) Web of Science coverage expansión [en línea] visitado en mayo de 2010, disponible en:<http://community.thomsonreuters.com/t5/Citation–Impact–Center/Web–of–Science–Coverage–Expansion/ba–p/10663>         [ Links ]

Van Leeuwen, T.N., Moed, H.R, Tussen, R.J.W., Visser, M.S., Van Raan, A.F.J., (2001) "Language biases in the coverage of the Science Citation índex and its consequences for international comparisons of national research performance", en Scientometrics, 51 (1), 335–346.         [ Links ]

Wainer, J., Xavier, E.C., Bezerra, F., (In press) "Scientific production in Computer Science: A comparative study of Brazil and other countries", en Scientometrics.         [ Links ]

NOTAS

¹ http://www.info.sciverse.com/scopus/scopus–in–detail/facts/

² http://www.accesowok.fecyt.es/

³ http://www.scimagojr.com/

⁴ http://www.scopus.com/home.url