Introducción

Desde el inicio de la pandemia de COVID-19, junto al acelerado incremento de la investigación sobre el tema, el volumen de trabajos de corte bibliométrico también aumentó. Los primeros resultados abordaron aspectos como el ritmo de crecimiento de la producción¹ y los cambios que la investigación generó en los indicadores bibliométricos.²

Los resultados expresan enfoques de la investigación hacia tratamientos médicos, desarrollo de vacunas, características clínicas de la enfermedad, virología e inmunología y epidemiología,³ además de otros como la prevención y contención, comorbilidades y enfermedades resultantes,⁴ a la vez que se ha constatado que el mayor número de contribuciones fueron realizadas por Estados Unidos y países asiáticos.⁵ Con respecto a los métodos, se emplearon diversas categorías de indicadores,⁶ se estudió la estructura intelectual⁷ y se utilizaron fuentes de información como WoS, Scopus⁸ y Dimensions.⁹

En la región latinoamericana, el empleo de métodos bibliométricos para estudiar las tendencias y regularidades de la investigación sobre COVID-19 ha tenido propósitos y resultados diversos.¹⁰,¹¹ El análisis de la productividad de países, instituciones y revistas,¹² mostró la producción en fuentes no latinoamericanas, el liderazgo de Brasil en la región, la alta colaboración internacional y estudios relacionados con problemas sociales causados por la crisis.¹³ También, la publicación en revistas editadas en inglés,¹⁴ el bajo financiamiento,¹⁵ el predominio del idioma inglés, la autoría múltiple, la publicación en revistas del primer cuartil y el alto índice de colaboración,¹⁶ junto al liderazgo de amplia cantidad de instituciones regionales.¹⁷

Dada la importancia de las revistas como principal medio de comunicación, en el escenario de evaluación científica, el factor de impacto es uno de los más importantes indicadores que se emplea para su valoración.¹⁸,¹⁹ Se ha utilizado junto a otros como el índice h,²⁰,²¹ CiteScore,²² Scimago Journal Rank²³-²⁵ y Eingenfactor Metrics,²⁶ que ofrecen descripciones del comportamiento de las revistas.

Sin embargo, ha sido ampliamente criticado y se han abordado sus claras limitaciones.²⁷,²⁸ a pesar de propuestas como el empleo de una ventana de observación de cinco años y la eliminación de las autocitas en el cálculo. Su aplicación en la evaluación científica y la valoración de carreras científicas sigue siendo un tema de amplio debate²⁹,³⁰ y abundante investigación.

El presente trabajo obedece a la importancia de conocer los efectos en el indicador de las citas provenientes de investigaciones sobre COVID-19, comportamiento que ha sido abordado de manera superficial.³¹,³² El objetivo es analizar la influencia de las citas que aportan los trabajos sobre COVID-19 en los valores de impacto de las revistas médicas y pretende responder a la siguiente pregunta: ¿cómo influyeron las citas de los trabajos sobre COVID-19 en el factor de impacto de las revistas médicas latinoamericanas?

Métodos

Se seleccionaron 25 revistas latinoamericanas de categorías médicas incluidas en la edición 2021 del Journal Citation Reports (JCR)-Web of Science (Tabla 1). Se construyó una tabla en Microsoft Excel con información de cada revista, extraída de su perfil en JCR y se enumeraron las variables necesarias que permitieron establecer un análisis del efecto de los trabajos sobre COVID-19 en los valores del factor de impacto en cada revista. Los datos de las ediciones de 2020 y 2021 sirvieron para realizar comparativas respecto a las citas recibidas por los documentos sobre dicha enfermedad (Tabla 2).

Resultados y discusión

En la Tabla 3 se representan las variables analizadas y los resultados de cada revista. De los 2997 documentos citables utilizados para el cálculo del factor de impacto, 386 (13 %) estuvieron relacionados con investigaciones del tema estudiado, es decir, no se observa una elevada cantidad de trabajos sobre COVID-19: 13 de las 25 revistas cuentan con más de 10 % de publicaciones sobre esa enfermedad y cinco de ellas, más de 20 % y otras que aportan menos de 1 %. Revistas como Colombia Médica (41 %), Medicina Buenos Aires (23 %), Revista de Investigación Clínica (22 %) y Cadernos de Saude Pública (21.6 %) son las que han publicado un mayor número de documentos relacionados con el tema.

Tabla 3 Información e indicadores de las revistas de medicina latinoamericanas empleadas en el estudio 

No.	Revista	País	FI		Cuartiles		Ndoc	Ndoc 2020			Ncit 2021				Recálculo FI
			2020	2021	2020	2021	19-20	Ndoc	Ndoc COVID	% Ndoc COVID	Ncit	Ncit COVID	% Ncit COVID	Diferencia
1	Archives of Medical Research	México	2.235	8.323	Q4	Q1	161	88	15	17.0	1340	477	35.6	863	5.360
2	Cadernos de Saúde Pública	Brasil	1.632	3.371	Q4	Q2	525	283	61	21.6	1770	736	41.6	1034	1.970
3	Brazilian Journal of Medical and Biological Research	Brasil	2.590	2.904	Q2	Q3	282	137	1	0.7	819	3	0.37	816	2.894
4	Clinics	Brasil	2.365	2.898	Q3	Q3	275	153	24	26.6>15.7	797	212	26.6	585	2.127
5	Revista de Saúde Pública	Brasil	2.106	2.772	Q3	Q3	250	143	8	5.6	693	127	18.3	566	2.264
6	Memorias do Instituto Oswaldo Cruz	Brasil	2.743	2.747	Q2	Q2	178	95	11	11.6	489	126	25.8	363	2.039
7	Revista de Investigación Clinica-Clinical and Translational Investigation	México	1.451	2.667	Q3	Q3	84	41	9	22.0	224	111	49.6	113	1.345
8	Journal of Venomous Animals and Toxins Including Tropical Diseases	Brasil	2.831	2.293	Q2	Q3	82	53	0	0.00	188	0	0.00	188	2.293
9	Salud Pública de México	México	2.028	2.259	Q3	Q3	185	92	5	5.4	418	39	9.3	379	2.049
10	Revista do Instituto de Medicina Tropical de Sao Paulo	Brasil	1.846	2.169	Q3	Q3	166	100	11	11.0	360	144	40.0	216	1.301
11	Revista da Sociedade Brasileira de Medicina Tropical	Brasil	1.581	2.141	Q3	Q3	389	208	30	14.4	833	191	22.9	642	1.650
12	Ciencia & Saúde Coletiva	Brasil	1.336	1.917	Q4	Q4	858	440	41	9.3	1645	441	26.8	1204	1.403
13	Sao Paulo Medical Journal	Brasil	1.044	1.838	Q4	Q3	142	67	10	14.9	261	41	15.7	220	1.549
14	Colombia Médica	Colombia	1.295	1.741	Q3	Q3	54	29	12	41.4	94	29	30.9	65	1.204
15	Revista da Associação Médica Brasileira	Brasil	1.209	1.712	Q4	Q3	490	286	48	16.8	839	190	22.6	649	1.324
16	Biomédica	Colombia	0.935	1.173	Q4	Q4	191	100	17	17.0	224	30	13.4	194	1.016
17	Medicina-Buenos Aires	Argentina	0.653	0.96	Q4	Q4	249	141	33	23.4	239	83	34.7	156	0.627
18	Salud Colectiva	Brasil	0.597	0.727	Q4	Q4	77	45	0	0.00	56	0	0.00	56	0.727
19	Gaceta Médica de México	México	0.302	0.708	Q4	Q4	192	92	23	25.0	136	34	25.0	102	0.531
20	Revista Médica de Chile	Chile	0.553	0.686	Q4	Q4	414	216	21	9.7	284	18	6.3	266	0.643
21	Investigación Clínica	Venezuela	0.683	0.645	Q4	Q4	62	31	2	6.5	40	2	5.0	38	0.613
22	Saúde e Sociedade	Brasil	0.349	0.500	Q4	Q4	194	100	1	1.0	97	0	0.00	97	0.500
23	Acta Bioethica	Chile	0.408	0.49	Q4	Q4	49	25	2	8.0	24	0	0.00	24	0.490
24	West Indian Medical Journal	Jamaica	0.171	0.206	Q4	Q4	34	0	0	0.0	7	0	0.00	7	0.000
25	Acta Bioquímica Clínica Latinoamericana	Argentina	0.128	0.043	Q4	Q4	69	32	1	3.1	3	0	0.00	3	0.043
Total								2489	309	12.4	7951	1818	22.9	6133

Elaboración propia de los autores a partir del Journal Citation Reports. FI: factor de impacto. Ndoc: número de documentos; % Ndoc: porcentaje de número de documentos; Ncit: número de citaciones.

Referente a los documentos citables utilizados en el cálculo del indicador, se observan revistas con menor número, pero mayor aporte a la investigación sobre el tema. Esto se ve reflejado en revistas como Gaceta Médica de México y Archives of Medical Research, con menos documentos totales y un porcentaje alto sobre COVID-19, contrario a Ciência & Saúde Coletiva, con mayor cantidad de documentos en la fórmula y un número bajo de trabajos publicados sobre el nuevo coronavirus.

En relación con las citas de la investigación relativa a COVID-19, 25.5 % de las citas totales fueron a trabajos o investigaciones sobre la pandemia. Más de 50 % de las revistas presentó valores superiores a 15 % de citas recibidas. Este comportamiento refleja el significado de la investigación sobre coronavirus en un grupo amplio de revistas médicas.

Aunque el número de revistas con elevado volumen de citas relacionadas con el tema es alto, destacan Revista do Instituto de Medicina Tropical de Sao Paulo con 40 %, Cadernos de Saúde Pública (41 %) y Revista de Investigaciones Clínicas (50 %). Estos valores, junto con los de otro grupo con más de 20 % de citas, muestran el efecto real que la investigación sobre COVID-19 ha tenido en el impacto de numerosas publicaciones.

Para observar el efecto real de las citas se ha considerado el factor de impacto de 2021. A las citas incluidas en el numerador se les ha restado las que aportan los trabajos sobre COVID-19. Este análisis, calculando un factor de impacto solo con las citas restantes una vez eliminadas las que provienen de trabajos sobre COVID (columna diferencia/Ndoc 19-20), muestra el efecto que han provocado los documentos sobre COVID: disminuye el factor de impacto en todas las revistas, excepto en tres que no publicaron documentos relacionados con el tema.

Es relevante también la comparación entre los valores del recálculo del factor de impacto de 2021 y los de 2020. Este análisis es importante ya que al eliminar las citas de trabajos sobre COVID-19, las revistas están en igualdad de condiciones para establecer una comparación entre los factores de impacto de los distintos periodos. En este caso, el valor del factor de impacto recalculado es mayor al de la edición 2020 en 15 de las 25 revistas, cuando no existe influencia de investigaciones sobre coronavirus.

Conclusiones

Este estudio relacionado con los efectos de las citas de la investigación sobre COVID-19, además de evidenciar comportamientos en las revistas médicas, aporta información sobre las dinámicas del factor de impacto como medida de evaluación. Aunque existen pocos estudios similares, nuestros resultados se relacionan con trabajos previos en los que aproximadamente 20 % de las citas recibidas de artículos publicados entre 2020 y 2021 tratan sobre la pandemia, con mayor efecto en revistas de medicina general y medicina interna,³¹,³² lo que justifica también el uso de categorías médicas en la investigación sobre el tema.

A pesar de que en general los trabajos sobre COVID-19 en la muestra estudiada representan aproximadamente 13 %, la mitad de las revistas sobrepasa el 10 % de artículos relacionados con el tema. Más del 50 % presentó valores superiores a 15 % de citas recibidas por documentos sobre el asunto y aproximadamente la mitad publicó más de 10 % en el año 2020 incluido en el análisis. Resulta relevante mencionar que, al comparar el factor de impacto recalculado con el valor del indicador en el año 2020, se nota incremento en la mayoría de las revistas, mientras que en relación con la edición del JCR 2021 la tendencia expone clara disminución. En consecuencia, esto valida el efecto de las variables estudiadas y resulta favorable a la visibilidad y posicionamiento de las revistas. En todas disminuyó el valor del factor de impacto con respecto a la edición 2021, cuando se eliminaron las citas de trabajos sobre COVID, pero no al comparar con la edición 2020, lo que evidencia el impacto que han provocado las investigaciones sobre el tema.

A modo de conclusión, los resultados indican que la investigación sobre COVID-19 tuvo un efecto real en el aumento de los valores del factor de impacto en la edición 2021 del JCR y refuerzan la importancia de analizar otras disciplinas en las que también fue significativa la investigación sobre COVID-19, análisis en el que será relevante la evaluación de comportamientos a nivel de cuartiles dentro de las categorías. Igualmente, fortalecen los estudios sobre el indicador y otros ya encontrados como el efecto de las autocitas³³,³⁴ y las citas de revistas emergentes.³⁵