INTRODUCCIÓN

En este tiempo de competitividad en el mundo de la ciencia, la presencia e influencia de una carrera profesional está basada principalmente en las publicaciones científicas¹. Términos como factor de impacto (FI), indexación, número de citas y evaluación, abordados por Ampudia², son conceptos actualmente omnipresentes en cualquier universidad o centros de investigación; estos forman parte, en un sentido más amplio, de la producción científica.

Desde este panorama, las universidades de todo el mundo dan prioridad a la visibilidad de su producción científica a través de la publicación de artículos y ponencias en revistas que se encuentran en sistemas de indexación y resumen (SIR). Lo anterior como una forma de validar sus adelantos científicos, pero también de interactuar con otras sociedades, situación que permite a la institución de educación superior de un país articularse con el entorno internacional mediante la creación de redes globales de conocimiento³. De esto último depende, directa o indirectamente, la asignación de recursos económicos a proyectos de investigación, la elección de candidatos para cubrir plazas docentes, las promociones académicas, los complementos salariales, entre otros. Así, la producción científica influye en la generación de conocimiento y determina la vía más adecuada para desarrollar una actividad intelectual o experimental⁴.

Existen diversos indicadores a evaluar en un artículo publicado en una revista científica; la cantidad de citas que recibe, así como las revistas que otorgan dichas citas son una forma de medir la importancia y la relevancia de la publicación en la comunidad científica. Esto permite posicionar y recuperar el escrito en las bases de datos tanto nacionales como internacionales. En este sentido, el número de citas bibliográficas que recibe un artículo, además de evidenciar su relevancia científica, favorece la construcción de panoramas de producción científica en diversos contextos que van desde lo institucional, como la universidad, hasta lo macrosocial, como todo un país. Por ejemplo, Colombia, a pesar de tener bajos índices de producción científica en salud en cuanto a publicación, tiene un crecimiento relativamente lento, pero presenta mejores indicadores de citación que otros países latinoamericanos como Perú y Venezuela⁵.

Se entiende entonces que una cita bibliográfica es una indicación de relevancia de un apartado específico de un texto que posteriormente aparece en el apartado de referencia bibliográfica del documento que lo menciona⁶. En general, las citas se hacen y se reciben de artículos científicos, que son informes originales, escritos, evaluados y publicados sobre resultados y métodos de procesos investigativos con los que se generan nuevos conocimientos.

Los investigadores, sus proyectos y las publicaciones que resultan de este proceso investigativo generalmente son juzgados en su calidad por el factor de impacto (FI) de la revista donde se hayan publicado. El FI es el promedio de citas de los artículos publicados en los últimos dos años, se calcula dividiendo el total de citas recibidas entre el número de artículos publicados en la revista en un mismo periodo⁶. Este indicador es relevante cuando se comparan los datos entre revistas de la misma especialidad, con ello se determina la influencia de la revista en el área (entre mayor sea el número, más relevante es la publicación); pero, aisladamente, este dato carece de valor⁴. Dicho indicador se ha convertido en uno de los más importantes para decidir no solamente dónde publicar un artículo, sino, además, para predecir o establecer la importancia y el impacto de un artículo a partir de las citas que pueda recibir.

Este fenómeno bibliométrico de estudio de las citas bibliográficas que recibe un artículo se ha convertido en los últimos años en un fenómeno de trascendencia mundial, dando la posibilidad de construir sistemas de clasificación de las revistas a partir de las citas bibliográficas que reciben los artículos publicados, tal como sucede con Scopus o con la Web of Science.

Algunos artículos evidencian el interés en el impacto de las publicaciones a través de las citas que reciben; por ejemplo, De Filippo et al.⁷, evaluaron el impacto de una revista costarricense dentro de la categoría Biology de Web of Science e identificaron oscilaciones anuales con un valor mínimo de 0.199 y máximo de 0.553 en el FI. Destacan que han tenido un promedio de 2.11 citas por documento y un 37.7 % de artículos no citados. Así mismo, un estudio evaluó el impacto de las publicaciones del área de endoscopia gastrointestinal de los hospitales mexicanos y el hallazgo fue que la media del factor de impacto de las revistas con al menos una publicación fue de 2.9 con una mediana de dos citas por artículo⁸. De igual modo, en Colombia se evalúo el impacto de una revista sobre radiología; los resultados demostraron que la publicación no contaba con FI debido a que en un periodo de dos años no se encontraron citaciones bibliográficas, sin embargo, resalta la citación de las editoriales⁹.

Este panorama permite identificar que, aunque el número de citas bibliográficas recibidas en un artículo publicado no es un indicador totalizador de la calidad y el impacto del mismo, sí muestra que las citas son una fuente para estimar de manera indirecta la diseminación y expansión del conocimiento de una disciplina.

Analizar el comportamiento de las citas bibliográficas de las publicaciones científicas constituye un eslabón fundamental dentro de la investigación, pues se han convertido en una herramienta que permite calificar la calidad del proceso generador de conocimiento y su impacto en el entorno¹⁰. Sin embargo, cuando no se cuenta con estudios bibliométricos, como es el caso de las publicaciones realizadas por la Facultad de Enfermería colombiana, es difícil interpretar el comportamiento de las citas bibliográficas. Dicha situación limita conocer el uso que se le da a los artículos, y dificulta la posibilidad de aprovechar los conocimientos, resultados y recursos existentes para la investigación y revisión en distintas regiones del país, además de que fomenta la invisibilidad de las producciones científicas locales¹¹.

Por otro lado, para la Universidad Pontificia Bolivariana (UPB) es fundamental la repercusión de los procesos investigativos de sus docentes a nivel nacional e internacional; y lo es también para las diferentes escuelas y facultades. Aunque para la facultad de enfermería ya existe un trabajo previo acerca de las publicaciones científicas de sus docentes¹², se hace indispensable identificar cuál ha sido el comportamiento de las citas bibliográficas que han recibido estas publicaciones. Por lo tanto, el objetivo de este estudio fue caracterizar las citas bibliográficas de los artículos publicados por docentes de enfermería de una universidad privada de la ciudad de Medellín, Colombia a partir del número de citas recibidas y las características de las revistas que las otorgan.

MÉTODOS

Estudio descriptivo exploratorio. Se estudiaron todos los artículos publicados por los docentes internos de la Facultad de Enfermería de la Universidad Pontificia Bolivariana a partir del primer artículo publicado en el año 2005 y hasta un año antes de iniciada la recolección de la información en el año 2019. No hubo cálculo de muestra, por lo que se incluyeron todos los artículos publicados.

El único criterio de elegibilidad fue que la publicación de los docentes tuviera la filiación institucional de la universidad. El instrumento para la recolección de la información se construyó directamente en una base de datos en Excel en la que se incluyeron y agruparon las variables de medición relacionadas con el artículo citado (tipo de estudio, sección editorial, año de publicación) y la revista que se publicó el artículo citado (país donde se edita, idioma de publicación, indización, factor de impacto y cuartil). Referente al artículo y la revista que otorga la cita bibliográfica, las variables fueron: número de referencias bibliográficas dentro del artículo, sección del, tipo de cita bibliográfica (individual/compartida), tiempo desde la publicación del artículo hasta la primera citación, país de la revista, disciplina, factor de impacto y cuartil.

Las variables de estudio se definieron a partir del interés de los investigadores y de algunos estudios locales relacionados con el fenómeno del comportamiento de las citas bibliográfica en otras disciplinas diferentes a la enfermería. Es importante aclarar que en este estudio no se calcularon indicadores bibliométricos, de productividad, ni de citación, como la obsolescencia o el factor de impacto. Para evaluar el comportamiento de las citas bibliográficas se manejó el número de citas bibliográficas recibidas en cada artículo y su relación con otras variables definidas dentro del estudio.

La fuente de información fue secundaria y estuvo conformada por la base de datos previa de artículos publicados por docentes utilizada para un proyecto de investigación sobre producción científica. Adicionalmente, se solicitó el nombre de todas las publicaciones a la coordinación del grupo de investigación de la facultad. Se construyó una base de datos en Excel con las variables respectivas para depositar la información extraída.

Para la realización del presente estudio se llevaron a cabo las siguientes actividades:

La información se analizó a través de estadística descriptiva univariada que consistió en calcular las medidas descriptivas para las variables cuantitativas y cálculo de frecuencias absolutas y relativas para las variables cualitativas. De manera arbitraria se agruparon las citas bibliográficas de la siguiente manera: al menos 1, de 2 a 5, 6 a 10, 11 a 15 y más de 16.

De acuerdo con la resolución 8430 de 1993, esta investigación se clasificó como sin riesgo por ser una investigación documental y retrospectiva. Considerando los principios éticos, se resalta el de respeto a la confidencialidad, debido a que durante la investigación no se manejaron datos personales de los docentes. Solo se analizó su producción y las citaciones obtenidas. De acuerdo con esto no fue indispensable contar con el consentimiento informado y tampoco con aprobación por parte del Comité de Ética institucional.

RESULTADOS

Se revisaron 52 artículos publicados por los docentes de la Facultad de Enfermería de la universidad, de los cuales solo 29 han obtenido al menos una cita bibliográfica. El total de citas bibliográficas recibidas hasta el periodo de estudio fueron 188. Un solo artículo tiene 14.9 % del total de las citas bibliográficas, y tres artículos, contando el primero, concentran 30.8 % de estas (Tabla 1). En la distribución porcentual de las citas agrupadas, se resalta que solo 4 % de los artículos ha recibido más de 16 citas bibliográficas (Tabla 2).

Los artículos con temática de adicciones son los más citados con 21 %, seguido de los artículos de gestión en enfermería con 20 %. En este orden, le siguen los artículos de salud pública con 14 %, cuidado del niño con 12 % y salud materna con 10 %. Las revistas que más citas han otorgado fueron: Medicina UPB con 17 %; Enfermería Global con 15.4 %; Investigación y Educación en Enfermería con 9 %; Perspectivas en Nutrición Humana con 8.5 %; Revista Facultad Nacional de Salud Pública con 6.9 %; finalmente, Investigación en Enfermería: Imagen y Desarrollo con 5.9 %. Al agrupar por disciplinas, se encontró que la mitad de las citas bibliográficas se dieron en los artículos publicados en revistas de enfermería, 23 % en revistas de salud pública y 17 % en revistas de medicina; un 10 % corresponde a revistas de otras disciplinas.

Casi el total (93 %) de las citas bibliográficas se identificaron a través del buscador de Google Scholar y el resto a través de Scopus. Aunque se indagó en otras bases de datos, muchas de las citas bibliográficas ya se encontraban en Google, o bien no se hallaron más citas bibliográficas del artículo. Resalta que 45 % de las citas bibliográficas se distribuyen en dos países de Sudamérica: Colombia y Perú. De estas, 83 % se concentran en revistas del continente americano; poco más de la mitad (53.3 %) la otorgan publicaciones de la región de América del Sur, una tercera parte (33.3 %) corresponde a Centroamérica y el Caribe; el resto se encuentra en Norteamérica.

Con respecto a las características de la revista, al agruparlas por disciplina se identificó que en gran medida corresponden al área de la salud (40.5 % de enfermería, 31 % de medicina, 19 % de salud pública); el resto se distribuyó en revistas de otras áreas (7 % de ciencias sociales y humanas, 2.4 % de ciencias administrativas). Una tercera parte de las revistas que brindan la cita bibliográfica están indexadas en bases de datos y solo 17 % cuentan con factor de impacto en Scopus.

Al agrupar por tipo de literatura se muestra que 41.5 % de las referencias bibliográficas provienen de literatura gris, conformada principalmente por trabajos de grado de formación de pre y posgrado, donde poco más de la mitad (56 %) son de formación de pregrado. De estas, 42.6 % forman parte del aparato crítico de estudios cuantitativos descriptivos, 11.2 % corresponde a revisiones temáticas y un porcentaje pequeño (8 %) pertenece a estudios transversales analíticos. Solo 11.7 % provienen de estudios del paradigma cualitativo. El apartado del artículo que más se cita es el de resultados con un 42.6 %, seguido de la introducción con un 17 %; dentro de los artículos que otorgan la cita bibliográfica, el apartado donde más se usan son en la discusión en un 21.3 % y la introducción con un 18.6 %.

También se encontró que poco más de la mitad (56 %) de las citas se utilizaron de forma individual; es decir, en el párrafo del artículo donde se referenció solo se tuvo en cuenta este estudio. En 18 % de los casos las citas se compartieron con otros estudios. Con respecto al número de citas recibidas por el artículo que cita las publicaciones de los docentes de la universidad, se evidenció que 53.7 % obtuvo una, 15 % dos, 5.3 % tres; los artículos citados cuatro o cinco veces corresponden a 3.7 %. Un artículo fue citado seis veces y otro fue citado 10 veces.

Cuando se analizó el tiempo transcurrido entre la publicación del artículo y las citas recibidas, se identificó que 31.4 % de los artículos fueron citados después de 5 años de haber sido publicados; poco más de una tercera parte (38.9 %) entre los 2 y 5 años; solo 17 % se citó en los primeros dos años después de la publicación. Sobre las citas bibliográficas, 5.3 % se consideraron autocitas.

DISCUSIÓN

En general, el comportamiento de las citas bibliográficas de los estudios publicados tiene relevancia desde varias perspectivas; una de las más preponderantes corresponde al área de la bibliometría. Dicha perspectiva está determinada por el factor de impacto, indicador que contempla principalmente el número de citas recibidas. Lo que, de acuerdo con Amezcua¹³, es un indicador que pretende medir con objetividad la calidad de los artículos; pero que ha generado que el desarrollo del conocimiento en las disciplinas se convierta en un asunto de conteo de citas bibliográficas.

Otra perspectiva es la social, desde esta se intenta determinar la relevancia social del conocimiento pasando a una evaluación cualitativa de las publicaciones¹³. Un ejemplo es el estudio de Newson et al.¹⁴, quienes buscaron identificar, a través de la citación de artículos científicos, qué tanto las políticas públicas de Australia estaban basadas en la evidencia. Concluyeron que las políticas tuvieron un total de 357 citaciones, de las cuales 263 eran citas provenientes de revistas arbitradas, es decir, aquellas que cumplen con el proceso de revisión por pares. Y, finalmente, también se encuentra la perspectiva académica, desde la cual el comportamiento de las citas bibliográficas de las publicaciones permite adquirir reputación y jerarquización entre profesionales, instituciones (entre ellas las educativas) y países que, como práctica social, generan una forma de mercadeo de la ciencia².

Este estudio pretendió caracterizar el comportamiento de las citas bibliográficas de las publicaciones científicas de los docentes de una facultad de enfermería de una universidad privada a partir del conteo de las citas recibidas en cada uno de los artículos publicados. Logra apreciarse un nicho de desarrollo de conocimiento en el tema de adicciones y la salud mental en la producción docente. También se identifican aportes a disciplinas tan amplias como la salud pública, y se reportan investigaciones bastas en asuntos propios de la disciplina como la gestión en enfermería, el cuidado infantil y el cuidado en la salud cardiovascular. Dichas temáticas son igualmente las más citadas de acuerdo con los resultados de este estudio, y son coherentes con diferentes agendas de investigación en enfermería donde se proponen como prioridades la investigación clínica en enfermería, la gestión de servicios de salud, el cuidado de la salud del adulto mayor, del niño, de la salud mental, así como la tecnología e innovación en salud pública^15-18.

En este estudio se identificó que el total de citas bibliográficas recibidas por los artículos publicados fue de 188 menciones y casi una tercera parte se concentra solo en tres artículos. Esta cantidad de citas bibliográficas son pocas teniendo en cuenta los años transcurridos desde las primeras publicaciones y el número de artículos publicados. Dicho resultado contrasta con un estudio realizado en Canadá, en el que un solo autor de una facultad de enfermería obtuvo 3950 citaciones en el mismo periodo evaluado. Además, ese estudio indicó que, para estar en el listado de los 25 artículos más citados, un artículo debe obtener al menos 227 citas bibliográficas¹⁹. Fenómeno muy contrario que ocurrió con este estudio, en donde solo 20 % de los artículos han recibido más de seis citas bibliográficas en el periodo evaluado.

Aunque este estudio solo evalúo el número de citas bibliográficas, es importante mencionar la existencia de otros indicadores bibliométricos para evaluar el comportamiento de la publicación en la comunidad científica o población en general. Por ejemplo, Antunez et al.²⁰, mencionan mediciones alternativas como las descargas o las vistas de los textos en HTML. Además, indican que las redes sociales como Twitter son una fuente adicional de la relevancia de las publicaciones. Otra alternativa son los gestores bibliográficos. Para contribuir al respecto, Thelwall²¹ aseguró que el conteo de lecturas en Mendeley es más útil para registrar de manera temprana otras mediciones diferentes al conteo de citas bibliográficas.

Pero, a pesar de la existencia de mediciones alternas al conteo de citas bibliográficas, Thelwall²¹ menciona que la cuantificación de citas es ampliamente usado para identificar el comportamiento de los artículos y de las revistas. Adicionalmente, es utilizado para fundamentar el juicio de expertos en evaluaciones formales. Así mismo, este autor menciona que a un artículo promedio puede tomarle varios años recibir la cantidad de citas suficientes para considerarse relevante en el área. En este estudio, por ejemplo, una tercera parte de los artículos fueron citados cinco años después de haber sido publicados, y menos de una quinta parte se citaron en los primeros dos años de publicación.

En el presente estudio también se logró identificar a los investigadores que más citaron los artículos publicados, que son de la disciplina de enfermería, al igual que la mayoría de las revistas donde aparecen las citaciones. Dichos resultados son relevantes porque permiten apreciar que el consumo de la producción en enfermería se está dando por los mismos profesionales del área, fenómeno que debe ser más investigado. Antunez et al.²⁰, argumentan que en enfermería deben realizarse más estudios bibliométricos para entender mejor los patrones de citación a través de todos los tipos de literatura y, de tal manera, crear conciencia acerca de la importancia de las investigaciones en esta disciplina en un ambiente competitivo de financiación.

Cabe mencionar que, según lo hallado, casi la mitad de las citas bibliográficas obtenidas por los artículos publicados provienen de la denominada literatura gris, conformada principalmente por tesis de pregrado y posgrado. En su mayoría, en esta literatura no se publica en ningún tipo de revistas, ni de divulgación, ni científicas; el único sistema que le es relevante y cuantifica el conteo de dichas citas es Google Académico. De acuerdo con Haddaway et al.²², este buscador es el que más literatura gris recupera. Una de las mayores utilidades, según estos autores, es usarlo para la realización de revisiones sistemáticas y para disminuir los sesgos de selección de artículos. Adicionalmente, como mencionan Aguillo et al.²³, el buscador ofrece la posibilidad de evaluar la visibilidad de los investigadores de acuerdo a los indicadores que maneja, por ejemplo, el índice H del investigador.

Otro hallazgo importante es que la mayoría de las citas bibliográficas en los artículos publicados se rastrearon a través de Google Académico. Para algunos autores^24,25, este sitio, al igual que Scopus y Web of Science, ofrece una razonable estabilidad y consistencia en la cuantificación de citas y publicaciones; así mismo, ofrece una adecuada cobertura para disciplinas como las ciencias sociales y ciencias de la vida. Por su parte, Martin et al.²⁵ concluyen en su estudio que este buscador es capaz de identificar artículos citados de manera efectiva, lo que lo convierte en una invaluable herramienta bibliométrica para la identificación de artículos científicos.

CONCLUSIONES

El nivel de citación de las publicaciones de los docentes de la Facultad de Enfermería-UBP es baja, las citas se agrupan en su mayoría en literatura gris. Las revistas que más citan se publican en idioma español y provienen de países sudamericanos, la razón puede ser porque existe una baja publicación en el idioma inglés. Por ello, se recomienda continuar realizando estudios de seguimiento a la producción de las publicaciones de los docentes; así como estudios con un enfoque bibliométrico que permitan conocer el comportamiento de diferentes indicadores de la producción científica.

También se recomienda promover entre la comunidad académica el sometimiento de manuscritos en revistas de alto impacto indizadas en Web of Science o Scopus para mejorar la visibilidad de la producción del área de enfermería de un contexto local a un ámbito global.

Cabe mencionar, como una limitación de este estudio, la falta de un repositorio de publicaciones de los docentes de la facultad de enfermería, lo que dificultó el rastreo sobre el comportamiento de los artículos. Además, como un porcentaje importante de las citaciones provenían de literatura gris; acceder a los trabajos de grado no fue sencillo, pues en algunos casos fue necesario contactar directamente a los autores. Por otro lado, no se consideró relevante realizar un análisis mayor al descriptivo por desconocer cómo se comportaban las citaciones de los artículos publicados; razón misma que acompañó la decisión de no realizar cálculos de indicadores bibliométricos.

RESPONSABILIDADES ÉTICAS

Protección de personas y animales. Se trata de un estudio sin riesgo porque se realizó exclusivamente revisión de documentos.

Conflicto de intereses. Los autores declaran no tener ningún conflicto de interés.

Financiamiento. Ninguno