Introducción

La publicación de artículos de investigación constituye una de las vertientes más relevantes en torno a la comunicación y diseminación del conocimiento. En este sentido, la revisión cotidiana de la literatura especializada constituye una práctica ineludible para todos los involucrados en los más diversos campos del saber. De ahí la importancia de la tarea que desempeñan las revistas científicas, pues a través de ellas, los trabajos teóricos, empíricos, y aquellas reflexiones en torno a los más diversos temas abandonan el ámbito personal o institucional en el que se originaron, y se insertan en la web donde las posibilidades de exposición y descubrimiento son colosales ¹.

La publicación periódica y constante de artículos científicos supone entonces la difusión de un corpus de conocimiento reciente, novedoso, confiable y original. Acorde con ello, cada vez se refiere con mayor frecuencia y consenso el término comunicación de la ciencia, el cual denota algo más que la sola difusión del conocimiento; implica intercambio, diálogo, discusión de lo tratado, y sugerencias para su mejoría amén de una comprensión del conocimiento científico². Alejado del establecimiento de una relación dispar o desigual experto-inexperto, Estrada define la comunicación de la ciencia como: “una acción activa, un ir y venir de conocimientos, opiniones críticas y aclaraciones”³.

Ahora bien, recordemos el último artículo científico que consultamos y pensemos: ¿cuáles fueron las razones por las que lo leímos en su totalidad (o no) ?, ¿estaba adecuadamente escrito?, ¿sus argumentos eran sólidos y sustentados en la literatura actual?, ¿hubo creatividad en la construcción del documento? y, quizá una pregunta más dura ¿aportaba algo nuevo al conocimiento del tema? Probablemente la cotidianidad e inmediatez del mundo actual conduzca a los lectores a pensar: ¿me sirve el artículo? Y con base en ello, decidir leer o no el documento.

Desde luego, el hecho de que un artículo no resulte de utilidad o interés para nosotros no significa necesariamente que sea una aportación intrascendente, quizá solo hemos hecho una búsqueda inadecuada y, en realidad, esté dirigido a otro tipo de lector. Por ello, antes de que un artículo sea publicado, los editores, así como los evaluadores del manuscrito, se encargan de que los autores den respuesta a aquellas preguntas y otras más. De hecho, cada vez que consultamos un artículo científico, en realidad estamos frente a una versión que tuvo diversos cambios, ajustes o correcciones; es poco frecuente que un manuscrito se publique tal como lo envió el autor, sin modificación alguna.

En este artículo nos centraremos particularmente en el trabajo realizado por los revisores, evaluadores o árbitros de artículos científicos. Actividad poco conocida y valorada: el proceso de revisión por pares (PRPP). Con al menos 300 años de antigüedad, constituye un método en el que la comunidad científica confía pues implica el compromiso, reciprocidad y responsabilidad académica de quienes son elegidos pares evaluadores del trabajo de sus colegas⁴. Desde luego, el proceso no es infalible. A lo largo del tiempo también se han abierto resquicios en el procedimiento, lo que deja al descubierto prácticas inadecuadas que tergiversan la finalidad principal de la tarea: incrementar la calidad de la investigación científica.

Algunas de las más fuertes críticas al proceso se anclan en la poca evidencia de que las evaluaciones por pares garanticen la calidad de investigación⁵ o la incapacidad de los revisores para identificar inconsistencias conceptuales, metodológicas o de carácter estadístico en los manuscritos evaluados⁶. Sin embargo, no se han realizado estudios cualitativos en Latinoamérica que aborden la cuestión desde el punto de vista de los propios revisores. ¿Por qué deciden participar del proceso?, ¿cuáles son sus motivaciones?, ¿cuáles consideran que son las fortalezas y debilidades de esta evaluación? Por ello, este artículo tiene como objetivo analizar cualitativamente la percepción sobre el PRPP en una revista de investigación en educación médica latinoamericana.

Método

Diseño de la investigación

Estudio cualitativo-interpretativo recuperó la experiencia narrada por siete revisores de una revista de educación médica mexicana a través de un grupo focal. De acuerdo con Kitzinger⁷, la técnica del grupo focal permite un acercamiento colectivo entre los participantes y el moderador con la finalidad de conocer sentimientos, vivencias y pensamientos en torno a un tema en particular. Los grupos focales son factibles cuando interesa estudiar actitudes, creencias y opiniones en interacción con otros sujetos, además, el trabajo grupal propicia el debate y discusión de problemáticas compartidas⁸.

Selección de los participantes

Se envió un correo electrónico a catorce revisores de la revista “Investigación en Educación Médica” editada en México por la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM), en el que se les invitó a participar en un grupo focal para conocer sus percepciones y experiencias en torno al PRPP. Se eligieron revisores de las áreas clínicas y biomédicas cuya participación fuera recurrente en el arbitraje de manuscritos para esa revista (más de cuatro manuscritos por año). Se les convocó en una sala de juntas de una dependencia académico-administrativa de la UNAM. Acudieron al encuentro siete revisores: cinco hombres y dos mujeres.

Procedimiento de la entrevista

De acuerdo con el objetivo del estudio se elaboró una guía de entrevista, y esta fue conducida por uno de los autores, quien tiene experiencia en investigación cualitativa, moderación de grupos focales, y en la gestión editorial de revistas arbitradas.

Antes de comenzar el grupo de enfoque, el moderador explicó los motivos de la reunión, así como la forma en la que se llevaría a cabo la conversación. Se solicitó la autorización de los participantes para audio grabar la entrevista, y se les indicó también que la información obtenida sería transcrita y posteriormente analizada. Se procuró la participación equitativa en cada una de las preguntas. La sesión duró dos horas con 15 minutos.

Procesamiento de los datos

Basado en la guía de entrevista se construyó un primer árbol categorial, con nueve categorías que orientaron la codificación de los testimonios, así “a partir de los códigos se forman unidades, categorías y patrones, con el fin de explicar contextos, situaciones, hechos y fenómenos”⁹. La codificación indica la categoría con la que el testimonio tuvo mayor coincidencia, el sexo del participante y el lugar de adscripción institucional.

Después de la codificación se reelaboró el árbol inicial y se redujo a solamente a cuatro grandes categorías. Ver Tabla 1.

Consideraciones éticas

A través del correo electrónico de invitación se informó el propósito del estudio y se enfatizó en la participación voluntaria. Se garantizó el anonimato de las opiniones expresadas y la confidencialidad de los datos de los revisores.

Resultados

Se identificaron cuatro temas relevantes: 1) la formación como revisor, 2) motivaciones, 3) utilidad de la revisión por pares, y 4) propuestas para mejorar el arbitraje.

1) Todos los participantes refirieron no haber recibido entrenamiento o capacitación específica para revisar artículos y, si bien la experiencia profesional es lo que expresaron como principal estrategia para la evaluación, durante sus primeros arbitrajes investigaron cómo se hacía una revisión, preguntaron a sus colegas o sus jefes en curso; algunos recurrieron a la propia revista que los invitó y otros tomaron un curso sobre el tema:

“Yo aprendí sobre la marcha. La primera vez no tenía la menor idea de lo que era un arbitraje. Buscando información, preguntando, pero sin ninguna formación. Y fue sobre la marcha tratar de ver cómo se podía mejorar y cómo hacer el arbitraje. Creo que es difícil cuando lo haces por primera vez, no tienes la menor idea. Lo lees y lo vuelves a leer. Tratas de ver por dónde mejorarlo. Con experiencia, totalmente sobre la marcha”. 1/F/FM.

“Yo tomé un curso en línea, Annals of Emergency Medicine fabricó uno en línea para aprender a arbitrar. Pero no es nada sencillo, porque implica que tengas en tu mente que hay que estar vigente en la literatura del punto que está tocando el artículo”. 1/M/FM.

2) Respecto a las motivaciones para realizar arbitrajes, los participantes manifestaron sentirse reconocidos profesionalmente cuando les solicitan su colaboración; asumen que son contactados porque cuentan con suficiente experiencia en un campo o tema en específico y se confía en su buen juicio, no obstante, quienes revisan más de cuatro artículos anuales se sienten atareados puesto que cada revisión implica dedicar, en promedio, 20 horas:

“En promedio, generalmente me voy al tiempo límite, porque tardo 10 horas por semana. Son dos semanas en promedio, serían como 20 horas”. 2/M/FM

“20 horas son las que se utilizan. Claro, no es todo el día. Dos horas un día, tres horas otro día y así. Digamos que son 10 horas a la semana, dos semanas, 20 horas”.2/M/FM

Bajo este mismo tenor, declararon también que el arbitraje suele ser una muy buena oportunidad para mantenerse actualizados respecto de la investigación científica en otras latitudes distintas a su contexto cotidiano.

Habría que decir también que algunos asistentes declararon cierta contrariedad respecto del poco valor, en términos curriculares, que el arbitraje les aporta. Pese a ser una actividad que implica dominio e inversión de tiempo del experto, el trabajo de revisor es poco reconocido por las instituciones educativas, de investigación, o de salud a las que pertenecen:

“(El arbitraje) nadie lo toma en cuenta. No tiene un valor extra para quienes nos evalúan, por lo menos en México. Mucho trabajo, poco reconocimiento institucional”. 2/F/FM

3) Todos los asistentes coincidieron en que la revisión por pares favorece el avance de la ciencia, y es un elemento imprescindible en toda publicación que se ostente como científica, ya que proporciona una suerte de garantía de lo escrito e incrementa la calidad de la investigación:

“Es un sello de calidad…si hay otra visión, una revisión de pares, de gente que también está en el campo, creo que es una garantía de seguridad para los lectores (…) hay procesos que creo que dan esa confianza y, uno de ellos es la revisión por pares”.3/M/FM

“Yo creo que es muy importante la parte ética. Tengo una dimensión ética muy fuerte, porque arbitrar es la responsabilidad de filtrar y mejorar qué se publica y qué no”. 3/M/FM

4) Aunado a ello, el PRPP se percibe útil no solo para el lector final, sino también para los propios revisores pues implica su constante actualización respecto del propio campo de experiencia:

“A mí lo que me pasa es que aprendo. Cada nuevo artículo que yo reviso aprendo. Y ahora tengo hasta un pool de artículos porque voy buscando bibliografía para poder entender, realimentar, etc. Y voy teniendo un pool de información que después me sirve para mí mismo, para poder generar cosas”. 3/M/FM

En este punto, los participantes tocaron otro aspecto relevante y controvertido: la identidad de los autores y revisores. Aunque lo común en las revistas suele ser la evaluación doble ciego, aún persisten ciertas dudas respecto de la efectividad de este método:

“Revisando la literatura del tema, sí resulta que entre la tercera y cuarta parte de las gentes logran identificar con bastante veracidad quién es el que lo revisó. Sobre todo, en campos de alta especialidad. Y a mí lo que me molesta de esto es que la gente tiende a ser mucho más agresiva cuando se esconde”. 3/M/FM

“Después de haber recibido algunos arbitrajes, veo que hay demasiada agresión. No conozco ningún estudio hecho en hispanos o latinos (…), que documente si esto sirve o no sirve. Porque lo que hay en la literatura anglosajona es que el doble ciego no mejora la calidad del arbitraje. Y sí propicia mal rendición de cuentas, yo siento que habría más rendición de cuentas si supiéramos quién es el árbitro”. 3/M/FM

“...a mí me gustaría saber de quién es, quién es el autor del artículo. Pero no sé qué tan convencida estaría de que supieran que soy yo la que les está haciendo la revisión”. 3/F/FM

¿Cómo mejorar el PRPP? Todos los participantes mostraron acuerdo respecto a la gran responsabilidad que se les confiere cuando son elegidos revisores, y son conscientes de que el arbitraje implica un compromiso que pretende el incremento de la calidad de los manuscritos, para ello, expresaron algunas propuestas para mejorar el proceso:

“Yo creo que sí nos serviría un taller. En los congresos de editores científicos internacionales, siempre hay talleres de cómo hacerlo. Creo que podríamos hacer intervenciones cortas, presenciales. O se puede hacer un taller más largo en línea”. 4/M/FM

“Sería muy útil que recibiéramos en algún momento realimentación de nuestro arbitraje. Yo creo que eso no existe. O no sé si exista. Pero a mí me parece que sería muy bueno en algún momento que alguien nos realimentara cómo estamos haciendo el arbitraje. Porque seguramente hay muchas cosas que podríamos mejorar y que se nos escapan”. 4/F/FM

“Se siente esa necesidad (la realimentación). Porque antes de enviar mis comentarios, da la sensación de querer explicar por qué está haciendo uno esa opinión. Y sí se siente esa necesidad de estar estableciendo una discusión con la otra persona. Es algo deseable”. 4/M/FM

“A lo mejor realizar alguna actividad más bien de tipo motivante, afectiva, con el grupo de árbitros de la revista. Donde la misma revista dé algún tipo de reconocimiento a los árbitros. No sé, alguna reunión de agradecimiento”. 9/F/FM

Discusión

Actualmente es difícil concebir el avance de la ciencia sin recurrir a las publicaciones científicas. ¿Aceptar o rechazar un manuscrito para su publicación? La pregunta concierne a tres actores: autores, editores y revisores. Del artículo se espera una aportación original, pertinente y con credibilidad relacionada con cierto campo de estudio¹⁰. Por parte de los editores, su trabajo consiste en discernir de la mejor manera posible aquellas contribuciones cuyas características coincidan con la temática de la revista, resulten de utilidad para la audiencia, y contribuyan al desarrollo del medio en el que se ubican; también coordinan y supervisan el PRPP. Finalmente, la actividad de los revisores pretende el incremento de la calidad de los manuscritos propuestos por los autores.

Por lo general, la revisión de manuscritos no tiene una remuneración económica, pues la mayoría de las entidades editoras de revistas de investigación conservan un estrecho vínculo con instituciones educativas, de salud, organismos descentralizados o autónomos y organizaciones sin fines de lucro. Las formas más comunes de reciprocidad con los árbitros son: emisión de constancias de participación, inclusión de su nombre en una lista de reconocimiento por volumen (o al final del año) y, en otros casos, se conceden descuentos en los cargos de publicación de las revistas que trabajan bajo ese esquema.

Justamente la filiación institucional de los revisores parece ser un elemento que motiva su participación más allá de la remuneración económica; conocen el entorno académico y asumen el PRPP como un compromiso y responsabilidad con sus colegas pares¹¹. Sin embargo, aunque prevalece una relación muy cercana entre las publicaciones científicas y las instituciones antes mencionadas, el reconocimiento oficial a los revisores es muy poco frecuente, al menos en el caso latinoamericano. Paradójicamente, en la mayoría de las instituciones se incentiva y estimula la publicación constante de artículos científicos en revistas indizadas en el Journal of Citation Reports, Arts & Humanities Citation Index y/o en Scopus, pero se ignora que la publicación depende de la colaboración de los propios investigadores, lo cual desdeña e invisibiliza el esfuerzo de la propia comunidad académica y científica.

Por otro lado, aunque el trabajo pormenorizado de los equipos editoriales tampoco es conocido del todo, implica diversas etapas y procesos que exceden por mucho la simple recepción y publicación de manuscritos¹². Canal de comunicación entre autores y revisores, el conjunto editorial procura presentar a los árbitros un documento de calidad aceptable, pero también criba las evaluaciones con el afán de entablar siempre un diálogo respetuoso y constructivo.

En este aspecto existe un acalorado debate, pues, aunque se pretende objetividad en el PRPP, hay resquicios por los que la imparcialidad o poco profesionalismo de los revisores aparecen¹². Ello se relaciona con la identidad de los revisores y autores. Si bien el formato común en las revistas es la evaluación doble ciego (revisores y autores desconocen sus respectivas identidades) esta situación es aprovechada por algunos evaluadores para realizar arbitrajes poco constructivos, en los que el énfasis se perfila incisivo hacia los aspectos negativos y se minimiza el esfuerzo de los autores. En este sentido, también son frecuentes las revisiones superficiales que denotan desinterés y poco sentido de colaboración, o desánimo de incrementar la calidad del manuscrito evaluado, p. ej. cuando un árbitro sugiere “cambiar la metodología”, sin indicar mayor detalle, o aquel evaluador que se enfoca obsesivamente en la sintaxis y ortografía del documento, sin que abone comentarios sustanciales. Esto es coincidente con estudios como el de Resnik¹³ en el que se documentaron como principales deficiencias en los revisores: parcialización, solicitar la inclusión de referencias innecesarias (a veces de los propios revisores), ataques personales a los autores, y retraso en la publicación de artículos para priorizar los de los revisores con temas semejantes, o de los propios editores.

Ahora bien, también es cierto que el desempeño de los revisores puede incidir indirectamente en prácticas editoriales poco recomendables, pero en las que quizá se incurre sin intención. Los “buenos revisores”, aquellos que realizan evaluaciones constructivas, de fondo, con respeto al trabajo de los autores, pueden recibir envíos múltiples o demasiado frecuentes de manuscritos, lo cual lejos de motivar al experto, significará agobio y estrés ya que, como se ha dicho, las revisiones consumen mucho tiempo. Para los editores, encontrar “buenos revisores” significa una encrucijada, si se les considera recurrentemente puede ocasionarse hastío y negación para posteriores revisiones. Una de las estrategias que ha dado buenos resultados estriba no solo en aumentar constantemente el número de revisores, sino que estos tengan perfiles adecuadamente definidos¹². Por el contrario, se ha documentado que no existe correlación entre los años de experiencia profesional y el desempeño como evaluador, esto depende más bien de la formación y oportunidades en torno al arbitraje con los que la persona cuente¹⁴. También es común que los revisores novatos rechacen con mayor frecuencia los manuscritos, o centren su atención en deficiencias de carácter técnico¹¹.

Por otra parte, no son menores las críticas que refieren la detección de plagio como una de las debilidades del proceso. Un aspecto serio e intrincado en el que desde hace al menos 20 años se han desarrollado softwares que permiten la “identificación de similitudes” en los documentos ingresados a dichos sistemas. Entre los más recurrentes se encuentran: iThenticate, PlagScan, Plagius, Viper, etc. También hay opciones gratuitas como Duplichecker, Articlechecker, Paper Rater, etc. En este aspecto es pertinente decir que, aunque los revisores son expertos en un campo específico, esto no es garantía de que logren identificar un documento con semejanzas preocupantes. Por ello, la detección de similitudes y posible plagio recae propiamente en los equipos editoriales, quienes deben procurar en la medida de lo posible, y con ayuda de las herramientas antes señaladas, que el documento a revisar sea confiable y original.

Limitaciones del estudio

El tamaño de la muestra del estudio es relativamente pequeño, aunque consideramos que es suficiente para obtener información relevante de un grupo focal. Los árbitros son de una sola revista mexicana, aunque todos ellos participan como revisores en varias revistas nacionales e internacionales, no solamente de educación en ciencias de la salud. La colaboración de revisores de otros países, o residentes en provincia dificulta su participación presencial en un grupo focal, por lo que el grupo se integró solo con revisores de la Ciudad de México. Esto podría subsanarse en posteriores estudios implementando estrategias que permitan la participación remota de los evaluadores.

Conclusiones

La revisión por pares constituye una actividad fundamental en el proceso de publicación de artículos científicos, sin embargo, aún no consigue el suficiente reconocimiento por parte de la comunidad científica y académica. Quienes participan en esta labor suelen motivarse principalmente por el aprendizaje inherente a la tarea, no obstante, es deseable fortalecer y aumentar continuamente la calidad de las revisiones mediante la evaluación, realimentación y reconocimiento, - no solo de los equipos editoriales -, sino de otros revisores y de los autores. Finalmente, las acciones emprendidas por los equipos editoriales figuran aún menos en el proceso de revisión por pares, por lo que es necesario también hacerlas visibles y así considerar el trabajo editorial en su totalidad.

Contribución individual:

Agradecimientos

A los revisores que participaron en el grupo focal.

Presentaciones previas

ninguna.

Financiamiento

Ninguno