La revisión de pares es una práctica que está muy establecida en las formas de producción académica, ya sea para la evaluación de artículos, carreras o proyectos de investigación. En el caso de las revistas científicas, la revisión por pares y el prestigio académico de quienes la realizan están entre los rasgos más valorados por los sistemas de calificación de la calidad de las publicaciones. Los cien números de la Revista Mexicana de Investigación Educativa (RMIE) son una buena ocasión para abordar algunos de los nudos de esta práctica, que refiere al rol de las revistas y más ampliamente a la acción editorial para consolidar el campo académico, un aspecto que ha sido muy relevante en el caso de la RMIE y que evidencia este número especial.
La revisión por pares no es un tema menor para abordar en el contexto actual, ya que se encuentra en el centro de varios debates importantes respecto de las prácticas de producción y circulación del conocimiento. Surgida inicialmente como modo de establecer la autonomía del conocimiento científico y académico respecto de otros poderes (el Estado y los poderes eclesiásticos), la adopción de la expertise de los pares como criterio para juzgar la calidad de la producción implicó un cambio importante en “las formas elementales del trabajo científico”, parafraseando a Durkheim (Noûs, 2020),1 pero el consenso que la sostuvo por varias décadas hoy parece estar en crisis.
Un ejemplo reciente permite dimensionar los alcances y proporciones de las controversias alrededor de esta práctica. El 5 de febrero de 2020, la prestigiosa revista Nature anunció mediante un editorial que empezaría a ofrecer a autoras(es) y revisoras(es)2 la posibilidad de publicar los informes de los pares revisores junto con los artículos, como un modo de hacer más transparente la evaluación y de fortalecer la comprensión de los procesos por los que se produce conocimiento. Contra la idea de que un artículo de investigación “es la última palabra” sobre el tema, la decisión propuso hacer visibles las discusiones entre autores y revisores y mostrar que “el hallazgo más reciente es a menudo simplemente un hito más” en la producción de saberes en una comunidad especializada (Nature, 2020:9).
El cambio de reglas en las publicaciones académicas evidencia que hay en curso una transformación importante en el rol de las revistas académicas y de los distintos actores -editores, comités científicos, revisores, diseñadores, entre otros-, que hay que seguir de cerca. Estos cambios han implicado pasar del estándar de la revisión por pares expertos doble ciego, en la que ni los autores conocen los nombres de sus revisores ni los revisores los de los autores, hacia formas alternativas de revisión, ya sea por medio de la publicación de los pareceres, como está proponiendo Nature, o la postergación de la revisión por pares hasta después de la publicación (post-print), que ya es práctica corriente en varias revistas de creciente prestigio.
Buena parte de los cambios surgen de un malestar manifiesto con las prácticas existentes. Como muestra de ese descontento, vale la pena mencionar que Nature publicó el link a la nota en Twitter (ahora X) y Facebook con una caricatura de Nik Spencer (@nikinks), ilustrador habitual de la revista, donde se equipara la revisión de pares expertos a una piñata, exceptuando que no parece ser una fiesta ni suscitar diversión. La imagen no se reproduce para no infringir derechos, pero una descripción aproximada podría ser la siguiente: mientras un hombre y una mujer con los ojos vendados y un bate intentan golpear a un artículo que está colgando de una soga, dos mujeres comentan: “estamos implementando un nuevo proceso de revisión de ‘doble-ciego’”. El estilo de la caricatura es similar a las de la revista The New Yorker, con trazos simples y colores sobrios. Todos los personajes parecen tener una edad mediana y están dentro de una habitación vacía. El hombre con el bate es pelado, algo panzón y lleva camisa blanca y pantalón gris; la mujer que lo acompaña en tirar golpes al artículo parece más joven, no usa tacones, y también tiene algo de panza. Las dos mujeres que comentan portan una vestimenta más formal (traje con falda o pantalón) y una lleva gafete y la otra un portafolio. El ilustrador las ubica al lado de la puerta, a modo de gatekeeping, un término que se popularizó en la sociología de las organizaciones para nombrar la acción de aquellos que controlan el acceso a recursos y reconocimientos en la investigación (Campbell, Gray, Meletis, Abbott et al., 2006). La caricatura parece estar denunciando a los editores y revisores como gatekeepers aburridos y panzones que pegan golpes a tientas a un texto que aparece como producto aislado, sin cuerpos ni comunidad que lo sostengan.
La ilustración deja mal parados a editores y revisores, pero el problema tiene más aristas que un simple juego de poder o las buenas o malas intenciones de editores y revisores. ¿Qué cambios en las prácticas académicas están en la base de la emergencia de la revisión por pares, y cuáles en las críticas actuales?, ¿qué efectos producen esas prácticas en las comunidades académicas?, ¿qué criterios se proponen hoy para la revisión, y cómo reconocen los debates sobre la autoridad científica y las fronteras de la producción académica? Nos proponemos acercarnos a estos interrogantes desde dos perspectivas. En primer lugar, realizamos una aproximación histórica a las prácticas de referato y especialmente a la revisión por pares expertos de doble ciego, analizando las condiciones en que emergieron y los cambios que fueron teniendo lugar con la profesionalización y la institucionalización de las prácticas académicas. En segundo lugar, analizaremos orientaciones y formatos de la evaluación de una decena de revistas con las que hemos colaborado como revisoras, incluyendo revistas con indexación internacional y otras de circulación local. Nos interesa considerar cuáles son los criterios que priorizan estas distintas publicaciones, así como los lenguajes que utilizan y los puntos críticos que buscan atender. Por último, presentamos algunas consideraciones finales sobre el estado del debate en torno a la revisión por pares y las propuestas alternativas que están surgiendo en distintas plataformas.
La historia de la revisión por pares: censura, control y autonomía de la producción académica
Los estudios históricos sobre la revisión por pares son relativamente recientes y están asociados a la historia de las comunidades científicas, de la producción editorial y de la circulación de saberes (Biagioli, 2002; Fyfe, Moxham, McDougall-Waters y Mørk Røstvik, 2022; Waquet, 2021). Estos trabajos vinculan los pareceres de expertos con la consolidación de la autonomía de los académicos respecto de las autoridades eclesiásticas y temporales, así como con la institucionalización de la producción de conocimiento científico y académico en universidades, academias y laboratorios.
La revisión por pares expertos reconoce antecedentes en prácticas científicas del siglo XVII, pero se establece como la marca propia de la producción del conocimiento académico en el siglo XX (Waquet, 2019; Fyfe et al., 2022). Según Moxham y Fyfe (2018), que estudiaron una de las revistas académicas más antiguas del mundo, Philosophical Transactions of the Royal Society (fundada en 1665), las prácticas de referato se hicieron populares en el siglo XVIII en las sociedades académicas en ciencias naturales y filosofía. Estas academias eran grupos de hombres estudiosos de ciertos temas que se reunían semanalmente a discutir, experimentar y argumentar sobre lo observado; tanto en Inglaterra como en Francia eran sociedades reales, es decir, sostenidas por la monarquía, altamente selectivas (Biagioli, 2002). Sus publicaciones iniciales eran solamente de miembros de la sociedad -es decir, la revisión se daba antes del ingreso a la academia y eso garantizaba un sello de calidad-, pero poco tiempo después se convirtieron en jueces de los trabajos elaborados por colegas extranjeros o por estudiosos no académicos. Esos juicios eran muchas veces impulsados por motivos políticos y no científicos; la preocupación de las monarquías se centraba en las impugnaciones políticas, y la cuestión de la calidad y confiabilidad científica no era prioritaria (Moxham y Fyfe, 2018:866). Mucha de la comunicación académica ocurría por cartas intercambiadas de manera privada o bien en los debates orales en las reuniones (Fyfe et al., 2022); no es casualidad que varias de las primeras revistas se llamaran “mémoires” o “transactions,” motivadas como estaban por el registro e intercambio de ideas.
Las sociedades reales eran agrupaciones minoritarias y fuertemente personalistas, y hasta mediados del siglo XVIII las decisiones de qué se presentaba o qué se publicaba pasaban por quien era su secretario. Con el crecimiento de la producción y de la especialización, así como de las comunicaciones, el volumen de textos que recibían las revistas o boletines creció, y fueron surgiendo los comités editoriales. También se empezaron a exigir reportes escritos, con la ventaja de que podían hacer crecer el conocimiento colectivo y hacerse públicos -por ejemplo imprimiéndose junto al documento original-, aunque esta característica fue pronto abandonada porque requería que los pares consensuaran sus opiniones (Moxham y Fyfe, 2018:876). En su revisión de los reportes escritos de la Royal Society en las décadas de 1830 y 1840, estos autores encontraron poca uniformidad: había referatos de unas pocas oraciones y otros de veinte páginas, algunos con críticas y otros con recomendaciones (Moxham y Fyfe, 2018:877).
Ese cambio marca la transición entre una “función de filtro” de lo que puede publicarse (el imprimatur de las autoridades eclesiásticas inquisitoriales y de las primeras sociedades reales) a una “función editorial” que “interviene en los textos para que se conformen a los estándares disciplinarios” (Biagioli, 2002:32), y si bien ambas siguieron coexistiendo, como plantearemos más adelante, la función editorial fue adquiriendo más importancia. Con el declive de las monarquías y la independización y diversificación de la producción académica y científica, estas transformaciones se profundizaron. En los siglos XIX y XX, siguiendo a Biagioli, “[los] patrones de expansión, dispersión, especialización y fragmentación [de la producción de conocimientos académicos] han cambiado de manera profunda la definición y rol de la revisión por pares” (Biagioli, 2002:33). Los procesos de institucionalización y expansión cuantitativa de la investigación en las universidades y el boom de la producción editorial de las revistas, que pasaron a ser la forma dominante de circulación de los resultados de investigación (Waquet, 2019), llevaron a una disgregación importante de la producción y a la necesidad de criterios comunes por los cuales juzgar sus resultados.
La revisión por pares expertos de doble ciego se popularizó en la segunda posguerra en el siglo XX, impulsada por las universidades norteamericanas, y fue adoptada en universidades europeas y latinoamericanas como estándar de calidad y transparencia. Como estaba centrada en una definición más intrínseca que extrínseca del valor de la producción científica y académica, y aparecía como más coherente con sociedades liberales meritocráticas, fue uno de los mecanismos reguladores más efectivos en los campos científicos y académicos en las sociedades occidentales durante la Guerra Fría (Biagioli, 2002:32). Los comités editoriales de las revistas y los revisores crecieron en poder, al punto que hoy son uno de los criterios principales por los cuales se define la calidad de una publicación.
En este contexto político-institucional, la revisión por pares en las revistas académicas se convirtió en un moderno imprimatur que demarca las fronteras de lo que es publicable y lo que no, forma en las prácticas consideradas legítimas en un determinado campo e instaura jerarquías y órdenes en esas prácticas. A diferencia de las primeras sociedades científicas reales, los pares de las revistas de la segunda mitad del siglo XX ya no eran solamente los miembros de las academias sino quienes eran parte de la comunidad de investigadores, generalmente egresados de los posgrados universitarios en los cuales el someterse al proceso de revisión por pares se convirtió una de las formas de socialización más importantes.3
En las últimas décadas, la redefinición neoliberal de las formas de producción del conocimiento académico ha sometido al campo científico-académico a indicadores cada vez más rígidos de desempeño y calidad, entendidos con criterios cuantificables tales como el factor de impacto de las revistas en las que publican o la obtención de proyectos financiados externamente (Bazin, 2014). En esa competencia por recursos, la publicación de artículos se vuelve una mercancía cada vez más valiosa para avanzar en la carrera académica y conseguir más proyectos (Waquet, 2019). Las revistas mejor ubicadas en las bases de datos bibliométricas suelen ser publicaciones anglosajonas que pueden movilizar grandes recursos tanto para atraer producciones de alta calidad como para desplegar los procesos editoriales y de revisión que garantizan una mayor consistencia y confiabilidad de las publicaciones. Las revistas y publicaciones de los grandes conglomerados editoriales se convirtieron en modos de captar recursos públicos, no solamente a través del pago por publicaciones sino también por el trabajo invisible y no remunerado de infinidad de editores y revisores que son pagados por las universidades.
El modelo competitivo de la universidad neoliberal ha dado un nuevo impulso a la revisión de pares, sobre todo a la fundada en el modelo de doble-ciego, que anonimiza a autores y revisores y garantiza, al menos en principio, mayor ecuanimidad y autonomía para la crítica. Sin embargo, la discusión actual es que los pares actúan muchas veces no solamente como garantes de la calidad académica (la “función editorial” mencionada por Biagioli, 2002), sino también como filtros o gatekeepers que buscan rentabilizar su participación en las actividades académicas y asegurarse una posición entre los nuevos “mandarines” que controlan el acceso a los recursos. Si para algunos la revisión por pares es la última defensa frente al avance del mercado, ya que instaura criterios ligados a la calidad y al desempeño académico independientes de los recursos de los autores, para otros es uno de sus representantes más puros, ya que desconoce la desigualdad de condiciones de la producción y establece un principio supuestamente desinteresado que legitima discursivamente las jerarquías y sesgos de la ciencia dominante (Biagioli, 2002; Noûs, 2020). Como señala Garcia (2008), las universidades y centros de investigación tienen condiciones muy desiguales entre ellas, y sin embargo tienen que probar su calidad con los mismos parámetros.
No sorprende entonces que crezca el descontento con esta forma de evaluación de la producción científica. Entre las críticas más frecuentes se mencionan los sesgos de los revisores, que favorecen el conformismo antes que la originalidad (Waquet, 2019:268); también se les cuestiona por las decisiones apresuradas, la baja especificidad de los revisores, y el comportamiento en ocasiones fraudulento, como el plagio de ideas a los manuscritos evaluados (Biagioli, 2002:35). En tanto, los editores de las revistas se quejan de que es cada vez más difícil encontrar revisores: el hecho de que sea un trabajo invisible y no remunerado lo vuelve poco atractivo para quienes están más establecidos en sus campos disciplinarios, que se niegan a hacer un trabajo que consideran menor, y para quienes tienen que establecerse, que privilegian las acciones más claramente rentables para su carrera como publicar artículos en revistas indizadas, asistir a congresos y conformar redes que incrementen su capital relacional.
El malestar está dando paso a debates importantes sobre la necesidad de revisar las formas de producción y circulación del conocimiento académico. Además del ya mencionado inicialmente en la decisión de la revista Nature de publicar algunos comentarios de los revisores, reemplazando la idea del juez anónimo por la de una conversación entre pares que puede y debe hacerse pública, retomando las formas de funcionamiento de las primeras revistas científicas, hay otras iniciativas que pueden destacarse, como es la presencia creciente de orientaciones y criterios que buscan controlar los sesgos y las prácticas fraudulentas de ciertos revisores. En la sección siguiente analizamos algunos de ellos para identificar diversos nudos significativos y las soluciones que se proponen a estos problemas.
Las orientaciones y criterios para la revisión: nuevos géneros para la producción académica
A continuación, presentamos algunas reflexiones a partir de la revisión de una decena de formatos de evaluación que señalan los ítems o criterios a tener en cuenta a la hora de evaluar los artículos, en algunos casos acompañados de orientaciones generales iniciales, así como de dos documentos del Committee on Publication Ethics (COPE), una sociedad académica que se describe más adelante, que emite recomendaciones éticas a los editores y revisores sobre cómo realizar y gestionar la revisión por pares. Los formatos provienen de tres revistas anglosajonas incluidas en Journal Citations Reports (JCR, índice considerado de alta calidad por varias agencias evaluadoras, publicado por Clarivate/Web of Science), dos revistas publicadas en español también incluidas en el JCR, dos francesas apoyadas por el Centre National de la Recherche Scientifique y por la Édition de la Maison des Sciences de l’Homme, y tres latinoamericanas publicadas por universidades o institutos de investigación de reconocimiento nacional de México, Colombia y Argentina, todas indexadas en Scopus e incluidas en el Directory of Open Access Journals (DOAJ). En todos los casos se trata de revistas que operan con el sistema de revisión por pares de doble ciego.
Esta revisión tiene un carácter exploratorio; en ella, nos interesa realizar una aproximación a los conceptos y criterios que se privilegian, atentas al lenguaje que se utiliza, al uso de cuadros, cruces o semáforos en la evaluación, y al estilo narrativo que se promueve. Para este abordaje, retomamos el trabajo de Kress (2005) sobre los reglamentos disciplinarios como géneros textuales específicos, en el que analiza, entre otros elementos, el uso de la negación o la prohibición, el carácter implícito o explícito de las reglas (que supone una mayor o menor familiaridad de los usuarios), la ejemplificación de casos y excepciones, entre otros asuntos.
Consideramos en primer lugar a las plantillas de evaluación de las cinco revistas incluidas en el JCR. Los formatos de las tres revistas anglosajonas, todas editadas por conglomerados de publicaciones (Taylor & Francis y Springer) se destacan por lo escueto de las planillas de evaluación, y porque se llenan en las plataformas de las editoriales. En dos casos contienen en primer lugar la recomendación que propone el revisor (con variaciones entre tres categorías centrales: aceptar, revisiones mayores o menores, rechazar) y a continuación un espacio para comentarios confidenciales para el editor y comentarios para el autor.4 En las orientaciones, se recomienda que los comentarios tengan entre media y una cuartilla; en un solo caso de los tres se incluyen como recomendaciones para elaborar el concepto tener en cuenta la relevancia del tema, la claridad, profundidad y creatividad de pensamiento, la fortaleza de los argumentos, la fluidez de la organización, la adecuación de la escritura y la originalidad para ofrecer perspectivas renovadas o alternativas. En otro de los formatos se encuentra también el requerimiento de incluir comentarios dirigidos solamente al editor sobre la calidad del lenguaje y del contenido del artículo evaluado, que se vincula a la posibilidad de recomendar el rechazo del texto por la calidad o por el contenido.
Dado el nivel de generalidad de las planillas, es claro que hay un alto grado de saber implícito que se moviliza al completarlas. Estas revistas asumen, como señala Kress (2005), que el usuario del documento es miembro de la misma comunidad y está compenetrado con sus formas de procedimiento. A sus editores les interesa más la opinión general informada que una serie de ítems detallados de la evaluación. Se espera de los evaluadores un juicio fundado en una evaluación sustantiva del argumento y no la satisfacción de una serie de criterios particulares.
Esto contrasta con una de las revistas publicadas en español y también incluida en JCR, cuyo formato de evaluación consta de 15 ítems agrupados en seis secciones, cada una de las cuales se puntúa con un número entre 0 y 5 o 0 y 10. El puntaje perfecto es 50; si el artículo reúne menos de 40, se espera una opinión detallada sobre el texto. Las secciones incluyen cuestiones formales (adecuación de título y abstract, bibliografía actualizada) y otras vinculadas al contenido, como la relevancia de la temática, el rigor metodológico, la fortaleza de los hallazgos de investigación, la capacidad argumentativa o las aportaciones originales, entre otros. La puntuación determina de manera automática si se rechaza (25 o menos) o se aprueba la publicación (44 o más); los puntajes intermedios requieren modificaciones. La recomendación de si un artículo es publicable viene al final de la evaluación y no al principio, como en los casos anteriores. Esta revista solicita evaluaciones de un alto número de revisores, llegando en algunos casos a superar los diez; el promedio de las puntuaciones es lo que determina la recomendación de los editores.
Este formato no da por supuesto que se comparten los criterios con los revisores; por el contrario, el listado de ítems sigue en muchos casos el índice de un artículo “tipo”, y parece privilegiar la consistencia formal y narrativa por sobre la calidad académica y científica del argumento o la innovación u originalidad, que es uno más entre múltiples ítems a considerar. En esta revista, que crecientemente demanda publicar simultáneamente en español y en inglés, al formato se agrega un documento de siete páginas con recomendaciones a los revisores, que orienta sobre el tipo de informe a presentar. En la definición del trabajo de los revisores se hace hincapié en que deben ser críticos y constructivos, y asegurarse de que el trabajo cumpla con los criterios exigentes y de alta calidad de la publicación; también se incorpora una recomendación del lenguaje a utilizar, prohibiendo el uso de comentarios peyorativos sobre el autor o el argumento. Se señala también en este documento orientador otro criterio que luego no tiene correlato en los ítems que reciben una puntuación concreta: una evaluación general del impacto probable del artículo y su posibilidad de ser una influencia o referencia para el área. Puede verse en este caso una adopción, por parte de la propia revista, de un criterio de evaluación vinculado a la posible popularidad de un artículo para generar citas, que tiene que ver con la búsqueda del comité editorial de aumentar el factor de impacto de la publicación. La valoración de la calidad académica de un texto ya no es el único criterio, y crece la importancia de las ventajas que ofrece un determinado artículo, por ser un tema de moda o por su enfoque, para tener éxito en el mercado competitivo de las publicaciones.
El formato de la otra revista publicada en español e incluida en JCR tiene rasgos muy distintos. Se organiza en cuatro secciones: la fortaleza de la investigación (diseño metodológico, rigurosidad, relevancia, referencias), los aportes originales, cuestiones de forma y recomendación final. No propone puntuaciones sino que solicita textos narrativos que fundamenten las apreciaciones. Incluye entre las recomendaciones la posibilidad de una aceptación condicionada a que se revise el artículo, diferenciando entre modificaciones necesarias y sugeridas. Como en el caso anterior, hay un documento específico sobre los criterios de la evaluación, pero en este caso parece estar dirigido tanto a autores como revisores y tiene un tono más general que el de la revista antes considerada. Estas orientaciones ilustran sobre el procedimiento que se sigue desde la recepción del artículo y explicita los elementos que se toman en cuenta para juzgar la calidad del artículo, que no miden la potencial influencia y citación sino su ubicación en campos de debate actuales, su relevancia y pertinencia, y su adecuación a las reglas de comunicación de la producción académica. Como en el caso anterior, las orientaciones son más explícitas y no dan por sentado qué se entiende por calidad o cumplimiento de requisitos formales.
Por último, presentamos algunos breves comentarios sobre los formatos de las cinco revistas restantes, dos francesas y tres latinoamericanas, no incluidas en JCR, que tienen una gran variación entre sí. En todos los casos se trata de planillas en procesador de texto que se llenan por separado y se envían al correo de la revista. En las dos revistas francesas la recomendación del revisor se incluye al principio del formato. En una de ellas, hay un cuadro de doble entrada con criterios formales y de contenido, que deben calificarse según una escala que va de malo o medio a bueno o muy bueno. La otra plantilla tiene también un formato de cuadro, con dos grandes columnas: “sobre el fondo” (7 ítems) y “sobre la forma” (3 ítems). Cada ítem se formula como una pregunta que se responden por sí o por no, por ejemplo, “¿el argumento es sólido y pertinente?”, pero también “¿es necesario cortar algunos párrafos? En caso de que sí, ¿cuáles?”. En los dos casos se solicitan observaciones detalladas de la evaluación general y las modificaciones sugeridas. Como se ve, aquí el criterio es editorial y de mejora del texto antes que de rechazo absoluto, y puede tener un efecto formativo para la comunidad académica y no simplemente de gatekeeping.
Los tres formatos de revistas latinoamericanas de instituciones de investigación son igualmente diversos. Hay mayor especificidad respecto de las disciplinas de las revistas: en un caso, una revista de historia, se recomienda evaluar el uso y actualización de las fuentes; en otro caso, de ciencias sociales, se hace referencia a la claridad del argumento, el uso de fuentes teóricas y/o información empírica, y la valoración de su aporte a nuevas exploraciones sobre el tema. En todos se propone revisar la calidad del texto y del contenido del argumento. Solo en un formato se formulan preguntas específicas para cada criterio, similares a la revista francesa, que se responden con una cruz en uno de los colores del semáforo (verde, amarillo, rojo). Las tres plantillas solicitan una evaluación cualitativa detallada sobre el artículo considerado.
Las revistas no incluidas en JCR comparten un nivel intermedio de explicitación de los criterios: no dan por sentado que los criterios de calidad de un artículo son compartidos por toda la comunidad sino que, por el contrario, buscan precisar qué elementos puntuales se requieren tener en cuenta para emitir un juicio. En varios casos apuestan a ofrecer comentarios que mejoren el texto, antes que abogar porque se adapten a criterios exigentes que pocos cumplen, al menos en la primera versión.
Reiteramos que esta es una aproximación exploratoria, que no pretende realizar afirmaciones de alto nivel de generalización. Pero considerados en conjunto, estos formatos de evaluación y las orientaciones que los acompañan muestran algunos rasgos significativos, tanto por lo que incluyen como por lo que no mencionan, y quizás puedan convertirse en hipótesis de estudios posteriores de mayor amplitud. Los formatos de las grandes corporaciones editoriales anglosajonas son generales y tienen muchos implícitos; confían en que hay una comunidad que comparte criterios y que puede evaluar un texto con principios comunes. En tanto, los de las revistas en español y francés proveen criterios más detallados, quizás con menos optimismo sobre cómo opera la comunidad académica.
Un caso que merecería ser estudiado en profundidad es la evaluación de la bibliografía de los artículos, que suele valorarse con términos como “actualizada” y “relevante”; sin embargo, habría que ver qué se evalúa con esas rúbricas, y cuánto se repite de la “ignorancia asimétrica” entre las comunidades académicas, por ejemplo en la jerarquía de disciplinas, instituciones, lenguas y tradiciones que privilegian las llamadas “ciencias duras” y el inglés en el caso de lenguas no anglosajonas, sin que los autores anglosajones sean obligados a citar o conocer otras lenguas o tradiciones (Chakrabarty, 1992:2). La ignorancia de estudios publicados en inglés cuenta como ignorancia, pero la ignorancia de trabajos publicados en otros idiomas no es considerada como tal, porque muchas veces esos estudios no cuentan como conocimiento, aun en áreas o temas que los requerirían de manera clara.
Las plantillas de las revistas publicadas en español o francés son más detalladas, aun las de aquellas incorporadas en JCR; los ítems a evaluar varían de 6 a 15 criterios, a veces formulados como preguntas que pueden responderse binariamente o bien con escalas de valor, y otras veces como juicios que pueden cuantificarse en una puntuación. Hay una intención de desambiguar la evaluación y solicitar argumentos detallados y precisos. En ese marco, buena parte de los formatos se siguen pensando desde un criterio de cumplir exigencias de calidad que tienen más que ver con el gatekeeping que con la formación de comunidades. Son pocos los formatos que preguntan por las novedades y los aportes que hacen los artículos evaluados; tampoco abundan los que buscan mejorar los textos, por ejemplo al incluirlos en un proceso editorial que puede suponer varias revisiones, un elemento al que contribuye la convicción en varias disciplinas de que una buena revista lo es cuando tiene un alto grado de rechazo de artículos.
Los términos que se traen para calificar el trabajo de la revisión son los de una crítica constructiva pero, a excepción de la prohibición de usar lenguaje peyorativo en una de las revistas, en los formatos y recomendaciones revisadas no son evidentes las huellas de los debates mencionados en la primera sección de este artículo. En el caso anglosajón, para encontrar cómo esos debates están entrando a las prácticas de revisión de artículos es necesario ir a otra página web donde se ofrece un conjunto de documentos elaborados por el Committee on Publication Ethics. COPE es una sociedad que fue creada en 1997 por editores de revistas preocupados por los recurrentes casos de falta de ética en las publicaciones, y al que en los últimos años han adherido los grandes conglomerados editoriales transnacionales, como Taylor and Francis, Springer y Emerald.
COPE se propone establecer códigos éticos de conducta y realizar recomendaciones y talleres de formación para editores, revisores y autores sobre buenas prácticas en las publicaciones académicas, y quiere convertirse en una nueva autoridad transversal a las disciplinas y las publicaciones para imponer ciertos criterios y prácticas académicas.5 Ha editado recomendaciones para autores, revisores y editores para garantizar la integridad en el proceso de publicación de resultados de investigación. La palabra “integridad” aparece de manera repetida en sus orientaciones, que se traduce en el respeto a la confidencialidad y la colegialidad en la revisión. En estas orientaciones son mencionadas formas alternativas de evaluación por pares, como la post-print o el ciego simple (COPE Council, 2017). Sin embargo, la mayoría de estos documentos pone el énfasis en la ética individual de los revisores, sin interrogar las condiciones más amplias en que emergen las prácticas académicas y los efectos que pueden tener algunos de sus rasgos. Se inscribe en el paradigma de identificar “buenas prácticas”, pero no cuestiona cuáles son las condiciones institucionales, epistemológicas y político-económicas que han producido muchas de las prácticas que se critican.
Consideraciones finales
La revisión de la historia de la práctica académica de revisión de pares y de algunos ejemplos concretos de orientaciones y formatos de evaluación tuvo el propósito de abrir reflexiones sobre las “formas elementales de la vida académica” (Noûs, 2020). Los debates actuales, como el que está planteando el ensayo de la revista Nature con otras formas de evaluación, apuntan a reinscribir la evaluación por pares dentro de un proceso más amplio de producción de conocimientos, que no empieza ni termina con un artículo o una evaluación. También se proponen evidenciar las injusticias constitutivas del sistema científico-académico, que el mecanismo de doble ciego deja sin interrogar.
Muchas de las críticas actuales se centran en los problemas éticos de esta práctica, por ejemplo en los abusos de los revisores o su falta de integridad cuando plagian o circulan ideas que no son propias. Pero tan importante como ello es sumar criterios de construcción de comunidad en el proceso de revisión en revistas que tienen, como primer objetivo, fortalecer a comunidades académicas específicas, tal como lo ha hecho la RMIE a lo largo de su historia. La ética en este caso adquiere otras connotaciones, ya que tiene como horizonte las condiciones y regulaciones del trabajo colectivo y no las decisiones individuales aisladas.
Queremos concluir este artículo señalando que es importante reconocer el carácter ético del trabajo de las revistas académicas como formas de construcción de comunidades especializadas, que requieren cuidado y participación, y también apertura y diálogo. Una revista académica tiene que ver tanto con cuidar los bordes de un cierto campo disciplinario como con sostener y revitalizar a su comunidad (Baker Josephs, 2016:100). Los editores de una revista tienen que proteger un espacio para “la congruencia y el conflicto”, un “espacio para sembrar, espacio para cultivar, espacio para fallar, espacio para empezar de nuevo” (Baker Josephs, 2016:105). En esa dirección, incluir en los criterios de evaluación la renovación, la experimentación teórica y metodológica y el diálogo interdisciplinario sería muy importante.
De igual manera, sería importante sumar criterios vinculados a lo que se conoce como mentoring, esto es, formas de tutoría y acompañamiento que permitan atender las desiguales condiciones de producción del conocimiento académico. Al respecto, es relevante la reflexión que ofrece la editora del Journal of African Cultural Studies, la sudafricana Carli Coetzee. La desigualdad de condiciones en los estudios africanos suele beneficiar a quienes trabajan en universidades norteamericanas o europeas y margina a los propios académicos africanos. Además de la lengua inglesa, Coetzee destaca las desventajas infraestructurales que supone tener computadoras obsoletas, cortes de luz periódicos y bibliotecas mal equipadas y poco conectadas a bases de datos internacionales. “Como académicos no podemos tratar todo eso como inconveniente: reconocer los distintos ambientes de la producción académica africana debería estar en el corazón de nuestras investigaciones” (Coetzee, 2018:111). Para ella, se trata de repensar al trabajo de edición y revisión en tanto labor ética, y darle la vuelta al lugar de gatekeepers:
Mantener la puerta abierta es una frase memorable, y es útil para pensar cómo crear flujos y circulaciones más allá de los espacios protegidos en los cuales nos sentimos cómodos. La revisión por pares y la edición de revistas pueden ser formas de mantener la puerta abierta para entrar en espacios mutuos, más que la frase más comúnmente usada del gatekeeping (Coetzee, 2018:110).
Los debates que se abren con estos cuestionamientos son complejos. La revisión por expertos con doble ciego permitió en algunos casos romper con las jerarquías instituidas y sostener las bases de un campo de producción académico autónomo. Pero no podemos ignorar que, en las condiciones actuales, muchas veces reproduce sesgos, tradicionalismos y jerarquías injustas, y que hace poco para fortalecer a una comunidad académica que busca ser más inclusiva, abierta y creativa. Dejamos abierta la discusión para buscar formas que protejan la rigurosidad y la calidad académica pero que insistan en que es importante mantener la puerta abierta. Esta apuesta ha estado presente desde el inicio de la RMIE y de muchas revistas académicas, y no habría que olvidarlo en la pugna por entrar a índices internacionales.