El número 92 de la Revista Mexicana de Investigación Educativa inaugura el año 2022; un año quizá más esperanzador que el que le precedió, pero no por ello exento de cierta dosis de incertidumbre. Cuando escribo este editorial, a principios de diciembre de 2021, la preocupación por una ola más de la COVID-19, atribuible a una nueva variante del virus, invade al mundo y lleva a reforzar las medidas de protección, ante un escenario que vuelve a desvelar las profundas desigualdades que atraviesan al planeta y la escasa conciencia que parece haber sobre nuestro estatus como sociedad globalizada.

Escribo también, a escasas semanas de haberse celebrado el XVI Congreso Nacional de Investigación Educativa en modalidad virtual. En el marco del congreso y con la participación de Antonio Bolívar, Gabriela de la Cruz, Edgar González Gaudiano y Marisol Silva, realizamos la conversación educativa titulada La evaluación por pares y sus aportaciones a la mejora de la calidad de la investigación. Una mirada desde la RMIE. Si bien, las conversaciones educativas de los congresos nacionales de investigación educativa son espacios que fundamentalmente buscan reunir a investigadoras e investigadores con las y los funcionarios y tomadores de decisiones para abordar temas estrechamente relacionados con la implementación de políticas, situaciones de coyuntura o debates en torno a temas de interés común aunque vistos desde diferentes ópticas, en el caso de las conversaciones en torno a la RMIE es más usual que el eje que se defina convoque a las y los académicos, vinculados desde diferentes roles, al trabajo de difusión de los resultados de investigación en publicaciones especializadas. Decidimos, entonces, invitar a destacadas y destacados dictaminadores de la RMIE para conversar a propósito de este proceso vital para asegurar la calidad de la comunicación académica que es la evaluación por pares.

Nuestros colegas, tras seguramente varias lecturas de los textos que evalúan, ofrecen en sus dictámenes argumentos fundamentados, relacionados con las distintas partes que integran las propuestas que revisan, esto es, el planteamiento del objeto de estudio, la revisión de literatura y el marco teórico o conceptual que sustenta la investigación, la metodología implementada, los hallazgos, su discusión y las conclusiones. Todo pasa por la mirada experta de nuestras invitadas e invitados para determinar si existe congruencia teórico-metodológica, si el trabajo es sólido, si los resultados se fundamentan en la evidencia empírica presentada, si se hace un aporte al campo de la investigación educativa.

Dicho lo anterior, no cabe duda de que la revisión por pares es el mecanismo por excelencia para asegurar la calidad de una publicación científica, para validar el conocimiento científico y para mejorar la calidad de la investigación que se realiza en los distintos campos del conocimiento, así como su difusión. Es importante desde luego para las y los autores y las publicaciones, pero también, para las agencias o instancias de financiamiento de la investigación, las y los tomadores de decisiones y el público en general (PRC, 2016).

Se trata de un proceso que es útil no solo como forma de control de calidad de las revistas académicas -lo que abona a su credibilidad y reputación- sino también, con beneficios potenciales muy amplios para las y los autores; una buena revisión puede alertarlos sobre errores, lagunas, inconsistencias o áreas de mejora posible de sus textos. De acuerdo con la Peer Review Survey 2015 del Publishing Research Consortium (PRC), 65% de quienes informaron manifestaba satisfacción general con el sistema de revisión por pares; 74% estaba de acuerdo con que la revisión había mejorado la calidad de su texto publicado, y 82% expresaba también su acuerdo con el enunciado “Sin revisión de pares no existe control en la comunicación científica” (PRC, 2016:2).¹

Quienes han hecho trabajo de revisión, según esta misma encuesta, ofrecen datos relevantes para comprender su participación en esta actividad: 93% lo hace porque forma parte de la comunidad de referencia; 75% la ve como una forma de reciprocidad a la revisión que otros colegas han realizado de sus propios trabajos. Otras motivaciones, de carácter intrínseco, muestran que, 83% de quienes informaron disfrutó ayudando a mejorar un texto, mientras que a 75% le agrada conocer un texto antes de su publicación (PRC, 2016).

El creciente número de publicaciones científicas que descansan en el proceso de evaluación por pares ha hecho crecer también las demandas de revisión y ha complejizado la tarea de los equipos editoriales. Comunicar con toda claridad las expectativas asociadas a la revisión es una responsabilidad crucial para las publicaciones, así como ofrecer los elementos de información y formación necesarios para que, las y los investigadores jóvenes o en proceso de construcción de su propia trayectoria académica se sumen a la tarea y puedan realizar una evaluación justa, objetiva e imparcial de las fortalezas y debilidades de un manuscrito (^{COPE, 2017}).

De acuerdo con el Editorial ^{Policy Committee, Council of Science Editors (2018:32-33)}, quienes se ocupan de la revisión tienen varios roles y responsabilidades, hacia quienes escriben, los equipos editoriales e incluso las y los lectores.

Hacia las y los autores:

Hacia las y los editores, además de notificar si no se puede hacer la revisión, en cuyo caso sugerir otras u otros revisores, así como conflictos potenciales de interés:

Hacia las y los lectores:

Evidentemente se trata de un trabajo demandante que, gracias a la generosidad de una gran cantidad de investigadoras e investigadores, expertos en su campo de conocimiento pueden llevar a cabo las revistas, tanto la RMIE en particular, como las múltiples publicaciones reconocidas que existen en todas las áreas científicas. En este contexto, esta conversación buscó abrir un espacio de reflexión del que puedan derivar aprendizajes para llevar a cabo de mejor manera esta importante tarea, brindando a las y los nuevos revisores, elementos que contribuyan a la elaboración de dictámenes que, a la vez que aseguren la calidad de lo que publica la RMIE, hagan aportaciones sustantivas a las y los autores de las contribuciones que se reciben. Los aspectos implicados en esta tarea son de distinta naturaleza; desde luego, la expertis en el campo es fundamental, pero también, la consideración de las cuestiones éticas asociadas a esta responsabilidad, por cuanto, además de garantizar la calidad de un texto, es necesario también atender a su integridad académica (^{COPE, 2017}).

La conversación estuvo orientada por las siguientes preguntas:

Las aportaciones puntuales de nuestras y nuestros invitados a la conversación podrán escucharse en la grabación completa que el Consejo Mexicano de Investigación Educativa pondrá a disposición en redes sociales -o habrá puesto ya para cuando este número se publique. Destaco, en todo caso, algunas de las reflexiones compartidas que me resultaron particularmente significativas.

La primera tiene que ver con la experiencia personal de ser dictaminador(a), y cómo la reflexión para la conversación llevó a nuestras y nuestros invitados a verse a sí mismos, a pensar en esta labor y en cómo la han venido construyendo a lo largo de los años, así como en la responsabilidad que implica. Aunque en la conversación nos enfocamos en la evaluación de artículos para revistas especializadas como la RMIE, lo cierto es que la dictaminación es una tarea que convoca a las y los académicos para otros propósitos, la evaluación de proyectos de investigación, de tesis, de ponencias, de informes…, en todas ellas, la valoración ha constituido un proceso de aprendizaje para los propios pares; que se ha desarrollado en buena medida sobre la marcha, a través del “ensayo y error” y, en el mejor de los casos, con la mentoría de un investigador o investigadora con trayectoria. Lo cierto también es que hay una clara conciencia de que una buena revisión exige mucho tiempo; además, compromiso, responsabilidad, respeto hacia el trabajo de otros y otras y empatía con autoras y autores, “ponerse en sus zapatos” y pensar, desde el doble rol que jugamos -autores(as) y dictaminadores(as)-, en lo que sería valioso o de utilidad que una evaluación nos aportara para la mejora de nuestro propio trabajo de investigación.

Varios desafíos afloraron en la conversación. En forma concomitante a la gran necesidad de publicar que supone la carrera académica para las y los investigadores, ya sea con trayectoria o en formación, las revistas enfrentan una gran demanda, y a la vez, un déficit muy grande de evaluadores(as), como lo apuntaron Edgar González Gaudiano y Antonio Bolívar; expertos en las diferentes temáticas que se abordan desde nuestro campo, capaces de situar cada trabajo de investigación particular en la trayectoria de la temática en que se inscribe; competentes para reconocer los aportes específicos que se hacen, y si estos contribuyen realmente a generar nuevos conocimientos. Por ello, un desafío relacionado tiene que ver con la formación de las y los evaluadores; con la incorporación a la tarea de nuevos investigadores(as) que puedan formarse a través de procesos más sistemáticos que, como sugirió Gabriela de la Cruz, “decodifiquen” la experiencia de quienes tienen una trayectoria importante en las tareas de dictaminación para quienes se inician en ellas.

La creciente demanda de publicación trae aparejado un desafío más, de no fácil respuesta, pero que de alguna forma se tiene que asumir y al que parece necesario responder con la mayor creatividad posible. Esa demanda está constituida en una parte por las nuevas generaciones de investigadoras e investigadores, por una “población emergente de las y los académicos” en palabras de Marisol Silva, cuyas producciones requieren una evaluación no menos rigurosa pero diferente a la que se hace cuando se revisan las contribuciones quienes cuentan con trayectoria. Desde luego, los procesos ciegos no permiten, en general, saber a quién se evalúa, pero los textos mismos nos dan pautas. ¿Dónde podrían radicar las diferencias? Las aportaciones de quienes participaron apuntan a la retroalimentación; a una retroalimentación precisa, lo más objetiva posible, lo más informativa y orientadora. Pienso, mientras escribo esto, en que una de las claves de la evaluación formativa del aprendizaje está justo en el tipo de devolución que hacemos a nuestro estudiantado; no aporta a un mejor aprendizaje la evaluación que simplemente valora una producción (sea un examen, un ensayo u otro tipo de evidencia del aprendizaje), sino aquella que describe, que indica qué está bien y qué está mal, y cuál es la distancia para alcanzar el estándar que revela que se ha logrado efectivamente un nuevo aprendizaje o el aprendizaje esperado.

No me resta sino invitar a nuestros lectores y lectoras a escuchar completa la conversación educativa a que he hecho referencia; desde luego, a escuchar también, los demás eventos que paulatinamente se habrán ido sumando ya a la difusión de los ecos del XVI Congreso Nacional de Investigación Educativa. Decir, por último, que espero, como seguramente todas y todos, que la edición décimo séptima de nuestro gran evento pueda desarrollarse ya en la presencialidad.