El papel de pares y publicaciones periódicas en la validación del conocimiento científico

The Role of Peers and Periodical Publications in the Validation of Scientific Knowledge

Después de casi un año al frente de lo que podríamos llamar los bastidores del proceso editorial, acompañada por quienes tienen muchos años de estar a cargo de que se cumplan en la revista los lineamientos establecidos en nuestro reglamento y protocolo, Elsa Naccarella y Guadalupe Espinoza, que en todo momento buscan cumplir con calidad y en tiempos con los compromisos asumidos con autores, dictaminadores, colegas del comité y el consejo editorial y nuestros lectores, he aprendido muchas cosas. Entre ellas quisiera compartir con nuestros lectores una reflexión desde otro ángulo sobre algo que teóricamente había trabajado al analizar a la profesión académica y la comunidad científica: qué significa y cómo opera el proceso intersubjetivo de validación del conocimiento dentro de la comunidad de referencia para que los nuevos hallazgos entren a formar parte del flujo de lo que se considera conocimiento válido dentro de los distintos campos del saber.

Desde sus orígenes, los periódicos científicos, como se denominó en el siglo XVII a Philosophical Transactions y Journal des Sçavans, sentaron las bases de lo que serían los procesos de evaluación de pares en las publicaciones periódicas arbitradas. Por su concepción, impulsado por la Royal Society, Transactions podría considerarse como el origen de las actuales revistas arbitradas. Su primer número apareció en marzo de 1665 y cumplía con la doble tarea de someter al juicio de otros miembros de la comunidad científica, expertos en los temas presentados por los autores para ser difundidos, la consistencia lógica y la fundamentación empírica de las contribuciones recibidas y, por ende, respaldaba la validez de los hallazgos; pero también garantizaba a los autores, vía el registro de la fecha de recepción de las mismas, la prioridad del descubrimiento (Zuckerman y Merton, 1971). Así, contra los temores que predominaban hasta esa fecha entre los autores, que propiciaban la secrecía respecto a los procesos y resultados en curso, hasta la publicación definitiva de la obra para proteger el derecho de primacía sobre sus descubrimientos, la aparición e institucionalización de este nuevo medio de difusión, controlado y regulado por una institución respetada como autoridad académica, propició lo que hoy constituye uno de los pilares de la actividad y ethos de la comunidad científica: La ciencia no es ciencia si los autores no hacen públicos (publican) y someten a crítica de los pares sus resultados.

Los procesos de institucionalización de este tipo de medios de divulgación del conocimiento generado han sido largos y complejos. Dependen de múltiples factores, en el caso que tomamos como ejemplo, cabría destacar la acción entusiasta de Oldenburg (primer director de Transactions); la confianza que depositaron en el periódico grandes figuras de la ciencia de la época como Boyle, Helvetius y otros; la legitimidad de la Royal Society dentro de la comunidad científica, que era la que respaldaba el proyecto; los recursos y el flujo de contribuciones necesarios que garantizaban su aparición el primer lunes de cada mes, de los que dependía su regularidad y previsibilidad que lo convertiría en un referente de lectura obligado; así como la buena disposición y seriedad de los propios miembros de la asociación, a quienes se solicitaba el arbitraje según el campo disciplinario involucrado de las contribuciones recibidas para ser publicadas (Hall y Hall, 1966).

A partir de ese momento los científicos cumplen en las publicaciones periódicas un triple rol. En el caso que se relata: de miembros de la Royal Society (actualmente de distintas asociaciones), de colaboradores de Transactions (tanto en la calidad de autores, como a través de formar parte de comités editoriales o arbitrar la validez de las contribuciones) y de lectores de las contribuciones realizadas por otros (en la calidad de público especializado para mantenerse al tanto de la frontera del conocimiento en sus campos o público general interesado en el desarrollo del conocimiento). De ahí que la ciencia sea una actividad colectiva, pues su evolución no sólo depende de la genialidad de los autores y sus resultados, sino de los mecanismos e instituciones que permiten su validación, difusión, acumulación y la apropiación por parte de la comunidad de los avances logrados (Barber, 1952).

A pesar de las diferencias en las comunidades disciplinarias, documentadas por ellos, después de más de tres siglos de operación del mecanismo de evaluación de pares, existen importantes coincidencias respecto de los atributos personales y profesionales de los árbitros que permiten garantizar la imparcialidad e independencia de criterio necesarias para que una pieza del rompecabezas del conocimiento científico ingrese al flujo del conocimiento válido en un campo. Los rasgos principales son su carácter de expertos en la materia que evalúan, el anonimato del juicio que les permita expresar libremente y de manera fundamentada su opinión, la adecuada distancia respecto de la persona e institución en que labora el autor, así como un ethos de responsabilidad, compromiso y deseo de avance del conocimiento.

Un problema central de la participación de pares en procesos de evaluación es encontrar el equilibrio adecuado en la designación de evaluadores que permita por un lado, tomar decisiones al obtener el consenso u opinión única entre los diversos árbitros (que basan sus opiniones en su conocimiento y experiencia previa), que rescate en cada producto evaluado la riqueza que sólo una mirada de este tipo puede lograr sin que, por el otro lado, esta mirada esté sesgada por preconceptos u otras subjetividades producto de situaciones e intereses particulares ajenos al rol asignado, pero que no puede evitarse por completo, ya que están íntimamente asociadas a su pertenencia y ubicación dentro de la comunidad académica de referencia (Marquina, 2006). De ahí la importancia del anonimato (del principio doble ciego, desconocimiento de la persona específica con quien se dialoga tanto por parte de los autores, como de los árbitros) y de integrar en estos procesos a miembros externos a la comunidad académica inmediata a que pertenecen los autores (el mismo grupo, institución de adscripción y en algunos casos país de residencia), que obedece a la preocupación por lograr la mayor objetividad posible en los juicios académicos, reconocer la valía de las contribuciones y ayudar a su mejora antes de su publicación.

Por ello, otro tema relevante es que el editor busque garantizar la imparcialidad en el arbitraje de los trabajos, lo que le exige contar con la participación de más de un árbitro para cada caso, que en su calidad de par y experto en el tema emita su juicio con arreglo a guías que orientan dimensiones más o menos generales de observación sobre: la relevancia social y disciplinaria del tema, la pertinencia de enfoques teóricos y estrategias metodológicas según las preguntas u objetos de investigación propuestos, el conocimiento de lo producido en el campo de referencia (pertinencia y actualidad de fuentes y bibliografía empleadas), la calidad expresiva y el cumplimiento de las reglas formales para reconocer los aportes de otros al pensamiento propio (citas y referencias). Esta participación de los pares los coloca en una situación de autoridad para identificar problemas y elaborar recomendaciones para el mejoramiento de los trabajos. Sus juicios, resultantes de interpretaciones propias con grados amplios de libertad, se realizan entonces orientados por estándares reconocidos por las distintas comunidades disciplinarias o multidisciplinarias de referencia.

La evaluación de resultados de los procesos de investigación–desarrollo, es decir de las contribuciones presentadas a las publicaciones periódicas para su difusión, tiende a poner énfasis en el control de la calidad más que en la búsqueda del mejoramiento de la contribución presentada. No obstante, una buena guía de dictamen, que logre un equilibrio adecuado entre criterios abiertos pero orientadores y pares libres para emitir y fundamentar sus juicios considerando como base esos criterios, permite retroalimentar a los autores a través de la comunicación a los mismos de la opinión anónima de los árbitros y mejorar la calidad de los trabajos aceptados con alguna sugerencia o recomendación.

En el doble proceso de evaluación de las contribuciones recibidas por la RMIE hemos buscado para la primera etapa conformar órganos colegiados (Comité y Consejo editoriales) comprensivos y representativos de las distintas temáticas y disciplinas que conforman el estudio del campo educativo; en la segunda, a través de las sugerencias del Comité Editorial y la buena voluntad de los colegas para participar en la empresa, se ha buscado garantizar que los árbitros designados cumplan con el criterio de estar fuertemente vinculados con las características del trabajo a evaluar, pero suficientemente distantes del autor y la institución de adscripción del mismo para promover la imparcialidad, lo que resulta un reto particularmente difícil en la evaluación de resultados de investigación inter o multidisciplinarios.

Si pensamos en las características y tendencias de la evolución de los académicos en el país, encontramos que existen muy distintos niveles de habilitación, profesionalización y participación en las tareas de investigación de los distintos campos de conocimiento. Esto tiene una asociación importante con la medida en que los integrantes de las mismas se han orientado hacia los estudios de doctorado y en consecuencia han tenido condiciones para integrarse, por ejemplo, al sistema nacional de investigadores (SNI), el acceso a fondos de apoyo a la investigación y el reconocimiento de programas e instituciones. En nuestro país, la matrícula total de doctorado en las áreas relacionadas con este campo (Ciencias Sociales, Humanidades y Educación) en el último ciclo para el que contamos con información desglosada por área y nivel de estudios (2008–2009) no alcanzaba nueve mil estudiantes, la matrícula total de este nivel es menor a 17 mil estudiantes y no obtienen el grado ni nueve mil doctores cada año, además los miembros totales del SNI habían alcanzado 16 mil 598 en 2010, de los cuales 26.9% pertenecía a las áreas V, Ciencias Sociales, y VI, Humanidades.

En el conjunto del SNI los investigadores con niveles 2 y 3, no representan ni la tercera parte del total de los miembros vigentes en 2010, pero también en este sentido varía el comportamiento entre las áreas. A guisa de ejemplo, mientras que en 2007 en Física (área I) estas dos categorías agregan al 35.8% de sus integrantes y más de 1 de cada 5 miembros del SNI (22.59%) con estas categorías está en el área I, tomando en conjunto ambas categorías en el área V (Ciencias sociales) representan 27.5% y en la VI (Humanidades), 21.3%. Si consideramos ahora en conjunto a los que tienen estas categorías en ambas áreas sólo representan 24.6% del total de los integrantes del SNI con esos niveles. Si como aproximación más fina al campo específico de la educación, tomamos la composición actual del COMIE en este sentido, tenemos que de los 345 miembros vigentes —sin olvidar que existe un proceso de admisión de pares al COMIE que sanciona como un criterio importante la producción en el campo— 137 (39.71%) no forman parte del SNI, 9 (2.61%) tienen la categoría de candidatos, 108 (31.3%) son investigadores nacionales nivel 1, 71 (20.78%) nivel 2 y únicamente 20 (5.8%) tiene nivel 3, que correspondería aproximadamente a la media de las áreas V y VI antes mencionada.

A pesar de la diversidad en el reconocimiento externo a los integrantes de nuestra organización, es importante destacar la seriedad, exigencia y nivel de consenso que se ha ido logrando en los procesos de arbitraje de los trabajos recibidos por nuestra revista a lo largo de sus 15 años de existencia. En la historia reciente de la RMIE (si consideramos los últimos seis años 2005–2010), la tasa de rechazo ha fluctuado entre 40 y poco más de 50% de las contribuciones recibidas, pero únicamente se ha presentado la necesidad de enviar un trabajo a un tercer dictamen en 13 de los casi seiscientos trabajos recibidos, de los cuales únicamente cuatro fueron finalmente aceptados. Esto nos habla de un bajísimo promedio de disenso de opinión entre nuestros dictaminadores de poco más de dos trabajos de los alrededor de cien anuales recibidos en ese lapso. Lo que habría que destacar como importante dada la diversidad de perspectivas teóricas, estrategias metodológicas y miradas disciplinarias desde las cuales se trabaja en las ciencias sociales y humanidades y en particular el tema de la educación. Como puede observarse en los diversos informes anuales que se presentan en nuestras páginas, hay una participación importante de un amplio número de colegas nacionales y extranjeros, tanto como autores como en el rol de árbitros en ambas etapas, dentro de la que no ha sido menor la contribución de todos los miembros del COMIE en el logro de los objetivos de nuestra publicación.

Son entonces comprensibles y compartimos el espíritu de las demandas de los índices y agencias gubernamentales sobre la importancia de la regularidad de aparición de una revista, la preocupación sobre composición de comités editoriales y árbitros que garanticen un juicio experto y objetivo respecto de las contribuciones recibidas y el énfasis en los indicadores de consulta y citación que tienen las distintas publicaciones periódicas. Sin embargo, por razones pedagógicas y de consolidación de nuestro campo, aun cuando se reconozca la importancia del SNI, como instancia de evaluación de las trayectorias y resultados de los científicos del país —en la medida en que constituye un programa al que los individuos se presentan voluntariamente y que por brindar un ingreso adicional asociado a dicho reconocimiento podríamos considerar que impulsa a los científicos a buscar su inclusión— ni todos los expertos en distintos temas forman parte del mismo, ni todas las comunidades tienen el mismo grado de consolidación en cuanto al cumplimiento de las exigencias del mismo para que sus miembros obtengan el reconocimiento necesario para ser calificados en los más altos niveles.

No quisiera concluir esta reflexión sin señalar, aunque sea brevemente, que este edificio institucional enfrenta nuevos retos y tensiones. Es importante tomar conciencia de que estos principios que han orientado la actividad científica desde hace más de 300 años, hoy se ponen en cuestión por diversas razones. La primera sería que el avance tecnológico, la aparición de Internet, la velocidad y el bajo costo con que pueden a darse a conocer resultados por este medio, facilita a los autores la publicación en línea, pero este mismo hecho dificulta a los usuarios cibernautas la discriminación y validación de los resultados en función de criterios compartidos por los otros. Podría decirse que en consecuencia la crítica es también más fácil y directa, pero es importante señalar que aún no se han institucionalizado nuevas formas de validación de lo que se "sube" a la WEB, ni todos los usuarios de la misma tienen el dominio del campo y el conocimiento experto para poder discriminarlas y jerarquizar su relevancia en el flujo de desarrollo del conocimiento de un campo, por lo que resulta fundamental continuar con el esfuerzo sostenido del trabajo de validación de conocimiento en los distintos campos y en ello, considero que COMIE–RMIE y las revistas hermanas han jugado y jugarán un papel central. El otro reto se asocia con los cambios en los procesos de producción de conocimiento, donde hoy intervienen simultáneamente en la solución de problemas, no sólo expertos de diversas áreas disciplinarias, sino también otros actores involucrados en la producción y el consumo de bienes y servicios. Esto nuevamente, como muestra la polémica alrededor del artículo publicado por Science el año pasado, que como señala Paul Jump en su artículo "Too complex for the jury?" representa nuevos retos para los procesos editoriales y de evaluación de pares que debemos enfrentar como comunidad comprometida en el avance sólido del conocimiento de los distintos campos.

Rocío Grediaga Kuri, Directora

Bibliografía

Barber, Bernard (1952). Science and the Social Order. NY: Free Press.         [ Links ]

Hall, Rupert A. y Marie Boss Hall (eds.) (1966), "Introduction", en Henry Oldenburg, Correspondence of Henry Oldenburg (6 vols.). Winsconsin: Madisson University Press.         [ Links ]

Jump, Paul (2010) "Too complex for the Jury?" <https://mail.google.com/mail/html/compose/static_files/biography.asp?contact=74, consultado el 2 de diciembre.         [ Links ]

Marquina, Mónica (2006). La evaluación por pares en el escenario actual de aseguramiento de la calidad de la educación superior. Un estudio comparativo de seis casos nacionales. Buenos Aires: CONEAU.         [ Links ]

SNI (2007) Estadísticas básicas. Evaluación 2007. México: Conacyt.         [ Links ]

Zuckerman, Harriet y Robert K. Merton (1971). "Patterns of Evaluation in Science: Institutionalization, Structure and Functions of the Referee System", Minerva 9, núm. 1, pp. 66–100. Traducido en Merton, R. (1985) La sociología de la ciencia 2. Madrid: Alianza Editorial, pp. 579–621.         [ Links ]