Los problemas que acarrean los distintos procesos de evaluación académica (proyectos, ingreso y desempeño de la carrera) han sido analizados en distintas sedes y por diversos investigadores o profesores. En el marco de esas preocupaciones, un aspecto sobre el que se ha reflexionado menos es la dictaminación de los trabajos que se proponen para su publicación. Normalmente (y sobre todo en México) la problemática de las publicaciones académicas se aborda desde una perspectiva que atiende, en el mejor de los casos, dos aspectos: de un lado, la “originalidad”, el plagio y la duplicidad consecutiva de los productos presentados; del otro, la “neutralidad” de la evaluación al adoptar procesos “doble ciego”. Para un buen número de comités editoriales y de instituciones, esas dos dimensiones son suficientes para conducir adecuadamente el proceso de publicación. En mi opinión, esa apreciación es errónea y avala un conjunto de prácticas aceptables -pero incompletas- para responder a la complejidad de aquel proceso. Mientras se han introducido -correctamente- un conjunto de exigencias a los autores y a los productos que presentan, se sostiene, implícita o expresamente, que la solvencia de los dictámenes está resuelta y se tiende a creer que sus requisitos no son ulteriormente perfectibles. No obstante, ni el doble ciego garantiza la neutralidad esperada, ni una neutralidad así inducida garantiza la calidad de la evaluación. Es tiempo ya de abrir un amplio espacio de reflexión de manera que, conjuntamente con las exigencias éticas y académicas que los autores debemos asumir, se generen otras para garantizar que los dictaminadores nos conduzcamos conforme a buenas prácticas y el buen juicio. Es ese el sentido de este ensayo.

La dictaminación de las publicaciones es una pieza clave en el sostenimiento del sentido mismo de la academia. Esa práctica juega un papel crítico y está en el centro del “control de calidad” del conocimiento que se produce y comparte. Considerada en términos de ese control, la práctica de dictaminación adquiere un rasgo singular y paradójico: para evaluar un texto académico o científico hace uso, como el material mismo, del conocimiento (teórico, metodológico o aplicado) que una comunidad local o internacional tiene a disposición. Así, el dictamen verifica el uso del conocimiento y las propuestas de innovación haciendo también uso de ese conocimiento. La dictaminación es, entonces, una operación reflexiva. Ese carácter reflexivo finca un vínculo persistente: la calidad de las academias está en estrecha relación con el grado de institucionalización de la práctica del dictamen, y sobre todo, con su calidad. Sorprende, por ello, la poca atención que las propias instituciones académicas han puesto para reforzarla, más allá de establecerla como requisito para la publicación. En el centro de ese descuido está la indiferencia frente a su carácter reflexivo: actuamos como si los dictámenes, que son control de calidad, no debiesen -bajo ninguna circunstancia- ser sometidos ellos mismos a control de calidad. Cuando eso pasa, se merma el vínculo con la solvencia académica que les da sentido y se instituyen como un mero requisito que hay que cubrir.

Es quizás por esa consideración que los sistemas de estímulos (Sistema Nacional de Investigadores y otros) no valoran la dictaminación como una actividad relevante. Si se premiara sustantivamente el pertenecer a comités editoriales, la atención a sus solicitudes o el formar parte de la cartera de árbitros, su calidad se incrementaría rápidamente y su impacto sobre la academia también. Los mejores profesores e investigadores tendrían incentivos para dedicarse a esas tareas con pleno compromiso. El prestigio de pertenecer a ciertas revistas correspondería, por regla, con el trabajo efectivamente desempeñado. En cambio, hoy se fatiga para conseguir los dictámenes y normalmente quien los realiza -así actúe con toda seriedad- lo hace en medio de tiempos apretados y asume el encargo como una actividad que compite desventajosamente con otras propias del oficio.

Relegada a la categoría de irrelevante por las políticas académicas de evaluación, la dictaminación se ve adicionalmente mermada, al menos en las ciencias sociales, por una variedad de aspectos que reducen su calidad. Independientemente de que éstos estén muy expandidos o acotados, es innegable que reducen su efecto positivo en la academia. La siguiente podría ser una primera identificación de esos aspectos.

1) El dictamen como texto sacro. Por el modo singular en que tendemos a negar su carácter reflexivo, se asume que la calidad de los dictámenes no requiere verificación. Con sus excepciones, estoicamente se reciben en los comités editoriales como si fuesen inmejorables; “piezas” analíticas infalibles o talmúdicas. Escudados en una supuesta “neutralidad” o en un particular sentido de “objetividad”, no pocos comités simplemente solicitan y luego envían el dictamen al interesado sin ponderar el contenido y argumentación del mismo. Ese procedimiento puede ser considerado como un “método de buzón”. Por él, los comités renuncian expresamente al rol de controladores de calidad de los dictámenes, en contraste con lo que una correcta idea del sentido reflexivo del conocimiento obligaría. Para ellos, todo dictamen es veraz y acertado por ser tal. De ese modo, los comités asumen, en nombre de la “imparcialidad”, que los académicos solamente pueden cometer errores en la estructura expositiva, en la interpretación y comprensión, en la coherencia argumentativa o en la precisión conceptual como autores, nunca como dictaminadores. Asumen que sólo en aquel rol los académicos pueden hacer valer sus preferencias disciplinarias (y políticas). Presumen, contrariamente a las perspectivas internacionales, que a diferencia de los autores, los dictaminadores no incurren nunca en problemas de parcialidad o en prácticas que pudiesen implicar aspectos éticos.

Ese “método de buzón” resulta conveniente, además, porque ahorra al comité y a sus miembros la lectura de los trabajos sometidos. De hecho, muchos comités no se reúnen nunca y, aun cuando lo hacen, el “método de buzón” induce a que ni el que preside la actividad editorial ni el comité mismo haga las veces de un editor. Así, todo el peso de la evaluación recae en los dictaminadores, cada uno de los cuales sabe que ese procedimiento, más su anonimato, lo faculta para emitir juicios -de buena o mala fe- sin control. Al negar que el dictamen implica un uso del conocimiento y por ello debe, como el texto evaluado, ser verificado, se abre potencialmente una zona de arbitrariedad o desatino para el dictaminador. Entre otras, esa zona se expresa con toda claridad en el hecho de que muchos dictámenes no cumplen con la exigencia de argumentación que se exige a los textos. Frases tales como “me parece que no tiene sustento”, “ni estructura”, “la metodología es inapropiada” o “no es original”, sin mayores precisiones o fundamentos, son comunes. Y válidas. En una ocasión escuché decir a un académico que la mejor manera de rechazar un artículo era atacarlo por su “debilidad metodológica” porque la negativa resultaba “muy neutra” y no requería gran esfuerzo.

Esa estrategia de dictaminar con “etiquetas” pero sin argumentación del juicio (positivo o negativo) es viable y efectiva sólo porque la indiferencia de los comités sobre la solvencia de la evaluación se convierte -extrañamente- en un ethos de su “imparcialidad”, y va de la mano con el “método de buzón”. Así, los comités se comportan como agentes del proceso de evaluación y publicación y simultáneamente se relevan de cualquier responsabilidad. El resultado neto es que, más allá de la inmediata buena intención que en apariencia los motiva, asumen involuntariamente e inducen zonas de arbitrariedad en la evaluación. Ante esto, los autores no saben nunca si los dictámenes condicionados o negativos son, o no, plenamente avalados por el comité. La discrepancia con los dictámenes -con razón o sin ella- corre a cargo exclusivamente de los autores. Y en honor a la verdad, muchas veces esas discrepancias son aceptadas con la misma indiferencia con que se reciben los dictámenes. El punto es ser, contra viento y marea, un “buzón” entre las partes.

2) El dictamen como unicidad de escuelas. Las academias poco consolidadas niegan la simultánea presencia de distintas escuelas disciplinarias en un mismo campo. No reconocen que ésas constituyen tradiciones de pensamiento que han conformado perspectivas teóricas y analíticas específicas; que son escuelas que tienen soporte en un largo cuerpo de producción bibliográfica y cuyos postulados se enseñan en diversas universidades y posgrados de primer orden. Muchas de ellas tienen resultados importantes para las ciencias sociales y adelantos metodológicos de la mayor importancia. Pese a eso, para la mayoría de los comités y dictaminadores mexicanos esas escuelas no tienen ningún estatus académico ni disciplinario.

Parroquialmente evaluamos como si hubiese una verdad aceptada por todo el mundo: para quien estudia la pobreza y ve en ella la fuente de todos los males, le puede resultar inadmisible que se sostenga que los conflictos familiares -como sostendrían perspectivas de las dinámicas relacionales- afectan los rendimientos escolares de los jóvenes estudiantes. Quien en línea con Bourdieu acota la acción con el concepto de prácticas, podría considerar que es un error, en sí mismo, asumir el vínculo entre reglas, normas y conductas, sin importar que escuelas absolutamente sólidas como el neo-institucionalismo lo postulen. Claramente, los dos ejemplos podrían plantearse a la inversa. Así, una escuela que no coincida con la del dictaminador resulta ser una posición incorrecta o “un desconocimiento” del tema. Hace unos meses, un evaluador indicaba que mi artículo tenía “un sesgo neo-institucional” sin explicar por qué esa perspectiva era precisamente un “sesgo” frente al carácter “objetivo” de la suya. Aun hoy espero respuesta del comité editorial -pese a que el artículo fue aceptado- sobre las razones que justifican inequívocamente que ser neo-institucionalista es una desviación conceptual.

Las diferencias ideológicas y políticas se procesan en el mismo sentido. Recientemente un colega me enseñó un dictamen que rechazaba su artículo porque -y cito- “no era suficientemente crítico” del sistema. Recientemente, un artículo resultado de un estudio empírico en una asociación civil me fue condicionado a que “cambiara la conclusión” porque no concordaba con la posición del dictaminador. Se trataba, quiero insistir, de un estudio empírico. Se me pedía que sostuviera, contra la evidencia del estudio, que la sociabilidad generaba compromiso cívico. Lo singular fue que su condicionamiento no remitía a evidencia alguna; estaba relevado de la prueba. La opinión bastaba. Un dictamen que me proporcionó recientemente una colega condicionó su trabajo -y cito- porque “no cuestiona[ba] el poder hegemónico cultural de Europa y de los Estados Unidos en el imaginario social de las élites urbanas de la sociedad mexicana”. ¿Por qué hay que cuestionar la bibliografía sajona obligadamente? ¿Quién lo determina? El dato central de estos tres casos es que, a la par de la arbitrariedad de las evaluaciones, los comités asumieron -en línea de principio, y antes de la respuesta de los autores- la pertinencia de los dictámenes sin reparar en lo que estaban avalando y sin distinguir lo que son diferencias de opinión, de escuelas, preferencias y críticas académicamente válidas. Como además existe la extendida práctica de que los comités “cuidan” a sus dictaminadores y no les envían las respuestas de los autores, el resultado es que éstos continuarán repitiendo sus criterios de evaluación con el consentimiento de aquellos.

No reconocer que el campo intelectual y académico está conformado por escuelas y perspectivas que luchan -suave o acremente- por dominar el espectro, tiene enormes consecuencias para la evaluación y para su calidad. La negación de la diversidad de escuelas no favorece que las evaluaciones se realicen con base en la plausibilidad del texto mismo y de su fortaleza argumentativa o metodológica, sino que invoca a juzgar contenidos sustantivos. Y esos serán negados o aceptados según preferencias del evaluador. En tal contexto, la academia (en contrasentido de su natural vocación) se ve poco incentivada para aceptar el vínculo indisoluble y obligado entre lo que se concluye, la estructura argumentativa y la metodología que se sigue para construir la evidencia. La negación de escuelas niega también que éstas fincan una serie de premisas que estructuran el razonamiento y dan coherencia al texto. Bajo esa negación la conclusión de un trabajo de investigación tiende a ser evaluado exclusivamente por razones extra-académicas, por posiciones ideológicas o políticas, o a partir de otros prejuicios.

Cuando eso priva, la mejor manera de hacer una “crítica” en la evaluación es presentar las propias interpretaciones del dictaminador como si no fueran tales, sino hechos irrefutables; y fingir, bajo ese supuesto, que los cuestionamientos a los manuscritos no son de orden interpretativo, sino “contra-fácticos”. Por ejemplo, los dictaminadores tienden a corregir en los siguientes términos: “los niños no tienen problemas de rendimiento escolar porque hay conflictos familiares o sufren bullying, sino porque son pobres”; y para ellos su afirmación tiene el mismo estatuto de veracidad que cuando se sostiene que “París no está en Turquía sino en Francia” o que en el “Sahara hay arena, pero no es playa”. Así, lo que es una discrepancia entre interpretaciones se presenta como una equivocación que es evidenciada de modo contra-fáctico. La negación de las escuelas incentiva un quebrantamiento de la lógica, y en términos de dictaminación ese quebrantamiento opera como juicio válido solamente porque el evaluador ha sido investido por los comités de una autoridad intelectual incuestionable. El costo es que la solvencia argumentativa y metodológica deja de ser criterio de evaluación -y por reflejo, de construcción de textos académicos-. De ese modo, los criterios de dictaminación -y por reflejo, de elaboración de textos- toman la forma de un conjunto de prescripciones: “el autor no debe concluir esto...”; “el autor debe criticar....”; “el autor debe abandonar esa perspectiva...”. En una palabra, malas prácticas en la dictaminación inhiben y castigan tanto nuevos hallazgos en la investigación como la importancia de la coherencia argumentativa.

3) El dictamen como autopromoción. Éste es un fenómeno relativamente reciente y, aunque a muchos colegas les parece normal, en mi opinión -y en concordancia con ciertas posturas internacionales- tiene implicaciones de orden ético. Es cada vez más común que entre las consideraciones del dictaminador aparezca la exigencia de citar a uno o varios autores. En ciertos casos, la recomendación se hace en el mejor espíritu académico; pero en otros, es un medio para la autopromoción del dictaminador. Se exige citar a autores que comparten su misma escuela o perspectiva, o algún texto de su autoría. La exigencia no considera si la bibliografía es coherente con la posición del texto, si aporta algo o si los autores son realmente relevantes. Nunca es claro por qué hay que citar precisamente a ésos, y no a los miles de artículos que existen sobre casi cualquier tema pero que no fueron, como ocurre siempre, incorporados. En la base de la autopromoción está el recurso de no rechazar sino condicionar el texto evaluado; de ese modo el autor queda obligado y normalmente prefiere ceder ante la recomendación que reiniciar el trámite de evaluación. En casos extremos, esa misma “técnica” sirve para forzar la perspectiva entera del texto evaluado. Un colega de una prestigiada institución contaba que para evitar el “riesgo” de que un texto se enviase a un tercer dictamen, prefería “condicionar siempre” de manera que se ajustara a lo que él consideraba prudente y acertado. Así, los textos evaluados están en riesgo de convertirse en promotores involuntarios del dictaminador. Las exigencias de los sistemas de estímulos, como el SNI, incentivan esas prácticas.

Dado que los comités nunca verifican los fundamentos de un condicionamiento en aras de su “imparcialidad” (y los dictaminadores lo sabemos), hacer uso de ese recurso para autopromoverse refuerza sostenidamente, en un contexto de negación de la diversidad de escuelas, la falta de innovación en la investigación y en los marcos conceptuales y teóricos que son utilizados en la academia. Y esa consecuencia ocurre también a través de un procedimiento circular que va instalando al texto académico, y al dictamen conceptualmente desarticulado, como modelos de producción y razonamiento. El círculo es éste: Pedro -como dictaminador- obliga a Juan, mediante el condicionamiento, a que introduzca su perspectiva, y al hacerlo la versión final del texto resulta un poco contrahecha porque ambas perspectivas no son fácilmente articulables. Luego, Juan -como dictaminador- obliga a Pedro a introducir su perspectiva, con el mismo resultado. La academia corre el riesgo de que una buena proporción de sus productos dictaminados se caractericen por su factura contrahecha. Y los comités, consciente o inconscientemente, lo promueven.

4) El dictamen como oráculo de mi saber. No pocos académicos consideran que una vez asumido el rol de dictaminador se instituyen también como el oráculo de la ciencia, el entendimiento y el saber. De pronto, son el parámetro del conocimiento. Ese “síndrome del oráculo” puede ser apreciado mediante tres indicadores: el primero es que se critica al texto evaluado porque no fue realizado como el dictaminador lo haría (y normalmente nunca lo hacen). En esta línea, el error principal radica en que el texto tiene una estrategia de exposición y una estructura que el dictaminador no adoptaría (y esto ocurre sobre todo en estudios no cuantitativos). No importa si la exposición y estructura son coherentes en sus términos. El segundo indicador es éste: el evaluador se “extraña” de que el texto asuma un esquema de relevancia distinto al suyo. Como se sabe, esos esquemas resultan de la adscripción a teorías o escuelas y dan preponderancia a ciertas variables, dimensiones o datos para explicar un fenómeno. Es perfectamente aceptable que a quien estudia participación política desde una perspectiva cívica le resulte interesante verificar si los participantes leen o no periódicos. Para el que sufre el “síndrome del oráculo”, eso es inaceptable y podría exigir -por ejemplo- que se asumiera que esa manifestación es respuesta al “autoritarismo” nacional como criterio central de análisis. Como resultado de este rechazo, la crítica al texto se nutre de un registro de cosas que “no señala” (contra lo que sí dice). En esa línea es posible alegar que no se indica el nivel socioeconómico del país, desglosado por municipios y hogares; las dinámicas de resistencia de la sociedad civil; la crítica a las políticas del gobierno; o las consecuencias de esa participación para la globalidad o para los migrantes de la frontera sur. O ya en “profundidad”, la precariedad del trabajo en Suiza o la estructura organizativa de los sindicatos en Afganistán.

Otra alternativa de crítica, derivada de la discordancia entre los sistemas de relevancia y de la negación de escuelas, es clasificar las dimensiones analíticas del texto como “descontextualizadas”, como pertinentes a otras sociedades o comunidades. De ese modo, el dictaminador determina cuáles categorías son aplicables “objetivamente” para “cada realidad”. No es extraño leer en los dictámenes que conceptos como el de “estructura de expectativas” -por citar un ejemplo- resultan improcedentes por ser propios de cierta literatura europea, o sajona, mientras se sugieren categorías como actor, poder o clase social como si fueran “nacionales”. Y en efecto, detrás de los reclamos sobre la “falta de ajuste” entre los conceptos y el objeto que se analiza se encuentra agazapada una preferencia doctrinaria, ideológica o académica que, como hemos dicho, no se presenta como una interpretación entre otras posibles, sino como si fuera un dato irrefutable, una evidencia “contra-factual”. En esa lógica, la pertinencia de los conceptos no depende de la perspectiva teórica sino del conocimiento “objetivo de la realidad” del dictaminador, como si esa realidad fuese delimitable y clasificable independientemente del marco analítico que se usa para observar. La idea de la descontextualización categorial, tan socorrida en la evaluación, presupone -contra toda dinámica académica- que los procesos u objetos sociales sólo pueden ser nominados, entendidos, de un modo y a partir de una única perspectiva. Así, las relaciones clientelares son corruptas y no pueden ser consideradas como fenómenos de rent-seeking, o las decisiones públicas son expresiones de poder y es “incorrecto” considerarlas como fenómenos procedimentales (eso, se entiende, es un “hecho”).

El tercer indicador es el desatino como crítica. Su manifestación más clara es que el dictaminador solicita que se aborde cualquier cantidad de temas que, en su opinión, deberían estar en el texto. No importa la delimitación problemática o temática del mismo. Para dar un ejemplo: una colega antropóloga me comentó recientemente que un libro colectivo sobre intimidad, y por ella coordinado, fue condicionado a que se realizara -y cito el dictamen- una “discusión epistemológica en relación con la intimidad, emociones, sentimientos y afectos”, y a que el libro “tuviese una sola postura” teórica que debería estar en línea con la “producción nacional” y no extranjera. Tomada en serio, una tarea “epistemológica” semejante, y con tal desglose, sobrepasa el alcance casi de cualquier libro, sobre todo cuando no es su propósito, como era el caso. Que la intención del libro no fuese un acercamiento “epistemológico” al tema, del mismo modo que otros (como aquellos dedicados a la democracia en México) no lo hacen, fue irrelevante para la genialidad del dictaminador y la impavidez del comité. Que el objetivo expreso del libro fuese precisamente mostrar la diversidad de enfoques resultó ser un dato irrelevante. El dictamen, además, exigió la corrección de un capítulo porque en su opinión rondaba ahí “el fantasma del positivismo”. El síndrome del oráculo incentiva que la ocurrencia y el prejuicio priven sobre la ponderación académica. Cuando la ocurrencia priva, el resultado es que no se ponderan o jerarquizan las objeciones a los textos. Se asume como igualmente grave un error en las citas que un problema en la construcción de la evidencia; una diferencia ideológica o disciplinaria que una metodología errada. El disparate se vuelve criterio. Una prestigiada revista envió a un investigador un dictamen (en mi poder) que recomendaba no señalar que un autor citado era “premio nobel” por razones que aún hoy permanecen ignoradas. Normalmente, el disparate como criterio se expresa, por el dictaminador, con un tono “incendiario” (inflammatory) y sobrecargando la gravedad del punto. Por vocación, entonces, tiende a reparar en lo que es insulso.

No obstante que desconocemos la extensión o frecuencia con la que ocurren esas tres fallas, su lectura atenta puede permitirnos hacer algunas recomendaciones para mejorar la dictaminación. La primera es obvia: las políticas de evaluación académica deben revalorar esa actividad con miras a elevar la calidad de las publicaciones. La segunda es urgente: los comités deben asumir su rol de controladores de calidad del dictamen y de las réplicas que hacen los autores. Es imperioso que abandonen el “método de buzón” y encuentren una concepción de su papel que vincule mejor la imparcialidad y la calidad de los textos sometidos, y también de los dictámenes. Es preciso, por ello, que verifiquen la solvencia de los argumentos de las evaluaciones y expresamente señalen con cuáles recomendaciones están de acuerdo, en tanto que constituyen aspectos académicos de relevancia y no diferencias de opinión, interpretación o disputas entre escuelas. La tercera es informativa: las revistas deben estar obligadas a hacer explícita su política editorial y definir el tipo de estudios que aceptan, sus tendencias o posiciones disciplinarias e ideológicas, si las tienen, o admitir expresamente que todas son reconocidas. Del mismo modo, deberían proporcionar al dictaminador los términos en que debe realizarse la evaluación y los criterios que deberán usarse (algunos de los cuales están en la cuarta recomendación, indicada abajo). Es importante reconocer que el dictamen es un tipo de texto, o producto académico, y que se requiere aprender cómo elaborarlo. Debemos admitir que ese conocimiento no se genera automáticamente porque se tenga el grado de doctor.

La cuarta recomendación es un prontuario: a) los dictámenes deben reconocer que en la academia persisten distintas perspectivas teóricas y metodológicas; b) deben invariablemente fundamentar de manera contundente sus críticas y objeciones; c) precisan ponderar y jerarquizar esas objeciones y críticas; d) no deben tener como criterio la manera en que el dictaminador haría el texto, el dictaminador no es un editor; e) deben distinguir entre lo que es una preferencia del evaluador y lo que es efectivamente un error del texto; f) deben, del mismo modo, controlar la preferencia académica o ideológica frente a un resultado adverso que es presentado en el texto; g) no deben ser usados como mecanismo de control de posturas ideológicas o políticas; h) deben evaluar conforme a la plausibilidad argumentativa y solidez metodológica en los términos de los objetivos del texto; y finalmente i) deben evaluar si lo que el texto dice es suficiente para solventar lo que se pretende postular o sostener en los términos del sistema de referencia del texto mismo, y no en función de lo que en opinión del dictaminador haría falta incluir (según su propio marco de referencia).

Paralelamente a esas recomendaciones que atienden el papel de los comités y los criterios en la elaboración de dictámenes, me parece importante indicar un conjunto de buenas prácticas del proceso de publicación que implica tanto a los dictaminadores como a los comités. Las prácticas que indico las tomo del Committe on Publication Ethics (COPE), que es un foro permanente de discusión entre editores y dictaminadores para atender asuntos éticos en los procesos de publicación. A él están afiliadas un buen número de revistas académicas de distintas disciplinas, entre otras, la mayoría de las que pertenecen a Sage. Con base en distintos documentos del COPE¹ preciso las siguientes buenas prácticas:²