Una revisión crítica del proceso de "peer review"

A critical review of the "peer review" process

Fernando Alfonso

Unidad de Hemodinámica y Cardiología Intervencionista. Instituto Cardiovascular. Hospital Universitario Clínico San Carlos. Madrid.

Correspondencia:
Fernando Alfonso.
Unidad de Hemodinámica y Cardiología Intervencionista.
Instituto Cardiovascular. Hospital Universitario Clínico San Carlos.
Plaza de Cristo Rey. Madrid 28040. España.
Correo electrónico: falf@hotmail.com

Recibido el 23 de agosto de 2010.
Aceptado el 6 de octubre de 2010.

Resumen

Las revistas biomédicas tienen como objetivo fundamental publicar artículos de la máxima calidad científica y conseguir una amplia difusión de sus contenidos. Las revistas científicas compiten para publicar los mejores trabajos de investigación que se generan en su disciplina. Para ello deben realizar una valoración rigurosa de todos los trabajos que reciben para identificar y seleccionar sólo los mejores. El proceso de "peer–review", o revisión por pares, se ha considerado clásicamente como una parte fundamental del proceso científico. Consiste en la valoración crítica de los artículos científicos por expertos externos e independientes. Este proceso es fundamental para la mejora de los artículos y para guiar a los editores en su decisión final. Aunque el proceso está bien consolidado entre la comunidad científica y editorial internacional, siempre ha sido cuestionado. A lo largo del tiempo se han implementado múltiples estrategias para mejorar su calidad y para optimizar sus resultados pero el sistema sigue teniendo limitaciones. Paradójicamente, existe poca evidencia científica de que el proceso de "peer review", universalmente aceptado para validar la ciencia, sea realmente efectivo. Por eso su calidad debe supervisarse muy estrechamente para intentar conseguir la excelencia, ya que de ella depende la credibilidad del proceso científico.

En esta revisión analizaremos críticamente el proceso de "peer review" y explicaremos por qué, a pesar de sus limitaciones, sigue considerándose como el "estándar de oro" en la valoración de manuscritos científicos por parte de las revistas biomédicas.

Palabras clave: Revistas médicas; Revisión por pares; Proceso científico; Proceso editorial; México.

Abstract

The main objective of biomedical journals is to publish high–quality scientific studies and to ensure a widespread dissemination of their contents. Journals compete for the best science generated in their respective disciplines and, therefore, they critically scrutinize the scientific quality of all submitted papers in order to identify and select only those that merit publication. The "peer review" system represents the cornerstone of the scientific process. It provides a critical appraisal, by external independent experts, of the studies under consideration. The system is intended to improve the quality of the submitted papers but also to help the Editors in their decision–making process. The process has been widely embraced by the scientific and editorial international community but it is not free from caveats. In fact, although several strategies have been implemented to improve its quality and the results obtained, limitations still persist. Accordingly, its quality should be closely monitored to ensure excellence. Surprisingly, although the "peer review" process is universally accepted to validate the science, limited scientific information exists on its real value.

In this review we will critically analyze the "peer review" process and we will advance some ideas that may help to understand why, in spite of its limitations, it remains the "gold standard" for the selection of scientific manuscripts by biomedical journals.

Key Words: Medical journals; Peer–review; Scientific process; Editorial process; Mexico.

Introducción

El progreso científico se caracteriza por un avance continuo del conocimiento que generalmente tiene naturaleza incremental. La ciencia habitualmente se desarrolla mediante hallazgos de índole menor que permiten avanzar y complementar lo ya establecido y, sólo de forma excepcional, por descubrimientos de carácter mayor que producen un cambio de paradigma.^1,2 El principio fundamental de todo proceso científico o trabajo académico consiste en que debe ser sometido a una valoración crítica. Únicamente aquellos principios y hallazgos que superen dicho análisis serán aceptados y se considerarán como hechos establecidos y científicamente probados.^1,2 En 1605 Francis Bacon^1,2 ya destacaba las virtudes intrínsecas de la duda en la ciencia: protege frente a los errores y detecta problemas que, sin una observación atenta y cuidadosa, pasarían inadvertidos. Aunque el proceso de crítica ocurre durante la fase de desarrollo de los trabajos y también posteriormente a su difusión, el énfasis se centra en el momento de la publicación.

El proceso de "peer–review" o "revisión por pares" (RPP) consiste en la valoración crítica del rigor metodológico, la calidad científica, la originalidad y el interés de los trabajos que han sido remitidos a una revista científica, por parte de expertos externos e independientes.³ Este proceso editorial permite detectar aspectos del manuscrito que deben ser aclarados, subsanar inconsistencias, corregir errores y mejorar el contenido científico global del artículo. Además, ayuda a los editores a establecer el interés relativo de los manuscritos recibidos de cara a su decisión final.³ Aunque el proceso de RPP es clave para la selección de los mejores artículos, la decisión final sobre su publicación recae directamente en el editor.³

Las revistas biomédicas tienen como objetivo fundamental publicar artículos científicos de calidad y conseguir la máxima difusión posible de sus contenidos.⁴ Estas revistas compiten por atraer hacia sus páginas a los mejores trabajos de investigación. Para ello deben ofrecer los más altos estándares de calidad editorial y científica. Los autores siempre intentan publicar sus trabajos de investigación en las revistas de mayor prestigio, impacto y difusión dentro de su disciplina. Por eso, aquellas revistas que alcancen un mayor reconocimiento internacional recibirán los mejores trabajos y podrán consolidar su atractivo ante los lectores e investigadores. Como las revistas no pueden publicar todos los artículos que reciben, realizan una intensa labor de selección y únicamente aceptan aquellos con mayor relevancia científica.^3–9 En este escenario, el sistema de RPP es fundamental ya que expertos de reconocido prestigio sobre el tema tratado, critican el estudio y asesoran al editor sobre su calidad y su interés para los lectores.^3,9

Como hemos indicado, los avances en el conocimiento sólo son aceptados por la comunidad científica internacional cuando los estudios en los que se sustentan son publicados en una revista científica. De hecho, se considera que la ciencia no publicada no existe. Por eso, el sistema de RPP de las revistas es tan importante ya que permite garantizar que se ha seguido el proceso científico y que el trabajo ha sido revisado y criticado y que, finalmente, sus aportaciones han sido consideradas como válidas. De esta forma el sistema de RPP también ayuda a garantizar la integridad y credibilidad de la literatura médica.^3–9

Aspectos generales del proceso de RPP:

El sistema de RPP ya fue propuesto por los filósofos griegos como una forma de acercarse al conocimiento de las cosas.⁹ La "Royal Society of Edinburgh" lo propuso en 1731 como método para la valoración de manuscritos científicos^9–11 aunque su uso oficial se retrasó hasta 1782 y se atribuye a la publicación "Philosophical Transactions".⁹¹¹ En realidad, aunque su utilización en las revistas científicas comenzó a difundirse hace 200 años, su empleo sólo se generalizó a partir de la década de los 70 del pasado siglo.^9–13 Actualmente representa una parte integral del sistema de evaluación empleado por todas las revistas biomédicas de prestigio.

La mejor manera de valorar los méritos científicos de un trabajo original es que sea analizado por expertos externos de reconocido prestigio en dicha materia.^3,7–9,14 Dichos expertos revisan críticamente, y de forma independiente, el valor de la aportación original sobre lo ya conocido. Como trabajan e investigan sobre ese tema concreto, dominan la metodología requerida y conocen muy bien sus limitaciones.^{3,7–9,14–17} Por eso es tan importante que las revistas mantengan perfectamente actualizados los listados temáticos sobre las áreas de conocimiento específico de sus revisores.³ Estos expertos pueden revisar e interpretar correctamente la información más actualizada disponible en las bases de datos bibliográficas electrónicas. Desde su posición de privilegio están moralmente autorizados para sugerir aclaraciones metodológicas o nuevos análisis estadísticos y pedir que se aporten datos adicionales o incluso que se realicen nuevas investigaciones que ayuden a completar y mejorar el estudio.^{3,7–9,14–17} Todo ello constituye una verdadera garantía sobre la validez del trabajo. Los revisores deben mirar cada artículo con una mentalidad abierta y ser capaces de aceptar resultados que ellos mismos no esperaban o los que son fruto de una aproximación metodológica novedosa frente a un problema. Incluso si "a priori" están en desacuerdo con el tipo de estudio o con sus conclusiones, deben de ser capaces de revisar, de la forma más objetiva posible, la fuerza de la evidencia y la validez de sus conclusiones. Es muy importante que nunca actúen como "censores" o "inquisidores", rechazando los trabajos que no sean acordes con su experiencia o con los paradigmas imperantes, porque esta actitud impediría el avance del conocimiento.^{3,7–9,14–17} También es importante destacar que todo el proceso se basa en la confianza y la credibilidad (por definición los autores siempre dicen la verdad) aunque el trabajo sea criticado de manera exhaustiva. Finalmente, debemos recordar que el proceso de valoración de un manuscrito tiene importantes similitudes con el proceso de diseño, desarrollo y redacción de un artículo científico original y, por tanto, requiere los mismos estándares de perfeccionismo, rigor y honestidad.^3,9

Una lectura inicial de todo el manuscrito nos permitirá obtener una primera impresión. Debe realizarse una lectura en profundidad anotando los aspectos que posteriormente serán abordados en la revisión. Los comentarios de los revisores han de estar bien fundamentados y pueden dividirse en mayores (diseño o contenido) y menores (aspectos formales o detalles técnicos de fácil resolución).³ La mejor forma de empezar una revisión es resumiendo brevemente el diseño y los hallazgos principales del estudio al comienzo del informe. Esto ayuda al editor y también demuestra a los autores que su trabajo se ha entendido correctamente. Posteriormente un buen camino puede ser seguir la estructura IMRAD (Introduction, Methods, Results And Discussion).²⁰ La introducción debe revisarse para asegurarse que se define el problema y el estado del conocimiento, se plantean las hipótesis y se justifica el estudio que se va a presentar. En este apartado se ha de resaltar la importancia de la investigación y también su novedad. Los métodos se revisan minuciosamente ya que serán los que determinen la calidad del estudio.^{3,7–9,14–17} Incorporarán las citas adecuadas que permitirán profundizar en la tecnología y metodología empleada. Los resultados deben estar expuestos de forma clara y ordenada. Cuando sea oportuno, los datos pueden resumirse en tablas y los hallazgos ilustrarse en figuras. Hay que cuidar que la información no se repita para evitar una extensión excesiva del manuscrito. La discusión es la parte más libre, pero las afirmaciones han de expresarse con prudencia y basarse en los resultados, aunque al final pueden plantearse nuevas hipótesis y nuevas preguntas pendientes de contestar con estudios posteriores. Los evaluadores deben asegurarse de que las limitaciones del estudio queden resumidas en el apartado correspondiente para que el lector no experto en el tema las identifique con facilidad.^{3,7–9,14–17}

También es importante revisar la literatura más reciente sobre el tema utilizando los motores electrónicos de búsqueda o incluso los proporcionados por la propia revista.³ Actualmente muchas revistas preguntan específicamente en sus cuestionarios para los revisores si se han realizado este tipo de búsquedas y que sistema concreto se ha utilizado. Los evaluadores suelen considerarse jueces o árbitros pero también deben ayudar a los autores y tratar cada manuscrito como le gustaría que trataran los suyos. Siempre deben recordar y respetar el esfuerzo de los investigadores para culminar su trabajo de investigación y lograr plasmarlo en un manuscrito definitivo.^3,4,9 El lenguaje será respetuoso y el tono de los comentarios positivo, constructivo y resaltando su función educativa. Para los autores es mucho más útil una explicación de cómo podrían resolver un problema que simplemente dejar constancia del mismo. Los evaluadores deben conocer bien las normas de la revista (incluyendo la extensión concreta de cada tipo de manuscrito) y, de esta forma, podrán ayudar a los autores a satisfacer sus requisitos formales.^3,4,9

Actualmente, la mayoría de las revistas que emplean sistemas de gestión electrónica de manuscritos obligan a completar al revisor unos cuestionarios con múltiples valoraciones cuantitativas y cualitativas.²¹ Existen también apartados específicos para los comentarios para los autores (donde no debe hacerse referencia a la posibilidad de publicación) y para aquellos dirigidos directamente al editor.²¹ Lo mejor es trabajar en un procesador de texto convencional y posteriormente utilizar la herramienta de cortar y pegar para introducirlos en el gestor de manuscritos. Se ha demostrado que estos sistemas electrónicos agilizan el proceso de RPP, facilitan la comunicación entre autores, evaluadores, y editores y también son muy eficientes durante el proceso de producción una vez que el manuscrito ha sido aceptado.²¹ Muchas revistas proponen listados de variables validados para cumplimentar por parte de los revisores ya que se ha sugerido que algunas de ellas podrían mejorar la calidad del proceso.^20,22–23 Además, algunas recomendaciones generales para la presentación y descripción de los estudios también se han asociado con la claridad y calidad de los mismos. Entre las más importantes conviene recordar: 1) las recomendaciones CONSORT (Consolidated Standards of Reporting Trials) en la descripción de estudios aleatorizados, 2) las sugerencias QUORUM (Quality of Reporting Meta–analysis) en las revisiones sistemáticas y meta–análisis, 3) las recomendaciones STARD (Standards for Reporting of Diagnostic Accuracy) en los tests diagnósticos, 4) las directrices STROBE (Strengthening The Reporting of Observational Studies in Epidemiology) en los estudios observacionales, y 5) las sugerencias EQUATOR (Enhancing the Quality of Trials and Other Research) en los estudios generales de salud.^20,22–23

Aunque los revisores no deciden si el artículo será publicado o no, deben manifestar su opinión sobre la "prioridad" para la publicación, ya que ésta representa una gran ayuda para el editor. Deben recordar que todos los estudios científicos tienen limitaciones. Por eso sus críticas y exigencias serán ponderadas y deberán tener en cuenta la posición relativa de la revista dentro de su disciplina.^3791417 Finalmente, es importante que antes de enviar sus comentarios a la revista los evaluadores verifiquen, validen y revisen su propio trabajo.^15,20

Funciones específicas de los revisores

De forma general, la misión fundamental de los revisores durante el proceso de RPP será la de servir como "abogados de la revista" ejerciendo funciones de filtro, aunque como hemos dicho también deberán esforzarse en orientar para la mejora de los artículos.^3,9,15 Diversos estudios han analizado cuáles son las funciones más importantes de los revisores:^{3 7 9 14 17} 1 ) comunicar inmediatamente a la revista cuándo no pueden realizar una evaluación para evitar demoras; 2) reconocer problemas éticos o conflictos de interés, propios y de los autores 3) respetar la confidencialidad de todo el proceso y la propiedad intelectual de los autores, 4) valorar la originalidad, 5) garantizar la validez científica 6) destacar sus puntos fuertes y limitaciones; 7) realizar una función educadora general y, sobre todo, sugerir ideas para mejorar el manuscrito. Algunos editores^24,25 consideran que estos expertos deben centrarse en juzgar si los manuscritos son: 1) importantes, 2) científicamente válidos, 3) coherentes, 4) legibles y 5) apropiados para la revista concreta a la que han sido remitidos. Más recientemente otros editores^{15–17,24,,25} han insistido en que los revisores deben valorar sobre todo: 1) la validez metodológica, 2) la originalidad, 3) el significado de los hallazgos, 4) el estilo y claridad en la presentación, 5) el interés para los lectores de la revista, 6) que las conclusiones se sustentan en los datos obtenidos y 7) que el resumen refleje el contenido global del artículo.

A su vez, cuando un manuscrito está ya en su fase final de aceptación los evaluadores deben revisar preferentemente la claridad, la exactitud, y que la información se presente de forma completa antes de que el manuscrito sea definitivamente aceptado.¹

Anthony De Maria,¹⁷ actual editor del J Am Coll Cardiol, ha ido aún más allá y ha resaltado las cualidades que deben adornar a los revisores de "Elite", es decir, los mejores revisores de cada revista. Estos revisores deben estar altamente cualificados para valorar el tema que revisan, considerar su trabajo como una prioridad y comprometerse a terminar su informe lo antes posible. Además, deben ser completamente objetivos y capaces de generar críticas concisas que identifiquen las virtudes y debilidades del estudio, y muy meticulosos para poder detectar los errores de diseño que invaliden las conclusiones. Sus comentarios siempre estarán basados en pruebas y, en su caso, apoyados por las correspondientes referencias bibliográficas. Deben ser estrictos con la metodología empleada y, si es preciso, sugerirán la implementación de métodos estadísticos más adecuados.¹⁷ Siempre mantendrán una perspectiva constructiva y educativa. Finalmente, sus comentarios para autores y editores deben ser consistentes.

Los tiempos de revisión tienen una importancia crítica. De forma excepcional, incluso los mejores revisores pueden estar sobrecargados con excesivos compromisos previos y se ven forzados a declinar la oferta de realizar una revisión. En esta situación siempre es mejor avisar lo antes posible para permitir que el equipo editorial busque otro revisor a tiempo.^4,17,30 Los editores pueden agradecer sugerencias sobre otros expertos que puedan actuar como revisores.⁴ Actualmente las revistas de mayor prestigio solicitan recibir las evaluaciones en un plazo inferior a dos semanas.^3,4 Hay que recordar que los tiempos de evaluación repercuten en los tiempos para la decisión editorial inicial y en los tiempos totales de publicación. Ambos son aspectos claves en la calidad editorial y que afectan tanto al interés de los investigadores como a los índices bibliométricos.^3,4

Evidencia sobre el valor del proceso de RPP: Datos a favor y en contra

Argumentos en contra: Aunque el proceso de RPP ha sido aceptado por la comunidad científica internacional, siempre ha estado cuestionado.³¹ Cualquier persona con experiencia en el proceso de RPP, suele ser capaz de relatar anécdotas inverosímiles o las sorprendentes vicisitudes que ha sufrido bien como autor o como revisor. De hecho, este aspecto fue satirizado por una magistral portada cómica en el propio British Medical Journal.³² Algunos editores famosos se han rebelado contra la rigidez del proceso. Robbie Fox, admirado editor de Lancet, solía relatar dos bromas sobre el proceso de RPP.^31,33 Decía que nadie hubiera advertido nunca si en algún momento él hubiera cambiado las torres donde se apilaban los artículos aceptados y rechazados. También le gustaba decir que el sistema de selección de Lancet era muy sencillo. Consistía en tirar todos los sobres con los manuscritos por las escaleras de la redacción y seleccionar para publicar únicamente los que llegaban hasta abajo. Cuando era editor del BMJ, Stephen Lock publicó un trabajo muy provocador^31,33 Revisó y valoró personalmente todos los manuscritos que le enviaban y posteriormente los envió a un proceso convencional de RPP. Al final, existieron muy pocas diferencias entre los artículos que él había escogido y los que fueron seleccionados tras el proceso completo de RPP.^31,33

En un polémico artículo que ha sido muy citado, Richard Smith, editor del BMJ,³¹ sugería que el sistema de RPP era en realidad un proceso defectuoso pero que, sin embargo, se había logrado "instalar" en el corazón de las revistas y de la propia ciencia. Para los autores el proceso de RPP representa una verdadera "caja negra", totalmente inescrutable hasta que se produce la decisión final. Esta falta de trasparencia no parece acorde con el espíritu científico. Además, nadie ha definido bien el proceso de RPP. Para Richard Smith³¹ la RPP es un asunto tan etéreo como la poesía, la justicia o el amor. En su artículo, resaltaba críticamente las limitaciones del sistema de RPP y realizaba 10 reflexiones provocadoras y geniales. Consideraba el sistema de RPP como un proceso: 1) lento, 2) caro, 3) subjetivo, inconsistente y poco reproducible, 4) frecuentemente sesgado, 5) que no evita el componente de la suerte, 6) con limitada capacidad para detectar errores importantes y muy poco eficaz para identificar el fraude científico, 7) que conlleva un despilfarro de actividad académica con un claro "costo de oportunidad" (los revisores podrían emplear su esfuerzo intelectual en algo mucho más productivo como la investigación original), 8) que favorece que se generen abusos, 9) que es un sistema basado únicamente en la credibilidad y la supuesta honestidad de los autores (no es un método empírico) y 10) lo que es más importante y paradójico, este proceso, que se utiliza para valorar la ciencia, no se basa en evidencias científicas que demuestren su eficacia.³¹

Otra forma de valorar la utilidad del proceso es estudiar la percepción de los propios autores sobre el mismo. Un estudio muy interesante³⁴ analizó la percepción de 576 autores de una revista de medicina de urgencias sobre el proceso de RPP. Se utilizó una escala de "satisfacción" de los autores que se contrastó con la decisión editorial (aceptación, rechazo directo por los editores y rechazo tras revisión externa) y con la calidad de las revisiones analizada por los editores con una escala previamente validada. Los autores cuyos artículos fueron aceptados mostraron la máxima satisfacción con el sistema de RPP. Los autores con trabajos rechazados tras revisión externa fueron los más críticos con los tiempos empleados en la decisión editorial, mientras que los autores con trabajos rechazados sin una revisión externa mostraron más insatisfacción con la carta que explicaba la decisión editorial. La satisfacción de los autores de los artículos enviados a valoración externa guardaba una estrecha correlación con la decisión de aceptación pero no tenía relación con la calidad de las revisiones. Finalmente, los autores con mayor experiencia previa en publicaciones científicas mostraron menor satisfacción con el proceso de RPP aunque el grado de satisfacción no dependía del rango académico del autor.³⁴ Datos muy similares se obtuvieron en un estudio diferente realizado desde una revista de pediatría.³⁵ Teniendo en cuenta que la mayor parte de los trabajos enviados a las revistas de máximo prestigio son rechazados, será fácil entender la insatisfacción y las críticas de los autores con el sistema de RPP.

Finalmente, algunos grupos críticos también han sugerido que algunas revistas sólo utilizan el sistema de RPP para mantener su prestigio, para conseguir una "bendición científica" de estudios patrocinados por la industria, para reducir el trabajo de los propios editores o por simples consideraciones de tipo social o psicológico.^1,4 Además, no deja de sorprender que, a pesar del elevado costo de todo el proceso editorial y de los pingües beneficios económicos que obtienen los grupos editoriales (incluso dentro de iniciativas del tipo "Open Access"), el proceso de revisión siempre sea realizado de forma gratuita.³¹

Mucho más preocupantes son los resultados de algunas revisiones sistemáticas que confirmaron la poca evidencia científica disponible sobre la utilidad del proceso de RPP.^2,36,37 El grupo de Davidoff y colaboradores² tras una revisión exhaustiva únicamente encontró 19 estudios en los que se analizaba adecuadamente el valor del proceso de RPP. Sólo se seleccionaron estudios con diseño comparativo en los que se intentaba controlar los posibles factores de confusión.¹² En general, los resultados de todos estos estudios no fueron concluyentes y los sistemas de enmascaramientos no resultaron efectivos. Un estudio simultáneo del mismo grupo, pero esta vez con criterios de inclusión más amplios que permitieron analizar 28 estudios, fue publicado como una Revisión Cochrane.^36,37 En este trabajo sobre el proceso de RPP se eligió como variable de valoración principal su utilidad para proporcionar estudios importantes, apropiados para el medio de publicación, útiles, originales, metodológicamente robustos, éticos, completos y precisos. La variedad de objetivos y la multiplicidad de diseños de los estudios hizo considerar que no era apropiado la realización de un meta–análisis, por lo que los resultados simplemente se presentaron de forma descriptiva para cada estudio o bien agrupados por cuestiones generales. No se encontró evidencia de que el enmascaramiento del revisor o del autor afectara a la calidad de los resultados del proceso (nueve estudios). Las listas pre–especificadas y otros sistemas de estandarización mostraban resultados favorables (dos estudios). No se encontró evidencia de que el entrenamiento de los revisores mejorara la calidad de los resultados (un estudio). Los diferentes métodos empleados para la comunicación con los revisores y los medios de difusión no mostraron un claro efecto sobre la calidad obtenida (tres estudios). Se encontró poca evidencia (un estudio) sobre la capacidad del proceso de RPP para detectar sesgos en contra de tratamientos médicos no convencionales. La validez del sistema RPP se demostró sólo en un pequeño estudio de un área especializada. El sistema editorial de RPP hace que los artículos se lean mejor y mejora la calidad general de lo reportado (dos estudios) pero se consideró que esta evidencia era difícil de generalizar. Por tanto, los autores de esta Revisión Cochrane^36,37 concluían que existe evidencia que sugiere que el sistema de RPP mejora la calidad de los artículos publicados, pero que la evidencia de un efecto positivo sobre la calidad de la investigación biomédica es muy escasa.

Argumentos a favor: El objetivo final de la investigación médica es mejorar la salud o las estrategias terapéuticas. Por eso, si el sistema de RPP debe considerarse como una parte integral de este proceso, tendrían que poder establecerse sus efectos sobre el estado de salud de la población.¹ En el momento actual esta aspiración es completamente utópica y por eso se han analizan variables subrogadas de la utilidad del proceso. Sin embargo, en un estudio que revisó las diferentes formas de medir la calidad del proceso editorial¹ encontraron multitud de objetivos. Esto sugería que, o bien se esperaban múltiples resultados del sistema de RPP, o bien sus objetivos todavía no estaban bien definidos. Algunos autores han considerado que la única forma de establecer de forma concluyente la utilidad del sistema de RPP sería realizar un estudio aleatorizado en el que en un brazo los trabajos se revisaran por el sistema clásico de RPP y en el otro por un sistema alternativo, por ejemplo la selección aleatoria de trabajos. Sin embargo, la realización de este tipo de estudio siempre se ha considerado inviable o no ética. A su vez, que los beneficios del proceso de RPP sean muy difíciles de cuantificar no quiere decir que no existan. Se ha sugerido que como es un proceso no cuantificable, siempre ha sido más fácil señalar sus defectos que sus atributos.³¹

Adicionalmente, múltiples estudios ya clásicos demostraron que el proceso de RPP ayuda a detectar errores, problemas de autoría, conflictos de interés, publicaciones redundantes, plagios y fraudes científicos (fabricación).^3,9,19 Obviamente, el sistema no es infalible pero está claro que muchas veces logra evitar problemas importantes.

Por otro lado, el valor de los procesos editoriales que se emplean tras la aceptación de manuscritos está bien establecido. En la revisión sistemática de Wager y colaboradores⁴³ se seleccionaron 11 estudios sobre el proceso de edición técnica. Los resultados sugerían que esta actuación mejoraba la presentación y legibilidad de los artículos y también otros aspectos relacionados con la calidad, incluyendo la exactitud de las referencias y, sobre todo, la calidad final de los abstracts.

Finalmente, los editores consideran de forma unánime que el proceso de RPP les ayuda a tomar decisiones y a mejorar el contenido científico del material publicado. Sin embargo, no deja de resultar incómodo dejar que la ciencia se fundamente en simples "creencias". Para ilustrar la aparente paradoja de la falta de evidencias objetivas sobre el beneficio del proceso de RPP y su aceptación generalizada, muchos editores^9,24 han echado mano del famoso aforismo de Winston de Churchill sobre la democracia: "Nadie dice que la democracia sea perfecta o sabia. Se ha dicho que la democracia es la peor forma de gobierno excepto todas esas otras formas que han sido probadas de vez en cuando". Esta idea puede ayudar a entender la universal aceptación del sistema de RPP a pesar de todas sus críticas. Simplemente, no conocemos ningún sistema que sea superior y las alternativas se perciben como mucho más arbitrarias, favorecedoras de sesgos y oscurantistas, por lo que despiertan el recelo de la comunidad científica. Pensamos que todo lo anteriormente expuesto proporciona una evidencia más que razonable sobre los beneficios reales del proceso.

Influencia del Perfil de los Revisores en el Proceso de RPP

Cuando se ha analizado el perfil de los mejores revisores se han encontrado datos muy interesantes. En todos los estudios, los mejores evaluadores son aquellos de menor edad, con mejores curriculum y los pertenecientes a unidades de investigación o centros universitarios.^3,9,25,44 Stossel y colaboradores⁴⁵ fueron los primeros en alertar sobre la correlación inversa entre el rango académico y la calidad de las evaluaciones. Todos los estudios posteriores que han analizado la calidad de la revisión con scores validados han confirmado esta observación.^3,44,46 Además, es más frecuente que los revisores de mayor rango académico declinen colaborar en el proceso de RPP, presumiblemente porque al tener mayores responsabilidades su tiempo es cada vez más limitado. A su vez, los revisores que son prolíficos autores en revistas prestigiosas suelen realizar evaluaciones más severas.⁴⁷ Un interesante estu–dio,⁴⁸ calculó la probabilidad de que un revisor generara un informe excelente atendiendo a su perfil y tras ajustar por múltiples variables de confusión. Así, un revisor de menos de 40 años, conocido por el editor, procedente de una universidad de prestigio y anónimo para los autores tenía una probabilidad de 87% de generar un informe de alta calidad. Sin embargo, estos criterios sólo los cumplía 4% de los revisores. Por el contrario, los revisores que no reunían ninguna de estas cualidades, sólo tenían una probabilidad de 7% de producir una revisión excelente.⁴⁸ En otro trabajo realizado en el BMJ⁴⁹ sólo un entrenamiento formal en epidemiología y la edad menor de 40 años se asociaron con la calidad de las revisiones. En este trabajo ni la adscripción académica, la experiencia previa en la publicación o en investigación, ni la pertenencia al comité editorial se asociaron con los criterios de calidad. Por el contrario, en algunos estudios, la pertenencia a comités editoriales o haber formado parte de jurados de premios y becas de investigación, mejoraba algunos de los estimadores de calidad.⁴⁴

Los revisores jóvenes están más motivados para alcanzar reconocimiento académico y tienen una mejor base informática y estadística.^3,9,45–49 Detectan mejor los errores en los manuscritos y más frecuentemente contrastan los hallazgos del trabajo con la literatura. Además, estos revisores están mucho más abiertos a aceptar nuevas ideas.^16,25 Por el contrario, los revisores de más edad valoran mucho su experiencia, lo que puede favorecer la aparición de "sesgos de confirmación".²⁵ Los revisores más experimentados son menos impresionables por los nuevos trabajos por lo que sus valoraciones tienden a ser más críticas, aunque la edad del evaluador no parece afectar significativamente el tipo de recomendación sobre el manuscrito.⁵⁰ Por otro lado, se ha demostrado que la calidad de las revisiones de las mujeres es similar o superior a las del varón.^3,9 Sorprendentemente, las mujeres están sistemáticamente infrarrepresentadas en los comités editoriales de las revistas científicas.^51–54 Esto indica que todavía existen sesgos de género que es preciso combatir para permitir una mayor involucración de la mujer en el proceso de RPP.⁵⁵ Podríamos resumir este apartado diciendo que aunque el perfil de los revisores determina la calidad de los informes, no existen patrones claros que permitan identificar con fiabilidad quienes serán los mejores revisores. Se resalta así la importancia de que los editores supervisen muy estrechamente la calidad de las revisiones.^3,47

Relaciones entre editores y revisores

Como contrapartida, los revisores atesoran un creciente poder que los editores deben saber modular. Así, en muchas ocasiones para que se acepte el artículo se exige casi de forma coercitiva que se realicen todos los cambios sugeridos por el revisor.⁵⁷ Ocasionalmente estas sugerencias no mejoran el manuscrito sino todo lo contrario. Sin embargo, intentar argumentar en contra puede reducir las posibilidades de aceptación mientras que realizar los cambios en algunos casos puede desdibujar lo que originalmente era un buen trabajo científico.⁵⁷ En esta situación, el autor debe apelar a la mediación del editor. Para situaciones extremas algunas revistas disponen de figuras de "ombudsman" como defensor del autor o del lector.⁹ Para algunos autores el poder de los revisores es desproporcionado, porque a veces escudándose en su anonimato se comportan como verdaderos déspotas y, al mismo tiempo, no asumen ninguna responsabilidad por sus dictámenes. Los editores deben garantizar que el proceso de RPP sea uniforme y que la valoración se base únicamente en la calidad del manuscrito. Por eso, la equidad e imparcialidad son otras de las características fundamentales del proceso de RPP.⁹

La elección del Comité Editorial es responsabilidad exclusiva del editor^4,26 y en su designación siempre debe prevalecer el interés de la revista. En las revistas de sociedades científicas parece razonable pedir que los miembros científicamente más dinámicos asuman un mayor protagonismo en el proceso de RPP. Aunque estos miembros suelen ser científicos jóvenes, también es muy importante mantener un adecuado estímulo sobre los miembros más reputados del Comité Editorial para mantenerlos plenamente involucrados en el proceso de RPP.⁴ Algunos estudios sugieren que los miembros del Comité Editorial de una revista publican más en esa misma revista que los miembros de los comités de otras revistas.⁵⁸ Esto puede explicarse por un fenómeno de fidelización, con mayor colaboración con la revista de la que se forma parte, pero también por la existencia de sesgos en el proceso editorial que favorecen las publicaciones de los miembros del comité de la revista y que el editor debe conocer.

Los editores suelen calificar internamente a sus revisores. Independientemente de la tasa de respuesta y de los tiempos de demora, analizan la calidad, profundidad y rigor científico de sus revisiones.^3,4 De hecho existen diversos instrumentos de medida ya validados para analizar el trabajo de los revisores. Quizá uno de los más conocidos es el RQI (Review Quality Instrument) que ha sido utilizado en muchos trabajos de investigación editorial.^9,59 Las valoraciones de los revisores pueden ayudar al editor a poner en perspectiva sus recomendaciones y para invitar a nuevos miembros a integrarse al comité editorial. En general, la calidad de las recomendaciones de un determinado revisor suele mantenerse estable. Así, algunos revisores siempre son muy fáciles de contentar mientras que otros son muy duros en sus valoraciones y esto también debe ser tenido en cuenta por los editores para realizar las correcciones necesarias.⁶⁰

Otros estudios han cuestionado la capacidad del proceso de RPP porque no logra detectar todos los problemas metodológicos de los artículos. En un trabajo experimental⁶¹ los editores generaron un manuscrito artificial repleto de errores metodológicos importantes. El proceso de RPP logró identificar sólo un tercio de los mismos. Además, la mayoría de los revisores no se percató de que las conclusiones del estudio no se basaban en los resultados del mismo.⁶¹ Esto sugiere que el sistema de RPP es tan sólo parcialmente efectivo en detectar los errores metodológicos de los estudios científicos. Para soslayar este problema muchas publicaciones incluyen rutinariamente a revisores expertos en metodología en la valoración de los manuscritos.⁴ La mayor parte de las revistas, sin embargo, sólo ofrecen la valoración de sus expertos en estadística cuando el manuscrito ya ha superado la fase inicial y los revisores clínicos le han asignado suficiente prioridad para publicación.

Una impresión muy extendida es que el proceso es subjetivo y, de hecho, el grado de acuerdo entre los revisores suele ser escaso.^31,60 En algunos ámbitos editoriales el acuerdo alcanzado (valorado con el índice Kappa) puede ser tan débil que sólo supera ligeramente al que cabría esperar por el simple azar.⁶² Obviamente, esto lo sufren tanto los autores como los editores. Sin embargo, con su experiencia y perspectiva los editores conocen perfectamente quiénes son sus mejores revisores en cuanto a la calidad, la consistencia y la fiabilidad de sus respuestas. En caso de discrepancias, los editores atenderán mucho más a las recomendaciones rigurosas y bien fundamentadas, que demuestran una revisión exhaustiva del manuscrito, que a una revisión superficial de pobre calidad.^4,63

Los editores también deben vigilar que no se produzcan sesgos indeseados en la valoración de manuscritos. Uno de ellos es el "efecto Mateo" por el que se valoran más favorablemente los estudios de autores prestigiosos.⁶⁴ Otro problema es la excesiva valoración de algunos revisores de trabajos simplemente por están bien presentados, con mejor imagen o mejor lenguaje. Finalmente, deben evitarse especialmente los sesgos de publicación para los estudios negativos.⁶⁵ ¿A quién le interesa leer un trabajo sobre un tratamiento que no funciona? Sin embargo debemos recordar que los estudios llamados negativos, si están bien realizados, pueden contestar perfectamente a la pregunta que los originó y sus resultados pueden tener gran trascendencia clínica. Por tanto merecen la misma consideración para publicación ya que también generan conocimiento nuevo. Además, la falta de publicación de estos artículos afecta a la evidencia obtenida en los meta–análisis y, eventualmente, a la práctica clínica.^31,65

Reconocimiento académico del trabajo del revisor

Ser invitado a valorar un trabajo para una revista de prestigio debe considerarse un honor. Sin embargo, lamentablemente, a pesar de la trascendencia del proceso de RPP esta actividad académica está muy poco reconocida. Realizar un buen informe de revisión en un corto plazo de tiempo requiere un gran esfuerzo que sólo es apreciado por los editores.^4–8 Es un trabajo voluntario que, al ser anónimo, no obtiene un claro reconocimiento y suele representar un acto de "altruismo académico". El revisor se siente un miembro activo de la comunidad científica. Probablemente la gratificación más importante sea saber que se ha contribuido a mejorar la calidad de la ciencia que se publica. A nivel curricular, se puede obtener reconocimiento de participar como colaborador con cartas del propio editor o publicación de agradecimientos en páginas especiales. En algunos países los editores escriben cartas de recomendación que son de utilidad para promociones académicas. Los mejores revisores terminan por ser invitados a formar parte del Comité Editorial. Sin embargo, este "escaparate" es muy limitado y no todos los buenos revisores pueden ser incluidos.^4–8 Algunas sociedades científicas otorgan créditos oficiales de formación médica continuada por esta actividad.^4,17 Otras facilitan el acceso libre a los buscadores bibliométricos de la revista o incluso suscripciones gratuitas a la publicación. Otra forma de premiar el trabajo de RPP es invitar al revisor a escribir un editorial acompañante, lo que le da un gran prestigio ante la comunidad científica. Finalmente, algunas revistas reconocen a sus mejores revisores con galardones específicos entregados públicamente durante sus reuniones científicas. ^4,17

Estrategias de RPP

No es necesario que todos los manuscritos pasen por el sistema de RPP. Los trabajos de baja calidad pueden ser identificados precozmente por los editores y ser rechazados directamente sin pasar por el proceso completo.⁶⁶ Esta estrategia permite optimizar los recursos editoriales, evita retrasos estériles y facilita que los autores envíen su trabajo a otras revistas más adecuadas. En un estudio aleatorizado sobre esta cuestión, Johnston y colaboradores⁶⁶ compararon los resultados de dos estrategias editoriales diferentes. Una de ellas consistía en una RPP convencional sistemática. La otra incluía una valoración inicial por parte de los editores que posteriormente sólo enviaban a RPP aquellos manuscritos que juzgaban de suficiente calidad. El brazo asignado a RPP rutinaria se asoció a un mayor trabajo de revisión y a un significativo retraso para alcanzar la decisión final. Sin embargo, los datos objetivos del impacto científico de los manuscritos aceptados resultaron similares con ambas intervenciones editoriales.⁶⁶

Davidoff¹⁴ sugiere que el proceso de RPP sólo puede aprenderse con la práctica.¹⁰ Otros autores han sugerido que una "educación" de los revisores podría ayudar a mejorar la calidad de sus informes. Sin embargo, en un estudio aleatorizado, Schroter y colaboradores⁶⁷ no lograron confirmar el valor de una estrategia de intervención educativa sobre la calidad del proceso de proceso de RPP. En este trabajo las marginales mejoras en algunos aspectos de calidad obtenidas en el brazo que recibió el programa de educación no implicaban, a juicio de los autores, consecuencias prácticas. Este estudio fue criticado porque la intervención fue excesivamente breve, sólo analizaba una estrategia de aprendizaje de tipo pasivo y porque los revisores que participaron en el ensayo tenían bastante experiencia en RPP, por lo que el posible efecto beneficioso del aprendizaje no lograba ser confirmado.⁶⁷ Algunos editores ridiculizaron este trabajo diciendo que "es difícil enseñar nuevos trucos a un perro viejo".³¹ En cualquier caso sigue sin resolver la pregunta de si otras estrategias de intervención más ambiciosas o enfocadas en revisores noveles podrían obtener resultados más prometedores.¹⁴

Otro tema debatido es si se deben aceptar los revisores sugeridos directamente por los autores. Algunas revistas incluyen un apartado con "revisores recomendados" como parte de necesaria cumplimentación durante el envío del manuscrito. La mayor parte de los editores no apoya esta iniciativa. Obviamente, los autores conocen muy bien quiénes pueden ser los revisores con mayores conocimientos para valorar su trabajo. Sin embargo los autores suelen seleccionar a los evaluadores que pueden serles mas favorables, bien por compartir la misma visión de un problema, bien por motivos de simple amistad personal. Esto genera desconfianza en los editores. Por el contrario, suelen respetarse las peticiones de que se excluyan a determinados revisores del proceso de RPP, fundamentalmente si se razonan los posibles motivos (conflictos de interés, rivalidad académica, etc.). En general el tiempo empleado y la calidad de las revisiones no está afectada de forma apreciable por esta variable.^46,68,69 Sin embargo, de forma sistemática los revisores sugeridos por los autores, en comparación con los elegidos por el editor, suelen ser mucho más permisivos y favorables a la aceptación del manuscrito.^68,69

Finalmente, muchos editores^4,9 defienden la utilización de un sistema "doble ciego" de RPP en el que ni el autor conoce quién evalúa su artículo, ni los revisores saben quiénes son los autores del manuscrito. Ésta es la opción más aceptada dentro del ámbito académico y así lo han demostrado diferentes encuestas.^39,40 Es la estrategia empleada en muchas revistas que se editan en español. Sin embargo, la mayoría de las revistas anglosajonas prefiere el sistema de ciego simple donde sólo los revisores quedan en el anonimato. Varios estudios aleatorizados han analizado el posible beneficio de cegar a los revisores para los nombres de los autores.^70–72 Este enmascaramiento no mejoraba la detección de errores ni la calidad de las revisiones y tampoco acortaba el tiempo de revisión. Además, cegar la identidad de los autores suele ser muy complicado y poco efectivo, por lo que este método no se ha generalizado.^70–72 Hasta hace poco se consideraba esencial que los revisores permanecieran en el anonimato.⁴ Procesos judiciales recientes, abiertos tras problemas detectados en la publicación de importantes ensayos clínicos farmacológicos han respetado el principio de la confidencialidad de los evaluadores.⁷³

Las prestigiosas revistas "British Medical Journal" y "Nature"^74,75 han liderado una nueva iniciativa para hacer del sistema de RPP un proceso "transparente" en el que los revisores firman sus evaluaciones. De esta forma se pretende mejorar la calidad de las evaluaciones, se reconoce la labor de los revisores y, además, se consigue que éstos se sientan mucho más responsables de sus críticas.⁷⁴ Los revisores deben responder o dar cuenta de sus valoraciones y probablemente este simple factor ("accountability"), mejoraría mucho las evaluaciones.

Un estudio aleatorizado⁷⁶ ha demostrado que con las revisiones abiertas los informes son de mayor calidad y se utiliza un lenguaje más respetuoso y prudente. Como contrapartida, se reduce significativamente el número de revisores que aceptan participar (retrasando el proceso) y los informes de los que aceptan tardan más en confeccionarse. Sin embargo, el problema fundamental es que las críticas suscitadas en estos procesos abiertos son mucho menos incisivas, lo que podría afectar la calidad del proceso.⁷⁶ Esta iniciativa está aún en una etapa de investigación.^74–76

Recientemente se ha sugerido explorar todas las posibilidades que ofrece Internet analizando iniciativas abiertas y transparentes en las que todo el proceso pueda ser seguido en directo y tiempo real por todas las partes implicadas. Así, los comentarios de los evaluadores, los de los editores, las respuestas de los autores y en su caso los nuevos comentarios (todos firmados) podrán enriquecer a los lectores. De hecho, los lectores también podrían participar en esta discusión científica. Es probable que en muchos casos la discusión suscitada sea incluso más interesante desde el punto de vista científico que el estudio original que la generó. Esta sería la forma de garantizar un proceso más transparente y dinámico que, en definitiva, redundaría en beneficio de la ciencia.

1. Jefferson T, Wager E, Davidoff F. Measuring the quality of peer review. JAMA 2002;287:2786–2790.         [ Links ]

2. Jefferson T, Alderson P, Wager E, et al. Effects of editorial peer review. A systematic review. JAMA 2002;287:2784–2786.         [ Links ]

3. Alfonso F. El proceso de "peer–review" en las revotas médicas. Cualidades de los revisors de excelencia. Neurología 2010 (En prensa).         [ Links ]

4. Alfonso F, Bermejo J, et al. Revista Española de Cardiología 2009: Reflexiones Editoriales. Rev Esp Cardiol 2009;62:1482–1493.         [ Links ]

5. Alfonso F, Bermejo J, Segovia J. Impactología, impactitis, impactoterapia. Rev Esp Cardiol 2005;58:1239–1245.         [ Links ]

6. Alfonso F, Bermejo J, Segovia J. Nuevas recomendaciones del Comité Internacional de Editores Médicos. Cambiando el énfasis: de la uniformidad de los requisitos técnicos a los aspectos bioéticos. Rev Esp Cardiol 2004;57:592–593.         [ Links ]

7. Alfonso F. Revotas biomédicas españolas: relevancia académica, impacto científico o factor de impacto. ¿Qué es lo que importa? Rev Neurol 2009;48:113–116.         [ Links ]

8. Alfonso F. El duro peregrinaje de las revistas biomédicas españolas hacia la excelencia: ¿Quién nos ayuda? Calidad, impacto y méritos de investigación. Endocrinol Nutr 2010;57:110–120.         [ Links ]

9. J. Matías–Guiu, García Ramos R. El proceso de mejora y decisión de un artículo. Neurología 2009;24:353–358.         [ Links ]

10. Casadevall A, Fang FC. Is peer review censorship? Infect Immun 2009; 77:1273–1274.         [ Links ]

11. Kronic DA. Peer review in 18th century scientific journalism. JAMA 990;283:3121–3122.         [ Links ]

12. Spier R. The history of the peer–review process. Trends Biotechnol 2002;20:357–358.         [ Links ]

13. Burnham JC. The evolution of editorial peer review. JAMA 1990;263:1323–1329.         [ Links ]

14. Davidoff F. Improving peer review: who's responsible? BMJ 2004;328:657–658.         [ Links ]

15. Benos DJ, Kirk KL, Hall JE. How to review a paper. Adv Physiol Educ 2003;27:47–52.         [ Links ]

16. Lemann J. Serving as a reviewer. Kidney International 2002;62:1081–1087.         [ Links ]

17. De Maria AN. The elite reviewer. J Am Coll Cardiol 2003;41:157–158.         [ Links ]

18. Ingelfinger FJ. Definition of "sole" contribution. N Engl J Med 1969;281:676–677.         [ Links ]

19. Alfonso F, Bermejo J, Segovia J. Duplicate or redundant publication: can we afford it? Rev Esp Cardiol 2005;58:601 –604.         [ Links ]

20. Duchesne S, Jannin P. Proposing a manuscript peer–review check list. Neuroimage 2008;39:1783–1787.         [ Links ]

21. Bermejo J, Segovia J, Heras M, et al. Gestión electrónica de manuscritos en Revista Española de Cardiología. Nuevas herramientas para viejos objetivos. Rev Esp Cardiol 2007;60:1206–1210.         [ Links ]

22. Moher D, Schulz KF, Altman D; CONSORT Group (Consolidated Standards of Reporting Trials). The CONSORT statement: revised recommendations for improving the quality of reports of parallel–group randomized trials. JAMA 2001;285:1987–1991        [ Links ]

23. Mills EJ, Wu P, Gagnier J, et al. The quality of randomized trial reporting in leading medical journals since the revised CONSORT statement. Contemp Clin Trail 2005;26:480–487.         [ Links ]

24. Balistreri WF. Landmark, landmine, or landfill? The role of peer review in assessing manuscripts. J Pediatr 2007;151:107–108.         [ Links ]

25. Kliewer AAA, Freed KS, DeLong DM, et al. Renewing the reviewers: comparison of review quality and reviewer characteristics at the American Journal of Roentgenology. AJR 2005;184:1731 –35.         [ Links ]

26. International Committee of Medical Journal Editors. Uniform requirements for manuscripts submitted to biomedical journals: writing and editing for biomedical publication. Available at: http://www.icmje.org        [ Links ]

27. Drazen JM, Van Der Weyden, Sahni P, et al. Uniform format for disclosure of competing interest in ICMJE Journals. N Engl J Med. 2009;361:1896–1897.         [ Links ]

28. Drazen JM, de Leeuw PW, Laine C, et al. Toward more uniform conflict disclosures. The updated ICMJE conflict of interest reporting form. N Engl J Med 2010;363:188–189.         [ Links ]

29. Bosetti F, Toscano CD. Is it time to standardize ethics guiding the peer revew process? Lipids 2008;43:107–108.         [ Links ]

30. De Maria AN. Peer review. The weakest link. J Am Coll Cardiol 2010;55:1161–1162.         [ Links ]

31. Smith R. Peer review: a flawed process at the heart of science and journal. J R Soc Med 2006;99:178–182.         [ Links ]

32. Jefferson T, Shashok K, Wager E. Get peered! BMJ. 2003;327:1439–1441.         [ Links ]

33. Lock S. A difficult balance. Editorial peer review in medicine. London. Nuffield Provincials Hospital trust. 1985.         [ Links ]

34. Weber EJ, Katz PP, Waeckerle JF, Callaham ML. Author perception of peer review. Impact of review quality and acceptance on satisfaction. JAMA 2002;287:2790–2793.         [ Links ]

35. Garfunkel JM, Lawson EE, Hamrick HJ, et al. Effect of acceptance or rejection on the author's evaluation of peer review of medical manuscripts. JAMA 1990;263:1376–1378.         [ Links ]

36. Jefferson T, Rudin M, Brodney FS, et al. Editorial peer review for improving the quality of reports of biomedical studies. Cochrane Database Syst Rev 2007;18:MR000016.         [ Links ]

37. Jefferson T, Rudin M, Brodney FS, et al. Little evidence to support the use of editorial peer review to ensure quality of published research. Does peer review improve quality of scientific publications? Evidence–Based dentistry 2007;8:5–6.         [ Links ]

38. Sievert M, McKinin EJ, Johnson ED, et al. Beyond relevance. Characteristics of key papers for clinicians: an exploratory study in an academic setting. Bull Med Libr Assoc 1996;84;351 –358.         [ Links ]

39. Publishing research consortium: Peer review in scholarly journals. Perspective of the scholarly community –an international study–. London Publishing Research Consortium 2008;80:1–80.         [ Links ]

40. Kmietowicz Z. Double blind peer review are fairer and more objective, say academics. BMJ 2008;336:241.         [ Links ]

41. Sosa JA, Metha P, Thomas DC, et al. Evaluating the surgery literature: can standardizing peer–review today predict manuscript impact tomorrow? Ann Surg 2009; 250:152–158.         [ Links ]

42. Bornmann L, Daniel HD. The usefulness of peer review for selecting manuscripts for publication: a utility analysis taking as an example a high–impact factor journal. PLoS ONE 2010:5:e11344.         [ Links ]

43. Wager E, Middleton P, Effects of technical editing in biomedical journals: a systematic review. JAMA 2002;287–2821–2824.         [ Links ]

44. Callahan ML, Tercier J. The relationship of previous training and experience of journal peer reviewers to subsequent review quality. PLsO Med 2007;4:e40(32–39).         [ Links ]

45. Stossel TP. Reviewer status and review quality: Experience of the Journal of Clinical Investigation. N Engl J Med 1985;312: 658–659.         [ Links ]

46. Rivara FP, Commings P, Ringold S, et al. A comparison of reviewers selected by editors and reviewers suggested by authors. J Pediatr 2007;151:202–5.         [ Links ]

47. Aarssen LW, Lortie CJ, Budden AE, et al. Does publication in top–tier journals affect reviewer behabior? PLoS ONE 2009;4:e6283(1–3).         [ Links ]

48. Evans AT, McNutt RA, Fletcher SW, et al. The characteristics of peer reviewers who produce good–quality reviews. J Gen Intern Med 1993;8:422–428.         [ Links ]

49. Black N, van Rooyen S, Godlee F, et al (1998) What makes a good reviewer and a good review for a general medical journal? JAMA 280:231–233.         [ Links ]

50. Kliewer MA, DeLong DM, Freed K, et al. Peer review at the American Journal of Roentgenology: How reviewer and manuscript characteristics affected editorial decisions on 196 major papers. AJR 2004;183:1545–1550.         [ Links ]

51. Gónzalez–Alcaide G, Alonso–Arroyo A, Valderrama–Zurián JC, et al. Women in Spanish cardiological research. Rev Esp Cardiol 2009;62:941–954.         [ Links ]

52. Andreotti F, Crea F. Women in cardiology: a European perspective. Heart 2005;91:275–276.         [ Links ]

53. Jagsi R, Guancial EA, Worobey CC, et al. The "gender gap" in authorship of academic medical literature: a 35 year perspective. N Engl J Med 2006;355:281–287.         [ Links ]

54. Davo MC, Vives C, lvarez–Dardet CA. Why are women underused in the JECH peer review process? J Epidemiol Community Health 2003;57:936–937.         [ Links ]

55. Gilbert JR, Williams ES, Lumdberg GD. Is there gender bias in JAMA's peer review process? JAMA 1994;272:139–142.         [ Links ]

56. De Maria AN. JACC has offspring. J Am Coll Cardiol 2007;49:826–827.         [ Links ]

57. Bradley JV. Editorial overkill. Bull Psychonomic Soc 1982;19:271–274.         [ Links ]

58. Luty J, Arokiadass SM, Easow JM, et al. Preferential publication of editorial board members in medical specialty journals. J Med Ethics 2009;35:200–202.         [ Links ]

59. Van Rooyen S, Black N, Godlee F. Development of the Review Quality Instrument (RQI) for assessing peer review of manuscripts. J Clin Epidemiol 1999;52:625–629.         [ Links ]

60. Krawitz RL, Franks P, Feldman MD, et al. Editorial peer reviewers' recommendations at general medical journal: Are they reliable and do editors care? PLoS ONE 2010;5:e10072(1 –5).         [ Links ]

61. Baxt WG, Waeckerle JF, Berlin JA, et al. Who reviews the re–hewers? Feasibility of using a fictitious manuscript to evaluate peer review performance. Ann Emerg Med 1999;32:310–317.         [ Links ]

62. Weiner BK, Weiner JP, Smith HE. Spine journals: is the reviewer agreement on publication recommendations greater than would be expected by chance? Spine J 2010;10:209–211.         [ Links ]

63. Hargens LL. Schoolarly consensus and journals rejection rates. American Sociological Revew 1988:53:139–151.         [ Links ]

64. Merton RK. The Matthew effect in science. Science 1968;159:56–63.         [ Links ]

65. Alfonso F, Segovia J, Heras M, et al. Publicación de ensayos clínicos en las revotas científicas. Consideraciones editoriales. Rev Esp Cardiol. 2006;59:1206–1214.         [ Links ]

66. Johnston SC, Lowenstein DH, Ferriero DM, et al, Hauser SL. Early editorial manuscript screening versus obligate peer review: a randomized trial. Ann Neurol 2007;61:A10–A12.         [ Links ]

67. Schroter S, Black N, Evans S, et al. Effects of training on quality of peer review: randomized controlled trial. BMJ 2004;328:673–5.         [ Links ]

68. Earnshaw JJ, Fardon JR, Guillou PJ, et al. A comparison of reports from referees chosen by authors or journal editors in the peer review process. An Rol Coll Surg Engl 200; 82:133–135.         [ Links ]

69. Schroter S, Tite L, Hutchings A, et al. Differences in review quality and recommendations for publication between peer reviews suggested by authors or by editors. JAMA 2006;295:314–317.         [ Links ]

70. Godlee F, Gale CR, Martyn C. Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: A randomized controlled trial. JAMA 1998;280:237–240.         [ Links ]

71. Justice AC, Cho MK, Winker MA, et al. Does masking author identity improve peer review quality? A randomized controlled trial. JAMA 1998;280:240–242.         [ Links ]

72. Van Rooyen S, Godlee F, Evans S, et al. Effect of blinding and unmasking on the quality of peer review. JAMA 1998;280;234–237.         [ Links ]

73. DeAngelis CD, Thorton JP. Preserving confidiality in the peer revew process. JAMA 2008;299:1956.         [ Links ]

74. Smith R. Opening up BMJ peer review. A beginning that should led to complete transparency. BMJ 1999;318:4–5.         [ Links ]

75. No author listed. Opening up peer review. Nat Cell Biol 2007;9:1.         [ Links ]

76. Walsh E, Rooney M, Appleby L, Wilkinson G. Open peer–review: a randomised controlled trial. Brithis Journal Phsychiatry 2000;176:47–51.         [ Links ]