SciELO - Scientific Electronic Library Online

 
vol.49 número194Pensamiento Crítico: conceptualización y relevancia en el seno de la educación superiorEl abandono estudiantil en programas de educación superior virtual: revisión de literatura índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Revista de la educación superior

versión impresa ISSN 0185-2760

Rev. educ. sup vol.49 no.194 Ciudad de México abr./jun. 2020  Epub 27-Nov-2020

https://doi.org/10.36857/resu.2020.194.1123 

Artículos

Origen y desarrollo de la evaluación científica. Alcances y límites de su aplicación en las ciencias sociales

Origin and development of scientific evaluation. Scope and limits of application in social sciences

Vanessa Sandoval Romero* 

*Universidad Iberoamericana. Departamento de Estudios Internacionales Correo electrónico: vanessa.sandoval.romero@umontreal.ca


Resumen

En este trabajo se presenta un análisis documental de la importancia de la evaluación científica dentro del sistema de investigación a partir de dos perspectivas: la normativa propuesta por Robert K. Merton y la de campos científicos desarrollada por Pierre Bourdieu. Ambos enfoques facilitan la comprensión, por un lado, del sistema normativo de la ciencia y, por el otro, de las relaciones de poder y de los intercambios que se crean dentro del campo científico. Se exponen los elementos característicos del sistema de reconocimiento de trabajos científicos en ciencias sociales, el desarrollo socio-histórico del sistema de evaluación por pares desde la creación de las primeras revistas científicas en el siglo XVII y de su evolución hasta su aplicación actual en instituciones y países. Se analizan los alcances y límites de los métodos cuantitativos de evaluación, así como el lugar que ocupan dentro del sistema de investigación.

Palabras clave: Evaluación; Sociología de la ciencia; Comunidad científica; Campo científico; Bibliometría

Abstract

A documentary analysis of the relevance of scientific evaluation within the research system is carried out from two perspectives: the norms proposed by Robert K. Merton and the scientific fields developed by Pierre Bourdieu. Both approaches head to a better understanding of the normative system of science, the relations of power and the exchanges that occur in the scientific field. We expose the elements of the system of recognition of scientific works, the socio-historical development of peer assessment since the creation of the first scientific journals in the XVII century and its evolution to its current application to institutions and countries. The scope and limits of quantitative methods of evaluation are analyzed, as well as the place they occupy within the research system.

Keywords: Evaluation; Sociology of science; Scientific community; Scientific field; Bibliometrics

Introducción

Esta investigación constituye una reflexión sobre de los orígenes de la evaluación de la investigación, el leitmotiv de su adopción en las políticas científicas, sus repercusiones sobre las reglas que rigen el sistema social de la ciencia y sobre las dinámicas que genera en el campo científico. Sobre este último aspecto, utilizamos dos nociones complementarias acerca del concepto de comunidad científica: una que se concentra en los aspectos normativos de un sistema institucional, interiorizado por los investigadores y la otra, que se desprende de la teoría de los campos sociales donde el investigador se encuentra constantemente en la búsqueda del monopolio de la autoridad dentro del campo científico (Gingras, 2013).

En este trabajo se describe el sistema de gobernanza de la ciencia en el que se desarrolla la práctica de la evaluación científica y se explica la forma en que surge y se desarrolla la competencia por el monopolio de la autoridad científica. La importancia de los métodos de evaluación de la producción científica se entiende en el marco de las nociones de comunidad científica y campo científico desarrolladas respectivamente por Robert K. Merton y Pierre Bourdieu en sociología de la ciencia. La presentación de estos dos enfoques nos permite comprender, por un lado, las normas que constituyen el ethos de la ciencia y, por otro, las relaciones de poder y los intercambios que se crean dentro del campo científico.

Además, se explican los elementos característicos del sistema de reconocimiento de trabajos científicos: el desarrollo socio-histórico que dio lugar al sistema de revisión por pares, práctica que ha mantenido el control sobre la calidad de la investigación desde el siglo XVII; el proceso de fundación de las primeras revistas científicas; la evolución del arbitraje entre pares que surge con el nacimiento de dichas revistas; su aplicación a las instituciones académicas y de investigación, y finalmente, el papel de los individuos (investigadores) que participan en el ejercicio de la investigación. Se aborda la importancia que representan los métodos cuantitativos como una herramienta para evaluar de manera objetiva la actividad científica en los niveles micro y macro, es decir, de alcance individual, institucional o nacional.

Para analizar las políticas de evaluación, particularmente en las Ciencias Sociales, en este trabajo se presentan dos análisis complementarios: el primero enfocado a entender la evolución histórica de la práctica de la evaluación de la actividad científica y el segundo, centrado en la definición de las nociones de comunidad y de campo científicos desde la perspectiva de la sociología de la ciencia. Estas nociones aportan elementos explicativos de los factores que determinan un proceso de evaluación de los investigadores, como son el estatuto académico, la afiliación, el género, la edad, etc. El análisis de estas variables permite identificar el funcionamiento del sistema de evaluación: como resultado de un efecto acumulativo del reconocimiento, o bien, como uno centrado en la excelencia y la calidad de la investigación (Fournier, 2015a).

El trabajo se encuentra distribuido en seis partes: la primera que aborda los orígenes de la evaluación científica, la segunda que resalta los fundamentos de esta práctica desde la perspectiva de la sociología de la ciencia, la tercera que presenta las características de la evaluación en nuestros días y que enlaza con la siguiente parte en donde se exponen los métodos de reconocimiento del trabajo científico, la quinta que explica las formas en que se mide la actividad científica y, finalmente, se explican los límites de estos métodos en su aplicación en las ciencias sociales.

Métodos

Esta investigación consistió principalmente en una búsqueda documental referente al proceso socio-histórico de consolidación de la evaluación científica realizada de acuerdo con investigaciones realizadas en el campo de la historia y la sociología de la ciencia. Para comprender los ejercicios actuales de arbitraje en la asignación de recursos a la investigación, se consultaron trabajos realizados en el campo de la ciencia, la tecnología y la sociedad (CTS) sobre la creciente importancia de los expertos, su definición y consolidación como actores del sistema de investigación desde la posguerra. Finalmente, para conocer sobre el uso, el alcance y los límites de los métodos cuantitativos, se consultaron trabajos publicados en el campo de la bibliometría cuyos trabajos complementan las dos perspectivas anteriores en el entendimiento de las dinámicas de las comunidades científicas y la definición de las políticas de ciencia y tecnología.

Orígenes de la evaluación científica

Las primeras prácticas de evaluación surgieron simultáneamente con el proceso de institucionalización de la ciencia en el siglo XVII, incluida la revisión por pares. Este última apoya la creación de las primeras revistas científicas: Journal des Sçavans (París) y el Philosophical Transactions de la Real Sociedad de Londres (RS), publicadas por primera vez en enero y marzo de 1665 respectivamente. El Journal des Sçavans contenía principalmente reseñas de libros, obituarios de personajes famosos, las decisiones importantes de los tribunales civiles y religiosos, así como los informes de experimentos y observaciones en física, química, anatomía y meteorología. Por el contrario, Philosophical Transactions favoreció especialmente el contenido científico (matemáticas y física) excluyendo las cuestiones legales y teológicas (Merton y Zuckerman, 1973). Luego de estas revistas generales, durante el siglo XIX aparecieron algunas especializadas en diversas disciplinas como la química, las matemáticas o la física con el objetivo de juzgar la calidad del trabajo de sus colegas.

La creación de revistas científicas durante el siglo XVII reemplazó gradualmente los intercambios epistolares entre hombres de ciencia y la impresión de sus manuscritos sin revisión previa (Merton y Zuckerman, 1973). Según Biagioli (2002), los comienzos de estos arbitrajes se compararon con la censura del libro ejercida al mismo tiempo por el Estado. Al convertirse en miembros de la RS, los hombres de ciencia se adherían al aparato estatal, creando un vínculo estrecho entre la corte del rey y la jerarquía de las asociaciones doctas. De esta manera, el joven Estado moderno buscaba evitar cualquier cuestionamiento del poder y del orden establecidos (Biagioli, 2002). En ese entonces, los científicos debían someter sus trabajos a la revisión de un comité de miembros de asociaciones que harían una revisión escrupulosa de los contenidos de estos trabajos para contener cualquier controversia que comprometiera su relación política con el Estado. Aunque en ese momento no se hiciera una alusión explícita a la protección de los intereses del Estado o de la Iglesia, la revisión de los contenidos por parte de las asociaciones debía preservar la reputación de los científicos cercanos a la monarquía. La influencia del Estado sobre dichas asociaciones se expresó mediante la concesión de derechos de publicación, cuya restricción estaba destinada a contener el periodismo político. Según Biagioli, la evaluación del contenido por parte de otros hombres de ciencia se centró en la robustez y la originalidad del trabajo, mientras que la censura de libros por parte del Estado se enfocó en identificar y prohibir la publicación de textos considerados peligrosos (Biagioli, 2002: 18).

Este argumento difiere del sostenido por Merton y Zuckerman, quienes señalan que el propósito de la creación de estas revistas, principalmente Philosophical Transactions, fue la de mejorar la práctica de difusión del conocimiento científico. Según estos autores, la RS se proponía propiciar la participación de los científicos en un nuevo proceso de difusión abierta de las investigaciones basada en un sistema que garantizara la propiedad de los derechos honoríficos mediante el intercambio de conocimiento (Merton y Zuckerman, 1973). Para ellos, el principal desafío en aquella época consistió en convencer a los científicos de dejar de mantener sus investigaciones en secreto para garantizar la propiedad intelectual de sus descubrimientos.

Por otro lado, tanto Merton como Zuckerman y Biagioli coinciden en que la accesibilidad de las publicaciones a todos los científicos europeos, y no únicamente a los de Londres o París, permitió la consolidación de la comunidad científica, aumentando significativamente el número de científicos que garantizaran la práctica de la evaluación por pares. A medida que los científicos europeos se adhirieron a la idea de publicar sus resultados en revistas (especialmente en Philosophycal Transactions), reconocieron implícita o explícitamente tanto la autoridad de sus colegas, como la importancia de ser evaluado (Biagioli, 2002, Merton y Zuckerman, 1973).

En su forma clásica, la evaluación en el mundo académico se refiere al control ejercido por los pares como árbitros para mantener la excelencia en la investigación (Gaudin, 2008; Wieviorka, 2011). El arbitraje científico es una práctica común para mantener el control sobre la calidad del trabajo de los investigadores y para reconocer las actividades científicas que contribuyen al avance del conocimiento. Dado que este proceso se lleva a cabo en diferentes ámbitos de la vida académica y científica, da lugar a diversos tipos de arbitraje: pares para revistas científicas, editores de libros, o expertos (a veces pares que participan en el proceso de la vida administrativa de las ciencias) para las agencias u organismos de financiamiento. En nuestros días, la evaluación en el mundo académico es objeto de estudios que permitan clarificar los procesos de toma de decisión en los comités de evaluación y los resultados de estas discusiones entre pares determinan el rumbo de instituciones e individuos.

Actualmente, se aplican distintos tipos de evaluaciones a diferentes actividades en la vida académica y científica, tales como: solicitudes de subvenciones, la enseñanza, los programas de estudio de grado y posgrado, el rendimiento de las unidades académicas, la actividad de investigación y las universidades (Gingras, 2014). Aunque el juicio sobre la calidad de la actividad académica se mantiene como una tarea realizada por los pares académicos, el uso de indicadores cuantitativos agrega otros elementos al estudio de la evaluación debido a sus efectos sobre la práctica de investigación y publicación.

Evaluación científica y sociología de las ciencias

El enfoque de la evaluación científica del presente trabajo, se basa principalmente en el análisis de la gobernanza de la ciencia y de la autoridad científica. Estos conceptos, desarrollados en el contexto de la sociología de la ciencia, nos ayudan a comprender la dinámica del campo científico, que consiste en agentes e instituciones protagonistas del equilibrio de fuerzas en la estructura de distribución del capital científico (Gingras, 2015).

La sociología de la ciencia es el estudio de la producción científica y el papel de los investigadores en esta actividad. Esta disciplina se interesa en el análisis de la naturaleza de la ciencia en función de la actividad de sus miembros e instituciones (Gingras, 2013). La sociología de la ciencia facilita el análisis de la evaluación de la investigación desde dos perspectivas: la referente a los aspectos normativos del sistema institucional desarrollado por Robert k. Merton, y la que se desprende de la teoría de los campos sociales donde el investigador se encuentra constantemente en la búsqueda del monopolio de la autoridad dentro del campo científico de acuerdo con Pierre Bourdieu (Fournier, 2015b; Gingras, 2013).

En la perspectiva de Robert K. Merton, la comunidad científica es una organización normativa basada en un sistema de valores que guían las actividades científicas (ethos de la ciencia): universalismo, comunismo, desinterés y escepticismo organizado (Merton y Zuckerman, 1973). Merton identifica la existencia de un sistema de recompensas dentro de la comunidad científica que se traduce en premios honoríficos, epónimos, nombramientos, atribución de puestos honoríficos, citaciones, publicaciones aceptadas, o simplemente, el reconocimiento de los pares. Tanto el sistema normativo como el sistema de recompensas funcionan en el marco de un control social ejercido directamente por los pares mediante la evaluación. Esta actividad responde a un modelo democrático de gobierno de la ciencia según el cual, cada miembro posee el derecho de pronunciarse acerca de la calidad de las investigaciones de sus colegas, siempre y cuando los valores de esta comunidad sean respetados (Merton y Zuckerman, 1973).

El sistema de recompensas crea una estratificación dentro de la comunidad académica derivada de la evaluación por pares, dando lugar a la formación de jerarquías y por consecuencia, de élites, por ejemplo, entre los jóvenes investigadores y los senior, entre los teóricos y los prácticos, entre las universidades o entre los países (Merton, 1968). Inspirado por el evangelio de San Mateo, en el que se señala que “Porque al que tiene, le será dado, y tendrá más “(Mateo 25:29), Robert Merton sugiere que los científicos de mayor jerarquía tienden a recibir un reconocimiento más significativo y desproporcionado por sus contribuciones a la ciencia, mientras que los científicos relativamente desconocidos obtienen mucho menos crédito por contribuciones comparables (Merton 1968). El Efecto Mateo crea jerarquías y refuerza la desigualdad dentro de las comunidades científicas (Merton, 1968) de la misma manera en que ocurre con la riqueza económica, el poder político, el prestigio, el conocimiento o cualquier otro recurso escaso o valioso (Perc, 2014). Además de crear jerarquías y de reforzar la desigualdad vinculada a la distribución de recursos escasos para la investigación, las recompensas se basan sobre el principio psicológico de estímulo-respuesta que busca reforzar ciertos comportamientos entre los investigadores de acuerdo con las expectativas de las instituciones académicas y de investigación (Vinck, 1995). Sobre este principio, los investigadores toman decisiones estratégicas dirigidas a mejorar su posición en la jerarquía, eligiendo cuidadosamente a sus colaboradores y lugares de publicación (Dubois 1999; Gingras 2013; Vinck 1995).

La perspectiva de Pierre Bourdieu relativa a la comunidad científica reposa sobre el análisis de los campos sociales, definiendo el campo científico como el espacio objetivo de juego donde se conjugan cuestiones científicas, que no se distinguen entre determinaciones propiamente científicas o propiamente sociales (Bourdieu, 1976). El campo científico es un campo de lucha entre individuos o grupo de individuos que se encuentran en competencia por la obtención del monopolio de la autoridad científica. La dinámica del campo científico en tanto espacio social relativamente autónomo depende de la distribución de tres tipos de capital: el social (constituido de las relaciones mobilizables), el cultural (formado de saberes científicos acumulados) y el simbólico (capital de reconocimiento y de credibilidad) (Gingras, 2013). En el marco de sus actividades, los investigadores toman decisiones estratégicas sobre la definición de un tema de investigación, la selección de un medio de difusión, el lugar de la publicación, la identificación de una institución o un laboratorio para propósitos laborales, la colaboración con un colega u otro, etc. Estas decisiones parten de una anticipación (consciente o inconsciente) por parte del investigador acerca de las posibilidades de obtener algún beneficio simbólico (crédito) o económico (contratación o invitaciones a colaborar en equipos prestigiosos) (Dubois, 1999; Gingras, 2013; Vinck, 1995). La anticipación del investigador está condicionada por el poder que la autoridad científica ejerce sobre los intercambios de capital (Bourdieu, 1975). Esto significa que “el conocimiento es un recurso que el científico intercambia en una especie de mercado por [capital simbólico] que luego puede reinvertir para producir nuevo conocimiento y obtener aún más [capital]” (Vinck, 1995), lo que significa que la autoridad científica se asegura de respetar las reglas reconocidas por los miembros de la comunidad científica.

Los capitales científico y simbólico pueden, a su vez, convertirse en capital económico, sobre todo cuando los científicos experimentados han superado la etapa del trabajo en laboratorio convirtiéndose en directores de equipo. En su calidad de responsables de un grupo de investigadores, los científicos experimentados explotan su autoridad académica para beneficiarse de recursos económicos con el propósito de financiar la investigación. Asimismo, el capital social acumulado por el investigador a lo largo de su carrera puede facilitarles el acceso a posiciones estratégicas dentro de instituciones académicas, científicas o gubernamentales relacionadas con la toma de decisiones sobre política científica, adquiriendo en consecuencia capital político (Gingras, 2012).

En consecuencia, la consolidación del campo científico es posible gracias a la acumulación de métodos, teorías e instrumentos que permiten la verificación de la validez de los resultados de una investigación dentro de una disciplina. El control de esta acumulación es ejercido por los miembros del campo científico quienes asimismo aseguran la autonomía de este último en el marco de sus reglas de funcionamiento. Las instituciones científicas aplican estas reglas dentro de sus estructuras sociales (normas, estatus, formas de pensar, formas de percibir, de actuar, de hablar, etc.) correspondientes a los diferentes campos disciplinarios (Gingras, 2012).

Aunque se ha mantenido a lo largo del tiempo desde su consolidación en el siglo XVII, la evaluación de la investigación ha cambiado en sus formas y objetivos de aplicación. Hoy en día, es un tema de estudio para quienes están interesados en comprender el funcionamiento de los comités de evaluación, los resultados de las discusiones que ocurren entre pares y los efectos sobre las instituciones y los individuos.

Práctica actual de la evaluación por pares

Algunos estudios sobre el funcionamiento de los comités interdisciplinarios de evaluación, han identificado tres reglas básicas seguidas por sus miembros para valorar la calidad de los proyectos. Aunque este trabajo se concentra en programas de financiamiento, este estudio ilustra el ejercicio del arbitraje por pares que, como lo mencionamos en el inicio, se aplica a diferentes ámbitos de la vida académica. La primera consiste en el respeto a la soberanía de las disciplinas que se aplica cuando los evaluadores se consideran incompetentes para comentar sobre un problema en articular en razón de una falta de competencia suficiente en el área. La segunda regla es la deferencia a la experiencia o la confianza depositada en la opinión expresada por otro experto. Y, por último, la confianza en la universalidad y la consistencia de los criterios de evaluación para dar las mismas oportunidades a todos los proyectos (Lamont, 2009, 2011). Michèle Lamont resalta que, en condiciones ideales, las discusiones que tienen lugar dentro de los comités interdisciplinarios son primero, de carácter deliberativo y luego, democrático ya que permiten, en principio, el intercambio y la confrontación de opiniones divergentes. En sus observaciones, Lamont resalta sin embargo que las deliberaciones no son enteramente democráticas, sino que están fuertemente influenciadas por una minoría dentro de los comités. Este grupo -formado generalmente por los científicos que gozan de mayor prestigio de acuerdo a la institución que representan- son reconocidos por los otros miembros de los comités, dando lugar a una jerarquización social dentro del sistema científico. En consecuencia, esta jerarquía o prestigio juega un papel importante en la influencia que cada evaluador ejerce sobre las opiniones de los otros miembros en la toma de decisiones final.

La autora destaca que algunas faltas a las reglas consuetudinarias ocurren durante las deliberaciones como la protección de los intereses disciplinarios por parte de los evaluadores, a pesar de que el respeto a todas las idiosincrasias debiera imperar para garantizar la igualdad de oportunidades para todos los proyectos. Aunque los miembros del comité busquen fomentar una “contextualización cognitiva” a la hora de la evaluación -con el propósito de apegarse a los criterios epistemológicos y metodológicos específicos de cada disciplina-, en ocasiones, los evaluadores promueven el corpus cognitivo de su propia disciplina, ya sea como una diferencia, o por afinidad personal o intelectual con otros miembros (Lamont, 2011). Este último acto constituye una falta a la regla de criterios universales derivando en una votación estratégica disminuyendo las posibilidades de financiar otro proyecto, posiblemente de mejor calidad.

Aunque estas inercias sean identificadas como inadecuadas en el funcionamiento de un comité, existe una práctica completamente descalificada por los miembros del comité: la protección de los intereses personales (favoritismo, clientelismo o particularismo) cuando los evaluadores deciden sobre proyectos de candidatos de los cuales son más o menos cercanos. En este caso, el evaluador debe declarar un conflicto de intereses para evitar ejercer algún tipo de influencia (generalmente favorable) en la toma de decisiones finales.

Hoy en día, existe otro tipo de evaluación en paralelo con la evaluación por pares: la evaluación de expertos. Su objetivo es acreditar el valor de la investigación según su impacto (citas, redes, graduación de estudiantes, etc.) mediante la aplicación de criterios transversales a todas las disciplinas, utilizando métodos impersonales (cuantitativos) de evaluación, la cual busca evitar confrontaciones argumentativas entre los evaluadores y los miembros de las unidades o los investigadores evaluados (Düppe, 2018; Périlleux, 2011). Esta versión contemporánea de la evaluación, como la describen algunos autores, tiene como objetivo garantizar la relevancia y efectividad de los programas académicos y de investigación desde la perspectiva de grupos de expertos de organizaciones públicas de investigación (Gaudin, 2008; Wieviorka, 2011). Estos últimos emergen como los nuevos actores del sistema de investigación durante la posguerra al convertirse en los responsables de la asignación estratégica de recursos escasos para la investigación.

Métodos de reconocimiento del trabajo científico

Para evaluar la actividad científica, los indicadores científicos y tecnológicos ayudan a describir, evaluar y monitorear el desempeño de la investigación y la tecnología. Usando tres tipos de indicadores: entrada (fuerza laboral científica o financiamiento), producción (número de publicaciones o patentes) e impacto (tasas de citas), es posible caracterizar el estado de la investigación y la tecnología a nivel micro o macro. Otros indicadores también permiten evaluar la actividad científica como: la autoría, la colaboración científica o la interdisciplinariedad, por mencionar algunos (Sugimoto y Larivière, 2018). El uso de cualquiera de estos indicadores debe adecuarse a la medida de acuerdo a dos criterios esenciales: el respeto a la inercia del objeto y la homogeneidad de la medida (Gingras, 2014).

La autoría

La autoría consiste en la forma clásica de reconocimiento del estatus del creador científico de acuerdo a las prácticas disciplinarias, las cuales pueden variar de un país a otro. El orden de las firmas en las investigaciones implica no sólo la redacción de la investigación, sino también el análisis, los experimentos y la provisión de recursos (Sugimoto y Larivière, 2018). Uno de los trabajos más detallados sobre el orden de las firmas según las prácticas disciplinarias ha sido desarrollado por David Pontille quien estudia las prácticas de publicación relacionadas con la evaluación de la investigación. El autor vincula las contribuciones y análisis de los autores para explicar las diferentes funciones de la firma y la firma conjunta, y su peso como elemento básico de la evaluación de la investigación científica. Pontille enfatiza que la colocación de la firma científica constituye en un indicador del valor de una publicación científica de acuerdo a las necesidades de los autores (graduación de estudiantes de grado, obtención de reconocimientos o nombramientos, etc.) (David Pontille, 2004; D. Pontille, 2004).

La colaboración científica

Diferentes factores motivan la colaboración científica, tales como: la complejidad de la investigación en algunas disciplinas, el aumento de las prácticas interdisciplinarias, la movilidad de los investigadores, los programas de financiamiento transnacionales, el costo creciente de las tecnologías, la obligación de publicar, las afinidades culturales y la voluntad de comunicarse con colegas con capacidades o expertises diferentes. Algunas prácticas de investigación como la consulta entre colegas o la revisión de versiones preliminares de publicaciones caracterizan este tipo de colaboración, las cuales se alimentan a través de los intercambios ocurridos durante las conferencias, estancias sabáticas y estancias a título de investigadores invitados. La práctica que permite contabilizar los frutos de estas prácticas consiste en la co-publicación que se expresa mediante la firma de todos los participantes en el proceso de la investigación, es decir la coautoría (David, Dufour, y Halliwell, 1993; Sugimoto y Larivière, 2018).

Incentivos económicos

Algunos sistemas de evaluación de la actividad científica se centran en las recompensas económicas de la producción científica, lo que va determinado las prácticas de investigación y de publicación de la comunidad de acuerdo con el principio psicológico del estímulo-respuesta (Howitt, 2000; Vinck, 1995). China, Países Bajos, Corea del Sur y Turquía son algunos ejemplos de países que han adoptado políticas de bonificación a los logros individuales: publicaciones (principalmente internacionales) y citas (Franzoni, Scellato, y Stephan, 2011; Quan, Chen, y Shu, 2017; Stephan, 2008). Estas políticas juegan un papel decisivo en la asociación de la reputación del investigador con la de su institución de afiliación.

El caso de China es de particular interés por la ganancia en visibilidad que ha adquirido este país desde los años 1990 a través de la publicación en revistas internacionales. Al inicio de esa década, China contaba con 6 000 artículos en el Science Citation Index (SCI), para el año 2000, se contaban ya 95 500 artículos (Shao y Shen, 2012). Este aumento considerable se explica, en parte, por la introducción de bonos monetarios que las universidades otorgan a sus investigadores cuando éstos publican en revistas internacionales. Las primas a la investigación, calculadas en función del factor de impacto de la revista, constituyen un incentivo para que los investigadores privilegien la publicación en revistas internacionales, incluso cuando los temas de investigación se relacionen con intereses regionales o locales. Este sistema resulta en una modificación del comportamiento del investigador que realiza selecciones estratégicas con el objetivo de aumentar sus publicaciones a partir de la identificación de las revistas más valoradas en su entorno académico. El hecho de que los investigadores dirijan sus esfuerzos a la publicación en revistas internacionales, ha obligado a los editores locales a adoptar medidas que atraigan la publicación de un mayor número de estudios en revistas locales. Algunas de las estrategias puestas en marcha consisten en la flexibilización de las reglas de evaluación y la oferta de servicios lingüísticos para asegurar la publicación de los resúmenes en inglés, buscando facilitar la visibilidad de las publicaciones chinas (Shao y Shen, 2012; Xu y Wahls, 2012; Zhou, Thijs, y Glänzel, 2009).

En México, el caso del Sistema Nacional de Investigadores (SNI) es el más representativo de este país debido a que consiste en el principal programa de reconocimiento al mérito a la investigación a nivel nacional. El SNI fue creado en 1984 para apoyar y reconocer las actividades de investigación y el trabajo de sus miembros. Éste funciona como un sistema de bonificaciones económicas a la actividad científica otorgadas en forma de becas mensuales, calculadas de manera diferenciada según un sistema de clasificación de investigadores en cinco categorías: candidato, SNI I, SNI II, SNI III, Emérito. La clasificación, promoción o revocación de los investigadores se decide según una evaluación periódica realizada por los pares de mayor experiencia en los respectivos campos disciplinarios y con base en criterios generales de evaluación previstos en el reglamento del programa. Estos criterios comprenden la producción científica, la participación en actividades académicas, las iniciativas académicas, la contribución a la creación de infraestructura y a la formación de recursos humanos, y las actividades de divulgación (Autora). Como resultado de la dependencia que generan estas bonificaciones sumadas a las condiciones salariales precarias de la mayoría de los miembros académicos en México, las perspectivas de jubilación se reducen considerablemente a nivel individual. Este caso ha sido estudiado por Graciela Bensusán quien, en resumen, identifica la pérdida de ingresos como la principal razón para postergar la decisión de retiro de los miembros del SNI (Bensusán, 2013). La autora también identifica otras motivaciones como el deseo de mantener de un espacio de trabajo para continuar con las labores de investigación o la posibilidad de obtener fondos para estas actividades y su difusión. En el ámbito personal, una de las principales motivaciones constituye el interés de mantener la cobertura de los seguros médicos privados. En su investigación, Bensusán destaca que la ausencia de un plan de retiro que permita a los miembros mantener un ingreso adecuado co-financiado por el SNI y por las instituciones de afiliación, disminuye considerablemente las posibilidades de jubilación de este sector de la comunidad académica.

Medición de la actividad científica

La cientometría es un método de medición de la actividad científica que utiliza indicadores como son la inversión en innovación y el desarrollo (I+D) a nivel nacional, la formación de personal científico, la proporción de instituciones de educación superior con respecto a la población, etc. La bibliometría, como subconjunto de la cienciometría, es utilizada para analizar las características de los documentos científicos, incluidos los artículos, las notas de investigación y las síntesis. Ambos métodos utilizan diferentes indicadores para medir los atributos de la producción científica facilitando la descripción, la evaluación y el seguimiento de las actividades científicas y tecnológicas (Gingras, 2014; Larivière, 2015). Los análisis desarrollados a partir de los indicadores bibliométricos, combinados con indicadores demográficos o económicos, dan cuenta de los determinantes y de los efectos de la investigación. También permiten observar la transformación de las prácticas de investigación en las disciplinas y la manera en que la investigación se lleva a cabo, por ejemplo: la colectivización, la internacionalización, la construcción de redes científicas, la movilidad de investigadores, etc.

Las bases de datos bibliográficas construidas para la investigación documental han sido durante mucho tiempo las principales fuentes de datos sobre resultados e impactos sobre la actividad científica. Aunque existen varios índices de publicaciones útiles para la construcción de indicadores que miden la producción y el impacto de la producción por área (MEDLINE) o por región (SciELO), Web of Science (WoS) y Scopus, de las compañías Clarivate Analytics y Elsevier respectivamente, son las bases de datos mayormente utilizadas por sus características relacionales proporcionando, para cada artículo que se cita, la lista de referencias a las que hace referencia. Estas bases de datos contienen también la dirección de los autores, lo que permite realizar análisis vinculando los artículos con instituciones y países. Una diferencia importante entre ambas fuentes de información se refiere al tipo de revistas que indexan. Mientras que las bases de datos del WoS indexan las revistas más citadas en cada campo de estudios, Scopus cubre un conjunto más amplio de revistas, aunque el número de citas sea menor (Larivière, 2015; Sugimoto y Larivière, 2018).

Algunas críticas al uso de métodos cuantitativos en la evaluación de la de investigación se centran en la falta de contextualización de las condiciones de trabajo del investigador como el acceso a la infraestructura, el dominio de conocimientos por parte del personal de investigación, o la realización de tareas administrativas (Périlleux, 2011). Las críticas a la bibliometría en particular se basan en las características de las bases de datos utilizadas para obtener los indicadores. Al respecto, se denuncia el uso generalizado de WoS y Scopus como las principales fuentes de información cuantitativa para desarrollar análisis nacionales y regionales, considerando que estas bases de datos no compilan información completa para todos los países. Su uso puede derivar en algunos de los dos principales sesgos en los análisis bibliométricos: el lingüístico que se refiere a la mayor cobertura de la literatura en inglés de las revistas indizadas, y el disciplinario que favorece las investigaciones de las ciencias naturales, la ingeniería y la biotecnología, como resultado de sus respectivas prácticas de publicación (Archambault y Larivière, 2010; Hicks, 2004; Larivière, Archambault, Gingras, y Vignola-Gagné, 2006; Mongeon y Paul-Hus, 2016). Las prácticas de investigación de estas disciplinas favorecen la publicación de artículos en revistas científicas para la comunicación de los resultados de la investigación en un periodo más corto que la publicación de libros como ocurre en las ciencias sociales, además de centrarse en un corpus central de revistas reconocidas por su calidad e impacto dentro de las áreas respectivas (Hicks, 2004).

El uso de métodos bibliométricos en la evaluación de las ciencias naturales, la ingeniería y la biotecnología ofrece resultados útiles a nivel agregado sobre producción científica, patentes o inversión pública y privada en I+D. En ciencias sociales, estos métodos proporcionan una perspectiva general de la producción de instituciones y de los países debido a los periodos largos de la investigación, los medios tradicionales de comunicación de resultados (libros), el lenguaje de las publicaciones y las prácticas de citación.

Límites de la bibliometría en ciencias sociales

La evaluación cuantitativa es objeto de críticas por parte de los investigadores de ciencias sociales (CS), quienes consideran que los criterios para el análisis de desempeño tienden a restringir la evaluación a lo que es cuantificable al dar mayor importancia a la cantidad y no a la calidad. Como resultado del efecto estímulo-respuesta, los investigadores tenderán a aumentar su número de publicaciones al fragmentar la publicación de sus resultados de investigación (salami-slicing), causando un efecto inflacionario de los artículos con el único propósito de cumplir con los requisitos de productividad (Norman y Griffiths, 2008; Olivier, 2011).

Más allá de las particularidades de las CS, los métodos bibliométricos se caracterizan por ciertas limitaciones que es importante tener en cuenta al usarlos con propósitos de evaluación, sobre todo a nivel micro. Sin embargo, constituyen la herramienta más útil para realizar análisis confiables de las transformaciones de las prácticas disciplinarias de investigación, el análisis de la internacionalización de la investigación, o la construcción de redes científicas (Gingras, 2014). Por ejemplo, un estudio desarrollado a partir de datos bibliométricos ha identificado que Europa y América del Norte permanecen como las principales regiones de producción científica en CS a pesar de un proceso de internacionalización de las actividades de investigación ocurrido desde la década de los 1990 (Mosbah-Natanson y Gingras, 2014). De acuerdo con ambos autores, estas dos regiones concentran tres cuartas partes de las revistas y de la producción mundial en CS. En este mismo estudio, se muestra que el inglés constituye el principal idioma de publicación para más del 80% de las revistas científicas, mientras que el chino ocupa el segundo lugar como el idioma no europeo de publicación de revistas. Asimismo, se explica el aumento del nivel de dependencia (medido por la proporción de citas mundiales) de las regiones periféricas en comparación con las regiones centrales. Es decir, el nivel de dependencia de América Latina (incluyendo México y América Central) con respecto a América del Norte (Canadá y Estados Unidos) se elevó de 51,6% a 56,2% entre 1990 y 2000, mientras que África aumentó su dependencia de 45,4% a 53,4% respecto a Europa durante el mismo periodo. Los autores argumentan que esta dependencia se explica en parte por la visibilidad que los investigadores de países periféricos pueden obtener mediante el acceso a colaboradores y a revistas de países centrales (Mosbah-Natanson y Gingras, 2014). Más allá de los efectos de la internacionalización sobre la manera en que las CS se practican desde la década de 1990, los objetos de estudio de estas disciplinas siguen siendo prioridades estudiadas con mayor contextualización por los investigadores locales.

Otros estudios bibliométricos confirman el aumento de publicaciones de países emergentes en CS. América Latina y el Caribe, así como China e India, muestran un aumento considerable en el número de publicaciones, el desarrollo disciplinar y el nivel de colaboración entre los años 1995 y 2007 (Russell Barnard y Ainsworth, 2010). En este estudio, las autoras señalan a China y Brasil como los países que experimentaron el mayor aumento de publicaciones como resultado de la disminución de investigaciones escritas en colaboración, lo que podría entenderse como un mayor nivel de independencia en sus prácticas de investigación (Russell Barnard y Ainsworth, 2010).

Con respecto a la colaboración internacional, se espera que aquella concretada con Estados Unidos resulte en un mayor impacto científico para sus colaboradores. Sin embargo, esta regla se aplica únicamente a los países anglosajones y europeos, pero no así a los países en desarrollo que colaboran (Gingras y Khelfaoui, 2018). Algunas tendencias de colaboración internacional entre países en desarrollo pueden explicarse clasificando a los investigadores en dos grupos: los que publican en revistas internacionales y los que publican en revistas nacionales o locales. Sin embargo, una combinación de ambos es posible cuando los investigadores eligen el medio de difusión con base en el tipo de audiencia y de la investigación (básica o aplicada) (J. M. Russell y Galina, 1998; Jane M. Russell, Madera-Jaramillo, Hernández-García, y Ainsworth, 2008).

En las CS las prácticas de investigación y evaluación por pares, así como los métodos de difusión del conocimiento, son muy heterogéneos, en comparación con los de las ciencias naturales, la ingeniería y la biotecnología (Archambault, Vignola-Gagné, Côté, Larivière, y Gingras, 2006; Hicks, 2004). Esto explica en parte, la desconfianza de los investigadores en cualquier forma de evaluación cuantitativa enfocada a la publicación de artículos en revistas. Se argumenta un efecto reduccionista de la investigación al ejercicio de la publicación, descuidando la calidad científica y el respeto a la diversidad de prácticas disciplinarias (Archambault y Larivière, 2010). Algunas dificultades de evaluación de las CS se refieren a la carencia de evaluaciones contextualizadas y de comités de evaluación multidisciplinarios que consideren las diferentes prácticas y metodologías de las diferentes disciplinas (Archambault y Vignola-Gagné, 2004; Olivier, 2011).

En las CS se distinguen cuatro tipos de literatura: los artículos en revistas científicas, libros, literatura nacional y publicaciones no científicas (Hicks, 2004). Cada disciplina reconoce una importancia diferente a cada uno de estos medios de difusión, por ejemplo, la economía y la psicología son más similares a las ciencias naturales y la ingeniería, mientras que la sociología le da más importancia a la publicación de libros. Más allá de las peculiaridades disciplinarias, la publicación de artículos en revistas internacionales es hoy en día una parte importante del trabajo científico (Hicks, 2004).

En términos de publicación, otros argumentos en contra del uso de la bibliometría en las CS se refieren a la pérdida de significado asociada a la traducción de un idioma a otro, lo que limita las opciones de revistas en las que los investigadores publican (Kosmopoulos y Pumain, 2008). En razón de la naturaleza regional o nacional de los problemas abordados en la investigación en CS, los conceptos no pueden traducirse fácilmente al inglés u otros idiomas sin perder algo de su significado o de su contenido cultural (Archambault y Larivière, 2010; Archambault et al., 2006; Hicks, 1999; Larivière et al., 2006).

Las críticas a las bases de datos utilizadas para el desarrollo de análisis bibliométricos ponen de relieve sus deficiencias en la representación de la investigación llevada a cabo en CS. Como se mencionó anteriormente, una de las limitaciones más frecuentemente mencionadas se refiere al sesgo del lenguaje y la cobertura reducida de las revistas publicadas en idiomas distintos al inglés, afectando la fiabilidad de los análisis bibliométricos (Archambault y Vignola-Gagné, 2004). Los artículos y revistas en idiomas distintos al inglés están subrepresentados en comparación con los escritos en inglés e indizados en el WoS. Los artículos escritos en inglés están sobrerrepresentados en un 20%, mientras que los que están en español se encuentran subrepresentados en un 69% (Archambault y Vignola-Gagné, 2004). Del mismo modo, se ha identificado un sesgo lingüístico a favor del inglés en cuanto al país de origen del editor de la revista: Reino Unido y Estados Unidos se encuentran sobrerrepresentados en un 55% y un 35%, respectivamente. Cuando se compara la cobertura de WoS y Scopus respecto al país y al idioma de publicación de las revistas indexadas, se confirma la sobrerrepresentación de Estados Unidos, Reino Unidos, Países Bajos, Francia, Alemania y Suiza, mientras que el inglés permanece sobrerrepresentado en la mayoría de las disciplinas de ambas bases de datos (Mongeon y Paul-Hus, 2016). Esto significa que el uso de WoS o Scopus para fines de evaluación de las CS conduce al mismo sesgo lingüístico a favor del inglés y de disciplina a favor de las ciencias naturales y la ingeniería como resultado de la cobertura de las revistas.

Para un uso adecuado de los métodos bibliométricos, la compilación de citas juega un papel importante tanto en la construcción de los indicadores de visibilidad como en el análisis de la evolución de un campo disciplinario según su distribución (Gingras,2014). La recopilación de citas puede ayudar a los especialistas en bibliometría a medir la calidad de las publicaciones en función del número de citas obtenidas de un investigador, unidad, institución o país. Asimismo, las citas facilitan el estudio de la asignación y la distribución de posibles citas en un universo dado, identificando artículos clave dentro de un campo de estudios y distinguiendo las principales instituciones de un campo o especialidad científicos. Sin embargo, la calidad y confiabilidad de estos análisis reposa sobre la robustez de los datos compilados por lo que se sugieren diferentes ventanas de citas para el análisis del impacto científico (de 2 a 10 años según la disciplina o especialidad), lo cual permitiría exponer con mayor precisión las tendencias disciplinarias y proporcionar una lectura más convincente del impacto científico de las investigaciones y de su distribución (Archambault y Vignola-Gagné, 2004; Gingras, 2014).

Más allá de las particularidades de las CS, los métodos bibliométricos se caracterizan por ciertas limitaciones que es importante tener en cuenta al utilizarlos. Sin embargo, son de gran utilidad en la realización de análisis de las transformaciones de las prácticas de investigación en los campos disciplinarios, el seguimiento de la internacionalización de la investigación, la construcción de redes científicas o la definición de la política científica (Gingras, 2014; Sugimoto y Larivière, 2018).

Conclusiones

Este trabajo discute brevemente los elementos de la evaluación, específicamente del sistema de gobierno de la ciencia, la competencia por el monopolio de la autoridad científica y el capital de la comunidad científica. La importancia de los métodos de evaluación de la producción científica se entiende bien en el marco de las nociones de comunidad científica y campo científico desarrolladas respectivamente por Robert K. Merton y Pierre Bourdieu en sociología de la ciencia. El lugar que ocupan actualmente los métodos cuantitativos se expone como una herramienta que los miembros de comités de evaluación o de expertos utilizan cada vez más para apoyar la toma de decisiones relativas a la asignación de recursos o a la promoción de los miembros académicos.

A pesar de las debilidades del sistema de evaluación, la comunidad científica está de acuerdo en considerarlo como la mejor manera de garantizar la autenticidad científica del trabajo, especialmente dado que este sistema ha funcionado por largo tiempo con un buen nivel de cohesión entre los árbitros.

Finalmente, para mitigar el sesgo en los métodos bibliométricos, se señala la necesidad de conocer la forma en cómo se crearon los indicadores y los objetivos que motivaron su origen. De esta forma, se puede evitar un uso indebido de estos indicadores que pudiera afectar a las instituciones, las unidades académicas o los individuos evaluados.

Referencias

Archambault, É., y Larivière, V. (2010). World Social Science Report 2009/2010. In U. P. e. I. S. S. Council (Ed.), (pp. 251-254). Paris. [ Links ]

Archambault, É., y Vignola-Gagné, É. (2004). L’utilisation de la bibliométrie dans les sciences sociales et les humanités. Montréal, Québec: Science-Metrix. [ Links ]

Archambault, É., Vignola-Gagné, É., Côté, G., Larivière, V., y Gingras, Y. (2006). Benchmarking scientific output in the social sciences and humanities: The limits of existing databases. Sceintometrics, 68(3), 329-342. [ Links ]

Bensusán, G. (Ed.) (2013). Estudio sociológico sobre las perspectivas de jubilación de los miembros del SNI. México, D.F.: Foro Consultivo Científico y Tecnológico, AC. [ Links ]

Biagioli, M. (2002). From Book Censorship to Academic Peer Review. Emergences: Journal for the Study of Media y Composite Cultures, 12(1), 11-45. doi:10.1080/1045722022000003435 [ Links ]

Bourdieu, P. (1975). La spécificité du champ scientifique et les conditions sociales du progrès de la raison. Sociologie et sociétés, 7(1), 91-118. doi:10.7202/001089ar [ Links ]

Bourdieu, P. (1976). Le champ scientifique. Actes de la Recherche en Sciences Sociales, 88-104. [ Links ]

David, C., Dufour, P., y Halliwell, J. (1993). La collaboration scientifique et technologique en Amérique du Nord : un point de vue Canadien. Études internationales, 24(2), 269-296. [ Links ]

Dubois, M. (1999). Introduction à la sociologie des sciences. Paris: Presses Universitaires de France. [ Links ]

Düppe, T. (2018). Les origines historiques de l’expertise. In F. Claveau y J. Prud’homme (Eds.), Experts, sciences et sociétés (pp. 23-37). Montréal: Les Presses de l’Université de Montréal. [ Links ]

Fournier, M. (2015a). Évaluation par les pairs. In J. Prud’homme, P. Doray, y F. Bouchard (Eds.), Sciences, technologies et sociétés de A à Z (pp. 97-99). Montréal: Les Presses de l’Université de Montréal . [ Links ]

Fournier, M. (2015b). Sociologie des sciences. In J. Prud’homme, P. Doray, y F. Bouchard (Eds.), Sciences, technogogies et sociétés de A à Z (pp. 212-216). Montréal: Les Presses de l’Université de Montréal . [ Links ]

Franzoni, C., Scellato, G., y Stephan, P. (2011). Changing Incentives to Publish. Science Policy, 333(6043), 702-703. [ Links ]

Gaudin, J.-P. (2008). Modalités et enjeux de l’évaluation des SHS : le tournant actuel. Revue européenne des sciences sociales, XLVI(141), 63-72. doi:10.4000/ress.150, [ Links ]

Gingras, Y. (2012). Le champ scientifique. In Lectures de Bourdieu (pp. 279-294). Paris: Éllipses. [ Links ]

Gingras, Y. (2013). Sociologie des sciences. Paris: PUF. [ Links ]

Gingras, Y. (2014). Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométire. France: Raisons d’agir. [ Links ]

Gingras, Y. (2015). Champs. In J. Prud’homme, P. Doray, y F. Bouchard (Eds.), Sciences, technologies et sociétés de A à Z (pp. 37-40). Montréal: Les Presses de l’Université de Montréal . [ Links ]

Gingras, Y., y Khelfaoui, M. (2018). Assessing the effect of the United States’ “citation advantage” on other countries’ scientific impact as measured in the Web of Science (WoS) database. Scientometrics, 114(2), 517-532. doi:10.1007/s11192-017-2593-6. [ Links ]

Hicks, D. (1999). The difficulty of achieving full coverage of international social science literature and the bibliometric consequences. Scientometrics, 44(2), 193-215. doi:10.1007/bf02457380. [ Links ]

Hicks, D. (2004). The Four Literatures of Social Sciences. In H. Moed (Ed.), Handbook of Quantitative Science and Technology Research: Kluwer Academic. [ Links ]

Howitt, P. (2000). The Eocnomics of Sicence and the Future of Unviersities. [ Links ]

Kosmopoulos, C., y Pumain, D. (2008). Révolution numérique et évaluation bibliométrique dans les sciences humaines et sociales. Revue européenne des sciences sociales , XLVI(141), 73-86.doi:10.4000/ress.151. [ Links ]

Lamont, M. (2009). How Professors Think: Harvard University Press. [ Links ]

Lamont, M. (2011). Équité Pragmatique: Production du Sacré en Respectant les Règles. In P. Servais (Ed.), L’Évaluation de la Recherche en Sciences Humaines et Sociales (pp. 213-230). Louvain-la-Neuve: Acedemia-Bruylant. [ Links ]

Larivière, V. (2015). Bibliométrie. In J. Prud’homme, P. Doray, y F. Bouchard (Eds.), Sciences, technologies et sociétés de A à Z . Montréal: Les Presses de l’Université de Montréal . [ Links ]

Larivière, V., Archambault, É., Gingras, Y., y Vignola-Gagné, É. (2006). The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities. Journal of the American Society for Information Science and Technology, 57(8), 997-1004. doi:10.1002/asi.20349. [ Links ]

Merton, R. K. (1968). The Matthew Effect in Science. Science, 159(3810), 56-63. [ Links ]

Merton, R. K., y Zuckerman, H. (1973). Institutionalized Patterns of Evolution in Science. In The Sociology of Science (pp. 460-496): Chicago University Press. [ Links ]

Mongeon, P., y Paul-Hus, A. (2016). The journal coverage of Web of Science and Scopus: a comparative analysis. Scientometrics, 106(1), 213-228. doi:10.1007/s11192-015-1765-5. [ Links ]

Mosbah-Natanson, S., y Gingras, Y. (2014). The globalization of social sciences? Evidence from a quantitative analysis of 30 years of production, collaboration and citations in the social sciences (1980-2009). Current Sociology, 62(5), 626-646. doi:10.1177/0011392113498866. [ Links ]

Norman, I., y Griffiths, P. (2008). Duplicate publication and ‘salami slicing’: Ethical issues and practical solutions. International Journal of Nursing Studies, 45(9), 1257-1260. doi: https://doi.org/10.1016/j.ijnurstu.2008.07.003 [ Links ]

Olivier, J.-P. (2011). L’évaluation de la qualité des recherches qualitatives. In P. Servais (Ed.), L’Évaluation de la Recherche en Sciences Humaines et Sociales (pp. 231-241). Louvain-la-Neuve: Academia Bruylant. [ Links ]

Perc, M. (2014). The Matthew effect in empirical data. Journal of the Royal Society Interface, 11(98), 20140378. doi:10.1098/rsif.2014.0378, [ Links ]

Périlleux, T. (2011). Évaluer le travail de recherche? In P. Servais (Ed.), L’évaluation de la recherché en sciences humaines et sociales (pp. 37-54). Louvain-la-Neuve: Academia Bruylant . [ Links ]

Pontille, D. (2004). La signature scientifique. Une sociologie pragmatique de l’attribution. [ Links ]

Pontille, D. (2004). Signature et travail d’attribution. Signature and attribution: The scientific author’s motivations, 127-128(5-6), 253-275. [ Links ]

Quan, W., Chen, B., y Shu, F. (2017). Publish or impoverish: An investigation of the monetary reward system of science in China (1999-2016). Aslib Journal of Information Management, 69(5), 486-502. doi:doi:10.1108/AJIM-01-2017-0014 [ Links ]

Russell Barnard, J. M., y Ainsworth, S. (2010). Social science research in the Latin American and the Caribbean regions in comparison with China and India. In World Social Science Report 2010 (pp. 156-159). Paris: UNESCO / International Social Science Council. [ Links ]

Russell, J. M., y Galina, C. S. (1998). Basic and applied research in developing countries: The search for an evaluation strategy. Knowledge and Policy, 10(4), 102-113. doi:10.1007/BF02912502, [ Links ]

Russell, J. M., Madera-Jaramillo, M. J., Hernández-García, Y., y Ainsworth, S. (2008). Mexican collaboration networks in the international and regional arenas. Paper presented at the Fourth International Conference on Webometrics, Informetrics and Scientometrics y Ninth COLLNET Meeting, Humboldt-Universität zu Berlin, Institute for Library and Information Science (IBI). [ Links ]

Shao, J.-F., y Shen, H.-y. (2012). Research assessment and monetary rewards: the overemphasized impact factor in China. Research Evaluation, 21(3), 199-203. doi:10.1093/reseval/rvs011. [ Links ]

Stephan, P. E. (2008). Science and the University: Challenges for Future Research. CESifo Economic Studies, 54(2), 313-324. doi:10.1093/cesifo/ifn014. [ Links ]

Sugimoto, C. R., y Larivière, V. (2018). Meassuring Research. What Everyone Needs to Know. New York: Oxford University Press. [ Links ]

Vinck, D. (1995). Sociologie des sciences. Paris: Armand Colin. [ Links ]

Wieviorka, M. (2011). Evaluation, research and demonstration in the social sciences. Social Science Information Sur Les Sciences Sociales, 50(3-4), 308-316. doi:10.1177/0539018411411016. [ Links ]

Xu, J., y Wahls, M. (2012). The scholarly publishing industry in China: overview and opportunities. Learned Publishing, 25(1), 63-74. doi:doi:10.1087/20120109. [ Links ]

Zhou, P., Thijs, B., y Glänzel, W. (2009). Regional analysis on Chinese scientific output. Scientometrics, 81(3), 839. doi:10.1007/s11192-008-2255-9. [ Links ]

Recibido: 19 de Noviembre de 2018; Aprobado: 15 de Junio de 2020

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons