Medir la producción científica de los investigadores universitarios: la bibliometría y sus límites

Daniel Cortés Vargas*

* Candidato a Doctor en Sociología por la Universidad de Montreal. Correo e: d.cortes.vargas@umontreal.ca

Ingreso:08/02/06. ]]> Aprobación:26/04/07.

Resumen

La medición del trabajo científico se inscribe en un proceso de cuatro componentes básicos: la entrada de recursos, su transformación, su salida y el impacto de sus productos. La estadística oficial se ocupa de la medición de las entradas al proceso de producción científica y tecnológica, mientras que la bibliometría se ocupa de la medición de los productos y está relacionada directamente con la productividad de los investigadores universitarios. Bajo la nueva dinámica de internacionalización del trabajo científico ambos métodos se encuentran en debate, al tiempo que la bibliometría atraviesa además por la discusión de sus orígenes, metodologías y límites técnicos. El objetivo de este artículo es presentar los elementos más significativos que dan cuenta de este entorno y de las características que definen hoy día a la bibliometría, tanto a nivel mundial como en el caso particular de México.

Palabras clave: Bibliometría, internacionalización, universidad.

Abstract

The measurement of the scientific work is inscribed into a process of four basic components: the entrance of resources, its transformation, its exit and the impact of its outcomes. Official statistics takes care of measurement of the entrances to the process of scientific and technological production, whereas bibliometrics is in charge of measuring the scientific outcomes and thus is directly related to the productivity of the university researchers. In the new dynamic of internationalization of the scientific work both methods are in debate; in addition bibliometrics goes through the discussion of t its origins, methods and technical limits. The objective of this article is to present the most signiicant elements about this debate and the traits that, nowadays, define bibliometrics in a worldwide level and in the Mexican case.

Key words: Bibliometrics, internationalization, university.

En la actualidad, la medición del trabajo científico se inscribe en un proceso dinámico que tiene cuatro componentes básicos: la entrada de recursos, su transformación, su salida y el impacto de sus productos. Existen métodos específicos para medir cada parte de ese proceso. Particularmente, de la medición de las entradas se encarga la estadística oficial, mientras que de la medición de los productos, componente que está relacionado directamente con la productividad o cantidad de documentos que elaboran los investigadores universitarios, se encarga la bibliometría. Bajo la nueva dinámica de internacionalización del trabajo científico ambos métodos se encuentran en debate, al tiempo que la bibliometría atraviesa además por la discusión de sus orígenes, metodologías y límites técnicos. En un sentido general, la bibliometría es reconocida como aquel conjunto de conocimientos metodológicos aplicados a la medida, a través de indicadores, del número de documentos publicados y de las citas que estos mismos documentos reciben, de acuerdo con su origen geográfico (país, región) y su conjunto de autores (centro de investigación, grupos de trabajo o individuos), lo que contribuye finalmente a la evaluación de los productos de la ciencia.

El objetivo de este artículo es examinar el entorno general y las características que presentan actualmente los debates del campo bibliométrico, específicamente a nivel mundial y en el caso particular de México. En correspondencia con este interés, en el primer apartado se hace referencia a la universidad como espacio privilegiado de producción científica bajo el contexto actual de internacionalización del conocimiento y se explica el importante papel que juega la Organización para la Cooperación y el Desarrollo Económico (OCDE) en la definición de metodologías e indicadores para la medición de las entradas al proceso de producción científica y tecnológica mundial versus la bibliometría. En el segundo apartado se profundiza en aquellos elementos históricos, conceptuales y metodológicos que caracterizan a la bibliometría y cuya discusión dista de estar acabada. En el tercer apartado se expone el debate existente en torno a los límites que presenta la bibliometría, por lo que se refiere a sus aspectos epistemológicos, teóricos y disciplinarios, y se hace referencia a las alternativas que se han propuesto para superar los cuestionamientos que presenta el empleo de sus indicadores. Finalmente, en el último apartado se presenta un balance acerca del empleo de la bibliometría en el caso particular de México.

La bibliometría en contexto: las universidades, su producción científica y la OCDE

Hoy día no se hace ciencia en las universidades como hace algunos decenios (Symes & McIntyre, 2002). La internacionalización se está constituyendo en la estrategia principal a través de la cual las universidades hacen frente al desafío de redefinir sus tareas de investigación insertas dentro de un contexto cambiante que da a sus actividades una nueva dinámica: la globalización (Gibbons, 2003). Es un hecho que el fenómeno de la globalización ha provocado muchos cambios en el trabajo de las universidades (Altbach & Teichler, 2001), particularmente en los sectores de investigación y de producción tecnológica dirigida a la industria (Owen-Smith, 2005; Turk-Bicakci & Brint, 2005). De tal suerte, la dimensión internacional tiene ahora un rol más significativo al interior de las comunidades científicas universitarias, lo que se observa cuando entre sus tareas académicas tienen que identificar sus objetos de estudio de manera interdisciplinaria, reorganizar sus formas de trabajo, emplear nuevas tecnologías, ser más fluidas en su comunicación, estar atentas a los nuevos criterios para la evaluación de la ciencia o variar el origen de sus recursos de financiamiento (Slaughter & Leslie, 1997). Es decir, es dentro de la investigación universitaria donde las transformaciones más grandes se han presentado y están siendo encaminadas en dirección a la internacionalización irreversible de sus actividades.

En este contexto coexisten viejas y nuevas formas de producir ciencia, un Modo 1 más antiguo, y uno nuevo, el Modo 2 (Gibbons et al., 1994). Ambas formas, si bien se complementan e interactúan una con otra, presentan características que las hacen diferentes. El Modo 1 tiene los siguientes atributos: está en relación con la comunidad académica, es disciplinario, es homogéneo en su concepción de ciencia, es jerárquico, emplea un control de calidad particular y es socialmente menos responsable. Mientras que el Modo 2 se desarrolla en su contexto de aplicación, es transdisciplinar, es heterogéneo, es igualitario y transitorio, tiene un diferente control de calidad y es socialmente más responsable y reflexivo. Básicamente, mientras el Modo 1 es característico de la investigación disciplinar —fuertemente institucionalizada por mucho tiempo en las universidades—, el Modo 2, más transdiciplinar, se institucionaliza en un sistema heterogéneo y flexible que ahora incluye a los laboratorios de la industria y el gobierno, así como a instituciones de investigación y consultoras. Esto significa que la nueva producción del conocimiento científico y tecnológico ya no pasa únicamente por las universidades, lo que, no obstante, no reduce la importancia del trabajo de los investigadores universitarios (Godin & Gingras, 2000). Efectivamente, el papel de los centros de investigación de las universidades sigue siendo relevante en un momento en el que están cambiando las condiciones de aplicación del trabajo científico, por ejemplo, cuando el trabajo multidisciplinario significa "nuevos" acuerdos de colaboración (Beaver, 2001), encontrar "más y nuevos" insumos o bien una mayor presencia de la comercialización de saberes (Owen-Smith, 2005; Slaughter & Leslie, 1997).

Actualmente la investigación universitaria, sobre todo la aplicada, depende cada vez más de la interrelación que existe entre las universidades y el mercado, en tanto que sus formas de organización y sus objetivos dependen de la manera por medio de la cual las universidades se adaptan y responden a las necesidades de la nueva producción del conocimiento, así como a las orientaciones de las políticas científicas indicativas internacionales, por ejemplo de organismos como el Banco Mundial, la Organización para la Cooperación y el Desarrollo Económicos (OCDE) o la Comisión Europea (Laval & Weber, 2002).

Particularmente en aquellas universidades que reciben financiamiento federal y tienen como tarea central la investigación, y en menor medida la docencia, denominadas universidades de investigación (NCES, 2001), la dinámica de la nueva producción del conocimiento se ha inscrito con fuerza y los objetivos científicos nacionales que las circunscriben han cobrado un fuerte perfil internacional, tal como acontece en Estados Unidos (Noll, 1998), Canadá (AUCC, 2005) y Francia (Cour des comptes, 2005). En un proceso que abarca ya más de una década, está plenamente reconocido que ahora más autores e instituciones, distribuidos en diferentes plazas geográficas, participan en colaboración para generar un solo artículo de investigación (Gibbons et al., 1994: 34).

Este crecimiento heterogéneo (menos disciplinario, más globalizado y diferenciado) de la producción científica, llevada a cabo en colaboración e individualmente, es susceptible de ser medido a partir de la cantidad y el impacto que tienen los documentos publicados en revistas internacionales arbitradas, lo que es el objeto de estudio de la bibliometría. Actualmente, este tipo de medición la realizan centros de estudio de organismos internacionales, gubernamentales y universitarios, y de la combinación de su trabajo es que la información sobre la producción de conocimiento a nivel mundial, regional y local se complementa.

Esta perspectiva de las entradas, que en la práctica se ha consolidado internacionalmente sobre todo en los países industrializados, descansa en el reconocimiento a la función política del trabajo estadístico que promueve principalmente la OCDE, organismo que ha tenido un papel fundamental para que se reconozca la centralidad de la labor científica y tecnológica en el desarrollo de los países, y en su identificación actual con el concepto de innovación (Godin, 2005a; 2005b). De hecho, la OCDE ha venido publicando toda una serie de informes sobre el desarrollo de las actividades científicas en diferentes países, además de cinco manuales de método: el manual de Oslo (1997), el manual de Gamberra (1995), el manual de patentes (1994), el manual BPT (Balance de Pagos Tecnológicos) (1990), y el manual de Frascati (1963) (Godin & Ratel, 1999: 12).

En particular, el Manual de Frascati (OCDE, 2002), uno de los documentos más importantes que existen para llevar a cabo la medición de las entradas de la ciencia y tecnología, sugiere a los países miembros de la OCDE cómo recolectar datos sobre ciencia y tecnología y provee clasificaciones e indicadores de estas actividades. Es importante destacar que el Manual enfatiza los aspectos positivos de la tarea de medir las entradas y no las salidas de la producción científica, lo que indica su apoyo a la elaboración de estadísticas y encuestas oficiales (Godin & Ratel, 1999: 3-6). La OCDE busca se empleen categorías que faciliten la colaboración y el consenso entre los países, y que se reconozca a la ciencia como un bien público.

Un texto reciente de la OCDE, University researche management. Meeting the institutional challenge (Connell, 2004), concede una importancia creciente a la investigación como tarea de las universidades y reconoce que frente a los nuevos desafíos que les impone el ambiente externo, la misión y roles de su investigación deben variar (según el tipo de universidad), favoreciéndose la investigación de punta. Así, la OCDE propone reforzar las estructuras y procesos dedicados a la gestión de la investigación en los establecimientos universitarios, otorgar recursos de acuerdo con prioridades, mejorar la relación de las universidades con la industria y, además, desarrollar la carrera de investigador bajo condiciones institucionales adecuadas.

Debe quedar claro que la propuesta de medición de la ciencia y la tecnología de la OCDE no se opone a la bibliometría; al contrario, para este organismo ambos métodos pueden resultar complementarios. Esto se constata en el reconocimiento que da la OCDE a la presencia de seis productores de medidas de ciencia y tecnología: 1) los organismos supranacionales -como la OCDE, con los que ahora colabora también la UNESCO (2004)—, 2) los organismos centrales de estadísticas nacionales, 3) los ministerios, 4) las agencias específicas del campo de la ciencia y la tecnología (por ejemplo, el Observatoire des sciences et des techniques de Francia [OST], la National Science Foundation (NSF) de Estados Unidos o la Guía estadística de Europa [EUROSTAT]), 5) los investigadores universitarios (como la Science Policy Research Unit [SPRU] de la Universidad de Sussex en Gran Bretaña o el Observatoire des sciences et des technologies de Québec [OST]), y 6) las firmas privadas (el Thomson ISI [antes sólo ISI-Institute for Scientific Information¹] como el más importante). De acuerdo con Godin y Ratel (1999: 16-18), los tres primeros productores de medidas trabajan sobre todo las entradas, el cuarto lo haría con ambas, mientras que los dos últimos se dedican a la medición de las salidas, esto es, a la bibliometría.

Historia, concepto y metodología en torno a la bibliometría

La discusión sobre el origen, definición y metodologías de la bibliometría ha estado presente desde su conformación como campo de análisis. Hay un gran número de desencuentros para definirla y establecer sus diferencias frente a áreas similares de estudio, situación que la mayoría de autores reconoce. No obstante, hay consenso en dos aspectos: en el uso que hace de métodos y modelos matemáticos, y en el objetivo que tiene de analizar conjuntos documentales, sus productores y sus consumidores (Jiménez Contreras, 2000: 760).

Los orígenes

Un espacio que constituye por sí mismo una muestra sobre los debates históricos de la bibliometría, pero también sobre la gran diversidad de temáticas que envuelve, como la metodológica o la disciplinaria, se encuentra en Scientometrics, primera revista especializada en tópicos bibliométricos, aparecida en 1979. Aunque existen también otras publicaciones que dan amplio espacio a sus temas: Journalof the American Society for Information Science JASIS), Science and Public Policy, International Journal of Scientometrics and informetrics (LJSI), Journal of Information Science and Research Policy, y Social Studies of Science, entre las más importantes en lengua inglesa.

Cabe señalar que algunos autores iberoamericanos refieren en ocasiones otros orígenes para la bibliometría y argumentan a favor de las definiciones propuestas por otros especialistas en el tema. Por ejemplo, Nuria Pérez Matos (2002) señala el origen de la bibliometría en 1948, cuando Ranganathan (autor hindú) menciona por primera vez la ciencia métrica en Lbrametry, no obstante también reconoce a Pritchard como el primero en definir la bibliometría. La misma autora señala que la idea de mencionar a Pritchard como el primero en proclamar el término es cuestionada por el brasileño Edson Nery Fonseca, autor que reivindica a otra serie de autores como autoridades que de una forma u otra habían empleado ya el término 'bibliometría'. Pérez Matos se refiere además a las definiciones dadas al término de bibliometría por autores locales, como Domingo Buonocuore, Daniel Ramón Ríos, Pedro López López, Melvin Morales, Bonitz, Morales-Morejón, Cruz-Paz, Setién y Gorbea. Lo que constituye una muestra del interés que existe por construir una tradición de estudios bibliométricos particularmente para América Latina, así como por consolidar el empleo de los métodos de medición bibliométrica (Jiménez Contreras, 2000).

El concepto y las leyes matemáticas

Hood y Wilson (2001: 292) señalan que la discusión sobre la acuñación del término "bibliometría" se ha caracterizado por enfrentar dos perspectivas, la anglosajona y la francesa. Desde la perspectiva anglosajona se conviene que Pritchard acuñó el término en 1969 en el texto Statistical bibliography or bibliometrics? Aunque el mismo Wilson (1995: 133) reconocía años antes que se debía atender al precedente francés del término, "bibliometrie", empleado por Paul Otlet en 1934 en su Traitée de Documentation.

Pritchard define a la bibliometría como la "... aplicación de los métodos matemáticos y estadísticos a los libros y otros medios de comunicación"; mientras que Fairthorne, al ampliar la definición el mismo año de 1969, la considera como ". el tratamiento cuantitativo de las características de los registros discursivos y del comportamiento que se relaciona con ellos" (Hood y Wilson, 2001: 293). Para la década que inicia en 1970 el término se encontrará ya registrado en las bibliotecas. Wilson (1995: 133) menciona también a otros autores, como Broadus, quien en 1987 la define como el "estudio cuantitativo" de los documentos publicados, y a White y McCain, quienes en 1989 la identifican como el "estudio cuantitativo" que se confina a las bibliografías.

Okubo (1997: 3), más recientemente, y quien expresa de alguna manera la perspectiva de la OCDE, dirá que: "La bibliometría puede ser definida como la disciplina que mide y analiza la producción de la ciencia bajo su forma de artículos, publicaciones, citaciones, patentes u otros indicadores derivados mas complejos."

En este mismo terreno conceptual, también se presenta el problema por establecer las diferencias entre la bibliometría, la cienciometría y la informetría, aunque la correlación entre ellas se considera como evidente (Hood & Wilson, 2001). El concepto de cienciometría fue acuñado en 1966 por Nalimov en su artículo Quantitative methods of research of scientific evolution (Cherny & Gilyarevsky, 2001) y rebasa considerablemente la perspectiva de la bibliometría, aunque la considera parte de su campo. Disciplinariamente, la cienciometría tiene como objetivos: identificar las leyes y regularidades de la actividad científica en un sentido global, y penetrar en el terreno de la política científica y su gestión (Callon et al., 1993). Mientras que la informetría corresponde al estudio de los aspectos cuantitativos de la información en cualquiera de sus formas (palabras y bases de datos, por ejemplo), abarcando a cualquier grupo social (Macías-Chapula, 2001: 36). De esta manera, los tres términos sólo muestran diferencias de grado y en el objeto específico de aquello que pretenden medir. Cabe destacar que han aparecido también otros conceptos que se suman a esta lista, ligados al crecimiento de Internet, como por ejemplo "Webmetria" (Archambault et al., 2004: 6 y 7; Bjórneborn & Ingwersen, 2001).

Existen también tres leyes que refieren a las regularidades que presenta la medición de la productividad de los científicos: la ley de Lotka (1926), la ley de Bradford (1934), y la ley de Zipf (1949). La ley de Lotka habla de la relación cuantitativa entre los autores y los artículos producidos en un campo dado y en un periodo de tiempo determinado. Esta ley demuestra que existe una distribución desigual en tanto la mayoría de los artículos estén concentrados en una pequeña porción de autores altamente productivos. Sin embargo, pese a numerosas investigaciones sobre el tema, los resultados son conflictivos y no conclusivos y no presentan una clara validación de esta ley (Urbizagástegui Alvarado, 1999). Por su parte, la ley de Bradford dice que en un número pequeño de revistas aparece la mayor cantidad de resultados significativos: la literatura básica de cualquier disciplina se concentra en aproximadamente 1000 revistas (Licea de Arenas et al., 2002; Wilson, 1995). Finalmente, la ley de Zipf aborda la distribución del número de ocurrencias de palabras específicas en textos seleccionados; estudia el número de las palabras en los textos originales, aunque ". la procedencia de los datos, sea de los textos originales o de resúmenes de los mismos es irrelevante en términos bibliométricos, lo sustancial son los objetivos" (Jiménez Contreras, 2000: 760). La presencia y uso de estas tres leyes demuestra cómo la bibliometría se ha depurado y matematizado, al grado de ser definida como "ciencia dura" (Wouters & Leydesdorff, 1994).

Los métodos y las prácticas

Los métodos bibliométricos se fundan en la premisa de que el número de publicaciones muestra la productividad científica de un individuo o un grupo de investigación en un plano local, regional, nacional o internacional. En este sentido, toda aproximación metodológica a la bibliometría descansa en el reconocimiento de una base de datos (principalmente contenidos en el Science Citation Index, Social Sciences Citation Index y en el Arts and Humanities Citation Index de Thomson ISI). A partir de las bases de datos se clasifica a un conjunto de indicadores seleccionados para identificar cómo se presenta su frecuencia y de qué manera se da su distribución para el caso de una disciplina o área científica en particular. En este sentido, el empleo de la bibliometría radica en la capacidad de decidir qué métodos pueden ser apropiados para resolver preguntas específicas de investigación, por ejemplo aquellas que tienen que ver con la colaboración entre universidades, entre regiones o entre países, o bien aquellas que tienen que ver con el impacto del trabajo de ciertas disciplinas.

Numerosos estudios dan cuenta de metodologías bibliométricas aplicadas a disciplinas, áreas de conocimiento y países. Canadá constituye el ejemplo de un país que ha trabajado de manera continúa con los métodos bibliométricos para medir los resultados de su trabajo científico y tecnológico. Los documentos de trabajo publicados por Benoít Godin en el Consorcio canadiense sobre los indicadores de ciencia e innovación (CCISI) dan cuenta de ello. Así como el trabajo desarrollado en el Centro Interuniversitario de Investigación sobre la Ciencia y la Tecnología (CIRST) y en el Observatorio de Ciencias y Tecnologías (OST), ambos de la Universidad de Québec en Montreal (UQAM). Un ejemplo particular sobre la clase de resultados que pueden obtenerse con el empleo de la bibliometría, en este caso para el área de ingeniería mecánica y ecología de Canadá, y que muestra las posibilidades que tiene el análisis de los artículos publicados para auxiliar en las políticas de financiamiento y asignación de recursos, lo constituye el informe publicado en 1996 por Gingras (1996): Bibliometric Analysis of Funded Research. A Feasibility Stud.

Básicamente, hay tres orientaciones del trabajo bibliométrico: la bibliometría para los estudiosos de la bibliometría, la bibliometría para las disciplinas científicas y la bibliometría para las políticas científicas y los negocios (Glánzel & Schoepflin, 1994: 379). Por esa razón, un aspecto central de la discusión metodológica consiste en identificar cuáles son los asuntos, contenidos u objetos de análisis susceptibles de tener un enfoque bibliométrico.

Jiménez Contreras (2000: 761) hace un listado de los asuntos y los enfoques que tradicionalmente constituyen la bibliometría. Con respecto a los asuntos, habla de la selección y evaluación de documentos (apoyo a la gestión bibliotecaria); la descripción, análisis y evaluación de la actividad científica y sus actores (fomento a las políticas científicas); el apoyo a la recuperación de información, la prospectiva científica y la modelización de la actividad documental. Mientras que con respecto a los enfoques, se refiere a la teorización y los modelos, a las aplicaciones, a los estudios sociales y descriptivos, y a los estudios interdisciplinares.

Como se observa, es fácil identificar a la bibliometría como una práctica, ya que hay tantas metodologías para trabajar con ella como temas de estudio. Con esto, lo que se quiere señalar es que la bibliometría, como proceso operacional, está constituida por un "conjunto de métodos" (Archambault et al., 2004: 1) que se enfocan en uno o varios aspectos de la medición, la evaluación y la difusión de la productividad científica.

Los análisis bibliométricos utilizan en sus formulaciones metodológicas los siguientes indicadores —cuya aplicación tiene por lo común un sentido cuantitativo—: los trabajos publicados (artículos de revista, notas de investigación, artículos de síntesis, informes, entre otros), la co-autoría (el grado de colaboración nacional o internacional), la citación, la co-citación, las patentes y las palabras claves asociadas (Okubo, 1997: 22; Macías-Chapula, 2001: 39). Estos indicadores metodológicos pueden a su vez reunirse en tres grupos: 1) la enumeración de publicaciones (cálculo del número de artículos científicos publicados durante un periodo de tiempo determinado), 2) las citas y el factor de impacto (cálculo de las citas recibidas por las revistas), y 3) la co-frecuencia y la asociación (el análisis de co-citación, la co-frecuencia de palabras clave, la asociación bibliográfica) (Archambault et al., 2004: 2).

Los indicadores bibliométricos más usados son las citas que reciben los artículos publicados y el factor de impacto de las citas (Licea de Arenas et al., 2002: 3). Como se ha mencionado, fundamentalmente los indicadores bibliométricos sirven para analizar comparativamente las "salidas" del proceso de investigación, y ". se basan en datos extraídos de las publicaciones científicas asumiendo que el resultado de la investigación es nuevo conocimiento que se da a conocer a través de publicaciones" (Bordons & Zulueta, 1999: 791); además constituyen un mecanismo importante para estimular la innovación tecnológica, como ocurre en el caso de la citación de patentes (Sorenson & Fleming, 2004).

Godin et al. (1998: 22) se interesan por mostrar los criterios que deben seguirse para la selección de indicadores: el teórico o la validez del indicador; el metodológico o la fiabilidad técnica del indicador; el analítico o la comparabilidad del indicador (con otros países y en el tiempo); el práctico o la disponibilidad de los datos, y el político o el interés del indicador. En tanto un indicador sea un índice "construido" y seleccionado, lo más importante de la metodología bibliométrica descansa en la manera como se construye un indicador (Gingras, 1995: 48).

Límites y alternativas trabajo bibliométrico

Entramado epistemológico y teórico

La discusión en torno a los postulados epistemológicos en que se sostiene el trabajo bibliométrico tiene su origen en dos contextos. El primero corresponde a los campos externos a su demarcación, desde donde algunos autores mencionan la liga epistemológica que la bibliometría comparte sobre todo con las ciencias de la información (Hjorloand, 2002, 2004; González Uceda, 1997), sin que se llegue a delimitar de forma evidente los límites de esa relación. El segundo contexto se presenta a partir de la propia perspectiva del campo bibliométrico, desde donde se reconoce que la bibliometría, y la cienciometría por consecuencia, además de caracterizarse por su interdisciplinariedad y relación con la filosofía de la ciencia y la lingüística (Van Raan, 1997), mantienen una relación estrecha con la perspectiva positivista de la práctica de investigación (Callon et al, 1993: 6) y con el paradigma tradicional de la sociología de la ciencia versus el constructivismo social (MacRoberts & MacRoberts, 1996: 439).

Ambos contextos retienen las discusiones que fundamentan el trabajo bibliométrico en relación a la filosofía, la historia y la sociología, especialmente desde la segunda mitad del siglo XX y hasta nuestros días. De esta manera, la bibliometría encuentra implícitamente sus referencias epistemológicas en los debates teóricos sobre el empirismo, el positivismo lógico y el racionalismo; en la discusión de Popper, Khun y Lakatos en torno a los marcos de validez del trabajo científico, sus marcos paradigmáticos y sus programas de investigación; en la mirada funcionalista de Merton y la constitución de la sociología de la ciencia versus la propuesta de un programa fuerte de la sociología del conocimiento, defendida por Bloor. Así como en la relación que este último debate guarda respecto a la mirada del constructivismo social o sociología constructivista de las ciencias, que reúne bajo un mismo giro analítico los factores sociales y los factores cognoscitivos inherentes a la práctica científica, y que está presente en autores como Latour,Woolgar, Knorr-Cetina y Lynch (Dubois, 1999: 46).

Pero más allá de estas discusiones de contexto, lo que está de fondo tiene que ver con la tarea de demostrar que los resultados del trabajo bibliométrico constituyen datos científicos validos: la bibliometría trabaja con datos, que eventualmente construye y ordena. Entonces, ¿cuál es la confianza que puede tenerse sobre la procedencia de los datos bibliométricos y, más importante aún, cuál y qué tan valido es el fundamento en el que puede descansar su interpretación?

El principio epistemológico tradicional o positivista que da respuesta a esta cuestión es el siguiente: la ciencia se objetiva en sus documentos, que son a su vez resultado de un contexto de producción legítimo fundado en métodos cuantitativos rigurosos. Así, por una parte la bibliometría se presenta como expresión numérica de una manera de hacer ciencia y revela la relación que guardan los documentos y el trabajo científico a través de indicadores que proporcionan objetividad y, por otra parte, expresa resultados que constituyen valores científicos aceptados y recreados. Desde esta mirada, el mundo científico puede ser probado, medido, capturado y revelado de acuerdo con investigaciones objetivas (Chubin y Restivo, 1983). Por lo que el objeto mismo de la bibliometría, el artículo científico, puede también ser considerado como una racionalización a posteriori, que no tiene más función que la de establecer una correspondencia entre el discurso de validez de los científicos y los datos de sus investigaciones (Dubois, 1999: 215). Es decir, la bibliometría expresa en su trabajo cognitivo el positivismo de donde proviene, y al mismo tiempo es una herramienta de medición que pretende objetividad.

Sin embargo, aun por sobre la objetividad buscada por los métodos bibliométricos, que constituye una de sus críticas más acendradas, Leydesdorff (2001: 3 y 4) señala que la bibliometría —como parte de la cienciometría— se ubica en un plano epistemológico multidimensional más general y dinámico (distante de esos márgenes de objetividad estrechos), cuyos ejes serían los textos, los conocimientos que estos aportan y los científicos que los producen. Entiende así a la bibliometría como una construcción social. Perspectiva que permite integrar, además de la presentación de información en forma de artículos científicos, el lenguaje que da coherencia a la formulación de metodologías, las convenciones o acuerdos que logran los grupos científicos, la institucionalización de la que es objeto la bibliometría, así como su impacto en la definición de políticas científicas, entre otros aspectos.

Desde este enfoque multidimensional, la bibliometría viene además a convalidar y a expresar los acuerdos básicos que confirman lo que se entiende por productividad científica: a mayor citación, mayor acuerdo; lo que abre un reconocimiento apriorístico de que se está validando la buena ciencia. Con ello se entiende que el uso de estadísticas e instrumentos de medición como la bibliometría quedan sujetas a los marcos públicos e institucionalizados del trabajo científico, cuyo impacto se ve reflejado en las decisiones sobre la aplicación de políticas científicas a nivel nacional, regional y mundial. Es decir, la bibliometría está incorporada a un marco de consensos. Por ejemplo, cuando a escala internacional el Science Citation Index enlista a las publicaciones que determinan qué constituye una expresión de productividad científica y qué no, o cuando la OCDE operacionaliza mundialmente las metodologías e indicadores de medición de las entradas al proceso de producción científica mundial. Situaciones que demuestran para algunos estudiosos que la bibliometría está en consonancia con la nueva imagen de la ciencia (González Uceda, 1997: 215), aunque todavía sin encontrar salida clara a su entramado epistemológico positivista.

Delimitación de una frontera disciplinaria

La discusión sobre las fronteras disciplinarias de la bibliometría en relación a la definición de sus objetos de estudio es reciente y cobra dos sentidos: el primero está dirigido hacía la definición general del campo, frente a la aparición de otras 'metrias', y el segundo está dirigido a la definición de las áreas de la ciencia en las cuales puede resultar más efectivo el uso de métodos bibliométricos, ya sea en las ciencias naturales o las ciencias sociales y las humanidades.

Por lo que hace a los problemas de definición del campo, existe todavía la discusión sobre cuáles son los límites entre la bibliometría, la cienciometría y la informetría. Hood y Wilson (2001) señalan la relación común que existe entre los tres términos, ya que todos refieren al estudio de la dinámica de disciplinas según lo reflejado en la producción de su literatura, y todos se utilizan para describir metodologías similares y traslapadas. Mientras que Glánzel y Schoepflin (1994: 376-378) señalan que la crisis proviene en parte del uso como sinónimo de las tres métricas: Biblio-/Ciencio-/Infor-. No hay visos de que el asunto se resuelva en poco tiempo, así que la alternativa ha sido identificar en qué corriente se ubica cada autor del campo.

Por su parte, la discusión sobre las metodologías que conllevan el reconocimiento de las fronteras disciplinarias se sitúa por áreas de la ciencia. Cabe anotar que la base de datos Thomson ISI (2006) cubre alrededor de 250 disciplinas científicas. Van Raan (1996: 403-404) reconoce que la definición de un campo científico es un problema en sí mismo y señala diversas características de citación para los campos de la ciencia: estos no pueden nunca compararse con base en números absolutos de citaciones; ellos deben conseguir para la misma disciplina valores de referencia mundial significativos, conforme al tipo de análisis se tiene que solucionar el problema de la "delineación del campo", deben reconocer el problema técnico de la cobertura (ya que muchas disciplinas tienen en otros medios un papel importante en la difusión de resultados científicos: libros, informes y versiones electrónicas, entre otros.), y deben tener validez. Finalmente, este autor reconoce que los indicadores bibliométricos pueden aplicarse de manera más efectiva en las ciencias naturales (Van Raan, 1996:403-404).

En efecto, otros autores reconocen que los modos de difusión del conocimiento son distintos en las ciencias sociales y humanidades a los de las ciencias naturales y la ingeniería, razón por la cual la bibliometría se aplica de manera diferente a cada una (Archambault et al., 2004: i-ii). Debe tomarse también en cuenta que las complicaciones de financiamiento del trabajo científico en las universidades, paralelamente a razones de comercialización de los resultados de investigación (Milot, 2005), son igualmente determinantes para identificar por áreas disciplinarias a la producción científica.

El debate sobre la importancia de las ciencias sociales y humanidades apenas empieza a abrir el camino para que se realicen más trabajos en la materia. Es más conocido el impacto directo que pueden tener los artículos sobre el desarrollo tecnológico provenientes de las ciencias naturales y la ingeniería (Lariviére et al., 2004). Sin embargo, actualmente hay una mayor valorización sobre el papel internacional que juegan las ciencias sociales en la comprensión de problemáticas que aquejan e impactan a ciertos países y su consecuente desarrollo, como el problema de la pobreza, o más específicamente en el caso de la ciencia, a la formación de recursos humanos y el desarrollo de investigaciones para paliar ese problema (Kazancigil, 2003). Bajo esta perspectiva, y en el contexto del nuevo universalismo del conocimiento, que es predominantemente técnico, resulta evidente que las ciencias sociales y las humanidades se encuentran también visibles.

La crítica

Los métodos bibliométricos han debido enfrentar críticas provenientes de dos lugares: por una parte, de los organismos internacionales y de las estadísticas nacionales y ministerios, y por la otra, de los investigadores universitarios y de las firmas privadas. De hecho, en la década de 1990, particularmente en Gran Bretaña, la bibliometría no fue bien recibida entre algunos investigadores universitarios dedicados a la sociología de la ciencia. En otros términos, la crítica puede provenir, y por lo general así es, de los propios marcos institucionales y disciplinarios donde se desarrolla el trabajo bibliométrico.

Otra crítica a la bibliometría viene en el sentido de que los indicadores seleccionados deben ser los adecuados para el tipo de problema que se aborda. Es decir, más que la existencia de una crítica a la herramienta es una crítica al método empleado. Es en este sentido que se expresa el Manual de Frascati de la OCDE, que denota la existencia de estos límites en los métodos para medir las salidas, así como en el acto de hacer la selección de indicadores (Godin & Ratel, 1999: 19).

Como respuesta a está última critica, debe señalarse que una constante observada en los trabajos que presentan resultados sobre bibliometría es que todos se refieren escrupulosamente a los sesgos que sus estudios pudieran presentar. Debe quedar claro que la condición normal del trabajo bibliométrico descansa en la definición de una metodología de trabajo que expresa el interés y objetivos del investigador, lo que le permite delimitar la forma y uso que hará de los indicadores seleccionados.

De esta manera, en un marco más general, más allá de pretender que sus resultados determinen a posteriori la definición de una política científica, lo cual es en principio rechazado, el uso de indicadores bibliométricos lo que pretende es dar luz sobre la dinámica de la investigación científica y no servir necesariamente como un "sistema experto" para la toma de decisiones (Gingras, 1995: 45). Lo que ha sido reconocido recientemente por algunos de los participantes en un taller sobre el estudio de la política científica organizado por la OCDE (2006: 4), donde se sostuvo que los indicadores bibliométricos —como el número de publicaciones— presentan límites en su utilidad para la formulación estratégica de políticas de inversión en ciencia. Además, se agregó que los indicadores bibliométricos son formulados de manera muy general, sobre un método científicamente neutro y no son sensibles a las idiosincrasias culturales de los ámbitos de investigación.

Licea de Arenas et al. (2002: 3) identifican algunos otros problemas, como el que cada artículo contribuya de manera diferente al avance de la ciencia y que la citación no refleje la calidad de los documentos. Este último asunto es también centro de atención de Maltrás Barba (2003: 131), quien hace un análisis detallado de los aspectos que involucra el sistema de producción de la ciencia y se enfrasca en la discusión de las razones por las cuales es necesario que la bibliometría trascienda el plano de la medición de la cantidad de resultados para arribar al plano de la dimensión que no mide, la calidad.

El Thomson ISI es el organismo privado que ofrece generalmente una única fuente de datos con la información necesaria para hacer un estudio bibliométrico, lo que representa algunas limitantes: la variación en la cobertura internacional y nacional de revistas y artículos (Bordons y Zulueta, 1999: 799), o el hecho de que sus índices abarquen sobre todo revistas en lengua inglesa (Licea de Arenas et al., 2002:

4). Debe señalarse que esto último, más allá de constituir una limitación sobre el número de publicaciones registradas, también muestra una tendencia de la actividad científica internacional a la homogeneización lingüística al inglés, como ya sucede con la disminución de publicaciones en lengua francesa (Gingras, 2002: 38-40), o como viene ocurriendo en variados terrenos disciplinarios, como la geología (Reguant & Casadellá, 1994).

El Consejo Nacional de Evaluación de la Investigación (CNER) de Francia sugiere los siguientes problemas asociados a los bancos de datos (Archambault et al., 2004: 10): su cobertura limitada; la exclusión de ciertos tipos de documentos; la clasificación de revistas por disciplinas; los cambios de títulos de revistas científicas; los nombres homógrafos; el número de autores (y la distribución del trabajo); las citas abusivas, selectivas, secundarias, negativas, errores de citación, la autocitatión y las estrategias personales.

De acuerdo con MacRoberts y MacRoberts (1996: 442) no se puede asumir que una investigación citada por los científicos represente un indicador valido de su influencia, ya que el análisis de citación empleado por la bibliometría presenta los siguientes problemas: 1) influencias no citadas; 2) citación subjetiva o tendenciosa: decisión de no citar ciertas publicaciones; 3) preferencia por fuentes secundarias; 4) influencias informales no citadas; 5) motivos del citador; 6) variación en la citación clasificada por disciplinas, nacionalidad, periodo de tiempo, y tamaño y tipo de especialidad; 7) auto-citación; 8) tamaño de la audiencia; 9) no citar por tradición; 10) desconocimiento de la literatura; 11) predisposición a citar ciertos datos; y 12) problemas técnicos.

Por último, Lamont y Mallard (2005) señalan que las medidas bibliométricas tienden a favorecer de manera indirecta a hombres (son más citados que las mujeres), a investigadores de universidades de elite y a quienes trabajan sobre paradigmas establecidos. Desde su punto de vista, esto contribuye a consolidar el status quo, ya que la gente con estas características es la que más se cita.

La crisis y sus alternativas

Un ejemplo sobre los aspectos que han sido discutidos en los debates sobre el campo de la bibliometría se encuentra en la "IV Conferencia Mundial en Bibliometría, Informetría y Cienciometría" realizada en Berlín en 1993, de la cual surgieron documentos presentados en un número especial de la revista Scientometrics en 1994. El texto central a discutir fue elaborado por Glánzel y Schoepflin (1994). Estos autores reconocían que si bien el campo de la cienciometría/bibliometría estaba creciendo rápidamente y además aumenta constantemente el interés en los indicadores cienciométricos, el campo realmente estaba en una crisis debido a que los subcampos estaban desplazándose separadamente, a que se carecía de consenso en preguntas básicas, a que había falta de comunicación interna, y debido a que la calidad de la investigación cienciométrica era cuestionada por otras disciplinas. Todo lo cual, desde su perspectiva, tenía como origen: 1) la muerte de personas que integraban el campo (como De Solla Price, Moravcsick, Brookes, Dobrov, Yablonsky); 2) la transición de la investigación básica y metodológica a la bibliometría aplicada; 3) la formulación de leyes, como la de Lotka, que han podido resultar deterministas; 4) las políticas de venta de los productores de datos; 5) el dominio de intereses de política científica y de negocios en el financiamiento a la investigación en diversos países; y 6) el uso erróneo de resultados bibliométricos e indiferencia para los estándares científicos.

Para superar la situación, Glánzel y Schoepflin (1994: 382-384) abogaban por lo siguiente: el acercamiento e integración de la investigación interdisciplinaria; el reforzamiento y actualización de los programas metodológicos y de los programas de investigación experimentales en cienciometría; la capacidad de decidir qué métodos pueden ser apropiados para resolver preguntas específicas de investigación; una investigación fundamental, metódica, experimental y empírica que hiciera uso de la tecnología en bibliometría; el financiamiento independiente de la investigación; mejorar las bases de datos cienciométricos; contar con estándares técnicos y científicos reconocidos en la investigación y la publicación, y con el establecimiento de un código de ética para el campo de la cienciometría.

En un trabajo reciente, Van Raan (2005) hace fuertes críticas al uso incorrecto de los métodos bibliométricos por parte de las personas responsables de proyectos, como jefes de instituciones o departamentos, quienes pueden demostrar una actitud que anima análisis bibliométricos "rápidos y sucios", como ocurre, por ejemplo, con el ranking anual publicado por la Universidad de Shangai (lo que significa que el problema no recae sólo en el lado del productor de los datos). Van Raan afirma que el ranking elaborado para las instituciones de investigación por métodos bibliométricos es una herramienta incorrecta para la evaluación de funcionamiento de la investigación. Esta es la razón por la que propone generar las condiciones necesarias para un uso acertado de indicadores bibliométricos avanzados. Es en este sentido que Archambault et al. (2004: 65) recomiendan recurrir solamente a organismos calificados para llevar a cabo trabajos de cartografía y evaluación con ayuda de la bibliometría.

En esta línea, Weingart (2005) señala que el papel influyente del Thomson ISI en la comercialización de datos aumentó rápidamente el uso de "no-expertos" de los indicadores bibliométricos para rankings. Esto significa que los datos crudos de la citación contienen a menudo errores en su uso (Adam, 2002). Según Weingart, los efectos reales del manejo de rankings bibliométricos son en gran parte desconocidos, ya que los datos empíricos sobre su impacto están disponibles solamente para dos casos: en Australia y para el ejercicio de evaluación de la investigación británica (RAE, por sus siglas en inglés). Los rankings que se llevan a cabo para identificar la excelencia en las instituciones y entre investigadores continúan apareciendo. De hecho, a nivel individual ya hay una "lista de estrellas" altamente citadas en ciencia que puede observarse en ISI HighlyCited.com. Para este autor, con la extensión de rankings el paradigma y la cultura de la administración del negocio se está difundiendo a través del sistema académico, por lo que el uso politizado de los números (citaciones, factores de financiamiento) parece inevitable.

Frente a lo anterior, el mismo Weingart (2005: 130) propone que los indicadores bibliométricos sean aplicados por gente profesional (los datos del Thomson ISI no son limpios, son datos brutos) y en conexión con una revisión de pares. Es sobre este último punto que concentra su propuesta y señala que la revisión de pares puede permitir corregir las evaluaciones individuales de indicadores bibliométricos (en una especie de conjunción de las medidas bibliométricas con la evaluación de pares tradicional), a la que denomina "revisión de pares informada", que vendría particularmente a responder a las necesidades de transparencia pública, y al mismo tiempo permitiría conservar la naturaleza experta de los juicios que tienen que realizarse. Además, dado que los indicadores bibliométricos son empleados cada vez más como una herramienta en la definición de la política científica, Weingart señala la necesidad de aplicar un código profesional de ética para el campo.

Por su parte, Maltrás Barba (2003: 58) señala que la revisión de pares es fundamental para la comunidad científica, ya que difunde reglas y establece un espacio para la discusión pública de documentos con un elevado grado de fiabilidad, además de que da legitimidad a la publicación oficial de documentos y es uno de los puntales que da validez a los indicadores bibliométricos; aunque reconoce que aun en este caso los errores no están excluidos. Tal vez más allá de los límites que presenta la bibliometría, estos aspectos podrían permitirle fortalecer sus marcos de trabajo y mejorar su reputación de ciencia dura.

Apuntes sobre la medición y producción científica en México

El espacio latinoamericano

De acuerdo con su desarrollo histórico y con los esfuerzos de consolidación que ha mantenido, superando la insuficiencia de información regional en las bases de datos internacionales (con la creación de las bases de datos Periódica y Clase, por ejemplo), puede afirmarse que la bibliometría en Latinoamérica no es un asunto nuevo. El volumen 34 (1) de Scientometrics, publicado en 1995, presenta un conjunto de artículos que abordan diversas temáticas referentes al uso del enfoque bibliométrico en la región, y especialmente en México. Aunque no son numerosos, es posible identificar también artículos que analizan, ya desde la década de los ochenta del siglo pasado, el grado de producción científica y los campos de estudio más productivos en América Latina de acuerdo con los registros del Science Citation Index (Krauskopf etal., 1986). Así como artículos que en la década de los noventa estudian la colaboración científica internacional en Latinoamérica (Narvaez-Berthelemot et al., 1992), pasando por artículos más específicos que analizan para periodos de tiempo largos cómo se presenta la producción científica sobre las desigualdades en salud en América Latina y el Caribe entre 1971 y 2000 (Almeida-Filho et al., 2003) o bien la escasa producción latinoamericana en biblioteconomía y documentación contenida en el Social Science Citation Index entre 1966 y 2003 (Herrero-Solana et al., 2006).

Los resultados de estos estudios tienen correspondencia, en primer lugar, con el aumento constante de las publicaciones latinoamericanas incluidas en el Science Citation Index, un 140% entre 1994 y 2003 (Ricyt, 2004: 12); en segundo lugar, confirman cómo a nivel de producción científica iberoamericana Brasil, México y Argentina, además de España y Portugal, han sido los países que han determinado el patrón regional para fuentes de publicación y colaboración (Alfaraz y Calviño, 2004); y en tercer lugar, ilustran la orientación local de las temáticas de investigación y cómo los mecanismos de financiación de la ciencia siguen siendo sobre todo nacionales, como ya lo señalaba Gibbons et al. (1994: 129).

Algunos especialistas mexicanos, que proceden de diversas disciplinas, han sido parte activa en la conformación de la tradición bibliométrica mundial e Iberoamericana, tanto a través de su colaboración en revistas internacionales del área, como a través de su participación en grupos de expertos, como la International Society for Scientometrics and Informetrics (ISSI), cuya 7^a conferencia se desarrolló en México en 1999. Entre estos especialistas se puede mencionar a César Macías-Chapula, quien fue presidente del ISSI entre 1999 y 2001, y ha aplicado el enfoque bibliométrico sobre todo en el área de salud (Macías-Chapula, 1995; 2002), y a Jane M. Russell, investigadora de la UNAM, cuyas aportaciones en el terreno bibliométrico han sido significativas y quien participa activamente en el ISSI.

Actividades bibliométricas en México

Además de encontrarse publicados en revistas especializadas en información bibliométrica y en documentos de trabajo de organismos y asociaciones internacionales como la Red Iberoamericana de Indicadores de Ciencia y Tecnología (Ricyt), los resultados del trabajo bibliométrico de México, a lo largo de la última década, aparecen también en fuentes documentales nacionales, como las gubernamentales y de organismos públicos (Conacyt, Secretaría de Salud), las de la comunidad científica (Academia Mexicana de Ciencias), las de las universidades, así como en los reportes de investigadores especialistas en el área.

Ya sea en revistas internacionales o nacionales, los trabajos producidos por expertos mexicanos en cuestiones bibliométricas abordan múltiples temáticas. Por ejemplo: el incremento de la colaboración y la co-autoría de científicos e instituciones mexicanas (especialmente de la UNAM) en artículos aparecidos en revistas internacionales, así como la mayor integración internacional de la ciencia mexicana en las décadas ochenta y noventa (Delgado y Russell, 1992; Russell, 1995; Narvaez-Berthe-lemot y Russell, 1996). Otros artículos abordan temas disciplinarios y de género, en los que se llega a señalar con sentido crítico que "... publicar los datos fundamentales de la Geología mexicana en revistas extranjeras disminuye su impacto en la comunidad nacional, mientras que su impacto a nivel global no es significativo" (Alaniz-Álvarez et al. 2003), así como a hacer mención sobre los escasos estudios que existen en torno a la relación género-productividad científica (Russell, 2003).

El Conacyt también ha tenido una presencia relevante como generador y divulgador de datos bibliométricos. En su último Informe General del estado de la ciencia y la tecnología 2006 (Conacyt, 2006a: 80), después de una breve descripción de los conceptos que comprende el trabajo bibliométrico, y después de señalar que las citas pueden tomarse como una referencia de "calidad" (lo que muchos especialistas ponen en entredicho), presenta una serie de información y gráficas sobre el grado de participación de la ciencia mexicana en la producción científica mundial, como miembro de la OCDE por ejemplo, tomando como base su impacto y el número de publicaciones que han aparecido en el Science Citation Index. Como es común cuando se presentan datos bibliométricos, frente a cifras que podrían tomarse como muy alentadoras para la ciencia mexicana, el organismo señala algunas limitantes del campo, como el que las disciplinas que más producen no sean las más citadas, el que las citas recibidas no sean las suficientes en relación a la cantidad generada de artículos, o bien que sea bajo el número de revistas mexicanas presentes en el Science Citation Index (Conacyt, 2006a: 84-87). Aspectos que finalmente resultan de singular relevancia para tener un panorama más claro sobre las condiciones actuales en que se desarrolla la ciencia en México.

Los números

Un breve recuento comparativo sobre el lugar que ocupa la productividad científica mexicana a nivel ibero, latino y norteamericano, de acuerdo con el registro del ISI obtenido con la metodología del Conacyt, y que puede servir de ejemplo sobre la manera en que se conjuntan por periodos los datos del Science Citation Index, se expone a continuación.

El número total de artículos publicados por científicos mexicanos en el periodo 1996-2005 se presentó como sigue: 3,282 en 1996, 4,633 en 2000 y 6,787 en 2005, lo que suma un total de 48,833 (Conacyt, 2006b: 60-62). Si se considera particularmente el promedio de artículos publicados en ese mismo periodo, México presenta una participación mundial promedio de 0.65 %, ocupando el segundo lugar a nivel de América Latina (por debajo de Brasil —1.38%— y por sobre Portugal —.40%—, Argentina —.56%—, Chile —0.27%—, Venezuela —0.12%— y Colombia —0.08%—) y el tercer lugar a nivel iberoamericano, sólo por debajo de España (2.96%) y Brasil; mientras que sus socios en el Tratado de Libre Comercio, Estados Unidos y Canadá, presentan una participación para el mismo periodo de 34.20% y 4.58%, respectivamente. También en este periodo, las disciplinas que registran el mayor número total de artículos mexicanos publicados son: Física (9,432), Medicina (6,096), Botánica y Zoología (5,963) y Química (5,886).

El número de citas recibido por artículos de científicos mexicanos y su impacto ha ido creciendo paulatinamente. Para el quinquenio 1992-1996, se tuvieron 25,231 citas y un impacto de 1.95%; en el quinquenio 1996-2000 se citaron 44,957 artículos, cuyo impacto fue de 2.25%; y finalmente, en el quinquenio 2001-2005 se recibieron 80,020 citas, cuyo impacto fue de 2.79%. Como se observa, el número de citas recibidas por artículos mexicanos está muy cerca de duplicase aproximadamente cada cinco años. Este impacto puede considerarse significativo, ya que corresponde para el periodo 2001-2005 a poco menos del de Brasil (2.85 %), menos del de Argentina (3.21%), Portugal (3.80%) y España (4.38%). Estados Unidos y Canadá en ese último quinquenio tuvieron un impacto de 6.62% y 5.40%, respectivamente (Conacyt, 2006b: 66-67).

De manera particular debe considerarse el caso de la Universidad Nacional Autónoma de México, cuyo trabajo científico corresponde a un porcentaje significativo de la investigación realizada en México. En el periodo 1993-2003 produjo 21,437 artículos, cuyo impacto fue de 5.2 (Conacyt, 2005a: 84) y ocupa actualmente el segundo lugar en la región, con cerca de 110,000 citaciones entre enero de 1996 y febrero de 2006, apenas unas 50,000 citaciones por debajo de la Universidad de Sao Paulo, y 70,000 citaciones por arriba de la Universidad de Buenos Aires (Thomson ISI, 2006).

Algunos elementos de discusión acerca de la bibliometría en México

Por ejemplo, el hecho de que la perspectiva del Conacyt se concentre en relacionar el criterio de calidad con el número de citas que pueda recibir una publicación, por una parte habla de una ausencia de interés por dilucidar el sentido de los debates que está librando la bibliometría para dar claridad a esta parte de su trabajo, y por otra parte muestra el uso inconveniente que los responsables de la ciencia mexicana han dado a los datos bibliométricos: las citaciones equivalen a factores de financiamiento. Aunque son varios los elementos en que se sustenta la evaluación a investigadores, uno de los criterios más socorridos por organismos como el Conacyt, y por los comités de evaluación interna de las universidades, se encuentra en el número absoluto de artículos publicados, el prestigio de la revista y el número de citas recibidas (Conacyt, 2006c).

No obstante la notable participación que tiene en la tradición bibliométrica latino e iberoamerciana, no existe en México un organismo calificado que asuma la función de observatorio de la ciencia y tecnología, como en el caso de Québec o Francia, que pueda encargarse de elaborar trabajos de evaluación de datos bibliométricos, y que asuma la responsabilidad de que los indicadores bibliométricos sean aplicados por profesionales y en conexión con una revisión de pares. Tal vez debido a que los expertos mexicanos en el área bibliométrica todavía son pocos.

A pesar de la evidencia de que los mecanismos de internacionalización que acompañan el aumento de la productividad científica (como los acuerdos de colaboración, la participación en congresos mundiales, así como la publicación en co-autoría) están impactando el trabajo de las universidades, superando probablemente el encauzamiento hacía la colaboración endógena determinado por la lengua y la región, cabría preguntarse todavía ¿qué tan internacionales son actualmente los investigadores mexicanos de cara a su productividad científica en colaboración?

Conclusiones

El objetivo de este artículo fue presentar los elementos más significativos que dan cuenta de las características que definen y los aspectos en disputa que involucra hoy día la bibliometría, tanto a nivel mundial como en el caso particular de México. El examen condujo a la identificación de dos marcos de interpretación que aparecen de forma paralela frente al uso y la calificación del trabajo bibliométrico.

Por una parte, es posible identificar a la bibliometría como una actividad productiva, con metodologías creativas y puntuales, que cuenta con un cuerpo conceptual propio para dinamizar la relación entre investigadores universitarios y organismos públicos o privados que demandan información sobre la producción científica; que tiene además revistas especializadas que abordan, debaten y acrecientan sus temáticas, así como centros de investigación dedicados a su estudio; que goza además del reconocimiento a sus resultados para la toma de decisiones sobre la política científica. Este marco busca mostrar a la bibliometría como integrada disciplinariamente, con metodologías refinadas y con influencia en el terreno de los órganos de decisión de la gestión científica.

Mientras que, por otra parte, es posible observar la intención crítica que existe para mostrar la deriva conceptual en que se encuentra la bibliometría frente a otras 'metrías', particularmente la cienciometría y la informetría; así como la búsqueda por señalar el carácter positivista que entraña su marco epistemológico, su carencia de un marco teórico propio, la falta de claridad sobre su origen, la naturaleza fundamentalmente operacional en que descansan sus métodos de trabajo y la falta de delimitación de su frontera disciplinaria. A lo que se suma el listado de limitaciones técnicas que presenta su uso, como el amplio espacio que se da a la lengua inglesa en la base de datos de Thomson ISI, así como la discusión que mantiene frente a la estadística oficial y la medición de las entradas del proceso de producción científica. Este marco interpretativo habla acerca una disciplina en consolidación, que está atravesando por el debate de sus fundamentos, sobre todo teórico-epistemológicos, y cuyo uso inapropiado de sus datos para asignar recursos financieros a investigadores, establecer rankings o calificar la 'calidad' de la investigación todavía es de aplicación corriente. Sobre este último punto, es importante resaltar que el uso ético de los datos bibliométricos es una las recomendaciones más visibles y puntuales que se ha manifestado.

Bajo la nueva dinámica de internacionalización del trabajo científico, la adopción y el empleo de los métodos bibliométricos, así como su institucionalización en centros de estudio especializados, se ha vuelto ineludible en la tarea de definir cuál es el impacto específico de un país y sus instituciones universitarias en la producción, circulación y consumo del conocimiento mundial. Con este escenario de fondo, cuya influencia es notable a escala regional y nacional, la discusión sobre el campo bibliométrico continúa abierta.

Referencias

ADAM, D. (2002). "The counting house", Nature 415.         [ Links ]

ALANIZ-ÁLVAREZ, Susana A., et al. (2003). "La Revista Mexicana de Ciencias Geológicas a través de los índices de impacto del Institute for Scientific Information". Boletín de la Sociedad Geológica Mexicana, Tomo LVI, No. 1.         [ Links ]

ALFARAZ, P. H., y Calviño, A. M. (2004). "Bibliometric study on food science and technology: Scientific production in Iberian-American countries (1991-2000)", Scientometrics, 61 (1).         [ Links ]

ALMEIDA-FILHO, Naomar, et al. (2003). "Research on health inequalities in Latin America and the Caribbean: bibliometric analysis (1971-2000) and descriptive content analysis (1971-1995)", American Journal of Public Health, Washington, Vol. 93, No. 12.         [ Links ]

ALTBACH, P. G., y Teichler, U. (2001). "Internationalization and exchanges in a globalized university," Journal of Studies in International Education, 5(1).         [ Links ]

ARCHAMBAULT, É., y Vignola Gagné, É. (2004). "L'utilisation de la bibliométrie dans les sciences sociales et les humanités", Science-Metrix, Montréal.

ARVANITIS, R., et al. (1996). "Experiences with the national citation reports database for measuring national performance: The case of Mexico", Scientometrics (Historical Archive), 35(2).         [ Links ]

AUCC (2005). En plein essor. Edition 2005 du rapport sur la recherche universitaire et la transmission du savoir. Canada, Association des universités et collèges du Canada.         [ Links ]

BEAVER D.D. (2001). "Reflections on scientific collaboration (and its study): past, present, and future", Scientometrics, 52(3).         [ Links ]

BJÖRNEBORN, L., e Ingwersen, P. (2001). "Perspective of webometrics", Scientometrics, 50 (1).         [ Links ]

BORDONS, M., y Zulueta, M. A. (1999). "Evaluación de la actividad científica a través de indicadores bibliométricos", Revista Española de Cardiología (52).         [ Links ]

CALLON, Michel, et al. (1993). La scientométrie, París, Presses Universitaires de France, Collection Que sais-je?.         [ Links ]

CANO, V (1995). "Characteristics of the publishing infrastructure of peripheral countries: a comparison of periodical publications from Latin America whit periodicals from the US and the UK", Scientometrics, 34(1).         [ Links ]

CHERNY, A. I., y Gilyarevsky, R. S. (2001). "The Impact of VV Nalimov on information science", Scientometrics, 52(2).         [ Links ]

CHUBIN, D. E., y Restivo, S. (1983). "The 'mooting' of science studies: research programmes and science policy", en K. D. Knorr-Cetina y M. Mulkay, (Eds). Science observed. Perspectives on the social study of science. SAGE Publications, Great Britain,         [ Links ].

COLLAZO-REYES, F., et al. (2004). "Publication and citation patterns of the mexican contribution to a 'Big Science' discipline: elementary particle physics", Scientometrics, 60(2).         [ Links ]

CONACYT (2006a). Informe General del estado de la ciencia y la tecnología 2006, México.         [ Links ]

---------- (2006b). Indicadores de actividades científicas y tecnológicas, México, Edición de bolsillo.         [ Links ]

---------- (2006c). SNI-Criterios Internos de Evaluación, México.         [ Links ]

CONNELL, H. (2004). University researche management. Meeting the institutional challenge, Paris, OCDE.         [ Links ]

COUR DES COMPTES (2005). La gestion de la recherche dans les universités : rapport au Président de la République suivi des réponses des administrations et des organismes intéressés République française; Paris, Rapport officiel - Institut national de recherche pédagogique.         [ Links ]

CRONIN, B., y Shaw, D. (2002). "Identity-creators and image-makers: using citation analysis and thick description to put authors in their place", Scientometrics, 54(1).         [ Links ]

DELGADO, H. y Jane M. Russell (1992). "Impact of studies published in the international literature by scientists at the National University of Mexico", Scientometrics, 23(1).         [ Links ]

DUBOIS, Michel (1999). Introduction à la sociologie des sciences et des connaissances scientifiques, Paris, Presses Universitaires de France.         [ Links ]

GAILLARD, J. (1992). "Use of publication lists to study scientific production and strategies of scientists in developing countries", Scientometrics 23(1).         [ Links ]

GIBBONS, M. (2003). "L'avenir de l'enseignement supérieur dans un monde globalisé", en Globalisation et universités. Nouvel espace, nouveaux acteurs, G. Breton y M. Lambert, (Eds.), UNESCO / PUL / Economica, Paris.         [ Links ]

----------, et al.. (1994). The new production of knowledge. The dinamics of science and research in contemporary societies, London, SAGE Publications.         [ Links ]

GINGRAS, Y. (1995). "Performance indicators: keeping the black box open", Proceedings of the Second International Symposium on Research Funding, Ottawa.         [ Links ]

---------- (1996). "Bibliometric analysis of funded research. a feasibility study", Report to the Program Evaluation Committee of NSERC.         [ Links ]

---------- (2002). "Les formes spécifiques de l'internationalité du champ scientifique", Actes de la recherche en sciences sociales (141-142).         [ Links ]

GLANZEL, W, y Schoepflin, U. (1994). "Little scientometrics, big scientometrics... and beyond?" Scientometrics (Historical Archive), 30(2 - 3).         [ Links ]

GODIN, B. (2005a). Measurement and statistics on science and technology. 1920 to the present, Routledge, London and New York.         [ Links ]

---------- (2005b). La science sous observation. Cent ans de mesure sur les scientifiques 19062006, Les Presses de l'Université Laval, Québec.         [ Links ]

---------- y Gingras, Y. (1999). "L'impact de la recherche en partenariat sur la production scientifique." Dossier de recherche, Association des universités et collèges du Canada (AUCC).         [ Links ]

---------- y Gingras, Y (2000). "The place of universities in the system of knowledge production", Research Policy (29).         [ Links ]

---------- , Gingras, Y., y Bourneuf, É. (1998). Les indicateurs de culture scientifique et technique. Étude réalisée pour le ministère de l'Industrie, du Commerce, de la Science et de la Technologie, le ministère de la Culture et des Communications et le Conseil de la science et de la technologie, Sainte-Foy (Québec).         [ Links ]

---------- y Ratel, S. (1999). Jalons pour une histoire de la mesure de la science, CIRST-UQAM, Québec.         [ Links ]

GONZÁLEZ, Eric, et al. (2003). "Investigación mexicana significativa en ciencias de la salud 1999-2004. Un análisis bibliométrico", Anales de Documentación, No. 6.         [ Links ]

GONZÁLEZ Uceda, Luis (1997). "Teoría de la ciencia, documentación y bibliometría", Revista General de la Documentación y la Información, Vol. 7, No. 2.         [ Links ]

HERRERO-SOLANA, V. y Ríos-Gómez, C. (2006). "Producción latinoamericana en biblioteconomía y documentación en el Social Science Citation Index (SSCI) 19662003", Information Research, 11(2) paper 247. [Disponible en http://InformationR.net/ir/11-2/paper247.html - Acceso 20.10.2006]         [ Links ]

HJORLAND, Birger (2004). "Empiricism, rationalism and positivism in library and information science", Journal of Documentation, 61(1).         [ Links ]

---------- (2002). "Epistemology and the socio-cognitive perspective in information science", Journal of the American Society for Information Science and Technology, 53(4).         [ Links ]

HOOD, W W, y Wilson, C. S. (2001). "The Literature of bibliometrics, scientometrics, and informetrics", Scientometrics, 52(2).         [ Links ]

JIMENEZ Contreras, E. (2005). "Bases para un concepto de las "metrías"", CognoSfera [Disponible en: http://www.ugr.es/~rruizb/cognosfera/sala_de_estudio/bibliometria/las_metrias.DOC. - Acceso 19.10.2006]         [ Links ]

---------- (2000). "Los métodos bibliométricos: estado de la cuestión y aplicaciones", Primer Congreso Universitario de Ciencias de la Documentación, España. [Disponible en: http://www.ucm.es/info/multidoc/multidoc/revista/num10/paginas/pdfs/ej-contreras.pdf - Acceso 21.10.2006]         [ Links ]

KAZANCIGIL, A. (2003). "Fortalecer el papel de las ciencias sociales en la sociedad: 'La iniciativa mundial para las ciencias sociales'", Revista internacional de ciencias sociales (177 - Los futuros de las ciencias sociales).         [ Links ]

KRAUSKOPF, M. R. Pessot y R. Vicuña (1986). "Science in Latin America how much and along what lines?", Scientometrics, 10(3-4).         [ Links ]

LAMONT, M., y Mallard, G. (2005). Peer evaluation in the social sciences and the humanities compared: the United States, the United Kingdom, and France, Report Prepared for the Social Sciences and Humanities Research Council, Ottawa, SSHRC.         [ Links ]

LARIVIÈRE, V, Lebel, J., y Lemelin, P. (2004). "Les recherches collaboratives en sciences humaines: analyse bibliométrique des practiques", Observatoire des sciences et des tecnnologies-CIRST, Montreal.         [ Links ]

LAVAL, C. C., y Weber, L. (2002). Le nouvel ordre éducatif mundial, OMC, Banque mondiale, OCDE, Commission européenne, Paris, Nouveaux Regards-Syllepse.         [ Links ]

LEYDESDORFF, L. (2001). The challenge of scientometrics. The development, measurement, and self-organization of scientific communications, Universal Publishers, USA.         [ Links ]

---------- (1998). "Theories of citation?", Scientometrics, 43(1).         [ Links ]

LICEA de Arenas, J., et al. (2006). "Investigación mexicana significativa en ciencias de la salud 1999-2004. Un análisis bibliométrico", Anales de Documentación, No. 9.         [ Links ]

----------, et al (2004). "Evaluacionitis ¿una nueva enfermedad?", Biblioteca Universitaria-Nueva Época, 7(2).         [ Links ]

----------, et al. (2003). "Desempeño de becarios mexicanos en la producción de conocimiento científico ¿de la bibliometría a la política científica?", Information Research, 8(2), paper 147 [Disponible en: http://InformationR.net/ir/8-2/paper147.html -Acceso 19.10.2006]         [ Links ]

----------, et al. (2002a). "Significant Mexican research in the health sciences: A bibliometric analysis". Scientometrics 53(1).         [ Links ]

---------- , y Santillán-Rivero, E. G. (2002b). "Bibliometría ¿para qué?", Biblioteca Universitaria-Nueva Epoca, 5(2).         [ Links ]

MACÍAS-CHAPULA, C. A. (2002). "Bibliometric and webometric analysis of health system reforms in Latin America and the Caribbean", Scientometrics, 53(3).         [ Links ]

---------- (2001). "Papel de la informetría y de la cienciometría y su perspectiva nacional e internacional", ACIMED, Suplemento.

---------- (1995). "Primary health care in Mexico: a "non-isi" bibliometric analysis", Scientometrics (Historical Archive), 34(1).         [ Links ]

MACROBERTS, M. H., y MacRoberts, B. R. (1996). "Problems of citation analysis", Scientometrics, 36(3).         [ Links ]

MALTRAS Barba, Bruno (2003). Los indicadores bibliométricos. Fundamentosy aplicación al análisis de la ciencia, España, Ediciones Trea. Colección Biblioteconomía y Administración cultural.         [ Links ]

MILOT, P. (2005). "La commercialisation des résultats de la recherche universitaire: une revue de la littérature", Notes de recherches 2005-01, Montreal, CIRST.         [ Links ]

NARVAEZ-BERTHELEMOT, N. y Russell, J.M. (1996). "La continuité dans la collaboration scientifique internationale: Le cas de la France et du Mexique, en Coopérations Scientifiques Internationales, Vol. 7, J. Gaillard (Editeur scientifique), ORSTOM/UNESCO (Memoires du Colloque "Les sciences hors d'Occident au xx' siècle"), Paris.         [ Links ]

----------(1992) L. P. Frigoletto y J. F. Miquel. "International scientific collaboration in Latin America", Scientometrics, 24(3).         [ Links ]

NCES - National Center of Educational Statistics. (2006). "Note 9: Classification of Postsecondary Education Institutions." Supplemental Notes, National Center for Education Statistics - Institute of Education Sciences, U.S. Dept. of Education, [Disponible en: http://nces.ed.gov/programs/coe/2006/supnotes/n09.asp - Acceso 20.10.2006]         [ Links ]

NOLL, R. G. (1998). Challenges to Research Universities, Brookings Institution Press, Washington, D.C.         [ Links ]

OCDE (2006). "Synthèse de l'atelier sur l'étude de la politique scientifique: améliorer notre compréhension des investissements scientifiques publics." DSTI/STP/MS(2006)6, OCDE        [ Links ]

---------- Direction de la science, de la technologie et de l'industrie - Comite de la politique scientifique et technologique, Helsinki.

----------(2004). Compendium statistique 2004 de la science et de la technologie, Paris.         [ Links ]

----------(2002). Manuel de Frascati 2002. Méthode type proposée pour les enquêtes sur la recherche et le développement expérimental, Paris.         [ Links ]

OKUBO, Y. (1997). "Indicateurs bibliométriques et analyse des systèmes de recherche: méthodes et exemples", Documents de travail de la DSTI, Paris.         [ Links ]

OWEN-SMITH, J. (2005). "Trends and transitions in the institutional environment for public and private science", Higher Education, 49(1 - 2).         [ Links ]

PEREZ Matos, N. E. (2002). "La bibliografía, bibliometría y las ciencias afines", ACIMED, 10(3).         [ Links ]

REGUANT, S., y Casadellà, J. (1994). "English as lingua franca in geological scientific publications. A bibliometric analysis", Scientometrics (Historical Archive), 29(3).         [ Links ]

RICYT (2004). El Estado de la Ciencia. Principales Indicadores de Ciencia y Tecnología Iberoamericanos I InterAmericanos 2004. [Disponible en: http://www.ricyt.org/interior/interior.asp?Nivel1=6&Nivel2=5&IdDifusion=19 - Acceso 23.10.2006]         [ Links ]

ROUSSEAU, R. (1998). "Citation analysis as a theory of friction of polluted air?", Scientometrics, 43(1).         [ Links ]

RUSSELL, Jane M. (2003). "Los indicadores de producción científica por género. Un caso especial", Tercer Taller de Obtención de Indicadores Bibliométricos, RICYT-CIN-DOC, España.         [ Links ]

----------(1995). "The increasing role of international cooperation in science and technologie research in México", Scientometrics, 34(1).         [ Links ]

SHAPIRO, F. R. (1992). "Origins of bibliometrics, citation indexing, and citation analysis: the neglected legal literature", Journal of the American Society for Information Science, 43(5).         [ Links ]

SLAUGHTER, S., y Leslie, L. L. (1997). Academic capitalism:politics, policies and the entrepreneurial university, Baltimore, Johns Hopkins University Press.         [ Links ]

SORENSON, O., y Fleming, L. (2004). "Science and the diffusion of knowledge", Research Polcy (33).         [ Links ]

SYMES, C., y McIntyre, J. (2002). Working Knowledge, Open University Press.         [ Links ]

THOMSON ISI (2006). "The Thomson scientific journal selection process", "Rankings de universidades Latino Americanas". [Disponible en: http://scientific.thomson.com/free/essays/ - http://scientific.thomson.com/aboutus/http://scp://entific.thomson.com/img/laimg/spanishchart-large.gif - Acceso 20.10.2006]         [ Links ]

TURK-BICAKCI, L., y Brint, S. (2005). "University-industry collaboration: patterns of growth for low- and middle-level performers", Higher Education, 49(1-2).         [ Links ]

UNESCO (2004). "Informe de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura y la Organización de Cooperación y Desarrollo Económicos sobre estadísticas en materia de ciencia y tecnología." E/CN.3/2004/15, UNESCO-Comisión de Estadística.         [ Links ]

URBIZAGÁSTEGUI Alvarado, R. (1999). "La Ley de Lotka y la literatura de bibliometría", Investigación Bibliotecológica, 13(27).         [ Links ]

VAN RAAN, A. F. J. (2005). "Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods", Scientometrics, 62(1).         [ Links ]

---------- (1997). "Scientometrics: State-of-the-art", Scientometrics, 38(1).         [ Links ]

---------- (1996). "Advance bibliometric methods as quantitative core of peer review based evaluation and foresight exercises", Scientometrics, 36(3).         [ Links ]

WAGNER, C. S., y Leydesdorff, L. (2005). "Network structure, self-organization, and the growth of international collaboration in science", Research Policy, 34(10).         [ Links ]

WEINGART, P. (2005). "Impact of bibliometrics upon the science system: inadvertent consequences?", Scientometrics, 62(1).         [ Links ]

WILSON, C. S. (1995). The formation of subject literature collections for bibliometric analysis: the case of the topic of Bradford's law of scattering.. University of New South Wales - Australian Digital Theses Program.         [ Links ]

WOUTERS, P. (1997). "Citation cycles and peer review cycles", Scientometrics, 38(1).         [ Links ]

---------- & Leydesdorff, L. (1994). "Has Price's dream come true: is scientometrics a hard science?" Scientometrics (Historical Archive), 31(2).         [ Links ]

ZBIKOWSKA-MIGON, A. (2001). "Karl Heinrich Frómmichen (1736-1783) and Adrian Balbi (1782-1848) -The Pioneers of Biblio- and Scientometrics", Scientometrics, 52(2).         [ Links ]

Notas

Para la realización de este trabajo se contó con una beca del Centro Interuniversitario de Investigación sobre la Ciencia y la Tecnología (CIRST) de la Universidad de Québec en Montreal (UQAM). El autor agradece los comentarios recibidos a versiones previas del texto por parte del Dr. Yves Gingras y del Dr. Marcel Fournier.