SciELO - Scientific Electronic Library Online

 
vol.39Potencialidades de oligogalacturónidos y quitosacáridos en el enraizamiento de las plantas índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Terra Latinoamericana

versión On-line ISSN 2395-8030versión impresa ISSN 0187-5779

Terra Latinoam vol.39  Chapingo ene./dic. 2021  Epub 05-Abr-2021

https://doi.org/10.28940/terra.v39i0.895 

Ensayo

El índice h: sobrevaloración de su uso en la estimación del impacto del quehacer científico en México

The h index: overvaluation of its use in the assessment of the impact of scientific work in Mexico

Alfredo Ortega-Rubio1 
http://orcid.org/0000-0002-6365-287X

Bernardo Murillo-Amador1 
http://orcid.org/0000-0002-9489-4054

Enrique Troyo-Diéguez1 
http://orcid.org/0000-0002-3133-9758

David Valdez-Cepeda2  3   
http://orcid.org/0000-0002-6990-3502

1 Centro de Investigaciones Biológicas del Noroeste (CIBNOR). Av. Instituto Politécnico Nacional No. 195. Colonia Playa Palo de Santa Rita Sur. 23096 La Paz, Baja California Sur, México.

2 Universidad Autónoma Chapingo, Centro Regional Universitario Centro-Norte. Calle Cruz del Sur No. 100, Col. Constelación. Apdo. Postal 196, El Orito. 98085 Zacatecas, Zacatecas, México.

3 Unidad Académica de Matemáticas, Universidad Autónoma de Zacatecas. Paseo La Bufa, Calzada Solidaridad. 98060 Zacatecas, Zacatecas, México.


Resumen:

Para juzgar el impacto y la relevancia de los resultados del quehacer científico, las y los investigadores son sometidos a procesos de evaluación en los que se involucran registros de publicaciones y las citas correspondientes. Para ello, algunos índices se han desarrollado. Entre ellos, los índices propuestos por Hirsch se consideran en la mayoría de los procesos de evaluación. Un análisis de ellos permite concluir que el índice h ignora la contribución relativa de un investigador en las publicaciones, especialmente en aquellas que se generan por grupos grandes, p. ej. grupos con entre 80 hasta 700 autores. Asimismo, el índice h omite, en general, libros y capítulos de libro, la contribución de un investigador en la formación de recursos humanos y la formación de grupos y participación en sociedades científicas. El índice h no considera las innovaciones técnicas, la difusión y la divulgación del conocimiento científico. De manera relevante, lo preciso es enfatizar que el índice h no toma en cuenta las contribuciones científicas que conllevan al establecimiento de políticas públicas, las cuales pueden ser estratégicas y de relevancia local, regional e inclusive nacional. Valorar la obra de un investigador basándose principalmente en su índice h no solo es limitado e injusto, sino que está distorsionando severamente las prioridades de las generaciones nuevas de científicos en México. Los científicos no debemos olvidar que somos subvencionados con recursos públicos, lo cual conlleva a no solamente ser ampliamente citados a nivel internacional, sino también a contribuir en la formación de recursos humanos, a la resolución de problemas locales, regionales y nacionales, a incidir en la generación de Políticas Públicas y en la apropiación social del conocimiento. Por lo tanto, la necesidad de gestionar un sistema que considere esos aspectos es imprescindible con el propósito de evaluar el impacto posible de la obra de cada investigador.

Palabras clave: índice h; ħ; hα; citas; conocimiento nuevo; impacto científico; valoración; usos y aplicaciones

Summary:

To judge the impact and relevance of the results of the scientific work, the researchers are subjected to evaluation processes that involve records of publications and the corresponding citations. For this purpose, some index has been developed. Among them, the index proposed by Hirsch are considered in most evaluation processes. The analysis developed here concludes that the h-index does not measure the relative contribution of a researcher in publications, especially in those that are generated by groups of between 80 and 700 authors. Likewise, the aforementioned index does not consider book publications, nor the contribution of a researcher in the formation of human resources, nor the formation of scientific groups or societies. Nor does the h index value contributions in technological innovation, in the dissemination of scientific knowledge. In a relevant way, it must be emphasized that the h index does not take into account the contribution of a specific researcher to the establishment of public policies generated through scientific research, which can be strategic and of local, regional and even national relevance. Assessing the work of a researcher based primarily on its h-index is not only limited and unfair, but it is severely distorting the priorities of the new generations of scientists in Mexico. Scientists must not forget that we are subsidized with public resources, which leads to not only being widely cited at the international level, but also to contribute to the formation of human resources, to the resolution of local and national problems, to influence the generation of Public Policies and in the social appropriation of knowledge. Therefore, the need to manage a system that considers these aspects is essential in order to evaluate the possible impact of the work of each researcher.

Index words: index h; ħ; hα; cites; new knowledge; scientific impact; assessment; uses an application

Consideración

Los autores de esta contribución somos reconocidos como Investigadores Nacionales Nivel III del área VI por el Sistema Nacional de Investigadores (SNI) en México: Biotecnología y Ciencias Agropecuarias (ahora área VII: Ciencias de Agricultura, Agropecuarias, Forestales y de Ecosistemas). Nosotros estamos preocupados por la distorsión potencial que, en el análisis de la valoración integral del impacto del quehacer científico, presupone el uso de la herramienta cuantitativa conocida como “Índice h de Scopus”.

Introducción

“A scientist has index h if h of his or her Np papers have at least h citations each and the other (Np - h) papers have ≤ h citations each” (Hirsch, 2005)

El impacto y la relevancia de los resultados son incuestionables en los casos de pocos investigadores. Sin embargo, esos aspectos en la mayoría de los científicos se someten a procesos de evaluación en los que se involucran registros de publicaciones y de las citas correspondientes (Van Leeuwen et al., 2003). Por ello, algunos índices se han desarrollado. Entre ellos, el índice h (Hirsch, 2005) se ha propuesto en varios sistemas de evaluación en México y en otros países. El índice h parece ser el más usado a nivel internacional. Hirsch (2010 y 2019) propuso otros dos índices (ħ y h α) con el propósito de superar algunas desventajas de h, mismas que se describen en secciones por separado en esta contribución.

En resumen, el análisis de sus procesos de estimación sugiere que el índice h se enfoca en evaluar el impacto amplio del trabajo individual y es el soporte importante de los índices ħ y h α. Sin embargo, ninguno de esos índices muestra si en los artículos científicos, los autores aportan conocimiento nuevo, usos y aplicaciones posibles de dicho conocimiento. Inclusive, esos índices ignoran el nivel de aportación individual de los autores. Por lo tanto, en detrimento de una valoración real de la productividad científica, el uso no equilibrado del índice h es desafortunado entre las diferentes áreas del conocimiento para valorar la contribución real a la sociedad y al avance del conocimiento científico de un investigador cuando se valoran sus aportaciones, toda vez que conlleva sesgos evidentes. El índice h, tal como se ha demostrado considerablemente, depende en buena medida del tamaño de la subcomunidad científica que se dedica al tema específico del investigador en proceso de evaluación, así como de la velocidad de publicación en la temática especifica (Costas y Bordons, 2007). Asimismo, el índice h no mide la contribución relativa de un investigador en las publicaciones; en consecuencia, su valor se incrementa significativamente en el caso de un investigador determinado si esas publicaciones se generan por grupos de entre 80 hasta 700 autores que trabajan en temas de actualidad. Evidentemente, el citado índice omite la consideración de obras como libros y capítulos de libro, las contribuciones en la formación de recursos humanos y de grupos, así como la participación en sociedades científicas. De manera adicional, el índice h desfavorece a quienes realizan investigación orientada a la resolución de problemas locales; tampoco valora los aportes a la innovación, a la difusión y a la divulgación del conocimiento científico. De manera relevante, lo preciso es enfatizar que el índice h no toma en cuenta la contribución científica de un investigador determinado para el establecimiento de políticas, las cuales pueden ser estratégicas y de relevancia local, regional e inclusive nacional. Por lo tanto, la necesidad de gestionar un sistema que considere esos aspectos es imprescindible con el propósito de evaluar el impacto posible de la obra de cada investigador.

El índice h

Al índice h lo propuso el físico J. E. Hirsch (2005) para cuantificar el impacto amplio del trabajo de un investigador. Fundamentalmente, la propuesta de Hirsch se resume en lo siguiente: “Un investigador tiene un índice h si ha publicado h trabajos con al menos h citas cada uno” (Marques, 2013). Por ejemplo, si un investigador ha publicado 50 artículos a lo largo de su carrera con al menos 50 citas cada uno, su índice h es igual a 50 (h 2 es igual a 2500). Si otro investigador ha publicado 250 artículos en toda su carrera, pero sólo 10 de ellos se citaron 10 veces cada uno, su índice h es igual a 10 (nótese entonces que h 2 es igual a 2500, el número total de citas que involucra el proceso de estimación de h). En ambos casos, el índice h al cuadrado (h 2 ) omite involucrar las citas que corresponden al resto de artículos con número de citas menor a h; es decir, h per se omite la consideración del número total de citas de la obra de los investigadores. Entonces, tal como lo establecen Imperial y Rodríguez-Navarro (2005), para obtener un índice h que pudiésemos considerar grande (>50) se requiere publicar artículos, al menos 50, que sean citados ampliamente por los colegas de la subcomunidad de su temática de investigación. Por otro lado, si un investigador tiene una producción científica cuantiosa pero la misma es poco citada por su subcomunidad científica, entonces este investigador tendrá un índice h considerado como pequeño (<50). He aquí explícito el primer sofisma de la aplicación a rajatabla del índice h para medir la “calidad” del trabajo científico de un investigador: “la calidad del investigador dependerá exclusivamente de que una cantidad significativa de artículos por él producidos (al menos 50) sean ampliamente citados por su subcomunidad científica (por lo menos 50 veces cada uno de esos 50 artículos”. Por otro lado, las citas pueden ser pocas o nulas después de un período de popularidad, entonces, h omite que la obra del investigador puede citarse en el futuro; aunque posiblemente muchos artículos podrán citarse después de la fecha de estimación del índice h, según lo consignado por Redner (2005). Casos excepcionales como el número mayor de citas de la obra de un investigador puede corresponder a un período posterior a la época que vivió (p. ej. Albert Einstein). En síntesis, solo algunos artículos contribuyen en el valor de h y otros nunca lo hacen.

Hirsch (2005) estimó los valores del índice h correspondientes a físicos receptores del Premio Nobel y a biólogos y biomédicos famosos. En el caso de los físicos, el índice h varió de 16 a 70 y la mediana fue 35. En el caso de biólogos y biomédicos, al considerar una lista de Thompson ISI (1983-2002), el rango de h al considerar los 10 con h’s mayores es de 120 a 191. Por consiguiente, Hirsch (2005) concluyó que los índices h de investigadores de las áreas de biología y biomedicina tienden a ser mayores que los de los físicos receptores del Premio Nobel; aunque, él también consignó que las diferencias de h tienden a ser mayores al involucrar a los valores máximos que a los promedios. Además, lo pertinente sería identificar los perfiles de los investigadores con índice h mayor. La acumulación de citas no solo depende del tamaño de la subcomunidad científica sino también de la velocidad en la cual se generan las publicaciones en cada subcomunidad. Así, no es convincente comparar la velocidad de publicación de un investigador cuya especie de estudio sea una bacteria, toda vez que dicho microorganismo se reproduce cada 20 minutos, con la de otro investigador cuyo objeto de estudio es la gestación de la ballena azul (Balaenoptera musculus), lo cual conlleva un periodo de 12 meses. Para ilustrar y sustentar estas afirmaciones, los autores de esta contribución logramos evidenciar que los 20 científicos laborando en México con los índices h máximos, de acuerdo con la edición del Webometrics (2016), son físicos, de sexo masculino, trabajan en la Ciudad de México, pertenecen a un grupo internacional sólido y publican artículos con un promedio de 47 autores (Cuadro 1). Es tal el sesgo que ninguno de ellos se ubica en el Área VI: Biotecnología y Ciencias Agropecuarias del Sistema Nacional de Investigadores.

Cuadro 1: Perfil de los 20 investigadores mexicanos con el índice h máximo.  

Table 1: Profile of the 20 Mexican researchers with the highest h-index. 

Profundidad pH P-asim. MO Cationes intercambiables CIC
Na+ K+ Mg2+ Ca2+
cm H2O mg kg-1 % - - - - cmol (+) kg-1 - - - - cmol (+) kg-1
0-30 5.7 154 3.32 0.21 0.53 2.05 15.78 18.21

Fuente: Webometrics (2016).

Source: Webometrics (2016).

El análisis de la información del Cuadro 1 coincide con la propuesta de Hirsch (2005), quien propuso la necesidad de realizar investigación para entender similitudes y diferencias de distribuciones del índice h correspondientes a investigadores involucrados en campos científicos diferentes que pueden ser de interés; incluso, los autores de esta contribución, consideramos que es importante identificar los factores que inciden sobre esas distribuciones con el fin de explicar la dependencia del índice h y, en general, el número total de citas, entre otros atributos de investigadores y sus artículos publicados.

La cuantificación de la producción de un investigador mediante el índice h no muestra el impacto o los beneficios de la investigación en el desarrollo de la humanidad. Esto se torna más complejo conforme se incrementa el número de autores de los artículos porque, notoriamente, la contribución intelectual es diferenciada y, en ese sentido, Hirsch (2010) propuso el índice ħ (“hbar”).

El índice ħ (“hbar”)

Hirsch (2010) propuso el índice ħ (“hbar”) para caracterizar la producción científica de un investigador que considera el efecto de autoría múltiple. El índice ħ es definido como el número de artículos de un individuo que tiene un número de citas mayor que o igual que el ħ de todos los coautores de cada artículo. La estimación de ħ consiste en un conjunto de iteraciones con el fin de involucrar citas a los artículos en los que el investigador aparece en el listado de autores con índice h menor que el de él. Por supuesto, el auto consistente ħ es un constructo teórico atractivo, pero carece de valor práctico dado que es extremadamente difícil de estimar. Esa desventaja está asociada al proceso iterativo involucrado porque siempre se incrementa conforme aumenta el número de coautores, aun cuando se tenga un artículo o conjunto de artículos determinado como referencia o clave para el caso del investigador cuyo ħ se desea estimar (Hirsch, 2010). En general, lo esperable es que ħ < h, lo cual puede estar relacionado con obra publicada en la que se involucren menos coautores con h’s menores a los del investigador del caso. Es decir, ħ tiende a representar el nivel de independencia de un investigador; quizás, éste es el aspecto relevante del índice ħ. Sin embargo, ħ es un índice que considera las citas a los artículos en los que el investigador aparentemente fue el integrante con el h mayor; sin embargo, ello no es evidencia que el investigador sea el líder; esto sugiere que ħ tiene casi las mismas desventajas de h, previamente señaladas. Por tales razones, Hirsch (2019) propuso el índice h α, cuya finalidad es cuantificar el liderazgo científico individual.

El índice h α

El índice h α involucra las citas a los artículos en los que el investigador fue el autor que escribió el artículo (Hirsch, 2019), siempre y cuando su índice h sea menor o igual a los h’s de los coautores. En otras palabras, en el caso de cualquier investigador, h αh. En sí, el proceso de estimación de h α representa desventaja para los investigadores en formación porque son los que generalmente escriben y el crédito se asigna a los directores de tesis. Otra desventaja consiste en que el proceso se complica conforme el número de coautores aumenta. Obviamente, el valor del índice h α tiene menos posibilidad de incrementarse conforme el patrón de coautoría involucra más investigadores. En otras palabras, el valor del índice h α puede depender del perfil, disciplina y área de conocimiento, entre otros aspectos. Por lo tanto, su generalización con fines de uso en evaluación de la productividad científica de investigadores puede involucrar sesgos injustos (Martin, 1996).

Discusión General

El índice h y la calidad académica de un investigador

Un sofisma del índice h consiste en su aplicación como el criterio principal o el prevaleciente para la valoración de la “calidad académica” de la obra de un investigador. El índice h únicamente establece, prácticamente de forma exclusiva, que tan citados son los artículos en los que aparece como autor/coautor (Glänzel et al., 2006). Sin embargo, el índice h no determina de manera absoluta la contribución relativa de un investigador a la generación de un manuscrito. Lo anterior es mucho más evidente cuando se observa que, en el caso de los científicos mexicanos, los primeros cinco clasificados en orden descendente del valor del índice h, publican sus trabajos más citados en promedio con 47 autores. En el campo de la genómica y de la física de partículas, actualmente, lo común es encontrar trabajos publicados con cientos de autores. Lo anterior permite dilucidar otro aspecto que favorece el incremento del índice h de un investigador; si el investigador se educó académicamente en el extranjero y es integrante de un grupo numeroso de investigación internacional que trabaja en un tema de actualidad; entonces sus posibilidades de incrementar su índice h estarán en proporción directa al tamaño del grupo internacional de investigación del cual es miembro.

El índice h y la formación de recursos humanos

El índice h de ninguna manera valora la contribución de un investigador en la formación de recursos humanos, tan necesario para un país como México. Si bien las tesis de doctorado en ciencias redundan en una publicación científica, por lo general, las tesis de maestría en ciencias y las de licenciatura, en el mejor de los casos, redundan en publicaciones en revistas regionales o nacionales, que no se toman en cuenta para el cálculo del índice h, toda vez que no están incluidas en algunos índices y bases de datos bibliométricos dirigidas por compañías editoriales transnacionales, por ejemplo, Scopus de Elsevier.

El índice h y la apropiación social del conocimiento

El índice h también ignora los esfuerzos que, a lo largo de su trayectoria, un investigador desarrolla para contribuir a la apropiación social del conocimiento. Esencialmente todos los artículos de difusión y de divulgación, así como libros y capítulos de libros, a pesar de su repercusión posible a niveles local, regional e inclusive nacional; todo ello simplemente carece de efecto cuantitativo alguno sobre el valor del índice h del autor o autores de dichas obras.

El índice h y la gestión de recursos para el desarrollo de proyectos

El índice h no considera los esfuerzos que un investigador realiza para proponer, gestionar y dirigir proyectos de investigación. Por más esfuerzo que un investigador dedique a dichas actividades, por más relevancia que tenga para una institución la consecución de recursos económicos a través del éxito en la obtención de recursos concurrentes sumados a los recursos propios, nada es útil para incrementar su índice h. Quizás, lo válido es discernir que tales esfuerzos son recompensados con las citas a la obra involucrada en el proceso de estimación del índice h; sin embargo, muchos de estos esfuerzos requieren de tiempo y dedicación que no se manifiesta precisamente en citas bibliográficas en ciertas revistas incluidas en índices y bases de datos con interés meramente comercial de empresas que no financian proyectos de investigación científica (Lewison et al., 1999). No solo es merecedor resaltar la repercusión institucional de que un investigador gestione financiamiento para proyectos cuyos recursos provienen de diferentes fuentes de financiamiento como Consejo Nacional de Ciencia y Tecnología) (CONACYT), Programa Iberoamericano de Ciencia y Tecnología para el Desarrollo (CYTED), University of California Institute for Mexico and the United States (UC-MEXUS) y otros, sino también de que gestione recursos para proyectos ante dependencias como, por ejemplo, la Secretaría de Agricultura y Desarrollo Rural (SADER), la Secretaría de Medio Ambiente y Recursos Naturales (SEMARNAT), la Comisión Nacional de Áreas Protegidas (CONANP), la Comisión Nacional del Agua (CONAGUA) y la Comisión Nacional de Acuacultura y Pesca (CONAPESCA), entre otras. Estos proyectos inciden directamente, por lo general, en recomendaciones precisas para el uso sustentable de los recursos naturales valiosos de México. Sin embargo, ello no contribuye a incrementar el índice h del proponente. Lo demostrado en el ámbito mundial es que los investigadores que desarrollan investigación aplicada son con mucho, significativamente menos que aquellos que trabajan en disciplinas de investigación básica (Imperial y Rodríguez-Navarro, 2005). En México, también se aplica esta condición, motivo por el cual se debe reflexionar en el sentido de que es fundamental que, a través de la investigación científica de calidad, los resultados evidencien un impacto real en la creación y aplicación de políticas y programas públicos.

El índice h, las citas y la generación de conocimiento

La cantidad de citas que le otorga una subcomunidad científica a un manuscrito está indudable y directamente relacionada con el número de investigadores que integran tal subcomunidad. El supuesto de que h cuantifica el impacto amplio del trabajo de un investigador es cuestionable en esta era de inflación de dicho índice por razones diversas. Entre ellas, su estimación se complica porque el número de artículos listados con más autores está en constante aumento, incluso, ya se indica en algunos casos que los dos primeros autores contribuyeron de manera similar y que dos son los autores para correspondencia. Estas limitaciones del proceso de estimación de h se involucran en la estimación de los índices ħ y h α. Por consiguiente, sus usos con fines de evaluación del impacto de la producción de algún investigador pueden ser falible. El índice h excluye el número total de citas de la obra. El proceso de estimación es actual, en otras palabras, h omite que la obra o parte de ella puede ser citada en el futuro; tal puede ser un caso como el asociado al número mayor de citas de la obra de algún investigador puede corresponder a un período posterior al que el investigador vivió. Tal como se practica, el uso de h se traduce en que solo algunos artículos contribuyen en su valor y otros nunca lo hacen. Otra desventaja evidente del índice h es que considera a todas las citas como válidas, aunque los comentarios sobre algún artículo sean negativos. Por ejemplo, muchas citas corresponden a señalamientos concernientes a que los autores falsearon información o cometieron fraude, entre otros aspectos indeseables. Otras desventajas del índice h es que puede involucrar citas de artículos en los que el conocimiento nuevo está ausente y puede omitir citas de artículos con número de citas < h en los que se aporta conocimiento nuevo y se involucran usos y aplicaciones del conocimiento nuevo generado o confirmado. De hecho, la comunidad científica cita frecuentemente artículos que son fuente de problemas científicos (‘gaps’), llamadas revisiones (‘Reviews’) y publicados por autores que, comúnmente, son investigadores reconocidos como líderes en ciertas disciplinas; en general, dichas contribuciones son las más citadas.

El índice h y las comisiones evaluadoras en México

La inquietud esencial que impulsó la redacción de esta contribución es el desasosiego que los autores de este ensayo tenemos sobre el futuro inmediato y a mediano plazo de la investigación científica en México. Algunos investigadores que han solicitado su promoción han expresado que las valoraciones que se hacen a la producción académica de los investigadores del área VI del Sistema Nacional de Investigadores frecuentemente se resumen en una expresión: “…su índice h es insuficiente para recomendar…”. Mediante dicha afirmación o similares, las Comisiones Dictaminadoras de Investigadores Eméritos del Sistema Nacional de Investigadores han tomado en cuenta la aportación de investigadores que generaron cientos de artículos, que graduaron decenas de estudiantes de licenciatura, así como maestros y doctores en ciencias. Asimismo, han dirigido proyectos de investigación y programas de manejo de recursos naturales, que han contribuido a divulgar y a difundir la ciencia a través de decenas de libros, centenas de capítulos de libros, cientos de artículos de divulgación y difusión. El sector académico cuenta también con investigadores que han generado el sustento de políticas públicas para el uso, manejo y preservación de los únicos y muy valiosos recursos naturales de México. Además, las evidencias involucran a investigadores que, por lo mismo, han recibido varios doctorados Honoris Causa.

A varios de los investigadores que se hace alusión, algunas Comisiones Dictaminadoras de Investigadores Eméritos del Sistema Nacional de Investigadores han resumido las aportaciones de toda su vida en una simple, desafortunada y francamente ofensiva frase: “Su índice h es insuficiente” y les han negado la distinción de Investigador Emérito.

Entonces se trata de una aplicación a rajatabla del índice h injusta, desconsiderada, irreflexiva y no ponderada, la cual al parecer es la que seguirá predominando para valorar “la supuesta calidad” de la obra de un investigador mexicano por algunas de las comisiones que recomiendan si se es merecedor o no del emeritazgo en el Sistema Nacional de Investigadores. Entonces, un escenario que tal vez ocurra y que puede ser absolutamente lógico apunta a que los investigadores jóvenes desistan de aportar con sus trabajos de investigación, al desarrollo social de nuestro país, que abandonen la formación de recursos humanos y que se concentren exclusivamente en publicar con grupos internacionales de investigadores compuestos por cientos de autores en temas de actualidad o “moda académica”, con el único propósito de incrementar su índice h. Es desafortunado que vaya a ocurrir tan grave distorsión del quehacer científico en México.

Reflexión Final

El índice h cuantifica en sentido amplio la producción de los investigadores, pero no muestra si el conocimiento generado es innovador o tiene usos y aplicaciones prácticas que beneficien los intereses de la humanidad. Por consiguiente, su uso para cuantificar (y cualificar) el impacto de la obra de los investigadores puede carecer de validez objetiva. A pesar de las desventajas mencionadas, el índice h se utiliza con fines de evaluación de la productividad de los investigadores; tal es el caso del proceso de evaluación implementado por el Sistema Nacional de Investigadores en México. Por lo anterior, la preocupación esencial de los autores de este ensayo concierne a la valoración de la producción académico-científica de los miembros del Sistema Nacional de Investigadores, Área VI, basado en el índice h de ‘Scopus’, pues las evidencias sugieren que este índice es falible en ese contexto. Los criterios específicos de evaluación de las comisiones dictaminadoras y revisoras en esta área con claridad involucran a dicho índice al igual que los de otras comisiones, incluyendo la de Investigadores Eméritos, de manera que nosotros sugerimos que se tome nota de las evidencias compartidas en esta contribución.

Conclusiones

Los procesos de estimación de los índices h, ħ y sugieren que su uso en procesos de evaluación del impacto de la obra de los investigadores es falible, dadas las limitaciones sobre sus usos con ese propósito. Estos índices no muestran si la obra citada aportó en términos de conocimiento nuevo, o bien, usos y aplicaciones posibles del conocimiento generado nuevo o confirmado; inclusive, esos índices carecen de soporte con respecto a la aportación de cada autor de la obra publicada, especialmente si las revistas son no válidas, es decir, si las revistas no están incluidas en ciertos índices y bases de datos bibliométricos de empresas editoriales comerciales transnacionales. En otras palabras, el índice h ignora la ciencia que no tiene que ver o que no está citada en un artículo publicado en revista indexada.

¿Qué sucede si un investigador trabaja en un campo que valora más las patentes y desarrollos industriales que las publicaciones, como la química industrial? Un caso así no estaría representado de manera íntegra en su índice h. Lo mismo ocurre con el software, las publicaciones de blogs u otros tipos de resultados académicos "no tradicionales" e incluso uno que se consideraría "tradicional", los libros y capítulos de libros. En otras disciplinas que se relacionan con políticas públicas y otras más, de aplicación regional, incluyendo salud pública, sanidad vegetal, el índice h no revela si se ha ejercido influencia significativa en las políticas públicas o en la mejora de los resultados de salud global, lo cual deja en descubierto las posibilidades de sesgo y subvaloración en los sistemas de evaluación del desempeño académico.

- La necesidad de desarrollar un sistema de evaluación que involucre si cada artículo publicado aporta conocimiento nuevo, usos y aplicaciones posibles, así como el nivel de contribución de cada integrante en la lista de autores es imprescindible con el objetivo de evaluar el impacto posible de la obra de cada investigador.

Declaración de Ética

No aplica.

Consentimiento para Publicación

No aplica.

Disponibilidad de Datos

No aplica.

Conflicto de Intereses

Los autores declaran que no existe conflicto de interés. El análisis se realizó en ausencia de cualquier relación comercial o financiera que pudiera interpretarse como un posible conflicto de interés.

Fondos

No aplica.

Contribución de los Autores

Conceptualización: A.O.R. y R.D.V.C. Escritura, preparación del borrador original: A.O.R., B.M.A., E.T.D. y R.D.V.C. Escritura, revisión y edición: A.O.R., R.D.V.C., B.M.A. y E.T.D.

Agradecimientos

Se agradece el apoyo de la Red Temática de Áreas Naturales Protegidas (RENANP-CONACYT), el apoyo del Proyecto 251919 de Ciencia Básica de CONACYT, el apoyo del proyecto No. 4631 del fondo problemas nacionales del CONACYT.

Literatura Citada

Costas, R. y M. Bordons. 2007. Una visión crítica del índice h: algunas consideraciones derivadas de su aplicación práctica. El Profesional de la Información 16: 427-432. [ Links ]

Imperial, J. y A. Rodríguez Navarro. 2005. Utilidad del índice h de Hirsch para evaluar la investigación en España. Disponible en: Disponible en: https://www.madrimasd.org/notiweb/analisis/utilidad-indice-h-hirsch-evaluar-investigacion . (Consulta: septiembre 17, 2020). [ Links ]

Glänzel, W., K. Debackere, B. Thijs, and A. Schubert. 2006. A concise review on the role of author self-citations in information science, bibliometrics and science policy. Scientometrics 67: 263-277. doi: https://doi.org/10.1007/s11192-006-0098-9. [ Links ]

Hirsch, J. E. 2005. An index to quantify an individual’s scientific research output. PNAS 102: 16569-16572. doi: https://doi.org/10.1073/pnas.0507655102. [ Links ]

Hirsch, J. E. 2010. An index to quantify an individual’s scientific research output that takes into account the effect of multiple coauthorship. Scientometrics 85: 741-754. doi: https://doi.org/10.1007/s11192-010-0193-9. [ Links ]

Hirsch, J. E. 2019. hα: An index to quantify an individual’s scientific leadership. Scientometrics 118: 673-686. doi: https://doi.org/10.1007/s11192-018-2994-1. [ Links ]

Lewison, G., R. Cottrell, and D. Dixon. 1999. Bibliometric indicators to assist the peer review process in grant decisions. Res. Eval. 8: 47-52. doi: https://doi.org/10.3152/147154499781777621. [ Links ]

Martin, B. R. 1996. The use of multiple indicators in the assessment of basic research. Scientometrics 36: 343-362. doi: https://doi.org/10.1007/BF02129599. [ Links ]

Marques, F. 2013. Los límites del índice h. Rev. Pesquisa FAPESP 207: 35-39. [ Links ]

Van Leeuwen, T. N., M. S. Visser, H. F. Moed, T. J. Nederhof, and A. F. J. Van Raan. 2003. The holy grail of science policy: exploring and combining bibliometric tools in search of scientific excellence. Scientometrics 57: 257-280. doi: https://doi.org/10.1023/A:1024141819302. [ Links ]

Webometrics. 2016. Ranking of scientists in Mexico Institutions according to their Google Scholar Citations public profiles. Fourth edition. Disponible en: Disponible en: http://www.webometrics.info/es/node/63 . (Consulta: septiembre 17, 2020). [ Links ]

Recibido: 21 de Septiembre de 2020; Aprobado: 24 de Noviembre de 2020

Autor para correspondencia (vacrida@hotmail.com)

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons