La evaluación del impacto científico en las investigaciones educativas a través de un estudio de caso

Evaluation of Scientific Impact Assessment in Educational Researches through a Case Study

Emilio Alberto Ortiz Torres^*

* Universidad de Holguín Óscar Lucero Moya. eortiz@ict.uho.edu.cu

Recibido: 26 de julio de 2013;
Aceptado para su publicación: 12 de enero de 2015.

Resumen 

La evaluación del impacto científico en las investigaciones educativas constituye un problema no resuelto, debido a la falta de una labor sistemática por parte de investigadores y directivos para que los conocimientos aportados y dirigidos a solucionar los problemas relacionados con la formación de profesionales universitarios sean correspondientemente acreditados, logren ser introducidos en el proceso pedagógico y provoquen el efecto educativo deseado. El objetivo del artículo es exponer algunos datos cuantitativos de los resultados obtenidos con la evaluación del impacto científico de varias investigaciones educativas a través de un estudio de caso con la aplicación de indicadores cienciométricos.

Palabras clave: Impacto científico, investigación educativa, educación superior.

Abstract

The scientific impact assessment in educational research is still an unsolved problem due to the lack of a systematic effort by researchers and managers to make the offered knowledge -directed to solving the problems related to the training of university professionals- to be appropriately accredited, to be introduced in the educational process, and to cause the expected educational effect. The aim of this article is to present some quantitative data from the evaluation of the scientific impact assessment of different educational investigations through a case study applying scientometric indicators.

I. Introducción 

La evaluación del impacto de la ciencia y la tecnología constituye una necesidad estratégica, como vía para de constatación del desarrollo de un país, de su política científica, así como de su gestión en función de la sociedad y de los seres humanos que conviven en ella. Sobre este aspecto, autores como Boco (2000), Cortés (2007); Moñux, Escolar, Aleixandre y Gómez (2005); Saavedra et al. (2005); Villaveces, Orozco, Olaya, Chavarro y Suárez (2005); Rodríguez (2005) y Cohen et al. (2010), han investigado y publicado en cada uno de los casos, argumentando su pertinencia, viabilidad e importancia de que los resultados científicos cumplan con su función social y no se limiten a su difusión en revistas y publicaciones especializadas, sino que se conozcan por otros profesionales a través de diferentes medios de difusión y que provoquen los cambios necesarios.

Por la propia misión de las universidades en el contexto internacional y específicamente en Cuba, es imprescindible que su producción científica sea objeto de reflexión y evaluación y en este sentido varios autores se han pronunciado (Cortés, 2007; Agudelo et al., 2003; García, 2006).

Dentro de los resultados científicos que aportan los centros de educación superior, los de carácter educativo poseen gran pertinencia por constituir en sí mismos una reflexión científica y crítica en la formación de profesionales universitarios, proponiendo a la vez soluciones eficaces para su perfeccionamiento, de acuerdo con su misión social. Sin embargo, su impacto científico no ha sido objeto de evaluación de manera sistemática por parte de los investigadores, profesores y directivos, por lo que no existen criterios fiables ni rigurosos que permitan obtener certezas científicas de su efecto.

Esta ausencia de datos concretos sobre el impacto científico real de las investigaciones en el campo educativo, que impide evaluar objetivamente el efecto logrado en esta área del conocimiento, motivó el desarrollo de un proyecto de investigación dirigido a determinar cuáles debían ser los indicadores idóneos para evaluar el impacto científico de las investigaciones educativas en la universidad, teniendo en cuenta lo aportado ya por otros investigadores, pero adecuándolos al contexto formativo de nivel superior. El objetivo de este artículo es exponer algunos datos cuantitativos de los resultados obtenidos con la evaluación del impacto científico de varias investigaciones educativas a través de un estudio de caso, como vía para constatar la validez y factibilidad de los indicadores propuestos.

El impacto científico es el efecto producido por la novedad y el aporte teórico-práctico de los nuevos conocimientos como resultado del proceso investigativo, los cuales son aceptados y divulgados a través de diferentes publicaciones oficiales, reconocidos y citados por la comunidad nacional e internacional. Dicho impacto no debe ser concebido solamente como un resultado final, sino también como un proceso de crecimiento individual y social (Hernández y otros, 2005). Y debe ser comprendido en un sentido amplio como las potencialidades de las investigaciones para promover el cambio (Cohen et al, 2010).

1.1 Antecedentes

Sobre la evaluación de impacto se han pronunciado autores como Biencinto y Carballo (2004) en el ámbito sanitario, Kirkpatrick y Kirkpatrick (2007) en las acciones formativas; Liberta (2007) acerca de las diferencias entre impacto, impacto social y evaluación del impacto, Pérez (2007) sobre la medición del impacto en los servicios de información; Román et al. (2010) acerca del impacto de la formación académica y Lozano, Saavedra y Fernández (2011) tratan la evaluación del impacto de los resultados científicos.

Fernández (1995) se refiere de manera específica a la evaluación de la investigación educativa como un proceso complejo y aporta diferentes vías científicas para hacerlo, como la citación por otros autores, entre otros; en una publicación posterior (Fernández, 1997), precisa que la evaluación de la investigación está constituida por un conjunto de estudios en los que se enjuicia la valía o el mérito de investigación realizada sobre la base de ciertos criterios explícitos (externos) o implícitos (personales).

Sobre el impacto de la producción científica en la universidad se pronuncian Campanario, Cabos e Hidalgo (1998), destacando su valor y a la vez el peligro que ocurre cuando se comparan áreas de conocimientos diferentes, aunque ellos no llegan a evaluar a investigaciones de carácter educativo.

Fernández (2001) afirma que el impacto de la investigación se presenta como un fenómeno tan problemático como ocurre en educación. Los agentes e instituciones de la investigación educativa deben demostrar su utilidad y necesidad para la sociedad que la financia, estando entonces sometida a un continuo escrutinio sobre su credibilidad, debido al poco impacto que tiene ésta sobre el desarrollo personal de sus alumnos. Dentro de los tipos de impacto que destaca este autor están: el disciplinar o propiamente científico; el extra disciplinar sobre disciplinas afines a las que se investiga y otras tangenciales; el social acerca de los cambios sociales y estructurales que afectan a organizaciones y colectivos docentes relacionados con la gestión, administración, dirección y promoción de tales estructuras y el heurístico, entendido como la contribución práctica para la resolución de los problemas que generan las investigaciones educativas. Y dentro de los métodos para la evaluación del impacto destaca el análisis cienciométrico.

Oliva (2008) aporta 6 elementos que, desde un enfoque teórico general, debe tener la evaluación de impacto en relación directa con la educación de posgrado: finalidad, unidad de evaluación, toma de decisiones, rol del evaluador, enfoque de evaluación y proceso metodológico. Y Kinsler (2010) evalúa críticamente la utilidad de la investigación acción en el campo educativo para el logro de los cambios emancipatorios, más allá de las actitudes de los profesores, los conocimientos y las teorías científicas.

Fernández (2013), al referirse a la evaluación del impacto en organizaciones educativas, precisa que no todos los programas de intervención en el campo formativo generan cambios inmediatos ni necesariamente sostenibles por la complejidad que entraña obtener efectos a mediano y largo plazos. Considera que dicha evaluación contiene un elemento técnico muy relevante y precisa rigor, sistematización y aplicación adecuada, por lo que se hace imprescindible la recogida de información con técnicas precisas, el previo reconocimiento de indicadores y el análisis de la información obtenida.

Los autores antes mencionados aportan elementos valiosos aunque fragmentados, en dependencia del objeto de evaluación, por tanto, se asume como definición que la evaluación del impacto científico es la valoración que se realiza a través de diferentes indicadores cienciométricos para determinar la novedad y el aporte teórico de los nuevos conocimientos producidos por las investigaciones, a partir de la constatación de los resultados obtenidos, de acuerdo con la intención inicial. Tal evaluación puede llevarse a cabo por medio de la aplicación de diferentes indicadores, de acuerdo con la literatura existente sobre el tema y de las posiciones de partida, tanto en el plano teórico como práctico, para determinar el grado de concordancia entre lo previsto por los investigadores y el aporte real logrado.

Morales-Morejón y Báez (1999) aportan los siguientes criterios para evaluar el desempeño de los científicos:

• Producción científica: resultado sistemático de la propia investigación que contribuye al progreso de la ciencia en función del desarrollo social, a través del aporte de nuevos conocimientos y teorías, nuevos métodos y procedimientos de investigación. Entre los criterios para evaluarla están el número de ideas que aportan al desarrollo científico, la repercusión social de los aportes, número de premios recibidos y la pertenencia a sociedades científicas de prestigio, entre otras.

]]> • Producción documentaria: cantidad de trabajos publicados por los autores que contribuyen al registro de los nuevos conocimientos que se convierten en información al comunicarse, actualización a los demás miembros de la comunidad científica y determinación de quiénes son los autores de los aportes y dónde han sido obtenidos.

• Producción citacional: obtención de citas que genera impacto informacional en la comunidad científica, básicamente por el carácter cualitativo del aporte científico.

Esta triada sinérgica permite operacionalizar de manera más objetiva los criterios para evaluar el impacto científico de las investigaciones educativas, previa determinación de indicadores.

El término indicador proviene del latín indicio y significa lo que sirve para indicar; es sinónimo de guía, señal, denotativo y demostrador. Los indicadores son variables de carácter empírico, instrumental y operacional, pueden ser cualitativos o cuantitativos, ofrecen información relevante en las investigaciones y están asociadas a otras variables más complejas, en correspondencia con las concepciones teóricas asumidas previamente por los investigadores.

La determinación de los indicadores está precedida por una valoración teórica del objeto de estudio en cuanto a sus particularidades y de las investigaciones realizadas anteriormente. Por tanto, sólo a partir de la teoría es que se pueden precisar los indicadores idóneos para investigar el objeto, y su precisión debe contener la fundamentación correspondiente de su conveniencia, de lo contrario no habría rigor científico en su selección en cuanto su pertinencia, eficacia y eficiencia.

Los indicadores representan una medición agregada y compleja que permite describir o evaluar un fenómeno, su naturaleza, estado y evolución (Martínez y Albornoz, 1998) Los indicadores de ciencia y técnica, como constructos sociales, miden aquellas acciones sistemáticas relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos (Russell, 2004).

Los indicadores para medir los resultados de la ciencia y la técnica a nivel internacional aparecieron en los años cincuenta y sesenta, bajo la denominación de Inversiones y gastos en I+D. En los setenta, además de éste se incluyeron las patentes y la balanza de pagos tecnológicos. En los años ochenta, a los tres anteriores se le adicionaron los productos de alta tecnología, la bibliometría, los recursos humanos y la innovación (encuestas). En los noventa se incluyeron otros como la Innovación mencionada en literatura científica, el soporte público a tecnologías industriales, las inversiones intangibles y los indicadores de tecnología e información y comunicaciones.

Los indicadores de impacto científico han sido aportados por la cienciometría, disciplina que aplica técnicas bibliométricas a la ciencia para examinar su desarrollo y las políticas científicas (Spinak, 1998) y tiene que ver con la productividad y utilidad científicas (Contreras, s/f) Estos indicadores son seleccionados sobre la base de determinados criterios de naturaleza cualitativa que justifican teóricamente su existencia práctica.

Los indicadores que miden el reconocimiento del trabajo científico, tanto si se hace a través del número de artículos o mediante el número de citas y el factor de impacto acumulado por las revistas donde publican sus resultados, presentan comportamientos muy diferentes dependiendo de las áreas de conocimiento y no siempre apuntan al mismo colectivo cuando se atiende a su "excelencia" (Sánchez, 2007).

Sobre la base de los antecedentes valorados anteriormente, se derivaron los siguientes indicadores:

• Publicaciones y visibilidad de artículos científicos en revistas arbitradas y que forman parte de bases de datos nacionales e internacionales.

• Publicaciones de libros y monografías en soporte digital y en papel, con su correspondiente ISBN.

• Premios y reconocimientos obtenidos como constancia de su aporte científico y/o social.

• Participación en eventos nacionales e internacionales con ponencias.

• Citaciones: menciones por parte de otros investigadores de los resultados científicos aportados por los miembros del Centro de Estudios sobre Ciencias de la Educación Superior (Ceces) de la Universidad de Holguín, Cuba, como caso de estudio.

Esta institución fue creada de manera oficial en el 2002, con la misión de contribuir al perfeccionamiento del proceso formativo inicial y permanente de profesionales universitarios mediante investigaciones científicas, que por su contenido, alcance y pertinencia son de carácter educativo. Está integrado por nueve investigadores y fueron estudiados los primeros diez años (2002-2012) de su desempeño investigativo.

A fin de constatar la validez de esta propuesta se decidió utilizar el método de estudio de caso único de carácter histórico organizativo, propuesto por Rodríguez, Gil y García (1999), que se ocupa de la evolución de una institución. También se asumieron los criterios planteados por Flyvbjerg (2004) sobre la validez del estudio de casos en las investigaciones para corroborar hipótesis y posiciones teóricas. Se partió de la hipótesis de que a través de este estudio de caso podrían corroborarse las posiciones teóricas de partida sobre el impacto científico de las investigaciones educativas y su correspondiente evaluación, de las cuales se derivaron los indicadores determinados.

Para evaluar la visibilidad de los resultados científicos se utilizó como principal buscador Google Académico, ya es el único que accede a fuentes de información especializadas de naturaleza absolutamente académica, aunque también fueron utilizados, en menor medida, los buscadores Lycos, Yahoo y Bing. Posteriormente, se estableció una estrategia de búsqueda que permitiera la recuperación efectiva de los datos precisos para su posterior análisis. Los campos seleccionados fueron:

• Autores: para constatar la visibilidad de cada autor/investigador donde se encontrara como autor principal. De esta forma se evitó la duplicidad en el conteo de registros donde hubo coautorías entre investigadores de Ceces, cuestión interesante para investigar en un futuro.

• Países: permitió obtener un panorama del grado de visibilidad de la producción científica de los investigadores, según el país de la base de datos que la indexa.

• Citas: para observar el grado de referencias que han obtenido los investigadores a través de citas de sus publicaciones por parte de otros investigadores nacionales y extranjeros.

III. Resultados 

Los datos obtenidos se resumen en diferentes tablas y gráficos en los que se analiza e interpreta cada indicador.

3.1 Publicaciones de artículos científicos en revistas arbitradas incluidas en bases de datos nacionales e internacionales

La figura 1 refleja la evolución por años de las publicaciones de artículos científicos y su incremento a partir del 2009, aunque no de forma sostenida, lo que podría indicar la madurez de algunos de los investigadores que comienzan a publicar más que en años anteriores, como resultado de un desarrollo científico superior.

La Tabla II expone la distribución de los artículos científicos publicados por Grupos de Bases de Datos, destacándose el predominio los Grupos III y IV, lo que pudiera estar determinado por la falta de expertise de algunos de los investigadores para poder publicar en los primeros grupos, debido a su poca experiencia y a la falta de novedad y rigor de los resultados científicos logrados.

Dentro de las revistas del Grupo de Base de Datos III se encuentran: Revista Iberoamericana de Educación (España), Revista Estilos de Aprendizaje (España), Revista Universidad y Sociedad (Cuba), Revista Didasc@lia (Cuba), Revista Ciencias Holguín (Cuba), Revista Trilogía (Colombia) y Revista Educación (Perú). Mientras en las revistas del Grupo de Base de Datos IV se encuentran: Revista Pedagogía Universitaria (Cuba), Boletín de la Sociedad Cubana de Matemática y Computación (Cuba), Cuadernos de Educación y Desarrollo (España), Acta Latinoamericana de Matemática Educativa (México), Anales de la Academia de Ciencias de Cuba, Acta Latinoamericana de Matemática Educativa (México), Revista Escenarios (Colombia), Revista Integración Académica en Psicología (México) y Colegio Universitario (Cuba).

3.2 Publicaciones de libros y monografías en soporte digital y papel con ISBN

La figura 2 muestra la evolución por año de las publicaciones de monografías y libros, se evidencia un despegue a partir del año 2012, como resultado del proceso de desarrollo científico y productividad de los investigadores, así como por la efectividad de las gestiones realizadas con editoriales nacionales y en otros países. La proyección es a su incremento, de acuerdo con el análisis tendencial realizado.

3.3 Premios y reconocimientos obtenidos como constacia de aporte científico o social

La Tabla III expone los premios y reconocimientos que obteniendo, los cuales fueron de carácter institucional, otorgados por la universidad en el rubro del resultado científico de mayor aporte a la educación superior. También hubo premios otorgados en la provincia, por la delegación territorial del Ministerio de Ciencia, Tecnología y Medio Ambiente (Citma), denominado Premio Provincial de la Academia de Ciencias de Cuba (ACC), por el aporte de resultados científicos ya aplicados. Es necesario aclarar que los dos premios correspondientes al 2002 se deben a resultados científicos obtenidos anteriormente por investigadores que ya trabajaban en función del centro de estudios antes de su creación oficial en ese año. Constituyen indicadores de la pertinencia y eficacia de los resultados científicos aportados en la solución de los problemas formativos que fueron objeto de investigación. Se considera que la obtención de 17 premios en ese tiempo constituyen un resultado importante para un centro de estudios pequeño, con relativamente poco tiempo de creado y con limitados investigadores expertos. Aunque se reflejan también irregularidades en su obtención al existir años en que no se obtuvo ninguno.

3.4 Participación en eventos nacionales e internacionales con ponencias

La figura 3 revela el predominio de la presentación de ponencias en eventos institucionales, nacionales e internacionales en el país, lo que resulta lógico de acuerdo con las posibilidades reales de los investigadores por la carencia de recursos financieros para costear la asistencia a eventos en universidades extranjeras, aunque también pudiera estar influido por una insuficiente gestión de convenios y proyectos con estas instituciones que puedan cubrir dichos gastos.

La Tabla IV muestra 177 citas, identificando a los más citados en correspondencia con los que más registros obtienen. Se detecta la existencia de investigadores que no han sido citados en el período analizado, lo que demuestra la necesidad de reconsiderar sus publicaciones registradas y la búsqueda de una mayor pertinencia y novedad en sus aportes científicos. No se tomaron en cuenta las autocitas.

3.5 Visibilidad de los investigadores por país

La figura 4 ilustra las citaciones por país, en el cual se destacan Cuba y España, y en menor medida Brasil, México, Colombia, la Organización de Estados Iberoamericano (OEI) y Costa Rica. Lo observado en el gráfico permitió al Ceces identificar las causas de la insuficiente visibilidad en algunos países de la región, así como trazar las estrategias pertinentes para aumentar este indicador en tales países.

3.1 Visibilidad de los investigadores por año

La figura 5 revela un comportamiento creciente de la visibilidad de los investigadores por años, sobre todo a partir del 2009. El valor del factor R cuadrado de tendencia exponencial refleja un valor de 0.8041, lo que indica que, aunque no es óptima la actual visibilidad de la producción científica de los investigadores en las bases de datos nacionales y extranjeras, se considera aceptable. Se constata que en el 2010 no hubo reportes de publicaciones.

IV. Discusión

Los indicadores aplicados mediante el estudio de caso al Ceces permiten constatar que, en sus primeros diez años de existencia, ha desarrollado una labor investigativa incipiente, con cierto impacto científico por la calidad, novedad y pertinencia de las investigaciones educativas desarrolladas desde su creación.

De acuerdo con la revisión del estado del arte realizado para determinar los fundamentos científicos del problema científico abordado y los hallazgos empíricos obtenidos, mediante la aplicación de los indicadores cienciométricos propuestos, se constata que los resultados son consistentes con lo expuesto por otros investigadores, pero a la vez poseen la validez necesaria para utilizarlos en la evaluación del impacto científico de las investigaciones educativas.

Referencias

Agudelo, D. et al. (2003) Análisis de la productividad científica de la Psicología Española a través de las tesis doctorales. Psicothema, 15(4), 595-609.         [ Links ]

Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. Revista Electrónica de Investigación y Evaluación Educativa, 10(2). Recuperado de http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm        [ Links ]

Buendía, L., Fernández, A. y Ruiz, J. (1995). Estudios evaluativos en diferentes contextos. Parte I. Revista Investigación Educativa, 26, 159-184.         [ Links ]

Campanario, J. M., Cabos, W. e Hidalgo, M. A. (1998). El impacto de la producción científica en la Universidad de Alcalá de Henares. Revista Española de Documentación Científica, 21(4), 401-415. Recuperado de http://redc.revistas.csic.es        [ Links ]

Cohen. M. et al. (2010) Scientific impact: Opportunity and necessity. Western Journal of Nursing Research, 32(5), 578-590. Recuperado de http://wjn.sagepub.com/content/32/5/578        [ Links ]

Contreras, E. (s/f). Bases para un concepto de las "metrías". Recuperado de http://www.ucm.es/info/multidoc/multidoc/revista/nom10/paginas/pdfs/ej-contreras.pdf        [ Links ]

Fernández, A. (1995) La evaluación de la investigación educativa. Revista Española de Pedagogía, 200, 131-145.         [ Links ]

Fernández, A. (1997). Evaluación de la investigación educativa española: una revisión integrativa de realizaciones en 25 años. Revista Española de Pedagogía, 207, 279-301.         [ Links ]

Fernández Cano, A. (2001). Valoración del impacto de la investigación educativa sobre la práctica docente. Revista de Educación, 324, 155-170.         [ Links ]

Fernández, M. J. (2013). Evaluación del impacto para un cambio sostenible en las organizaciones educativas. Revista Española de Pedagogía, 254, 119-138.         [ Links ]

Flyvbjerg, B. (2004). Cinco malentendidos acerca de la investigación mediante los estudios de caso. Revista Española de Investigaciones Sociológicas, 106, 33-62.         [ Links ]

García, J. L. (2006). Investigaciones y doctorados en la universidad cubana. Reflexiones en el nuevo siglo. En Gestión de Ciencia y Tecnología en las universidades. La experiencia cubana. La Habana: Félix Varela.         [ Links ]

Hernández, H. et al. (2005). Estrategia para la proyección del impacto. Revista Cubana de Educación Superior, 1. Trabajo presentado en la Junta Consultiva de Posgrado 2004. La Habana.         [ Links ]

Jaso Sánchez, M. A. (2007). Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad latinoamericana. Gaceta Ide@s Concyteg, 2(28).         [ Links ]

Kinsler, K. (2010) The utility of educational action research for emancipatory change. Action Research, 8(2), 171-189. Recuperado de http://arj.sagepub.com/content/8/2/171        [ Links ]

Liberta Bonilla, B. E. (2007). Impacto, impacto social y evaluación del impacto. Acimed, 15(3). Recuperado de http://bvs.sld.cu/revistas/aci/vol15_3_07/aci08307.htm        [ Links ]

Lozano, J., Saavedra, R. y Fernández, N. (2011). La evaluación del impacto de los resultados científicos. Metodologías y niveles de análisis. Humanidades Médicas, 11(1), 99-117.         [ Links ]

Kirkpatrick, D. y Kirkpatrick, J. (2007). Evaluación de acciones formativas. España: Gestión 2000.         [ Links ]

Moñux, D., Escolar, B. M., Aleixandre, G. y Gómez, F. J. (2005). Condicionantes políticos y problemas metodológicos en la evaluación de impacto social de las políticas de I+D e innovación. Revista CTS, 2(4), 173-200.         [ Links ]

Martínez, E. y Albornoz, M. (1998). Indicadores de Ciencia y Tecnología: estado del arte y perspectivas. Caracas: Nueva Sociedad-UNESCO.         [ Links ]

Morales-Morejón, M. y Báez Cárdenas, L. (1999) Criterios para evaluar el desempeño de los científicos: Tema para un debate. Revista Ciencias de la Información, 30(3).         [ Links ]

Oliva, A. (2008). Aprehensión filosófica de la evaluación de impacto y su determinación en el posgrado. Tesis de doctorado. Universidad de La Habana. Recuperado de http://revistas.mes.edu.cu        [ Links ]

Pérez Fernández, A. M. (2007). La medición del impacto de los servicios de información: una necesidad y un reto. Acimed, 15(1). Recuperado de http://bvs.sld.cu/revistas/aci/vol15_1_07/aci11107.htm        [ Links ]

Rodríguez, G., Gil, J. y García, E. (1999). Metodología de la investigación cualitativa. Granada: Aljibe.         [ Links ]

Rodríguez, A. (2005). Impacto social de la ciencia y la tecnología en Cuba: una experiencia de medición a nivel macro. Revista CTS, 4(2), 147-171.         [ Links ]

Román, E. et al. (2010). Valoración de impacto de la maestría en educación superior en el municipio la Sierpe. Universidad 2010. 7o. Congreso Internacional de Educación Superior, La Habana.         [ Links ]

Russell, J. (2004). Obtención de indicadores bibliométricos a partir de la utilización de las herramientas tradicionales de información. INFO'2004 VIII Congreso internacional de la Información, La Habana.         [ Links ]

Saavedra, O. et al. (2005) El uso de los indicadores cualitativos y cuantitativos en la evaluación de las publicaciones periódicas: el caso del Centro de investigación y de Estudios Avanzados del Instituto Politécnico Nacional de México. Revista Española de Documentación Científica, 28(4), 500-518. doi: doi:10.3989/redc.2005.v28.i4.177        [ Links ]

Spinak, E. (1998). Indicadores cienciométricos. Trabajo presentado en el Seminario sobre Evaluación de la Producción Científica, São Paulo.         [ Links ]

Villaveces, J. L., Orozco, L. A., Olaya, D. L., Chavarro, D. y Suárez, E. (2005). ¿Cómo medir el impacto de las políticas de ciencia y tecnología? Revista Iberoamericana de Ciencia, Tecnología y Sociedad, 2(4), 125-146.         [ Links ]