SciELO - Scientific Electronic Library Online

 
vol.31 número71Validación de un instrumento para el análisis y evaluación de webs de bibliotecas escolares mediante el acuerdo interjuecesPatentes mexicanas del Distrito Federal: caracterización por delegación y área tecnológica (2009-2012) índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Investigación bibliotecológica

versão On-line ISSN 2448-8321versão impressa ISSN 0187-358X

Investig. bibl vol.31 no.71 Ciudad de México Jan./Abr. 2017

https://doi.org/10.22201/iibi.0187358xp.2017.71.57814 

Artículos

Referencias bibliográficas: indicadores para su evaluación en trabajos científicos

References: Indicators for Evaluation in Scientific Papers

Sandra Gisela Martín1 

Valentina Lafuente2 

1Escuela de Bibliotecología, Facultad de Filosofía y Humanidades, Universidad Nacional de Córdoba, Argentina. sandragmartin@gmail.com

2Facultad de Arquitectura y Urbanismo y Diseño. Universidad Nacional de Córdoba, Argentina. valentina.lafuente@gmail.com


Resumen:

El presente trabajo tiene como objetivo establecer un modelo mediante la aplicación de indicadores de evaluación a la calidad de las referencias bibliográficas en trabajos científicos. Se desarrollan 5 indicadores de calidad para la revisión bibliográfica en el cuerpo de la obra y 9 para las referencias bibliográficas (bibliografía) incluidas al final. Los indicadores se desarrollaron utilizando la estructura recomendada por la norma ISO 11620. Se presenta, además, una guía de observación para ser utilizada, con el objeto de recopilar y ponderar la información de las referencias bibliográficas. El modelo propuesto constituye una propuesta abierta a nuevas revisiones, aportes y/o sugerencias.

Palabras clave: Referencias bibliográficas; Bibliografías; Indicadores; Evaluación de la calidad; Trabajos científicos

Abstract:

This paper aims to establish an evaluation model of the quality of citations in scientific papers through the application assessment indicators. To this end, five quality indicators for the literature review from the body of the work and nine quality indicators for the accompanying bibliographical references are developed. The indicators were developed using the ISO 11620 recommended structure. The paper also provides an observation guide to be used for the purpose of gathering information and weighing the references. The model discussed is submitted to invite further revisions, contributions and/or suggestions.

Keywords: Citations; Bibliographies; Indicators; Quality Assessment Reports; Scientific works

Marco conceptual

La revisión bibliográfica constituye una etapa esencial en el desarrollo de un trabajo científico y académico. Implica consultar distintas fuentes de información (catálogos, bases de datos, buscadores, repositorios, etc.) y recuperar documentos en distintos formatos. Este proceso también es conocido como búsqueda documental, revisión de antecedentes o investigación bibliográfica o documental. Para José Martínez de Sousa la investigación bibliográfica es considerada como la búsqueda sistemática y exhaustiva de material editado sobre una materia determinada.1 La revisión como trabajo sistemático y ordenado de búsqueda de información bibliográfica implica la detección y selección de materiales significativos para el investigador en función de los interrogantes que se plantea.2

A partir de esa revisión bibliográfica, el investigador va construyendo el marco teórico, documentando antecedentes y elaborando la bibliografía que se incluye al final de un trabajo científico o académico. Las bibliografías permiten, entre otros aspectos:

  • Garantizar que el investigador se ha documentado correctamente.

  • Identificar las fuentes originales de conceptos, métodos y técnicas provenientes de investigaciones, estudios y experiencias anteriores.

  • Apoyar los hechos y opiniones que el autor quiere expresar.

  • Ofrecer un sustento teórico.

  • Orientar al lector interesado a informarse con mayor detalle sobre aspectos del contenido del documento.

  • Permitir que, a partir de éstas, otros autores puedan investigar otros aspectos subyacentes de una determinada investigación.

  • No investigar lo ya investigado.

La bibliografía, si bien constituye el último ítem de un trabajo de investigación, se comienza a elaborar apenas se define el tema y se empieza a buscar documentación. El investigador, a medida que avanza en su proyecto, debe ir documentando cada una de las fuentes de información utilizadas. Determinar la cantidad óptima de citas, el tipo de documentos a citar o las formas de citación dentro del texto son algunos de los aspectos más frecuentes que debe enfrentar todo investigador. Las bibliografías en un trabajo monográfico pueden estar:

  • Al pie de la página.

  • Al final de cada capítulo.

  • Al final del texto.

  • Combinar las anteriores.

Y pueden contener:

  • Obras citadas: mencionadas en el cuerpo del trabajo.

  • Obras consultadas: aquellas que ayudaron a comprender el tema, pero que no se mencionaron en el cuerpo del trabajo.

Botta manifiesta:

si bien la bibliografía consultada se encuentra pormenorizada en las referencias en notas, conviene agruparlas en la bibliografía final, para que el lector no esté obligado a buscar página por página la información que le interesa y pueda tener una visión de conjunto de los materiales usados en el trabajo.3

También menciona que no es conveniente citar diccionarios, enciclopedias, gramáticas, manuales generales que, aunque hayan servido de orientación, no constituyen elementos de relación directa con el tema de trabajo. Scarano considera que la cita es la transcripción o mención de una fuente escrita, realizada preferentemente en el cuerpo del texto. Existen dos tipos de citas:

  1. Cita directa: donde se transcribe la fuente de manera literal.

  2. Cita indirecta: donde se menciona la fuente sin transcribirla.

La cita directa o cita textual va generalmente entre comillas si tiene tres líneas o más, caso contrario se inserta con un interlineado menor al resto del texto y dejando una sangría desde el lado izquierdo.4

Scarano define a la nota al pie de página o al final del texto como una nota explicativa que por estar conectada marginalmente a los argumentos del texto se coloca a pie de página. Estas notas, pueden incluir citas directas o indirectas.5

Normas y estilos de citas bibliográficas

Existen distintas normas y estilos de citas bibliográficas internacionalmente reconocidas. Las normas son emanadas de organismos oficiales de normalización y entre ellas podemos mencionar:

  • ISO 690: 2010. Documentation-Bibliographic References-Content, Form and Structure.

  • ANSI/NISO Z39.29-2005. Bibliographic references.

  • IRAM 32053-1:1995. Documentación. Referencias bibliográficas. Contenido, forma y estructura.

  • IRAM 32053-2:2001. Documentación. Referencias bibliográficas. Parte 2: documentos electrónicos o parte de ellos.

Los estilos son elaborados, por lo general, por asociaciones o instituciones reconocidas en determinadas áreas. Martínez de Sousa toma como sinónimos manual de estilo y libro de estilo (style manual) y lo define como: libro que contiene un conjunto de normas para la unificación de criterios en la redacción, corrección de estilo tipográfica, etc.6 Un manual de estilo incluye elementos tales como: puntuación, ortografía, uso de mayúsculas, cursivas, abreviaturas, citas textuales, encabezados, ilustraciones, tablas, notas al pie de página y referencias. Los estilos más difundidos en el ámbito académico son:

  • The Chicago Manual of Style (2010)

  • MLA Modern Language Association of America (2009)

  • APA American Psychological Association (2010)

  • AMA American Medical Association Style Manual (2007)

  • CIERM (ICMJE) International Committee of Medical Journal Editors, conocido como el estilo Vancouver (2010)

  • CSE Council of Science Editors (2006)

  • ACS American Chemical Society (2006)

Calidad y evaluación

La calidad puede ser aplicada a todos los productos o servicios que una organización brinde, por lo tanto, el concepto se puede encontrar en la bibliografía de diversas áreas de estudio, pero, sobre todo, en el ámbito de la gestión y casi siempre asociado a la producción, a los procesos, a las empresas, a los sistemas de gestión y a los servicios que brinda una organización ya sea pública o privada.7

Según la Real Academia Española, la calidad es una propiedad o conjunto de propiedades inherentes a algo, que permiten juzgar su valor.8 Roswitha Poll expresa que la “calidad se identifica con la adecuación a los objetivos”.9 La calidad se puede medir de diferentes formas y, según María Dolores Moreno-Luzón et. al, se podrían agrupar las definiciones en cuatro categorías:

  • Calidad como conformidad: la calidad entendida como conformidad con unas especificaciones.

  • Calidad como satisfacción de las expectativas del cliente: en este sentido un producto o servicio será de calidad cuando satisfaga o exceda las expectativas del cliente.

  • Calidad como valor en relación con el precio dado: la calidad se entiende aquí como un concepto subordinado y relativo, lo que implica que se tratará de obtener la mejor calidad posible a un precio dado.

  • Calidad como excelencia: un producto o servicio es de calidad excelente cuando se aplican, en su realización, los mejores componentes y la mejor gestión y realización de los procesos.10

Para saber si un producto o servicio es de calidad, es necesario medir dicha calidad, o sea, es necesario evaluarla y por ende se deberá emitir un juicio de valor acerca del cumplimiento de unas determinadas expectativas.11 La subjetividad juega un papel importante en la emisión de juicios de valor, cada evaluador posee diferentes criterios y expectativas respecto de lo que se quiere evaluar.

Según el Diccionario de la Real Academia de la Lengua Española evaluar es señalar el valor de algo. También es estimar y apreciar.12 Ahora bien, con la definición de evaluación sucede lo mismo que con la definición de calidad: es factible de ser aplicada en cualquier ámbito en el que se vaya a evaluar, en el que se quiera apreciar el valor de algo.

Para Marina Jiménez Piano “evaluar es medir el valor de algo, entendiendo como valor la cualidad de satisfacer determinadas necesidades”.13 Como evaluar es medir/señalar el valor de algo y como para señalar ese valor necesitamos emitir un juicio, hay que saber que ese “juicio de valor se obtiene de interpretar la diferencia que resulta de la comparación de dos medidas: la que es y la que debería ser”14 y para ello se necesitará de un referente o patrón que, según la misma autora, podrían estar formados por:

  1. los objetivos operativos del sistema

  2. las normas o recomendaciones dictadas por organismos oficiales o representativos

  3. el patrón construido

  4. nos resultados de investigaciones previas

Para conocer la calidad de algo se necesita medir, valorar de acuerdo con especificaciones. Éstas pueden ser normas, criterios o lineamientos que permitan contrastar el resultado de una medición con el objetivo que se persigue.

Existen diversas metodologías de evaluación de organismos formales de normalización con un respaldo institucional de entidades evaluadoras como ISO o la Fundación Europea para la Gestión de la Calidad (EFQM, por sus siglas en inglés), pero en el caso de que no existiesen, en el contexto que se esté evaluando una metodología dada por un ente normativo, se podrán construir conforme a las características del producto o servicio que se quiera evaluar.

Para evaluar es necesario obtener información del servicio, producto o sistema que se está evaluando, para lo cual habrá que definir cuáles son las especificaciones con las cuales se va a realizar dicha valoración, o sea, definir los criterios con los que se va a evaluar y los indicadores con los que se medirá la calidad.15

Indicadores de calidad

Según el Diccionario de la Real Academia de la Lengua Española, un indicador indica o sirve para indicar.16 La norma ISO 11620 define el concepto indicador como una expresión (que puede ser numérica o verbal) usada para caracterizar actividades (eventos, objetos, personas) tanto en términos cuantitativos como cualitativos con el fin de calcular el valor de las actividades caracterizadas y el método asociado.17

Las tipologías de los indicadores dependen de la técnica de recogida de datos y pueden ser tanto cualitativos como cuantitativos: “Los primeros son el resultado de mediciones y análisis más o menos complejos y mientras que los segundos son el resultado de valorar las percepciones sobre un tema”.18

Evaluación de la calidad de las referencias bibliográficas: antecedentes

Existen muchos documentos que establecen pautas, criterios, guías, lineamientos, tests, procedimientos, modelos o reglamentos para evaluar proyectos o artículos de investigación o proyectos de tesis, pero ninguno profundiza y desarrolla lineamientos específicos para la evaluación de bibliografías. Algunos de estos documentos forman parte de los reglamentos, lineamientos o formularios de ciertas universidades, mientras que otros se pueden encontrar publicados en artículos de revistas científicas (Bobenrieth,19 José López Yepes et al.20 y Mario de Miguel21). En los trabajos científicos y académicos se puede apreciar la revisión bibliográfica realizada por el investigador en tres partes:

  1. En los antecedentes (revisión bibliográfica).

  2. En el marco teórico.

  3. Al final del texto, en el apartado de la bibliografía.

Al tomar criterios de evaluación de la bibliografía, algunos textos sólo mencionan en forma muy somera algunas cuestiones sobre la bibliografía con una valoración sí/no, tal como:

  • Revisión de investigaciones previas pertinentes al problema de investigación.

  • Utilización crítica de la bibliografía especializada.

  • Actualización.

  • Exhaustividad.

  • Citas completas.

Otros incluyen el ítem de la bibliografía con una escala de valoración: excelente, muy buena, buena, suficiente, deficiente. Sólo se han encontrado unos pocos documentos que amplían un poco la forma de evaluación de las bibliografías. Por ejemplo, Bobenrieth, en su trabajo sobre lectura crítica de artículos originales en salud, define los siguientes ítems de evaluación con base en las distintas partes de un artículo científico:22

  1. Título

  2. Autores

  3. Resumen

  4. Introducción

  5. Problema de investigación

  6. Revisión bibliográfica

  7. Marco teórico

  8. Variables

  9. Objetivos/hipótesis

  10. Materiales y métodos: diseño

  11. Materiales y métodos: población y muestra

  12. Materiales y métodos: consideraciones éticas

  13. Resultados: recogida de datos

  14. Resultados: análisis de datos

  15. Resultados: presentación de los datos

  16. Discusión y conclusión

  17. Bibliografía

Cada uno de estos ítems descriptos posee determinado número de criterios y se evalúan con los valores: sí, no o dudoso. Los criterios definidos por Bobenrieth para la revisión bibliográfica y la bibliografía son los siguientes (Tablas 1 y 2):

Tabla 1 Revisión bibliográfica 

Fuente: Bobenrieth, “Lectura crítica”, 86.

Tabla 2 Bibliografía 

Fuente: Bobenrieth, “Lectura crítica”, 90.

El trabajo de López Yepes propone un cuestionario o test que permite la evaluación de tesis doctorales de manera minuciosa en las fases de evaluación a priori, en el acto académico de presentación y defensa; y a posteriori, cuando la tesis es susceptible de nueva evaluación en las convocatorias de premio extraordinario o cuando es publicada como artículo o trabajo científico.23 En este contexto se proponen, entre otros, los siguientes criterios específicos de valoración de la bibliografía:

Estado de la cuestión:

  • Si se ha hecho una descripción de los antecedentes del tema.

  • Si se ha hecho una revisión crítica y evaluación de la bibliografía existente sobre el tema.

Redacción:

  • ¿Uso del lenguaje científico: precisión, terminología?

  • ¿Buen estilo de la redacción (sintaxis, signos de puntuación, concatenación de párrafos, etcétera)?

  • ¿Claridad expositiva?

  • ¿Uso de fuentes valiosas y actuales y calidad del aparato crítico (notas y citas)?

Anexos: 1. Repertorio bibliográfico

  • Si posee introducción metodológica.

  • División entre fuentes y bibliografía.

  • Calidad de las referencias bibliográficas.

Otro ejemplo a mencionar es el de la Unidad de Postgrado de la Facultad de Educación de la Universidad Nacional Mayor San Marcos, en Perú, que estableció una tabla para evaluar informes de investigación donde incluye el siguiente ítem:24

Bibliografía

a. Presenta la bibliografía pertinente al tema y la correspondiente a la metodología de la investigación con correcto y completo asiento bibliográfico.

b. La bibliografía no es pertinente al tema y no es correcto ni completo el asiento bibliográfico.

c. Bibliografía escasa y desactualizada y no respeta los requerimientos formales del asiento bibliográfico.

Por su parte, De Miguel elabora un modelo con las principales dimensiones y criterios que deben ser objeto de análisis y valoración en todo trabajo científico, con el objetivo de que pueda ser utilizado como marco de referencia por los evaluadores y miembros de tribunales de tesis doctorales, tanto en la fase previa a la tramitación administrativa como en el acto de exposición y defensa de la misma. 25 Define 4 dimensiones para la evaluación del informe de tesis:

  1. El problema objetivo de la investigación.

  2. Metodología de investigación utilizada.

  3. Análisis de resultados.

  4. Aspectos formales del informe.

En este último aspecto se establecen como criterios la claridad, el rigor, la calidad de la documentación y el ajuste a normas científicas. Y dentro del criterio de la calidad de la documentación, se plantean las siguientes preguntas:

  1. ¿Está bien documentado?

  2. ¿ Se especifican las fuentes utilizadas?

  3. ¿Incluye referencias actualizadas?

  4. ¿Las citas y referencias son pertinentes?

  5. ¿Se ajustan al texto?

Problemática

Cada año se publican más y más documentos científicos y académicos: libros, artículos, tesis doctorales, informes, páginas web, etc., razón por la cual, la investigación documental y el uso de las nuevas tecnologías constituyen pilares fundamentales para poder obtener información en forma eficaz, oportuna y de calidad. Esta multiplicación de documentos ha generado una superabundancia de textos, lo que comúnmente se denomina infotoxicación, siendo cada vez más difícil buscar, encontrar, seleccionar y citar las fuentes adecuadas.

La bibliografía de un trabajo permite, en muchos casos, obtener un estado del arte sobre un tema, razón por la cual una correcta y minuciosa evaluación de la misma en un trabajo de investigación no sólo garantiza que el investigador se haya documentado bien, sino que le otorga mayor rigurosidad al trabajo.

Este documento parte de la necesidad de contar con alguna herramienta para la evaluación de las referencias bibliográficas en trabajos científicos, especialmente para la evaluación de tesis e investigaciones, como complemento a las grillas o tablas de evaluación de tesis o proyectos de investigación en las cuales, por lo general, el ítem bibliografía es muy poco desarrollado.

Objetivo general

Establecer criterios a través de indicadores para la evaluación de la calidad de las referencias bibliográficas de los trabajos científicos.

Metodología

El presente trabajo responde a un diseño bibliográfico o investigación documental. En este sentido, Tamayo y Tamayo define la investigación documental como: “la que se realiza con base a la revisión de documentos, manuales, revistas, periódicos, actas científicas, conclusiones de simposios y seminarios y/o cualquier tipo de publicación considerado como fuente de información.26 En primer lugar, se realiza un estudio comparativo de los criterios utilizados por los autores Bobenrieth,27 López Yepes et al.28 y De Miguel.29 Se proponen, al igual que Bobenrieth, dos ejes para la evaluación de la bibliografía en los trabajos científicos:

  1. Revisión bibliográfica.

  2. Bibliografía.

Se desarrollan 5 indicadores de calidad para la revisión bibliográfica en el cuerpo de la obra y 9 para las referencias bibliográficas (bibliografía) incluidas al final. Para la operacionalización de los criterios e indicadores se utiliza la norma ISO 11620: 1998 (E) que indica la forma en que se deben definir los indicadores de desempeño para las bibliotecas.

Comparación de criterios

Para poder definir nuevos criterios de evaluación de bibliografías, se partió de un análisis comparativo (Tabla 3) de los criterios utilizados por los autores Bobenrieth, López Yepes et al. y De Miguel:

Tabla 3 Comparación de criterios según distintos autores 

Propuesta de indicadores

Se toman como base los criterios utilizados por los autores Bobenrieth, López Yepes et al. y De Miguel y se proponen otros nuevos. Se desarrollan 5 indicadores de calidad para la revisión bibliográfica en el cuerpo de la obra y 9 para las referencias bibliográficas (bibliografía) incluidas al final.

Revisión bibliográfica en el cuerpo de la obra

  1. Exhaustividad.

  2. Utilización crítica de la bibliografía.

  3. Calidad.

  4. Relevancia.

  5. Revisión de investigaciones previas.

Referencias bibliográficas (bibliografía) incluidas al final

  1. Actualización.

  2. Cantidad total de citas.

  3. Autocitación.

  4. Idioma.

  5. Tipología.

  6. Soporte.

  7. Citas completas.

  8. Exactitud.

  9. Cumplimiento con un estilo o norma de citación.

Método de medición

Para cada indicador se propone como método de medición aplicar la escala de valoración con su correspondiente puntación. Esto permite traducir el juicio de valor del evaluador a una escala numérica que es volcada en la guía de observación (Tabla 4) para obtener de este modo una descripción detallada y facilitar el análisis y la sistematización de los datos que se obtuvieron. La valoración utilizada es 0-4, siendo siempre 0 el menor y 4 el puntaje mayor indicado respectivamente en la definición de cada uno los indicadores.

Tabla 4 Criterios de evaluación y puntajes 

Desarrollo de los indicadores

Revisión bibliográfica en el cuerpo de la obra

1. Exhaustividad

Objetivo: determinar si la revisión identifica -en función de lo publicado- lo que se sabe actualmente sobre el tema y/o problema de investigación.

Alcance: la exhaustividad se evalúa en los antecedentes y el marco teórico de la investigación.

Definición del indicador: la exhaustividad se entiende como la cualidad de una investigación en la identificación de la totalidad de los documentos relevantes que existen sobre la temática.

Método de medición: aplicar la escala de valoración y puntaje.

2. Utilización crítica de la bibliografía

Objetivo: determinar el uso crítico de la bibliografía utilizada.

Alcance: el uso crítico de la bibliografía se evalúa en los antecedentes y en el marco teórico de la investigación.

Definición del indicador: el uso crítico de la bibliografía consiste en la mención de las citas bibliográficas para fundamentar la información que se presenta en el texto. Se valora el uso de las citas acompañado de análisis, comparaciones o críticas por parte del autor. Martínez de Sousa considera al aparato crítico como el conjunto de datos con que se enriquece y justifica el texto original, como notas, bibliografías, etc. La construcción de nuevo conocimiento se apoya en los conocimientos previos haciendo referencia a la bibliografía consultada y realizando nuevos aportes mediante conexiones, análisis, nuevas visiones, interpretaciones o críticas.30

Método de medición: aplicar la escala de valoración y puntaje.

3. Calidad

Objetivo: determinar si las citas utilizadas son de calidad.

Alcance: la calidad de la bibliografía se evalúa en los antecedentes y en el marco teórico de la investigación.

Definición del indicador: la calidad se identifica con la adecuación a los objetivos. Evaluar la calidad de las citas bibliográficas implica la emisión de un juicio de valor acerca del cumplimiento de unas determinadas expectativas Método de medición: aplicar la escala de valoración y puntaje.

4. Relevancia

Objetivo: determinar la relevancia de las citas bibliográficas.

Alcance: la relevancia de la bibliografía se evalúa en los antecedentes y en el marco teórico de la investigación.

Definición del indicador: se considera relevancia a la adecuación de las citas bibliográficas utilizadas a la temática de la investigación. López Yepes define la relevancia como la propiedad de una información, de un documento o, de forma más general, un conjunto de documentos resultado de una búsqueda que denota en qué grado es considerado adecuado para resolver una determinada necesidad de información desde un punto de vista objetivo (normalmente por un conjunto de jueces representativos y/o competentes). 31

Método de medición: aplicar la escala de valoración y puntaje.

5. Revisión de investigaciones previas

Objetivo: determinar si se hace referencia a investigaciones previas sobre el tema estudiado.

Alcance: la revisión de las investigaciones previas se evalúa en los antecedentes de la investigación.

Definición del indicador: la revisión de las investigaciones previas implica la referencia a investigaciones anteriores relativas al problema de investigación que sirven como justificación del estudio. La revisión presenta una gama de experiencias, teorías y opiniones con puntos de vista diversos y complementarios sobre el problema y también puede identificar vacíos de información sobre el problema.32

Método de medición: aplicar la escala de valoración y puntaje.

Referencias bibliográficas (bibliografía) incluidas al final

1. Actualización

Objetivo: determinar el nivel de actualización de las referencias bibliográficas.

Alcance: la actualización se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera la actualidad de los documentos con respecto a la vigencia del contenido de los mismos en un momento, lugar y para una persona determinada.33

Método de medición: se puede medir la actualización mediante un porcentaje de acuerdo con ciertos rangos temporales (años):

Estos porcentajes permiten visualizar cuantitativamente la bibliografía utilizada. Luego, la valoración dependerá del tema de la investigación, siendo que en algunos trabajos se priorizan las citas de los últimos años, mientras que en otros tienen mucho más valor las citas de determinadas épocas o años de acuerdo con el desarrollo de ciertos acontecimientos. Finalmente, aplicar la escala de valoración y puntaje.

2. Cantidad total de citas

Objetivo: determinar la cantidad total de referencias bibliográficas.

Alcance: la cantidad se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: número total de referencias bibliográficas mencionadas en la investigación.

Método de medición: contabilizar y aplicar la escala de valoración y puntaje.

3. Autocitación

Objetivo: determinar la presencia de autocitas.

Alcance: las autocitas se evalúan tanto en el marco teórico y en los antecedentes como en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera autocita cuando un autor cita un documento previo de su autoría: “La autocitación es un fenómeno corriente y plenamente razonable cuando pretende hacer referencia a comunicaciones

científicas anteriores, sentando las bases del discurso actual, señalando el mérito de investigaciones anteriores”.34

Método de medición: determinar el uso y la presencia autocitas.

Aplicar la escala de valoración y puntaje.

4. Idioma

Objetivo: determinar los idiomas de las referencias bibliográficas.

Alcance: la cantidad se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: número total de referencias bibliográficas mencionadas en la investigación.

Método de medición: contabilizar la cantidad y el porcentaje de documentos en diferentes idiomas.

La valoración del uso de documentos en distintos idiomas dependerá del tema de la investigación. También puede suceder que en la evaluación de las tesinas de licenciatura no sea requerido el uso de bibliografía en otros idiomas, en cambio en tesis doctorales, al tener mayor profundidad, sí. Finalmente, aplicar la escala de valoración y puntaje.

5. Tipología

Objetivo: determinar la tipología documental de las referencias bibliográficas.

Alcance: la tipología se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: la tipología documental se refiere a las características tanto de origen como formales e informativas de una unidad documental.35

Método de medición: contabilizar la cantidad y el porcentaje de documentos conforme a la tipología.

Otra forma de valorar las tipologías documentales es por su clasificación en documentos primarios o secundarios. Los primarios constituyen fuentes de primera mano, es decir edición original presentada íntegramente, mientras que las fuentes secundarias son aquellas que reelaboran, sintetizan y reordenan la información de las fuentes primarias. Dentro de las secundarias se encuentran las obras traducidas.

La valoración de la tipología de documentos dependerá de la temática de la investigación y también de la disciplina. Por ejemplo, en las ciencias exactas por lo general es menos viable citar un blog que en las ciencias sociales. Por otro lado, en algunas disciplinas se valora más el uso de las obras originales de determinados autores y no sus textos traducidos. Finalmente, aplicar la escala de valoración y puntaje.

6. Soporte

Objetivo: determinar el número total de documentos por tipo de soporte.

Alcance: el soporte se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: el soporte documental se refiere al material o soporte físico en el que está recogida la información (papel, papiro, pergamino, cinta magnética, disco óptico, película, etcétera). 36

Método de medición: contabilizar la cantidad y el porcentaje de documentos de acuerdo con el soporte.

Según Ede existen dos tipos de recursos electrónicos:

  • En mano: soportes físicos como disquetes, cd-rom o cintas magnéticas.

  • En línea: cualquier objeto que se puede encontrar en la Web: bases de datos, revistas electrónicas, páginas, listas de correo, grupos de noticia, sitios ftp, etcétera.37

La valoración del soporte de los documentos dependerá de la temática de la investigación. Finalmente, aplicar la escala de valoración y puntaje.

7. Citas completas

Objetivo: determinar el número de citas completas e incompletas.

Alcance: la disponibilidad de citas completas se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera que una cita es completa cuando dispone de todos los datos necesarios para poder identificar la obra.

Método de medición: contabilizar la cantidad y el porcentaje de citas completas e incompletas.

Finalmente, aplicar la escala de valoración y puntaje.

8. Exactitud

Objetivo: determinar el número de citas exactas.

Alcance: la exactitud se evalúa en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera que una cita es exacta cuando no tiene errores. Spinak establece tres tipos de errores: menores, mayores y distorsión de la cita. Error mayor es aquel que impide localizar el documento original. Un error menor es la omisión de algún dato esencial pero que no impide la verificación del documento. Y una distorsión de la cita o cita fraudulenta es cuando expresiones fuera de contexto parecen afirmar tesis distintas de las expresadas en el artículo citado (Broadus, 1983, citado en Spinak 1996).38

Método de medición: contabilizar la cantidad y el porcentaje de citas exactas e inexactas.

Finalmente, aplicar la escala de valoración y puntaje.

9. Cumplimiento con un estilo o norma de citación

Objetivo: determinar el nivel de cumplimiento con el estilo o norma de citación utilizada en el documento.

Alcance: el cumplimiento se evalúa en las citas dentro del texto y en las referencias bibliográficas incluidas al final.

Definición del indicador: se considera cumplimiento con un estilo o norma de citación cuando la bibliografía cumple estrictamente con los criterios, datos y orden establecidos.

Método de medición: evaluar el nivel de cumplimiento y aplicar la escala de valoración y puntuación.

Instrumento de recolección de datos

Se propone una “guía de observación” para ser utilizada como instrumento de recolección de datos. Se presenta una tabla que incluye una columna con todos los criterios e indicadores, una columna con las referencias y otra columna para asignar el puntaje que se obtiene en la evaluación de cada uno de los indicadores.

Conclusiones

Quienes tienen la responsabilidad de evaluar tesis, artículos científicos, proyectos de investigación o trabajos académicos, muchas veces se plantean cuál es la validez de las fuentes de información citadas como bibliografía.

No existe una regla general para establecer criterios que puedan ser válidos para todo tipo de trabajo y para todas las disciplinas. La cantidad y la diversidad de las fuentes de información hacen que la tarea de la evaluación de las referencias bibliográficas sea cada vez más compleja, razón por la cual en este trabajo se ha procurado brindar un modelo mediante la aplicación de indicadores que evalúen la calidad de las referencias bibliográficas en trabajos científicos. Se propone aplicar, como método de medición de cada indicador, una escala de valoración con su correspondiente puntación. Esto permite traducir el juicio de valor del evaluador a una escala numérica que indudablemente incluye un cierto margen de subjetividad en la evaluación.

Resulta necesario, además, distinguir que la comunicación científica puede circular por canales informales y formales. Los primeros consisten en conversaciones e intercambios de mensajes entre los pares, reuniones locales, regionales, internacionales, contactos interpersonales, visitas interinstitucionales, etc. Mientras que los segundos, comprenden la literatura científica: libros, artículos de revistas y obras de referencia, entre otros.

Cada uno de estos canales puede generar documentos que sean referenciados en las citas bibliográficas. Dentro de los canales informales también podemos incluir los blogs, las wikis, YouTube y toda la tipología de mensajes y fuentes de información que circulan por las redes sociales. Pero resulta imprescindible diferenciar que no es lo mismo la información comunicada que la información publicada, ni un documento distribuido que un documento publicado. Cuando un documento es publicado en el ámbito científico circula por los canales formales y posee, entre otros aspectos, evaluación de pares, control editorial y responsabilidad institucional.

Otro aspecto a considerar es el uso de fuentes personales, institucionales y bibliográficas. Las fuentes personales se caracterizan por la informalidad y provienen de contactos directos con investigadores, científicos o referentes de una disciplina. La relación entre ellos puede ser a través de congresos, contactos telefónicos, correos electrónicos, listas de discusión, chats o blogs. Por su lado, las fuentes institucionales están constituidas por organizaciones que recopilan, analizan, catalogan, difunden y custodian los documentos tales como los museos, los archivos y las bibliotecas. Por último, las fuentes bibliográficas son muy variadas y existen distintos tipos de clasificaciones, siendo la más conocida la distinción entre fuentes primarias y secundarias.

En muchos casos, los autores utilizan citas de fuentes secundarias, cuando las mismas pueden ser reemplazadas por la consulta de las fuentes primarias. Por ejemplo, si se cita una noticia publicada en un diario respecto de los datos de un censo (fuente secundaria), se estaría omitiendo la consulta a la fuente primaria que es el documento del censo original, confiable y de primera mano.

También, en muchos casos, el evaluador se plantea si dentro de un documento científico es válido citar fuentes no arbitradas. Todo depende del contexto, del objetivo de la investigación, de la disciplina y del contenido que justifique la inclusión de este tipo de citas. Por ejemplo, citar blogs o mensajes de las redes sociales no es común en las ciencias duras, mientras que es más aceptable en las ciencias sociales y más aún si la propia fuente, es decir el blog o la red social, es el objeto del estudio de la investigación. También en las ciencias sociales ciertos blogs de expertos o científicos en una temática constituyen una fuente válida de información ya que son sitios considerados como referentes en la disciplina.

Se podría recomendar una separación entre las referencias bibliográficas incluidas en las notas el pie de página y las referencias bibliográficas incluidas al final del texto. En las primeras se podrían incluir informaciones, aclaraciones y citas a documentos informales, “no científicos”, pero sí de interés por su valor informativo; y dejar para las segundas las referencias a documentos formales y publicados.

Finalmente, se puede concluir que cada referencia bibliográfica debe ser analizada de acuerdo con su contexto y que no existe un patrón único de evaluación. El modelo propuesto en este trabajo constituye una propuesta abierta a nuevas revisiones, aportes y sugerencias.

Referencias

Abad García, F. Evaluación de la calidad de los sistemas de información. Madrid: Síntesis, 2005. [ Links ]

Bobenrieth , Astete M. A. “Lectura crítica de artículos originales en salud”. Medicina en Familia 2, no.1 (marzo de 2001): 81-90. http://www.samfyc.es/Revista/v2n1/081-090.pdf. [ Links ]

Botta, M. Tesis, monografías e informes: nuevas normas y técnicas de investigación y redacción. Buenos Aires: Biblios, 2002. [ Links ]

Ede, S. “Digital Indigestion - Is There a Cure?” International Cataloguing and Bibliographic Control 28, no.1 (1999): 3-7. [ Links ]

Jiménez Piano, M. y V. Ortiz-Repiso Jiménez. Evaluación y calidad de sedes web. España: Trea, 2007. [ Links ]

Lafuente, V. “Evaluación de la calidad de los sitios web de las bibliotecas universitarias de la provincia de Córdoba en el año 2011”. Tesis de licenciatura, inédita, Universidad Nacional de Córdoba, Escuela de Bibliotecología, Córdoba, Argentina, 2012. [ Links ]

López Yepes, J. ed. Diccionario enciclopédico de ciencias de la documentación. Vol. 2. Madrid: Síntesis, 2004. [ Links ]

López Yepes, J., M. T. Fernández Bajón, L. Orera Orera, J. M. Sánchez Vigil, E. Martínez Montalvo, F. Hernández Pacheco, J. Prat Sedeño, C. M. Sánchez. “Criterios para la evaluación de tesis doctorales”. Revista General de Información y documentación 18, no. 1 (2008): 295-322. http://revistas.ucm.es/index.php/RGID/article/view/RGID0808110293A. [ Links ]

Martínez de Sousa, J. Diccionario de bibliología y ciencias afines. 2ª ed. Madrid: Fundación Germán Sánchez Ruipérez, 1993. [ Links ]

de Miguel, M., “La evaluación de tesis doctorales. Propuesta de un modelo”. Relieve, Revista Electrónica de Investigación y Evaluación Educativa 16, no. 1 (2010): 1-18. http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm. [ Links ]

Moreno-Luzón, M. D., F. J. Peris Bonet y T. González Cruz. Gestión de la calidad y diseño de organizaciones: teoría y estudio de casos. Madrid: Prentice Hall, 2001. [ Links ]

Norma ISO 11620: 1998. Information and Documentation - Library Performance Indicators, 1998. [ Links ]

Poll, R. y P. te Boekhorst. Medición de la calidad: directrices internacionales para la medición del rendimiento en las bibliotecas universitarias. Madrid: ANABAD, 1998. [ Links ]

Real Academia Española. Diccionario de la lengua española. 22ª ed. Madrid: rae, 2001. http://www.rae.es/. [ Links ]

Scarano, E. R. Manual de redacción de escritos de investigación. 1ª ed. Buenos Aires: Macchi, 2004. [ Links ]

Spinak, E. Diccionario enciclopédico de bibliometría, cienciometría e informetría. Caracas: Unesco-CII/II, 1996. [ Links ]

Tamayo y Tamayo M.El proceso de la investigación científica. México: Limusa, 2000. [ Links ]

Universidad Nacional Mayor San Marcos. Faculta de Educación. Unidad de Postgrado. “Tabla para evaluar informes de investigación”. http://www.unmsm.edu.pe/educacion/postgrado/descargas/tablatesis.pdf. [ Links ]

Yuni, J. y C. Urbano. Técnicas para investigar: recursos metodológicos para la preparación de proyectos de investigación. 2ª ed. Vol. 1. Córdoba: Brujas, 2006. [ Links ]

ISO 690:2010. Information and Documentation - Guidelines for bibliographic references and citations to information resources. http://www.iso.org/iso/catalogue_detail.htm?csnumber=43320. [ Links ]

ANSI/NISO Z39.29-2005 (R2010). Bibliographic references.http://www.niso.org/apps/group_public/download.php/6545/Bibliographic%20References.pdfLinks ]

IRAM 32053-1:1995. Documentación. Referencias bibliográficas. Contenido, forma y estructura. [ Links ]

IRAM 32053-2: 2001. Documentación. Referencias bibliográficas. Parte 2: documentos electrónicos o parte de ellos. [ Links ]

American Chemical Society. The ACS Style Guide: Effective Communication of Scientific Information. 3ª ed. Editado por Anne M. Coghill y Lorrin R. Garson. Washington, D.C.: American Chemical Society, Oxford; Nueva York: Oxford University Press, 2006. [ Links ]

American Medical Association. AMA Manual of Style: A Guide for Authors and Editors. 10ª ed. Nueva York: Oxford University Press, 2007. http://www.amamanualofstyle.com/oso/public/index.html. [ Links ]

American Psychological Association. Manual de publicaciones de la American Psychological Association. 3ª ed. México: El Manual Moderno, 2010. http://www.apastyle.org/manual/. [ Links ]

Citing Medicine: The NLM Style Guide for Authors, Editors, and Publishers. 2ª ed. Karen Patrias; Dan Wendling, Technical Editor. Bethesda, Maryland: National Library of Medicine, 2007 http://www.ncbi.nlm.nih.gov/books/NBK7256/Links ]

Council of Science Editors. Scientific Style and Format: The CSE Manual for Authors, Editors, and Publishers. 7ª ed. Reston, Virginia: Council of Science Editors in cooperation with the Rockefeller University Press, 2006. [ Links ]

icmje. International Committee of Medical Journal Editors. Uniform Requeriments for Manuscripts Submitted to Biomedical Journals, 2010. http://www.icmje.org/urm_full.pdf. [ Links ]

Modern Language Association of America. MLA Handbook for Writers of Research Papers. 7ª ed. Nueva York: Modern Language Association of America, 2009. http://www.mlahandbook.org/. [ Links ]

The University of Chicago. The Chicago Manual of Style. 16ª ed. Chicago: The University of Chicago Press, 2010. http://www.chicagomanualofstyle.org/books.html. [ Links ]

1J. Martínez de Sousa, Diccionario de bibliología y ciencias afines, 2ª ed. (Madrid: Fundación Germán Sánchez Ruipérez, 1993), 473.

2J. Yuni y C. Urbano, Técnicas para investigar: recursos metodológicos para la preparación de proyectos de investigación, 2ª ed. Vol. 1 (Córdoba: Brujas, 2006), 85.

3M. Botta, Tesis, monografías e informes: nuevas normas y técnicas de investigación y redacción (Buenos Aires: Biblios, 2002), 37. Se basa en ISO e IRAM.

4E. R. Scarano, Manual de redacción de escritos de investigación, 1ª ed. (Buenos Aires: Macchi, 2004), 43.

5Scarano, Manual de redacción de escritos de investigación, 44.

6Martínez de Sousa, Diccionario de bibliología y ciencias afines, 473.

7V. Lafuente, “Evaluación de la calidad de los sitios web de las bibliotecas universitarias de la provincia de Córdoba en el año 2011” (tesis de licenciatura inédita, Universidad Nacional de Córdoba, Escuela de Bibliotecología. Córdoba, Argentina, 2012).

8Real Academia Española, Diccionario de la lengua española, 22ª ed. (Madrid: rae, 2001), http://www.rae.es/.

9R. Poll, P. te Boekhorst, Medición de la calidad: directrices internacionales para la medición del rendimiento en las bibliotecas universitarias (Madrid: Anabad, 1998), 14.

10M. D. Moreno-Luzón, F. J. Peris Bonet y T. González Cruz, Gestión de la calidad y diseño de organizaciones: teoría y estudio de casos (Madrid: Prentice Hall, 2001), 8-12.

11F. Abad García, Evaluación de la calidad de los sistemas de información (Madrid: Síntesis, 2005), 18.

12Real Academia Española, Diccionario de la lengua española.

13M. Jiménez Piano y Virginia Ortiz-Repiso Jiménez, Evaluación y calidad de sedes web (España: Trea, 2007), 52.

14Abad García, Evaluación de la calidad, 19.

15V. Lafuente, “Evaluación”.

16Real Academia Española, Diccionario de la lengua española.

17Norma ISO 11620: 1998, Information and Documentation - Library Performance Indicators, 1998.

18Abad García, Evaluación de la calidad, 19.

19Bobenrieth, “Lectura crítica de artículos originales en salud”, Medicina en Familia 2, no. 1 (marzo de 2001): 81-90, http://www.samfyc.es/Revista/v2n1/081-090.pdf.

20J. López Yepes et al., “Criterios para la evaluación de tesis doctorales”, Revista General de Información y Documentación 18, no. 1 (2008): 295-322, http://revistas.ucm.es/index.php/RGID/article/view/RGID0808110293A.

21M. de Miguel, “La evaluación de tesis doctorales. Propuesta de un modelo”, Relieve, Revista, Electrónica de Investigación y EValuación Educativa 16, no. 1 (2010): 1-18, http://www.uv.es/RELIEVE/v16n1/RELIEVEv16n1_4.htm.

22Bobenrieth, “Lectura crítica de artículos originales en salud”.

23J. López Yepes, “Criterios para la evaluación”.

24Universidad Nacional Mayor San Marcos. Facultad de Educación. Unidad de Postgrado. Tabla para evaluar informes de investigación, http://www.unmsm.edu.pe/educacion/postgrado/descargas/tablatesis.pdf.

25De Miguel, “La evaluación de tesis”.

26M. Tamayo y Tamayo, El proceso de la investigación científica (México: Limusa, 2000).

27Bobenrieth, “Lectura crítica”.

28López Yepes, “Criterios para la evaluación”.

29De Miguel, “La evaluación de tesis”.

30Martínez de Sousa, Diccionario de bibliología.

31López Yepes, ed., Diccionario enciclopédico de ciencias de la documentación.

32Bobenrieth, “Lectura crítica”.

33Ibid., 28.

34Ibid., 215.

35Ibid., 511.

36Ibid., 468.

37S. Ede, “Digital Indigestion - Is There a Cure?”, International Cataloguing and Bibliographic Control 28, no. 1 (1999): 3-7.

38E. Spinak, Diccionario enciclopédico de bibliometría, cienciometría e informetría (Caracas: Unesco-CII/II, 1996), 54.

Recibido: 24 de Abril de 2014; Aprobado: 05 de Noviembre de 2015

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons