SciELO - Scientific Electronic Library Online

 
vol.31 número71Técnicas de aprendizaje de máquina utilizadas para la minería de textoReferencias bibliográficas: indicadores para su evaluación en trabajos científicos índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Investigación bibliotecológica

versão On-line ISSN 2448-8321versão impressa ISSN 0187-358X

Investig. bibl vol.31 no.71 Ciudad de México Jan./Abr. 2017

https://doi.org/10.22201/iibi.0187358xp.2017.71.57813 

Artículos

Validación de un instrumento para el análisis y evaluación de webs de bibliotecas escolares mediante el acuerdo interjueces

Validation of School Library Websites Analysis and Evaluation Instrument Through Interjudge Agreement

Raúl Cremades1 

1Facultad de Ciencias de la Educación de la Universidad de Málaga. cremades@uma.es


Resumen:

En este trabajo, se expone la metodología seguida y los resultados obtenidos tras someter la propuesta inicial de un instrumento para el análisis y evaluación de webs de bibliotecas escolares (denominado instrumento piloto) a un proceso de validación a través de un acuerdo interjueces. Esta técnica consiste en establecer el grado de acuer.do entre varios especialistas de solvencia garantizada acerca de una serie de criterios científicos determinados. Para ello se recabó el juicio de nueve personas expertas en bibliotecas escolares y evaluación de webs educativas. Se presentan las modificaciones experimentadas por la propuesta inicial que han dado lugar al denominado instrumento definitivo, así como las conclusiones sobre el proceso completo de validación.

Palabras clave: Biblioteca escolar; Educación; Web de biblioteca escolar; Evaluación; Aprendizaje en línea; Competencia digital; Acuerdo intejueces

Abstract:

This paper describes the methodology employed and discusses findings of subjecting the initial proposal of an instrument for analyzing and evaluating school library websites (called pilot instrument) to an inter-rater validation process. This technique consists of determining the degree of agreement on a number of scientific crite.ria among several reliable experts. With this objective in mind, the opinions of nine experts in school libraries and evaluation of educational websites were gathered. Changes undergone in original instrument design lead.ing so-called “final instrument” are presented, and con.clusions regarding the entire validation process are also provided.

Key words: School library; Education; School library web; Evaluation; Online learning; Digital competence; Interjudge agreement

Introducción

El instrumento creado por Raúl Cremades1 para el análisis y evaluación de webs de bibliotecas escolares, consiste en un sistema de categorización jerárquica basado en los conceptos de parámetros e indicadores propuestos por Codina (2000: 35), el cual define los primeros como propiedades o características de los recursos digitales objeto de evaluación, y los segundos como los aspectos o elementos que se tienen en cuenta para evaluar la calidad de un indicador. Los elementos categoriales del citado instrumento están basados tanto en las propuestas de expertos en evaluación de webs (Bazin, 1999; Codina; 2000; Romagnoli et al., 2001; Merlo, 2003; Martín, 2005; Ayuso y Martínez; 2006; Jiménez-Piano y Ortiz, 2007) como en las consideraciones específicas de especialistas en webs de bibliotecas escolares (Murphy, 2003; Camacho, 2004; Luque, 2007).

El presente trabajo se centra en la exposición de la metodología seguida y los resultados obtenidos tras someter la propuesta inicial del autor del instrumento (denominada instrumento piloto) a un proceso de validación a través de un acuerdo interjueces. Se presentan, por tanto, las modificaciones experimentadas por la propuesta inicial con motivo de la valoración y opiniones vertidas por los jueces, que han dado lugar al resultado final (denominado instrumento definitivo), y se exponen las conclusiones obtenidas tras la ejecución del proceso.

Metodología

Como afirman Julio Cabero y Felicidad Loscertales (1996), una de las formas de asegurar la fiabilidad de un sistema categorial es la consulta con expertos para comprobar el grado de acuerdo en su interpretación de ese sistema. Entre las técnicas de consulta a expertos se encuentra la del acuerdo interjueces (Dubé, 2008: 75-80), que consiste en establecer el grado de acuerdo entre varias personas de solvencia garantizada acerca de una serie de criterios científicos determinados.

El objetivo esencial de nuestra investigación es transformar el instrumento piloto para mejorarlo a través de las opiniones, valoraciones y sugerencias que alcancen el consenso necesario al llevar a cabo el método del acuerdo interjueces. Pero debemos tener en cuenta, como punto de partida, que el instrumento ha sido creado para utilizarse mediante el análisis de contenido, definido por Bernard Berelson (1952) como “una técnica de investigación para la descripción objetiva, sistemática y cuantitativa del contenido manifiesto de la comunicación”. A la luz de esta definición, Javier Álvarez Galvez (2012: 130-150) resalta la importancia de garantizar la reproductividad y la validez de los resultados estableciendo una serie de reglas predefinidas por el investigador. Estos mismos principios son los que incluye Krippendorff en su definición del análisis de contenido: “una técnica de investigación para la realización de inferencias replicables y válidas a partir de textos (u otros contenidos significativos) en relación con su contexto de uso” (2004: 18).

Los pasos que deben seguirse en el análisis de contenido han sido sintetizados por Jaime Andréu Abela (2001: 11) en estas cinco acciones: 1. determinar el objeto o tema de análisis; 2. establecer las reglas de codificación; 3. especificar el sistema de categorías; 4. comprobar la fiabilidad del sistema de codificación-categorización; 5. realizar inferencias. Una de las maneras sugeridas por Andréu para comprobar la fiabilidad del sistema de codificación-categorización (en nuestro caso, concretado en el instrumento piloto) es la valoración de los codificadores (en este caso, los jueces o expertos):

La fiabilidad se expresa como una función del acuerdo alcanzado entre los codificadores sobre la asignación de las unidades a las diversas categorías. Si dicho acuerdo es total para todas las unidades, está garantizada la fiabilidad, por el contrario si no es mayor que el correspondiente al azar, la fiabilidad es nula (Abela, 2001: 19).

La metodología que sigue nuestra investigación incluye la codificación manual, es decir, el uso de codificadores humanos que aporten su valoración personal de los textos, según una serie de reglas o criterios comunes. Pero, como afirma Álvarez Gálvez (2012: 136), no todo el mundo es válido para codificar. Los prerrequisitos esenciales de los codificadores son dos: familiaridad hacia la información tratada y entrenamiento en el sistema de codificación (Krippendorff, 2004). Asimismo, es muy recomendable que todos los miembros del grupo de codificadores tengan unos niveles culturales, educativos y profesionales similares (Peter y Lauf, 2002: 815-832), ya que una parte esencial de su tarea se basará en la comprensión e interpretación de los datos textuales sometidos a acuerdo.

El análisis de las coincidencias y discrepancias es la base de la metodología del acuerdo interjueces (Muñoz, Montoro y Luque, 2006: 519-537), pero debemos tratar de reducir al máximo el inevitable sesgo personal proporcionándoles una serie de criterios claros y estables. Cuanto mayor es el número de jueces, más importante será el rigor de esos criterios que, en nuestro caso, han sido fijados a través de un cuestionario y sus correspondientes instrucciones. El cuestionario ha sido estructurado en tres partes: la primera consiste en una valoración mediante opciones múltiples de cada uno de los ítems del instrumento piloto; la segunda es una pregunta abierta sobre posibles ítems no incluidos; y la tercera es otra pregunta abierta sobre posibles comentarios generales respecto al instrumento piloto.

Por último, una vez fijados los criterios, se deben establecer los límites de aceptabilidad de los acuerdos. Como afirman U. N. Umesh, Robert A. Peterson y Mattehew H. Sauber (1989: 835), decidir si un determinado valor del porcentaje de acuerdo es suficiente o insuficiente no resulta fácil en la práctica. Para nuestra investigación se ha decidido acudir a la interpretación de J. Richard Landis y Garay G. Koch (1977: 159-174) y adaptar sus valoraciones sobre lo que debe considerarse “acuerdo moderado” y “acuerdo sólido”, como se verá más abajo en la Tabla 2, teniendo en cuenta tanto los objetivos del instrumento piloto como el número de jueces participantes.

Tabla 1 Instrumento piloto para el análisis y evaluación de webs de bibliotecas escolares 

Tabla 2 Adaptación de la estadística Kappa de Cohen (Dubé, 2008

Instrumento piloto

Diseñado para ser usado con la técnica del análisis de contenido y con la regla de recuento de la presencia de los elementos definidos en sus categorías (Andréu Abela, cit. en Landis y Koch, 1977: 11-19), el instrumento piloto para el análisis y evaluación de webs de bibliotecas escolares estaba compuesto por los sesenta y ocho ítems (dos parámetros, doce indicadores y cincuenta y cuatro subindicadores) que se exponen en la Tabla 1.

La fundamentación teórica de los parámetros, indicadores y subindicadores que componen el instrumento piloto ha sido publicada previamente por el autor, tanto para los contenidos (Cremades, 2013) como para los aspectos formales y organizativos de las webs (Cremades, 2015).

Validación del instrumento: acuerdo interjueces

Para llevar a cabo la validación de nuestro instrumento piloto se recabó el juicio de nueve personas (ocho españolas y una chilena) expertas en bibliotecas escolares y evaluación de webs educativas, seleccionadas por su experiencia personal y sus publicaciones científicas en la materia. Se consideró pertinente el número de jueces seleccionados siguiendo el criterio de Klaus Krippendorf (2004), que considera un número mínimo de dos personas con una demostrada independencia entre ellos y respecto a cualquier institución.

Los nueve jueces fueron María Isabel Borda, jueza uno (profesora del Departamento de Didáctica de la Lengua y la Literatura de la Universidad de Málaga); Ana Castillo, jueza dos (profesora del Departamento de Información y Comunicación de la Universidad de Extremadura); Luis Miguel Cencerra.do, juez tres (coordinador del Centro de Documentación e Investigación de Literatura Infantil y Juvenil de la Fundación Germán Sánchez Ruipérez en Salamanca); Jaume Centelles, juez cuatro (maestro y bibliotecario escolar del ceip Sant Josep-El Pi de L’Hospitalet, Barcelona); Glòria Durban, jueza cinco (responsable de la biblioteca de la Escuela Técnica Profesional del Clot, Barcelona); José García Guerrero, juez seis (responsable del apoyo y desarrollo de las bibliotecas escolares en la Delegación de Educación de Málaga de la Junta de Andalucía); Pere Marquès, juez siete (profesor titular de Tecnología Educativa del Departamento de Pedagogía Aplicada de la Universidad Autónoma de Barcelona); Constanza Mekis, jueza ocho (coordinadora nacional de Bibliotecas Escolares/CRA, Enseñanza Básica y Media del Ministerio de Educación de Chile); y María Dolores Moreno, jueza nueve (maestra y responsable de la biblioteca escolar del cp José María de Calatrava, Mérida, Badajoz).

Los cinco criterios que se siguieron para la selección de estos especialistas fueron:

  1. Independencia. Ninguna de las nueve personas elegidas para valorar el instrumento piloto está sometida a ningún tipo de presión o sesgo institucional ni mantiene relación de dependencia con el resto.

  2. Solvencia profesional. Todos los jueces son personas dedicadas profesionalmente al mundo de la docencia, investigación o gestión, relacionadas con las bibliotecas escolares y con la evaluación de webs educativas. Todos cuentan con gran experiencia en su desempeño profesional.

  3. Actividad investigadora. Todos los jueces seleccionados han realizado algún tipo de investigación educativa y han publicado los frutos de ésta. Por tanto, se trata de personas familiarizadas con el discurso académico y los métodos de investigación aplicada a la educación.

  4. Diversidad geográfica. De los nueve jueces, ocho son españoles y una chilena. Los jueces españoles provienen de cuatro comunidades autónomas diferentes y de seis ciudades distintas.

  5. Nivel de responsabilidad. Tres de los nueve jueces son docentes universitarios; otros tres son responsables de bibliotecas escolares; otros dos son coordinadores de organismos públicos relacionados directamente con las bibliotecas escolares; y uno es responsable de un centro de documentación privado también relacionado con las bibliotecas escolares.

A estas nueve personas se les entregó el instrumento piloto junto con un texto explicativo de la investigación, y se les pidió que tuvieran en cuenta la imposibilidad de un consenso total acerca de los ítems necesarios para analizar y evaluar cualquier tipo de web. Se les indicó que la lista propuesta de 68 ítems (dos parámetros, doce indicadores y 54 subindicadores) era discutible y ampliable, por ello, además de su valoración, se les ofrecía la posibilidad de que sugirieran algún ítem que consideraran imprescindible y que no estuviera incluido en el instrumento piloto. Para ello se les pidió que respondieran a estas tres cuestiones:

  1. Valora cada uno de los parámetros, indicadores y subindicadores de uno a tres según tu criterio sobre su validez para el análisis y evaluación de la calidad de webs de bibliotecas escolares. 1. Poco importante; 2. importante; 3. muy importante.

  2. ¿Consideras que existen otros parámetros, indicadores o subindicadores esenciales que no están incluidos?

  3. ¿Quieres añadir algún comentario general sobre este instrumento para el análisis y evaluación de la calidad de webs de bibliotecas escolares?

Resultados del acuerdo

Una vez recibidas las respuestas de los nueve jueces, se calculó el grado de acuerdo mediante porcentajes según las puntuaciones otorgadas por cada persona a cada una de las tres posibilidades, ya que según Francisco Muñoz Leiva et al. (2006), la marca más usada en esta técnica es la medición de la proporción de los acuerdos. También se halló la puntuación media sobre tres de cada uno de los parámetros, indicadores y subindicadores para contar con una visión de conjunto sobre la valoración de cada ítem.

Para establecer el grado conceptual de acuerdo partiendo de cada porcentaje se adaptó a las características del instrumento piloto la interpretación ofrecida por J. Éric Dubé (2008) de la estadística kappa (k) de Cohen, según Landis y Koch (1977), como se indica en la Tabla 2.

Los resultados numéricos del acuerdo interjueces sobre cada uno de los ítems del instrumento piloto se presentan a continuación en las Tablas 3 y 4, una para cada parámetro. Se aporta la puntuación que otorga cada uno de los jueces (J. 1, J. 2, J. 3, etc.) a cada uno de los parámetros, indicadores y subindicadores, así como la puntuación media y el porcentaje de acuerdo sobre cada uno de los tres valores posibles (PI: poco importante; I: importante; MI: muy importante).

Tabla 3 Resultados numéricos del acuerdo interjueces para el parámetro 1 

Tabla 4 Resultados numéricos del acuerdo interjueces para el parámetro 2 

Modificación del instrumento piloto

Tras la valoración numérica emitida por los nueve jueces se suprimieron los subindicadores 1.2.5, 1.3.3, 1.3.6, y 2.3.1, debido a que concitaban más del 50% de grado de acuerdo para la valoración de poco importante.

De las respuestas a las cuestiones b) y c) de los jueces se pudieron inferir las siguientes consideraciones respecto a los ítems del instrumento piloto:

  • La experta Constanza Mekis (jueza ocho) opina que el indicador 1.2 podría incluir un subindicador referido a las estadísticas de uso. No se incluyó esta modificación al considerar que las estadísticas de uso pueden ser una herramienta útil para la persona encargada de gestionar la web de biblioteca escolar, pero no para los usuarios de la web.

  • En relación al indicador 1.3, la profesora Ana Castillo (jueza dos) opi.na que no resulta tan esencial que la web disponga de un blog, una wiki o un servicio de podcasting, como el uso que se haga de los mismos. Para ella, una página web sin ninguno de estos recursos y simplemente con un chat o cualquier herramienta que aporte interactividad (pero bien gestionada) puede ser más participativa que un blog. En definitiva, Castillo apoya firmemente la inclusión de este indicador sobre la interactividad y las herramientas 2.0.

  • La profesora Mekis (jueza ocho) opina que el indicador 2.6 podría incluir un subindicador sobre la comprensión digital y las habilidades de información. Sin embargo, no se incluyó esta modificación porque las competencias relacionadas con la comprensión digital y las habilidades de información ya están presentes en cada uno de los parámetros, indicadores y subindicadores del instrumento piloto.

  • Las profesoras María Isabel Borda (jueza uno) y Mekis (jueza ocho) coinciden en sugerir que los subindicadores incluidos en el indicador 2.7 deben ser cambiados para dejar más clara la distinción entre los materiales relacionados con lengua y literatura y los que se agrupan bajo la expresión “de temática general”. Sí se tuvo en cuenta esta aportación para modificar el texto de todos los subindicadores del indicador 2.7, según se detalla más adelante.

Además, debido a la opinión expresada por los jueces en sus respuestas a las cuestiones b) y c), se modificaron los siguientes ítems del instrumento piloto:

  • La profesora Castillo (jueza dos) sugiere que la redacción del subindicador 1.4.5 puede dar lugar a confusión, por tanto se procedió a enunciarlo en sentido positivo de este modo: Todos los enlaces funcionan bien.

  • A sugerencia de la profesora M. Dolores Moreno (jueza nueve), se modificó el contenido del subindicador 2.4.1 para expresar que las reseñas o críticas, novedades bibliográficas o noticias del sector se pueden ofrecer también sin el formato de un boletín propio de la biblioteca escolar. La nueva redacción quedó así: Se ofrece información sobre novedades bibliográficas, noticias del sector editorial o boletín de la biblioteca escolar en papel o en formato digital.

  • Por las sugerencias de las profesoras Borda (jueza uno) y Mekis (jueza dos) en referencia al indicador 2.7, se modificó la redacción de los subindicadores 2.7.1, 2.7.2 y 2.7.3 de este modo: Se ofrecen [textos, audios, videos] no orientados específicamente a la educación lingüística o literaria. Por las mismas sugerencias se modificó la redacción de los subindicadores 2.7.4, 2.7.5 y 2.7.6 de este modo: Se ofrecen [textos, audios, videos] orientados específicamente a la educación lingüística o literaria.

Instrumento definitivo

Una vez suprimidos los cuatro subindicadores citados e introducidas las modificaciones textuales recogidas en el apartado anterior, quedó establecido el instrumento definitivo para el análisis y evaluación de webs de bibliotecas escolares validado mediante acuerdo interjueces. Este instrumento cuenta con un total de 64 ítems (dos parámetros, doce indicadores y cincuenta y cuatro subindicadores) cuya presencia en la web debe ser consignada por la persona que realice el análisis y evaluación a través de la técnica del análisis de contenido. El texto completo del instrumento definitivo es el siguiente:

  • Parámetro 1: Aspectos formales y organizativos

  • Indicador 1.1: Diseño de la web

  • Subindicadores:

  • 1.1.1 Tipo y tamaño adecuado de letra para facilitar la lectura.

  • 1.1.2. Distribución espacial del texto adecuada para facilitar la lectura.

  • 1.1.3. Contraste adecuado de colores para facilitar la lectura.

  • 1.1.4. Las imágenes y los textos se complementan de forma adecuada para un eficaz acceso a la información.

  • 1.1.5. Se destaca de algún modo la información más reciente o más importante.

  • Indicador 1.2: Navegación por la web

  • Subindicadores:

  • 1.2.1. Existe enlace directo desde la web principal del centro.

  • 1.2.2. Existe mapa de la web del centro o de la web de la biblioteca escolar.

  • 1.2.3. Incluye enlaces internos entre las distintas secciones de la web.

  • 1.2.4. Se ofrece información del apartado donde se encuentra el usuario en cada momento.

  • 1.2.5. Se indica el nivel de accesibilidad de la web para personas con problemas de audición, visión o movilidad.

  • 1.2.6. Existen motores de búsqueda simple o avanzada de información.

  • Indicador 1.3: Interactividad y herramientas 2.0

  • Subindicadores:

  • 1.3.1. Se ofrece a los usuarios alguna posibilidad de interacción.

  • 1.3.2. Dispone de blog o la web es un blog.

  • 1.3.3. Se ofrecen fotografías, presentaciones o vídeos alojados en la World Wide Web.

  • 1.3.4. Se ofrecen podcasts o audiolibros.

  • 1.3.5. Dispone de posibilidad de redifusión web o sindicación web.

  • 1.3.6. Dispone de presencia o interactividad con redes sociales.

  • Indicador 1.4: Luminosidad de la web

  • Subindicadores:

  • 1.4.1. Ofrece algún enlace externo.

  • 1.4.2. Ofrece enlaces a otras bibliotecas escolares.

  • 1.4.3. Ofrece enlaces a otras webs relacionadas con la biblioteca escolar.

  • 1.4.4. Ofrece enlaces a webs relacionadas con competencias lingüísticas y literarias.

  • 1.4.5. Todos los enlaces funcionan bien.

  • Parámetro 2: Contenidos

  • Indicador 2.1: Información sobre la biblioteca escolar

  • Subindicadores:

  • 2.1.1. Se informa sobre el nombre propio, la mascota o el logo de la biblioteca escolar.

  • 2.1.2. Se ofrece un plano de la biblioteca escolar.

  • 2.1.3. Se informa sobre el horario y/o las normas de uso de la biblioteca escolar.

  • 2.1.4. Se informa sobre los servicios u objetivos de la biblioteca escolar.

  • 2.1.5. Se informa sobre los planes vinculados a la biblioteca escolar.

  • 2.1.6. Se informa sobre proyectos propios de la biblioteca escolar.

  • 2.1.7. Se ofrece acceso al catálogo de la biblioteca escolar.

  • Indicador 2.2: Información sobre autoría y responsabilidad

  • Subindicadores:

  • 2.2.1. Aparece el nombre de la persona autora y/o responsable de la web.

  • 2.2.2. Se facilita correo electrónico u otro modo de contacto con la perso.na responsable de la web.

  • Indicador 2.3. Actualización de los contenidos

  • Subindicadores:

  • 2.3.1. Se indica fecha de última actualización.

  • 2.3.2. La web se ha actualizado durante el último curso escolar.

  • Indicador 2.4. Publicaciones periódicas propias o relacionadas

  • Subindicadores:

  • 2.4.1. Se ofrece información sobre novedades bibliográficas, noticias del sector editorial o boletín de la biblioteca escolar en papel o en formato digital.

  • 2.4.2. Se ofrece información sobre revista escolar en papel o en formato digital.

  • Indicador 2.5: Información (sincrónica, diacrónica y selectiva) sobre actividades propias

  • Subindicadores:

  • 2.5.1. Se informa sobre actividades propias presentes.

  • 2.5.2. Se informa sobre actividades propias pasadas.

  • 2.5.3. Se informa sobre actividades propias futuras.

  • 2.5.4. La información sobre actividades propias se dirige específicamente a distintos miembros de la comunidad educativa.

  • Indicador 2.6: Posibilidad de realizar actividades

  • Subindicadores:

  • 2.6.1. Se ofrecen actividades propias de comprensión oral.

  • 2.6.2. Se ofrecen actividades propias de lectura y comprensión lectora.

  • 2.6.3. Se ofrecen actividades propias de expresión escrita.

  • Indicador 2.7: Materiales a disposición del alumnado

  • Subindicadores:

  • 2.7.1. Se ofrecen textos no orientados específicamente a la educación lingüística o literaria.

  • 2.7.2. Se ofrecen audios no orientados específicamente a la educación lingüística o literaria.

  • 2.7.3. Se ofrecen videos no orientados específicamente a la educación lingüística o literaria.

  • 2.7.4. Se ofrecen textos orientados específicamente a la educación lingüística o literaria.

  • 2.7.5. Se ofrecen audios orientados específicamente a la educación lingüística o literaria.

  • 2.7.6. Se ofrecen videos orientados específicamente a la educación lingüística o literaria.

  • Indicador 2.8: Material didáctico para docentes y padres

  • Subindicadores:

  • 2.8.1.Se ofrece algún tipo de material didáctico propio para docentes.

  • 2.8.2. Se ofrece algún tipo de material didáctico propio para padres.

Con el objetivo de facilitar una visión global de la categorización establecida, se presenta en la Figura 1 un gráfico con el esquema jerárquico de todos los elementos que componen el instrumento definitivo para el análisis y evaluación de webs de bibliotecas escolares.

Figura 1 Esquema del instrumento definitivo para el análisis y evaluación de webs de bibliotecas escolares 

Conclusiones

Las conclusiones obtenidas tras el proceso de validación del instrumento de análisis y evaluación de webs de bibliotecas escolares mediante el acuerdo interjueces se exponen en relación a tres ámbitos: aplicación de la técnica, eficacia del método y limitaciones del proceso.

Aplicación de la técnica

La técnica del acuerdo interjueces se ha aplicado correctamente porque se han seguido los principios científicos establecidos por los especialistas en relación a los siguientes aspectos:

  • Determinación del número de jueces. La elección de nueve jueces ha sido una decisión acertada ya que, además de cumplir con el mínimo de dos establecido por Krippendorff (2004: 522), ha posibilitado la diversidad e independencia de opiniones y ha preservado la proporcionalidad entre el número de ítems valorado y su codificación manual.

  • Elección de los jueces. Los jueces fueron elegidos según los cinco criterios ya expuestos de independencia, solvencia profesional, experiencia investigadora, diversidad geográfica y diverso nivel de responsabilidad especializada. Estos criterios son adecuados porque han posibilitado el cumplimiento de los requisitos contemplados tanto por Krippendorff (2004: 522) como por Jochen Peter y Edmund Lauf (2002): afinidad con la información tratada, adiestramiento en el sistema de codificación y semejantes niveles educativos, culturales y profesionales.

  • Información a los jueces. Se ha proporcionado el mismo tipo de información (cuestionario e instrucciones) a todos los jueces con el objetivo de evitar diferencias en los criterios de valoración y de minimizar el sesgo personal de los codificadores manuales.

  • Establecimiento de las reglas de valoración. Los límites de aceptabilidad de los acuerdos han sido de dos tipos: numéricos y analíticos. En el cuestionario valorativo se ha establecido una escala con una adaptación (según los objetivos del instrumento y el número de jueces) de la estadística kappa de Cohen. El límite de aceptabilidad para la supresión de ítems se ha establecido en el 50% de grado de valoración como poco importante. En las cuestiones de respuestas abiertas se ha analizado la aceptabilidad de las propuestas de cambio según los argumentos aportados por cada uno de los jueces y su relación con la valoración numérica. La aplicación de estas reglas ha dado lugar a la supresión y cambios en la redacción de ítems pero no se ha producido la adición de ninguno nuevo.

Eficacia del método

El cumplimiento de los objetivos de nuestra investigación ha demostrado la eficacia del método usado para la validación del instrumento, lo que ha quedado patente en un triple sentido:

  1. El instrumento final validado es el resultado del consenso de nueve expertos sobre la base de una propuesta fundamentada científicamente. La combinación de preguntas abiertas y cerradas en el cuestionario respondido por los jueces ha redundado en una mayor aportación para la mejora del instrumento piloto.

  2. El instrumento final, tras las supresiones y redefiniciones de ítems, se puede considerar solvente para ser utilizado en el análisis de contenido de webs de bibliotecas escolares, como se indica en el cuarto de los componentes de este tipo de análisis, según Andréu Abela (2001), referido a la comprobación de la fiabilidad del sistema de codificación-categorización.

  3. El texto definitivo del instrumento refuerza la posibilidad de llevar a cabo, mediante la regla de presencia, el análisis de contenido según las características establecidas por Berelson (1952) de objetividad, sistematización, cuantificación e información manifiesta.

Limitaciones del proceso

Aunque la aplicación de la técnica del acuerdo interjueces ha resultado adecuada y su eficacia ha quedado demostrada, en el proceso de nuestra investigación también se han evidenciado algunas limitaciones, entre las que podemos destacar:

  • El hecho de establecer los límites necesarios en la aceptabilidad de los acuerdos conlleva la no incorporación al instrumento definitivo de recomendaciones oportunas por parte de alguno de los jueces al no alcanzar el consenso requerido.

  • Aunque los criterios seguidos para la elección del número de jueces y de las personas concretas han sido acertados, con esos mismos criterios se hubiera podido elegir un número diferente de jueces y a otras personas distintas, lo que habría dado lugar a resultados también diversos. El instrumento para el análisis y evaluación de webs de bibliotecas escolares habría quedado igualmente validado, pero con aportaciones distintas.

  • Si el número de jueces hubiera sido mayor, también habría aumentado la cantidad de propuestas y sugerencias en las preguntas abiertas del cuestionario, pero es posible que el instrumento hubiera quedado reducido en el número de ítems, ya que a mayor número de jueces resulta más difícil alcanzar acuerdos relevantes. En nuestra opinión, para analizar documentos tan extensos y variados como las páginas webs, conviene abarcar un número elevado de aspectos. Por tanto, si se amplía el número de jueces sería recomendable modificar los límites de aceptabilidad de los acuerdos.

En definitiva, podemos concluir que nuestra investigación aporta una de las formas posibles de validar un instrumento fiable que cumple con todos los requisitos para analizar y evaluar el contenido de cualquier web de biblioteca escolar.

Referencias

Álvarez Gálvez, J . 2012. “Análisis cuantitativo de textos: del análisis de contenido al tratamiento de textos como datos”. En Metodología de la investigación social, innovaciones y aplicaciones. Manual avanzado de metodología, editado por M. Arroyo e I. Sábada, 130-150. Madrid: Síntesis. [ Links ]

Andréu Abela, J. 2001. Las técnicas de análisis de contenido: una revisión actualizada. Sevilla: Fundación Centro de Estudios Andaluces. [ Links ]

Ayuso García, M. D. y V. Martínez Navarro. 2006. “Evaluación de calidad de fuentes y recursos digitales: guía de buenas prácticas”. Anales de Documentación 9: 17-42. [ Links ]

Bazin, L. 1999. “Elaboration d’une grille de sélection des sites web”. Bulletin des Bibliothèques de France 2: 73-76. [ Links ]

Berelson, B. 1952. Content Analysis in Communication Research. Glencoe, Illinois: The Free Press. [ Links ]

Cabero, J. y F. Loscertales. 1996. “Elaboración de un sistema categorial de análisis de contenido para analizar la imagen del profesor y la enseñanza en la prensa”. Bodón 48 (4): 375-392. [ Links ]

Camacho Espinosa, J. A. 2004. La biblioteca escolar en España: pasado, presente… y un modelo para el futuro. Madrid: Ediciones de la Torre. [ Links ]

Codina, L. 2000. “Evaluación de recursos digitales en línea: conceptos, indicadores y métodos”. Revista Española de Documentación Científica 23 (1): 9-44. [ Links ]

Cremades, R. 2013. “Codificación de los elementos esenciales para la evaluación de contenidos de sitios web de bibliotecas escolares”. En Buenas prácticas con tic en la investigación y la docencia, edita.do por J. Sánchez y J. Ruiz, E. Sánchez, 1-10. Málaga: Universidad de Málaga. [ Links ]

______. 2015. “Elementos categoriales y criterios de asignación de valores para el análisis de los aspectos formales y organizativos de páginas web de bibliotecas escolares”. En Horizontes científicos y planificación académica en la didáctica de lenguas y literaturas, editado por X. Núñez, A. González, C. Pazos, P. Dono, 1115-1131. Ribeirão: Edições Húmus. [ Links ]

Dubé, J. E. 2008. “Evaluación del acuerdo interjueces en investigacion clínica. Breve introducción a la confiabilidad interjueces”. Revista Argentina de Clínica Psicológica (1): 75-80. [ Links ]

Jiménez-Piano, M. y V. Ortiz Repiso. 2007. Evaluación y calidad de sedes web. España: Trea. [ Links ]

Krippendorf, K. 2004. Content Analysis. An Introduction to Its Methodology. Londres: Sage Publications. [ Links ]

Landis, J. R. y G. G. Koch. 1977. “The Measurement of Observer Agreement for Categorical Data”. Biometrics (33): 159-174. [ Links ]

Luque Jaime, J. M. 2007. “Servicios y programas de la biblioteca escolar en las páginas webs de los centros educativos. Selección de recursos digitales y virtuales de apoyo al currículo”. En La articula.ción de los recursos en el funcionamiento de la biblioteca escolar, editado por J. García Guerrero, 181-220. Madrid: Ministerio de Educación, Cultura y Deporte. [ Links ]

Martín Laborda, R. 2005. “Las nuevas tecnologías en la educación”. Cuadernos Sociedad de la Información 5. Madrid: Fundación Auna. [ Links ]

Merlo Vega, J. A. 2003. “La evaluación de la calidad de la información web: aportaciones teóricas y experiencias prácticas”. En Recursos informativos: creación, descripción y evaluación, editado por F. Zapico Alonso, 101-110. Mérida: Consejería de Educación, Ciencia y Tecnología. [ Links ]

Muñoz Leiva, F., F. J. Montoro Ríos y T. Luque Martínez. 2006. “Assessment of Interjudge Reliability in the Open-ended Questions Coding Process”. Quality & Quantity 40 (4): 519-537. [ Links ]

Murphy, R. 2003. Going Online: Developing LRC Web Pages. Swindon: School Library Association. [ Links ]

Peter, J. y E. Lauf. 2002. “Reliability in Cross-national Content Analysis”. Journalism & Mass Communication Quarterly 79 (4): 815-832. [ Links ]

Romagnoli, C., G. Femenías y P. Conte. 2001. Internet, un nuevo re.curso para la educación. Material de apoyo para profesores. Santiago de Chile: Ministerio de Educación. [ Links ]

Umesh, U. N., R. A. Peterson y M. H. Sauber. 1989. “Interjudge Agreement and the Maximum Value of Kappa”. Educational and Psychological Measurement 49: 835-850. [ Links ]

1Aunque el instrumento fue utilizado por el autor para llevar a cabo en 2012 un amplio estudio inédito sobre bibliotecas escolares en Andalucía y Extremadura, se publica aquí por primera vez en su totalidad.

Recibido: 09 de Noviembre de 2015; Aprobado: 22 de Agosto de 2016

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons