nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La sociedad del conocimiento ha creado un ambiente de transformación donde cobran relevancia las competencias digitales y en información. Los esfuerzos de las instituciones de educación superior por formar estas competencias en sus educandos las han llevado a crear programas o estrategias para promoverlas, dando paso a la alfabetización informacional, donde convergen los conocimientos -saber-, las habilidades -saber hacer- y actitudes -saber ser- (Borges y Marzal García-Quismondo, 2017: 36-37). Al igual que la educación en diversos ámbitos, la alfabetización informacional se ha visto en la necesidad de someterse a procesos de evaluación, por lo cual Marzal García-Quismondo (2010: 37) considera que esta debe ser una línea de investigación prioritaria.
La importancia que la evaluación de la alfabetización informacional como una línea de investigación ha ganado puede verse a través de diferentes esfuerzos; sin embargo, “la evaluación de los programas de alfabetización se concibe generalmente durante el proceso de ejecución del programa o de forma externa y se limita, en la mayoría de los casos, a evaluar el dominio de la lectoescritura y de las habilidades alfabetas de los participantes” (Solórzano Benítez y Armas Urquiza, 2018), concentrándose en los resultados del aprendizaje como capacidades ganadas, la mayoría de la veces, a través de la autopercepción de los consultados (Rodríguez Castilla, 2013: 68; Mokhtar et al., 2023: 17). Otros estudios incluyen técnicas de observación no participante y entrevistas para valorar las competencias informacionales, como sucede en el trabajo de Espinoza Colón (2023: 173), pero todos ellos se enfocan solo en una parte de los resultados que podrían derivar de un programa de alfabetización informacional.
Los pocos esfuerzos realizados para su evaluación integral están disponibles como modelos. El primero es el propuesto por Lindauer (2006: 71), el cual es un modelo teórico que propone tres ámbitos: el entorno de aprendizaje, los componentes del programa y los resultados del aprendizaje del alumno. El segundo modelo denominado Alfinev, que fue propuesto por Meneses-Placeres (2010: 97) y aplicado en una sola institución, se integra de tres componentes: profesionales de la información, recursos y alumnos. Este busca “representar el proceso de evaluación de la alfabetización informacional en la educación superior de manera que permita la comprensión integral del fenómeno” (95) y visibilizar la complejidad de la evaluación y la interacción de sus componentes.
El tercero, el programa de alfabetización informacional modelo de desarrollo (ILPDM), adaptado del modelo de madurez, aplicado en una sola institución, mide las limitaciones y las fortalezas de la alfabetización informacional a partir de cinco niveles de avance gradual, donde el nivel 1 indica que no se realiza ninguna actividad más allá de los requisitos mínimos institucionales, y el nivel 5, donde la alfabetización informacional se establece mediante el reconocimiento institucional formal y los programas son regularmente evaluados (Bombaro y Arndt, 2023: 124).
Finalmente, el modelo Evalfin, propuesto por Mears Delgado (2016: 262), fue utilizado en dos universidades mexicanas (Mears Delgado, 2016: 303; Palacios Montañez y Esquivel Carreón, 2022: 98); experiencias que resultaron en la valoración no solo de la alfabetización informacional de cada institución -que es su objetivo-, sino del programa y del modelo mismo. El modelo a continuación contextualiza a la alfabetización informacional como un proceso complejo, más allá de los resultados del aprendizaje, de la operación y del diseño del propio programa. Se fundamenta en la teoría de sistemas y está organizado en tres dimensiones: la pedagógica, la actitudinal y la organizacional. También, es concebido desde una visión integral al proponer seis componentes interoperables: programa de alfabetización informacional, que describe las etapas de diseño y gestión; competencias docentes, que determina la importancia de esta figura en el programa; resultados del aprendizaje, que mide los resultados alcanzados con el programa; gestión institucional e infraestructura, que señala el compromiso institucional y los recursos que pone a disposición de la alfabetización informacional; integración en el currículo, que rastrea la formalización y transversalidad del programa; y finalmente reflexión de la práctica, que analiza la trascendencia del programa. Cabe mencionar que los últimos tres componentes no han sido tomados en cuenta en otros modelos. Se evalúan diecinueve indicadores con doce instrumentos: cinco listas de verificación para recoger información de bases de datos, documentos y visitas in situ; cinco cuestionarios; entrevistas semiestructuradas a cuatro actores: directivos, profesores, bibliotecarios y alumnos; y una encuesta para empleadores (Mears Delgado, 2016: 237). En el modelo gráfico pueden apreciarse los componentes del modelo dentro de un círculo junto con los indicadores (Figura 1).
Todos estos esfuerzos dan cuenta de la importancia del fenómeno de evaluación en alfabetización informacional, aunque ninguno de ellos ha sido evaluado en tanto a su utilidad y potenciar sus atributos, y que pueda aprovecharse por otras instituciones. Esta hazaña involucra una metaevaluación, entendida como la evaluación de un sistema, de un dispositivo de evaluación, o como una especialidad de la evaluación (Stufflebeam, 2001: 185). La metaevaluación es importante porque es de interés público, profesional e institucional, ya que garantiza resultados y conclusiones sólidas, el mejoramiento de la práctica y el desarrollo de evaluaciones eficientes y eficaces (Stufflebeam, 2001: 185); también porque muestra posibles fallas, errores, carencias o desajustes presentes en el objeto o situación en evaluación (Elizalde Lora, Pérez López y Olvera Larios, 2008: 116).
En la literatura pueden encontrarse metaevaluaciones en diferentes disciplinas, pero ninguna sobre alfabetización informacional, lo que da lugar para evaluar al modelo Evalfin considerando que tiene dos experiencias de aplicación. Por ello, el objetivo de este trabajo es la metaevaluación del modelo Evalfin para identificar su valor, fortalezas, fallas, errores o carencias y así fincar las bases para su mejora. Con este objetivo, se analizaron tanto los fundamentos teóricos del modelo para compararlos con la literatura como las experiencias de aplicación para establecer su coherencia lógica y delimitar su alcance. Este trabajo es importante ya que contribuye con un primer esfuerzo de metaevaluación en alfabetización informacional a la línea de investigación en evaluación y porque desarrolla una metodología que puede resultar útil para otros modelos.
Metodología
Para desarrollar la evaluación del modelo Evalfin, la investigación se vale de la metaevaluación, que implica una “investigación sistemática cuyo objetivo es emitir un juicio acerca de la calidad, la relevancia, la pertinencia o los méritos de una evaluación” (Elizalde Lora, Pérez López y Olvera Larios, 2008: 115). El procedimiento de metaevaluación propuesto comprende de cinco fases divididas en dos etapas (Figura 2). La primera analiza las experiencias de aplicación del modelo comparando los escenarios, y evalúa sus componentes para determinar su utilidad y problemáticas. La segunda examina los fundamentos teóricos del modelo y los compara con la literatura para determinar el enfoque de evaluación, e indaga en la relación e interacción de los componentes de Evalfin utilizando como fondo una estructura basada en el enfoque del modelo.
Etapa 1 con base en las experiencias de aplicación
Comparación de las experiencias de aplicación de Evalfin. Elaboración de un análisis comparativo a través de una tabla desagregada en cuatro rubros: condiciones de aplicación, experiencia de aplicación en cada escenario, la utilidad del modelo y limitaciones detectadas de la experiencia de aplicación del modelo.
Evaluación de los componentes de Evalfin. Registra problemáticas en la operativización de cada componente en los escenarios de aplicación atendiendo las siguientes preguntas: ¿qué mide?, la cual busca establecer el objetivo del componente; ¿cómo se mide?, donde se comparan en una matriz todos los indicadores y criterios como renglones, y los instrumentos de medición como columnas, para ver su interrelación para la triangulación de resultados; ¿cómo fue medido en los dos escenarios de aplicación?, para reconocer diferencias; y, por último, ¿qué problemas se identifican?, para establecer las limitaciones del modelo.
Etapa 2 con base en la revisión de la literatura
Análisis teórico del enfoque del modelo. Preparación de una revisión de la literatura para identificar alguna clasificación de enfoques de evaluación para ubicar al modelo Evalfin y entender las directrices que lo guían, pues los “enfoques de evaluación son únicos en su propósito y en las filosofías generales y las metodologías de recopilación de datos que sirven de marco” (Spaulding, 2014: 56).
Delineación de una estructura del enfoque de evaluación. Establecimiento de una estructura basada en el enfoque de evaluación para enmarcar al modelo y comparar y concebir los alcances y límites de sus componentes.
Comparación de Evalfin en la estructura del enfoque de evaluación. Para rastrear coincidencias, traslapes, omisiones y otros aspectos que entorpecen la aplicación del modelo, así como los alcances y límites de los componentes, se superpuso al modelo Evalfin en la estructura encontrada.
El contexto de aplicación es el modelo de evaluación Evalfin, que fue creado para evaluar la alfabetización informacional en las instituciones de educación superior. Como unidades de análisis, se tomaron la estructura gráfica del modelo y las dos experiencias de aplicación de Evalfin, la primera desarrollada en 2016 en la Universidad Autónoma de Ciudad Juárez, escenario original, y la replicación del modelo en la Universidad Autónoma de Aguascalientes, en 2019. La investigación es descriptiva y se basa en una revisión de la literatura.
Presentación de resultados
Los resultados de la metaevaluación de la primera etapa apuntan que Evalfin es robusto y que tiene el potencial de ser utilizado por otras universidades; sin embargo, también emergieron inconsistencias en algunos componentes y variables que necesitan replantearse para que el modelo genere mejores resultados. En la segunda etapa se confirmaron las inconsistencias de los componentes y también la ubicación del modelo en el enfoque de sistemas. A partir de la superposición de Evalfin en una estructura con enfoque de sistemas, se determinó el origen de las inconsistencias y el rumbo para corregirlas.
Comparación de las experiencias de aplicación del modelo
De un escenario a otro, el modelo se aplicó con un mínimo de cambios, solo varió cómo los resultados se analizaron por la complejidad al compaginarlos. En el escenario original, el análisis se hizo en una matriz por componente, que señalaba fortalezas y áreas de oportunidad generales; en el escenario de replicación del modelo, el análisis se realizó en una matriz por componente, que detallaba los resultados por cada indicador y destacaba los aspectos negativos, los aspectos positivos y su contraste con los resultados de los distintos instrumentos de medición.
En ambos escenarios se reconoció la valía del modelo en tanto que permite lograr una valoración robusta de la alfabetización informacional, pero se detectaron algunos inconvenientes para la operabilidad del modelo. El principal problema fue la interacción entre las variables y los criterios de evaluación de cada instrumento, lo que afecta el análisis e interpretación de los resultados, pero no así la reflexión y valoración global. En el escenario de replicación, se aprecia que el modelo Evalfin es una buena herramienta para la evaluación, pues considera aspectos que normalmente no son tomados en cuenta en la creación de un programa, lo cual evidencia su complejidad; también porque habilita el conocimiento profundo de la alfabetización informacional y motiva a la reflexión encaminada a la mejora (Tabla 1).
Tabla 1 Comparación de las experiencias de aplicación del modelo Evalfin
| Escenario original | Escenario de replicación | |
|---|---|---|
| Condiciones de aplicación |
|
|
| Experiencia de aplicación |
|
|
| Utilidad del modelo |
|
|
| Limitaciones detectadas |
|
|
Fuente: elaboración de las autoras (2024)
Resultados de la evaluación de los componentes
En esta etapa se valoran individualmente los seis componentes de Evalfin teniendo como base las experiencias de aplicación y las preguntas de análisis planteadas en la metodología para comprender mejor la problemática. Se encontró que en un par de componentes no se desarrollaron los instrumentos de evaluación; se identifican pocos criterios huérfanos que no dan respuesta a ningún indicador; y poca interacción entre los criterios de evaluación de cada instrumento de medición para la triangulación de resultados. Estos factores reafirmaron el problema de la interacción de los distintos indicadores y criterios previamente señalado.
Integración en el currículo
El propósito es advertir “la integración de la alfabetización en información en el modelo educativo y el currículo con enfoque hacia las competencias informativas […] y tecnológicas” (Mears Delgado, 2016: 296). Se mide con tres instrumentos de medición, y se buscan respuestas para dos indicadores y catorce criterios. Pudo distinguirse poca correspondencia entre los criterios de los tres instrumentos utilizados, solo cinco de ellos (36 %) se relacionaban para la comparación y triangulación de resultados. En ambos escenarios se evalúo el componente de la misma forma. Además, se detectó que tres criterios pertenecían a otros componentes.
Gestión institucional e infraestructura
El fin es evaluar el compromiso de la institución hacia la alfabetización informacional: “este debe verse claramente reflejado en los planes y programas institucionales” (Mears Delgado, 2016: 266). Se evalúa con tres instrumentos de medición para responder a seis indicadores y 25 criterios. Se identificó poca correspondencia entre los criterios de los tres instrumentos; solo cuatro de ellos (16 %) tienen interacción para la comparación y triangulación de resultados. La evaluación se realizó de la misma forma en los dos escenarios. Se advirtieron un par de criterios que tenían duplicidad en otros componentes.
Competencias docentes
El propósito es evaluar las competencias informacionales de los bibliotecarios y docentes. Se miden tres indicadores y no se señalan criterios específicos; cada indicador cuenta con un instrumento de medición, aunque solo se presentó y usó uno en ambos escenarios. La problemática percibida es en relación con la concepción del componente, por las figuras que son definidas como ‘docentes’. Por un lado, están los profesores de aula y por el otro, los bibliotecarios como instructores del programa de alfabetización informacional, ambas figuras sin duda tienen influencia desde diferentes trincheras, pero también en distintos momentos. En este componente solo pueden considerarse a los bibliotecarios como los ‘docentes’ del programa de alfabetización informacional. Los profesores de aula no son un recurso del programa, ni están bajo su control, ellos son un medio por el cual la alfabetización informacional permea y se extiende en las aulas, por esta razón, las habilidades informacionales ganadas por ellos y su transferencia hacia los alumnos deben medirse como parte del componente resultados del aprendizaje.
Otro problema advertido es que no son evaluadas todas las competencias descritas en los indicadores, solo las competencias informacionales, por lo que los resultados obtenidos en ambos escenarios son parciales.
Programa de alfabetización informacional
El objetivo es evaluar la forma que estructura el diseño del programa retomando el establecimiento de alguna norma de la alfabetización informacional y el diseño pedagógico, programático e instruccional (Mears-Delgado y Marzal: 2018: 884). Para la valoración del componente se utilizan tres instrumentos de medición, cuatro indicadores y dieciocho criterios de evaluación. Se identifica que diez de estos criterios (56 %) interactúan entre los distintos instrumentos de evaluación. En ambos escenarios el componente se evaluó de la misma forma y no se detectaron problemas.
Resultados del aprendizaje
Su finalidad es valorar los resultados del aprendizaje derivados del programa de alfabetización informacional y el cumplimiento de los objetivos, “entre los resultados a medir se encuentran: porcentaje de cumplimiento de los objetivos de aprendizaje, nivel de competencia alcanzada, y la evidencia de mejoras en el trabajo académico” (Mears-Delgado y Marzal, 2018: 884). El componente usa tres indicadores: competencias informacionales, impacto en el proceso de aprendizaje, y satisfacción, pero ninguno cuenta con criterios específicos de medición. Se propuso un solo instrumento de medición para evaluar el indicador ‘competencias informacionales y tecnológicas en información’ que resulta ser más bien teórico (tipo examen de opción múltiple) y parece evidenciar más conocimiento que competencias, por lo que el instrumento resulta insuficiente para valorar la complejidad de una competencia. Los resultados de este cuestionario interactúan solo con dos preguntas de las entrevistas realizadas a los docentes y directivos.
El indicador ‘impacto en el proceso de aprendizaje’ solo se midió a través de tres preguntas en la entrevista y una pregunta en el cuestionario aplicado a bibliotecarios. No hay ningún instrumento que brinde evidencia específica de las mejoras en el trabajo académico ni de los objetivos de aprendizaje, que fueron planteados como indicadores por medir. Respecto al indicador ‘satisfacción’, solo se mide con los resultados de la encuesta de satisfacción que estudiantes y docentes contestan al concluir un curso, por lo que debe ampliarse su valoración a través de otros instrumentos y que se desarrolle en distintos momentos de la trayectoria académica del estudiante.
Reflexión de la práctica
Busca “la penetración del tema dentro de la comunidad; el interés … [del] tema como línea de investigación” (Mears Delgado, 2016: 267). Pone a la alfabetización informacional como objeto de constante reflexión y estudio, trasladándola hacia el ámbito de la investigación y hacia espacios de diálogo y discusión directa donde se evidencian resultados y experiencias del quehacer. Se mide con los resultados de la producción académica, redes de colaboración y la asistencia a congresos especializados. Este componente utiliza tres instrumentos de medición, tres indicadores y quince criterios. Se disciernen problemas de interacción entre los criterios para la comparación de resultados, solo tres criterios (20 %) se relacionan con otros para la triangulación de resultados. Otro detalle detectado es que, al analizar los indicadores de ‘producción académica’ y ‘proyectos de investigación’ no se diferencian a los profesores de aula de los del programa en alfabetización informacional. Esto sería importante para el análisis porque el estudio de Mears Delgado (2016: 321) reporta los resultados de los profesores del programa y, por otro lado, en los resultados de Palacios Montañez y Esquivel Carreón (2022: 114) se declara el trabajo de los profesores de aula ajenos al programa.
Resultados del análisis teórico del enfoque de Evalfin
Actualmente hay muchos enfoques de evaluación y estos determinan cómo el evaluador realiza su proceso. Después de revisar diversas clasificaciones y enfoques, como los de Alkin y Christie (2004: 13), Carden y Alkin (2012: 114), Mertens y Wilson (2012: 33), Stufflebeam y Coryn (2014: 105), Stufflebeam y Shinkfield (2007: 133), Stufflebeam y Webster (1980: 5) y Worthen y Sanders (1987: 60), llaman la atención dos trabajos. El primero es la propuesta de Mertens y Wilson (2012: 33), quienes utilizando las ramas de evaluación método, uso y valor, propuestas en la teoría del árbol de Alkin y Christie (2004: 13), justificaron la adición de una cuarta rama denominada justicia social; cada rama fue vinculada a un paradigma: pospositivista, pragmático, constructivista y transformativo, respectivamente. Para cada vinculación rama-paradigma establecieron los supuestos filosóficos axiológicos, ontológicos, epistemológicos y metodológicos que influyen en la práctica de evaluación. La otra propuesta es la de Stufflebeam y Coryn (2014: 105), quienes señalan cinco categorías donde pueden agruparse los enfoques de evaluación: pseudoevaluaciones, cuasievaluaciones, mejora y rendición de cuentas, ecléctica, y agenda social y abogacía.
Tomando como referencia estas dos propuestas de clasificación, es posible alinear el resto de las propuestas para construir un solo mapa de enfoques de evaluación. Si se utilizan los paradigmas como punto de partida y bajo ellos se vinculan las ramas de Alkin y Christie (2004: 13), como lo propone Mertens y Wilson (2012: 33), y en un tercer nivel se alinean las categorías propuestas por Stufflebeam y Coryn (2014: 105), surge un panorama más específico de enfoques de evaluación vinculados a sus influencias filosóficas (Tabla 2).
Tabla 2 Mapa de enfoques de evaluación
| Paradigma | Pospositivista | Pragmático | Constructivista | Transformativo | Autor | ||
|---|---|---|---|---|---|---|---|
| Rama | Método | Uso | Valor | Justicia social | |||
| Categoría | Pseudoevaluaciones | Cuasievaluaciones | Mejora y rendición de cuentas | Ecléctica | Agenda social y abogacía | ||
| Enfoque |
|
|
|
|
|
|
Stufflebeam y Coryn (2014) |
|
|
|
|
|
|
Mertens y Wilson (2012) | ||
|
|
|
|
|
|
Stufflebeam (2001) | ||
|
|
|
|
|
Worthen y Sanders (1987) | |||
Fuente: elaboración de las autoras (2024) a partir de Alkin y Christie (2004), Mertens y Wilson (2012), y Stufflebeam y Coryn (2014)
Siguiendo este mapa, es posible determinar que Evalfin tiene un enfoque de sistemas que lo ubica en la categoría de ‘mejora y rendición de cuentas’, de la rama de uso, que se alinea al paradigma pragmático. Las evaluaciones orientadas a la ‘mejora y la rendición de cuentas’ definen un programa en términos de mérito, valor, impacto, probidad, importancia, factibilidad, costo, seguridad, equidad y otros factores. También buscan todos los resultados relevantes, no solo aquellos claves para los objetivos del programa (Stufflebeam y Coryn, 2014: 173). En esta categoría se agrupan los estudios enfocados a la toma de decisión y la rendición de cuentas, también conocidos como modelos con enfoque de sistema en donde aparecen los modelos CIPP e IPO como los más influyentes (Eseryel, 2002: 94). En el enfoque de sistemas, el propósito más importante de una evaluación no es probar, sino mejorar. La orientación hacia la mejora significa que los evaluadores buscan ayudar a un programa a madurar, superar sus deficiencias tempranas y desarrollar sus fortalezas (Stufflebeam y Coryn, 2014: 176).
Evalfin se alinea con el paradigma pragmático que, de acuerdo con Mertens y Wilson (2012), utiliza el sentido común, el pensamiento práctico y se basa en los siguientes supuestos: el axiológico, en tanto que se adquieren conocimientos para lograr los fines deseados según lo influenciado por los valores y la política del evaluador (90); el ontológico, donde las evaluaciones se basan en la demostración de que los resultados ‘funcionan’ con respecto al problema estudiado (90); el epistemológico, que alude a que las relaciones en la evaluación están sujetas a lo que el evaluador considere apropiado para ese estudio en particular (90); y, por último, el metodológico, donde el paradigma pragmático es señalado por algunos investigadores como el marco filosófico que guía su elección de métodos mixtos (91).
Delimitación de la estructura del enfoque de evaluación
En la literatura hay varias propuestas de estructuras con enfoque de sistemas que fueron analizadas por Esquivel Carreón, Reyes Escalante y Mears Delgado (2022: 169), quienes definieron una estructura con un flujo lógico comprendido por siete fases: contexto, entradas, procesos, salidas, resultados, impacto, y valor a partir del análisis de seis modelos, tres adaptaciones de esos modelos y dos estructuras con enfoque de sistemas (Figura 3). Esta estructura resulta apropiada para superponer los componentes de Evalfin para comprobar su relación e interacción.
Fuente: adaptado de Esquivel Carreón, Reyes Escalante y Mears Delgado (2022: 169) (2024)
Figura 3 Estructura con enfoque de sistemas
En la fase contexto es donde se encuentra la problemática que quiere resolverse y es el punto de partida para la creación de un programa educativo y su posterior evaluación; se evalúan las necesidades, los problemas y las oportunidades como bases para definir objetivos y prioridades y juzgar la importancia de los resultados (Stufflebeam, 2000: 279).
La fase entradas comprende todas las acciones y recursos, tanto humanos, materiales y financieros, que la institución utiliza para que la alfabetización informacional sea posible; “la evaluación de entrada tiene como objetivo identificar y medir las capacidades de los recursos, sistemas y estrategias que se utilizarán en la etapa de ejecución del programa” (Guerra-López, 2008: 109).
La fase procesos engloba al diseño y la operación; refiere al desarrollo y la entrega del currículo de capacitación (Pietrzyk, 2016: 24). En la perspectiva de Bushnell (1990: 42), la ejecución se representa con cuatro actividades que agregan valor: el plan, el diseño, el desarrollo y la forma de entrega.
La fase salidas alude a los productos o servicios entregados; son los productos directos de la operación del programa, por ejemplo, el número de cursos impartidos, los alumnos atendidos, los diplomas entregados, los asesoramientos, las sesiones extraescolares, los folletos informativos, las cartas, entre otros (Penna, 2011: 11). En otras palabras, son los servicios o productos entregados que están en gran medida dentro del control de una agencia (Simister, 2015: 2).
La fase resultados, o de efectos directos predefinidos, son los resultados predefinidos de corto y mediano plazo derivados de los productos o servicios entregados (salidas). Rubin (2006: 2) define que los resultados son beneficios para el usuario final que demuestran la efectividad de un programa o servicio. La mayoría de estos beneficios son cambios en el conocimiento, las habilidades, la actitud, el comportamiento o la condición.
La fase impacto refleja los efectos indirectos de largo plazo obtenidos de los resultados (Penna 2011: 20). Son cambios duraderos o significativos en la vida de las personas provocados por una intervención o intervenciones (Simister, 2015: 2).
La fase valor refiere a la importancia del programa. Representa la importancia que los interesados o steakholders le conceden al programa de alfabetización informacional en relación con su beneficio (Mano González et al., 2014: 148).
Resultados de la comparación Evalfin en la estructura del enfoque de evaluación
Al superponer los componentes Evalfin en la estructura con enfoque de sistemas, se reconocieron algunos traslapes y componentes faltantes.
Los dos componentes que pueden ubicarse en la fase de contexto son integración en el currículo y gestión institucional e infraestructura. Estos dan cuenta de los compromisos, las problemáticas y las oportunidades del contexto, y si hay o no disposición por parte de la institución en formalizar la alfabetización informacional en su proyecto educativo. Sin embargo, los aspectos que refieren a la infraestructura, del segundo componente gestión institucional e infraestructura, forman parte de la fase entradas, por lo que se percibe un traslape del componente (Figura 4).
Fuente: elaboración de las autoras (2024)
Figura 4 Posicionamiento de los componentes del modelo Evalfin en la estructura con enfoque de sistemas
La fase entradas estará representada por los componentes competencias docentes, que apunta a los recursos humanos disponibles; también, debe incluirse la parte de infraestructura del componente gestión institucional e infraestructura, que comprende los recursos de soporte del programa. En la fase procesos se ubica el componente programa de alfabetización informacional, pues a través de este buscan atenderse las necesidades planteadas en la fase contexto. Se identificó que el indicador ‘operación’, no evalúa la entrega del programa a los usuarios, sino que compila información que refiere a los productos y servicios entregados por el programa y que forman parte de la fase salidas, lo cual reveló un traslape entre las fases (Figura 4).
Para la fase de salidas no se diseñó un componente específico. En la fase resultados, se tiene el componente de resultados del aprendizaje que considera las competencias ganadas y la satisfacción que los participantes obtienen por la entrega del programa. En la fase impacto se encuentra el componente reflexión de la práctica en el cual se valora la toma de conciencia sobre la intervención del programa de alfabetización informacional y sus consecuencias. Para la fase valor no hubo ningún componente (Figura 4).
Hacia el nuevo modelo Evalfin
En general, los resultados sugieren que Evalfin debe ajustar los elementos enumerados a continuación para eliminar el traslape de componentes y completar los faltantes, y con ello mejorar la interacción de los componentes del modelo.
Adecuar el alcance del componente competencias docentes para que solo se incluyan a los profesores que participan directamente en la ejecución del programa.
Separar el componente de gestión institucional e infraestructura en dos, uno enfocado en las condiciones del contexto y que se denomine gestión institucional y el otro que se ocupe de los recursos disponibles para el desarrollo del programa de alfabetización informacional que se denomine infraestructura institucional. De esta manera podrán contextualizarse mejor los resultados derivados de sus evaluaciones.
Para el componente programa es necesario adaptar la subfase de operación del programa y el instrumento de medición para que refleje cómo este se entrega.
Crear un componente que recopile y evalúe los productos y servicios (outputs) que derivan de la ejecución del programa para colocarlo en la fase de salidas.
Crear un nuevo componente y los instrumentos de medición que evalúen la importancia del programa para la fase valor.
Definir y adaptar las variables y los criterios necesarios de acuerdo con la ubicación del componente en la estructura con enfoque de sistemas.
Hacer una matriz de variables y criterios para asegurar su interacción para la triangulación de resultados.
Crear los instrumentos de medición faltantes para asegurar la evaluación de todas las variables y su interacción en la triangulación de resultados.
Utilizando el mismo esquema de la Figura 4 pueden proponerse los ajustes para el nuevo modelo. El resultado, un modelo de nueve componentes en lugar de los seis planteados originalmente (Figura 5). Con esta nueva reorganización, se obtiene el mapa con el cual analizar, en un estudio futuro, las variables, criterios e instrumentos de medición dentro de los límites y alcances de la estructura de sistemas.
Discusión
El modelo Evalfin es un importante esfuerzo de evaluación que ha dado cuenta de dos escenarios de aplicación que constatan su transferibilidad y utilidad. Hasta ahora ha sido uno de los más completos en visualizar la alfabetización informacional en un contexto más amplio que trasciende los límites operativos del programa; se concibe como un modelo que permite la autocrítica y la reflexión para la toma de decisiones.
La metaevaluación presentada es sumativa, pues fue realizada después de una evaluación, según Stufflebeam (2001: 115), este tipo de evaluaciones ayudan a juzgar el mérito y el valor. Los resultados presentados posibilitaron analizar la valía y utilidad del modelo Evalfin, así como sus puntos fuertes y débiles. Con los resultados se reconoce que el modelo tiene bases sólidas porque todos sus componentes son útiles, según puede apreciarse en la Figura 4 y la Figura 5; que tiene rigor, porque utiliza diversos métodos de evaluación y porque se han triangulado los resultados procedentes de ellos, pero que, igualmente, requiere del reforzamiento de la triangulación o contrastación de resultados para mayor rigurosidad, como señala Santos Guerra (2000: 19-20); también muestra transferibilidad, porque hace descripciones minuciosas con criterios que pueden devenir comunes en la mayoría de las instituciones de educación superior (Santos Guerra, 2000: 20). Todo ello señala que el modelo tiene suficientes méritos para buscar mejorarlo, sobre todo porque puede resultar útil para otras disciplinas con las adecuaciones pertinentes.
Del estudio se identifica que la base teórica de Evalfin está en la teoría general de sistemas (TGS), promovida por Bertalanffy (1968), quien define un sistema como un complejo de elementos que interactúan. A través de la nueva propuesta de Evalfin (Figura 5), se atienden los objetivos principales de los modelos con un enfoque de sistemas, los cuales se orientan a la mejora de un programa, la ayuda para la superación de sus fallas tempranas y el desarrollo de sus fortalezas (Stufflebeam y Coryn, 2014: 108).
La TGS ha sido abordada ampliamente en la literatura desde diferentes ángulos, pero es el enfoque de Vasco Uribe (2013: 25) el que ha dado sentido al proceso de metaevaluación presentado en este documento. El autor comparte un interesante y profundo análisis donde la TGS es subordinada a la teoría general de los procesos (TGP), desde esta perspectiva, el proceso es el todo y los sistemas son vistos como construcciones mentales que ya están separadas y definidas como subprocesos de otros procesos más grandes, y modeladas mentalmente como sistemas (representación). Los modelos, a su vez, se dinamizan a través de una estructura donde se construye mentalmente el conjunto de relaciones. De acuerdo con el autor, estos sistemas (subprocesos) ayudan a comprender e influir en los procesos a través de acciones guiadas por los modelos mentales que son las representaciones del sistema.
Esta perspectiva pone de manifiesto la complicada y dinámica naturaleza de estos subprocesos (sistemas) en el marco de la TGP, que resulta ser más compleja. Siguiendo la estructura jerárquica proceso<sistema<modelo<estructura propuesta por Vasco Uribe (2013:25), puede decirse que del proceso de educación superior es de donde se extrae el subproceso de alfabetización informacional, y se modela a través de la Figura 5, quedando pendiente la propuesta de la estructura que dinamiza el modelo a partir de los criterios de evaluación.
Según Frye y Hemmer (2013: 5), en la teoría de sistemas, el sistema engloba las partes, la organización de las partes y las relaciones entre esas partes y el entorno; estas relaciones no son estáticas, sino dinámicas y cambiantes (5). En este sentido, se distingue que Evalfin tiene algunas fallas en las relaciones e interacciones de los componentes y criterios de evaluación, aspectos que a partir de la metaevaluación han buscado atenderse en la nueva propuesta de Evalfin (Figura 5). Esta nueva propuesta abarca las partes del sistema a través de los componentes definidos en cada fase, la organización de las partes sucede al colocar los componentes en un lugar de consecución lógica dentro de la estructura con enfoque de sistemas, y la interrelación es marcada por la misma estructura al tiempo que la fase anterior alimenta a la siguiente y retroalimenta a la anterior. Sin embargo, al faltar el análisis de la estructura que dinamiza el modelo, la interacción es el aspecto medular por cuidar en el análisis futuro que habrá de hacerse sobre los criterios para completar el modelo.
Sin duda, la teoría de sistemas ha evolucionado significativamente con los años, se ha ampliado para analizar, modelar y optimizar sistemas en varias disciplinas. Actualmente sigue siendo crucial en el modelado y análisis del comportamiento de sistemas, lo que muestra su utilidad en la comunidad científica, pero hay que reconocer sus ventajas y limitaciones porque estas también afectan a la metaevaluación realizada y a la propuesta de mejora del modelo que de ella desprende.
En principio, algunos autores consideran que la TGS quiso implementarse como “un nuevo método científico para el abordaje de todo tipo de problemas, principalmente en las áreas transdisciplinarias” (Coronado Jurado, 2001: 70), pero que “a lo sumo [solo era] un aporte epistemológico-metodológico válido” (Coronado Jurado, 2001: 70). Es en este sentido de aporte metodológico que el enfoque de sistemas resulta apropiado para la evaluación del modelo Evalfin porque, al permitir su descomposición en partes, pudo verse el problema de la interacción de los componentes, procedente de los traslapes, y la ausencia de los elementos necesarios para la comprensión lógica e integral del modelo.
Una limitación por considerar es que a partir de la necesaria abstracción de los subprocesos (sistema) para simplificar la complejidad de un proceso mayor e intentar definir unos límites del sistema, según lo señalado por Vasco Uribe (2013: 25-75), inevitablemente se corre el riesgo de excluir elementos importantes para su evaluación -como le sucedió al modelo Evalfin-. Por esta razón, los modelos basados en la teoría de sistemas enfrentan varios retos derivados de la acotación de un proceso mayor, de la complejidad inherente del mismo sistema y de las limitaciones de su modelado que pueden dificultar su eficacia y sesgar sus resultados. Además, la simplificación excesiva, la dependencia de supuestos rígidos, las dificultades en la implementación y la falta de flexibilidad afectan la efectividad de estos modelos en la práctica.
Otras limitaciones inherentes a los modelos con enfoque de sistemas están en la fase de entradas (input) por la dificultad para cuantificar y modelar adecuadamente estas entradas, sobre todo las que no pueden medirse completamente o en tiempo real. Esto implica basarse en estimaciones, lo cual influye significativamente en los demás elementos del sistema y conlleva a resultados imprecisos o erróneos; un claro ejemplo de entradas en un enfoque de sistemas es el recurso humano que en sí mismo es un subsistema complejo, por lo que se le debe considerar como un elemento crítico que necesita tratarse de forma diferenciada al adherirse a múltiples interpretaciones subjetivas hacia los elementos del modelo. La complejidad en las personas deriva, además, de que estas “no se ven como una parte interconectada del sistema, sino como un elemento aislado y su responsabilidad se limita a cumplir ‘bien’ la labor que se le ha asignado. […] Se pierden las responsabilidades del conjunto y, normalmente, se terminan obteniendo resultados globales muy por debajo de lo esperado” (Osorio Gómez, 2007: 52).
Por otro lado, la modelización de criterios basada en la perspectiva de sistemas da la impresión de que basta con el buen rediseño de un modelo para alcanzar una neutralidad en la metaevaluación o, incluso, de que es posible lograrla; pero, aunque la metaevaluación tiene a la neutralidad como objetivo, esta puede verse comprometida por los sesgos inherentes a los evaluadores -quienes deben actuar de manera objetiva- y de los marcos utilizados. Aunque la formación continua y las consideraciones éticas son cruciales para mejorar la neutralidad de las metaevaluaciones, este tema debe abordarse con mayor profundidad en el estudio estructural del modelo donde se analizan los criterios que lo dinamizan.
En resumen, aunque los modelos con enfoque de sistemas ofrecen herramientas valiosas para entender y gestionar la complejidad de un proceso, es crucial reconocer sus limitaciones inherentes, pues, como señala Vasco Uribe (2013: 29), “no puede[n] sinceramente proponer[se] como los ‘verdaderos modelos’ ni como las ‘verdaderas teorías’, sino apenas como otros puntos de vista más”, porque las evaluaciones pueden “estar viciadas por un enfoque inadecuado, criterios inapropiados, errores técnicos, […] resultados sesgados, resultados ambiguos, […] interpretación inadecuada o errónea para los usuarios” (Stufflebeam, 2001: 184). En este contexto, no puede negarse que la metaevaluación presentada podía caer en alguno de esos errores, sobre todo porque los resultados son parciales. Por ello, para intentar atenuar las posibilidades de error, los estudios futuros de la metaevaluación de la alfabetización informacional deben considerar variables y criterios que respondan a los temas emergentes, como la inteligencia artificial y las competencias digitales, que hoy en día representan nuevos retos en la formación integral de las personas ante la evidente convergencia entre la competencia digital y la informacional (Marzal García-Quismondo, 2023), y la interacción simbiótica con la inteligencia artificial (Marzal y Vivarelli, 2024: 7).
Otro tema por considerar es la relación de la alfabetización informacional con otras alfabetizaciones emergentes, como la alfabetización de datos (Pinto et al., 2023), que, inclusive, puede concentrarse en el concepto nuevo de ‘alfabetización informacional de datos’, el cual propondría un reajuste conceptual de las habilidades básicas en educación a partir de un metaanálisis sobre las habilidades del siglo XXI (Mason, Khan y Smith, 2016: 609). Estos temas representan un campo de estudio futuro, no solo de los ajustes a los que debe someterse la alfabetización informacional, sino también del proceso y rediseño de modelos para su metaevaluación, ya que esto abriría vías para la integración de nuevos criterios que repercutan en la ampliación hacia otros ámbitos educativos. Acrecentar el campo de análisis hacia estos temas permitirá orientar a la alfabetización informacional y su metaevaluación a metas y objetivos concretos.
Conclusiones y recomendaciones
La revisión crítica desarrollada a través de la metaevaluación de Evalfin nos llevó a bosquejar la estructura de lo que podría ser el nuevo modelo de evaluación en alfabetización informacional. Estos cambios generales resultantes del estudio crítico pueden aumentar la confianza de los interesados en la evaluación para el uso del modelo (Mertens y Wilson, 2019: 29), por lo que esta primera evaluación de Evalfin es una aportación que puede potenciar las posibilidades para su utilización. De acuerdo con el objetivo planteado, la metaevaluación del modelo ha resultado efectiva para los fines propuestos. Logró identificarse su valor, sus fortalezas, sus fallas y carencias, además de que, con la propuesta de la Figura 5, se fincan las bases para su mejora.
A partir del análisis de las experiencias de aplicación, se divisaron los problemas de operatividad del modelo por las fallas en la interacción de componentes y criterios. Con el análisis de sus fundamentos teóricos, logró establecerse el enfoque del modelo en el marco de un paradigma para conocer sus alcances con precisión; además se estableció una estructura que sirvió como mapa para detectar a detalle por qué sucedían los fallos en la interacción de los componentes y las variables; y también, para presentar una nueva propuesta gráfica para su mejora.
La estructura con enfoque de sistemas como método de contraste ha sido muy útil porque ayudó a distinguir el problema y la solución conjuntamente al contemplar con claridad el lugar de cada componente y su alcance a la hora de medirlo. Es el mapa que ayudará a continuar con la propuesta de la estructura dinamizadora del modelo, a adaptar los instrumentos de medición existentes y elaborar los faltantes, y también favorecerá el análisis e interpretación de resultados en los límites que delimitan a cada componente del modelo.
La metaevaluación del modelo Evalfin, como mecanismo para identificar fortalezas y áreas de mejora a través de la revisión sistemática del modelo, tiene como desafío seguir el ritmo complejo de la alfabetización informacional que se subordina a las transformaciones de la educación superior del siglo XXI que, a su vez, contempla los cambios sociales, políticos, económicos, culturales y tecnológicos para preparar personas que respondan a las necesidades de su entorno. Asimismo, esta metaevaluación subraya la importancia de la evaluación del complejo fenómeno educativo denominado alfabetización informacional, a través de la evaluación del modelo Evalfin, y representa un esfuerzo por mejorar su modelación o representación del sistema y sus resultados.
Este trabajo muestra un ejemplo práctico de metaevaluación que desemboca en una metodología, un mapa de enfoques de evaluación (paradigma, rama, categoría y enfoque), una estructura con enfoque de sistemas (contexto, entradas, procesos, salidas, resultados, impacto y valor), y un resultado gráfico que pueden ser de utilidad para valorar otros modelos similares.
Una de las limitaciones más importantes de este trabajo es que se presenta solo como un avance debido a la falta de una propuesta de criterios que formen parte de la estructura que dinamiza el modelo; la exhaustividad de esa tarea exige una investigación por separado, pues necesitaría profundizarse más en la teoría de sistemas y en los aspectos de neutralidad de la metaevaluación, lo cual conformaría futuras líneas de estudio. También es necesario realizar el pilotaje del nuevo modelo y analizar el rol de los actores en el proceso de evaluación en virtud de sus implicaciones al estar insertos en el sistema.
