Introducción

En el proceso de enseñanza-aprendizaje se requiere el empleo de diversas herramientas y estrategias para asegurar una formación efectiva, como es el caso de los entornos virtuales de aprendizaje (EVA), los cuales de manera habitual deben ser evaluados para determinar el nivel en que se han alcanzado los objetivos trazados. Un ejemplo de ello es el trabajo de ^{Gordillo et al. (2014)}, en la Universidad Politécnica de Madrid, quienes propusieron un conjunto de métricas de calidad pedagógica basadas en LORI. Los resultados demostraron eficacia y seguridad de estas métricas para clasificar los resultados de búsqueda basados en la calidad.

Por otro lado, en Argentina, ^{Ferrari y Mariño (2014)} se enfatizaron en la evaluación de la usabilidad de los EVA, para lo cual propusieron la creación de un entorno virtual orientado al apoyo del aprendizaje (EVEA) que integra herramientas de minería de datos en la educación superior, ya sea como parte de cursos regulares o de actualización. Adicionalmente, ^{Orozco Rodríguez y Morales Morgado (2016)} llevaron a cabo un estudio en la Universidad de Salamanca, España, para analizar los resultados de la prueba psicométrica del instrumento HEODAR (herramienta de evaluación de objetos didácticos de aprendizaje reutilizables).

^{Adame Rodríguez (2015)}, por su parte, analizó los hallazgos de la adaptación de indicadores cuantitativos al instrumento para evaluar objetos de aprendizaje LORI. Este trabajo buscó contribuir a la educación al medir, reportar, comunicar, actuar y dar seguimiento a la calidad de los recursos educativos digitales, desde su diseño y desarrollo hasta la posimplementación.

Otra investigación relevante es la de ^{Acuña (26 de diciembre de 2021)}, quien se centró en la necesidad de evaluar con calidad los recursos educativos, por lo que considera tres sistemas de evaluación, entre ellos LORI. Igualmente, ^{Ballesteros Román et al. (2013)} llevaron a cabo un estudio sobre minería de datos enfocada en la gestión educativa. Destacaron que esta herramienta es confiable para que los docentes evalúen sus prácticas y metodologías implementadas con sus estudiantes, independientemente de si se utilizan agentes tutores inteligentes, sistemas virtuales de educación o estrategias activas de aprendizaje en el aula.

Finalmente, ^{Rosado Gómez y Verjel Ibáñez (2017)} investigaron cómo se pueden identificar las características necesarias para el procesamiento de datos en el contexto educativo, mientras que González Calleros et al. (2019) afirman que la tecnología está ayudando a la creación de herramientas que han permitido mejorar la evaluación en los procesos educativos. En síntesis, estas investigaciones resaltan la importancia de comprender la evaluación de los EVA y su impacto en el aprendizaje, elemento crucial para la educación actual.

Metodología

El enfoque de investigación adoptado en este estudio fue de naturaleza mixta. Según lo planteado por ^{Hernández Sampiere et al. (2014)}, este se caracteriza por conjugar procesos sistemáticos, empíricos y críticos que involucran la recolección y análisis de datos tanto cuantitativos como cualitativos. En concreto, se diseñó una investigación exploratoria con el propósito de comprender la percepción de los docentes, estudiantes y expertos temáticos sobre los entornos virtuales de aprendizaje (EVA) en los distintos programas de posgrado ofrecidos por la Universidad Santo Tomás, seccional Bucaramanga.

Para ello, se ejecutaron tres fases: primero se recopilaron las opiniones y evaluaciones de los diseñadores de contenidos, estudiantes y tutores involucrados en estos programas; luego, se realizó un análisis exhaustivo de los datos recopilados, separando las respuestas de cada grupo de participantes, para identificar las necesidades específicas que deben evaluarse en los EVA; finalmente, se planteó un sistema que evalué los aspectos pedagógicos, técnicos y organizacionales a través de criterios y subcriterios.

Resultados

El sistema para evaluar los EVA, que se plantea como sistema de evaluación de los entornos virtuales de aprendizaje (SEEVA), se estructura en aspectos pedagógicos, técnicos y organizacionales.

Discusión

El estudio se desarrolló en tres fases. La primera implicó el análisis, para lo cual se tomó en cuenta la definición de ^{Ibáñez Peinado (2015)}, por lo que se hizo un análisis de los criterios de evaluación de los entornos virtuales de aprendizaje HEODAR, minería de datos, FLOE y LORI. Estos criterios se recopilaron a través de entrevistas estructuradas realizadas a diseñadores de contenido de la Universidad Santo Tomás, quienes tenían una amplia variedad de perfiles académicos, como ingenieros con maestrías en diversas disciplinas, comunicadores sociales con maestrías en educación, administradores de empresas con posgrados en diferentes áreas, abogados con diversas especialidades, economistas con posgrados variados y arquitectos con estudios posgraduales.

Los datos recopilados se analizaron utilizando el software Nvivo 12, lo que permitió la creación de nodos y referencias basadas en las apreciaciones de los participantes. Por ejemplo, se destacó que los EVA cuentan con una ruta de aprendizaje en cada una de sus secciones, donde se plasman los propósitos de cada sección y se dejan asignadas las actividades y procesos que se llevarán a cabo durante las semanas correspondientes. Esto incluye criterios relacionados con la presentación de la información, su relevancia para alcanzar los resultados de aprendizaje esperados y la orientación proporcionada para el aprendizaje.

En tal sentido, se resaltó la importancia de la apropiación conceptual a través de lecturas previas y la actualización temática y novedosa de las materias asignadas. Además, se mencionó que existe un sólido diseño del método de enseñanza, incluyendo la didáctica utilizada para transmitir el conocimiento de manera efectiva. También se hicieron referencia a las estrategias de evaluación y retroalimentación, que buscan permitir a los estudiantes profundizar en sus conocimientos y abordar cualquier deficiencia en su comprensión.

En la segunda fase, se evaluaron los criterios de HEODAR, minería de datos, FLOE y LORI en los EVA de varios programas virtuales de posgrado en la Universidad Santo Tomás, seccional Bucaramanga. Para llevar a cabo esta evaluación de pertinencia, se aplicó un cuestionario a estudiantes y tutores de los siguientes programas: Especialización en Seguridad Social, Especialización en Seguridad y Salud en el Trabajo, Especialización en Finanzas Públicas, Especialización en Negocios Globales e Innovación, Especialización en Gerencia de la Internacionalización Empresarial, Especialización en Administración Deportiva y Maestría en Dirección y Gestión de Proyectos, Especialización en Revisoría Fiscal y Auditoría Externa, Especialización en Interventoría y Supervisión de la Construcción, Maestría en Reconciliación y Convivencia y Maestría en Derecho Tributario. La información recopilada se tabuló utilizando la herramienta Nvivo 12.

Para el análisis de los resultados obtenidos en las encuestas se examinaron las percepciones de los estudiantes (disponibles en https://acortar.link/YZvbal) y tutores de programas de modalidad virtual de la Universidad Santo Tomás, seccional Bucaramanga (disponibles en https://acortar.link/iN0GYI) con respecto a las aulas digitales. Esto se hizo considerando los criterios de los sistemas HEODAR, minería de datos, FLOE y LORI, los cuales fueron evaluados mediante una escala de valoración.

En el caso del sistema HEODAR, se analizaron los criterios pedagógicos, didácticos curriculares, de usabilidad y de diseño de navegación con la siguiente escala de valoración: “No sabe”, “Muy deficiente”, “Deficiente”, “Aceptable”, “Alta” y “Muy alta”. En el criterio pedagógico se evaluó la motivación, la atención, la interactividad y la creatividad, aspectos que permiten promover el aprendizaje autónomo y el desarrollo de las habilidades metacognitivas. En cuando al criterio didáctico pedagógico, los participantes mencionan la importancia de la coherencia entre la propuesta de formación y los resultados logrados, teniendo en cuenta que se presenta la información de distintas formas. En el criterio usabilidad se percibió la necesidad de valorar el texto, la imagen, las animaciones, la multimedia, el sonido y el vídeo, lo que sirvió para conocer qué tan pertinente es el contenido de los archivos, el tipo, tamaño y color de letra, y si son adecuados los audios, videos y animaciones para mantener la atención del usuario. Con el último criterio se pudo conocer qué tan pertinente es presentarle al usuario los objetivos que se pretenden desarrollar, así como la flexibilidad de la estructura y la interfaz de la navegación.

Para el sistema minería de datos, se evaluaron los criterios relacionados con el enfoque orientado al usuario, el enfoque colaborativo y el enfoque integrado. La escala incluyó categorías como “Extremadamente en desacuerdo”, “En desacuerdo”, “Ni en desacuerdo ni de acuerdo”, “En acuerdo” y “Extremadamente de acuerdo”. El primer criterio permitió evaluar aspectos como la calidad y estructura de los contenidos para precisar cuán pertinente son y cuál es la efectividad en el proceso de aprendizaje. El segundo criterio resultó útil para conocer la capacidad del objeto virtual de aprendizaje (OVA) en cuanto a alcanzar los objetivos y el diseño de los contenidos. En último criterio perimió precisar la estructura de los contenidos y las especificaciones tecnológicas (^{Ballesteros Román et al., 2013}).

El sistema FLOE evaluó criterios como escenarios de calidad positiva, negativa, de entrega y de calidad formativa, utilizando una escala de valoración de 1 a 5 (1 representó el menor valor y 5 el mayor). Con el primer criterio se puedo evaluar tanto la cantidad de movimientos como el tiempo de uso del cursor en el entorno digital. Además, la calidad de la interacción y cómo esta contribuye a una experiencia visualmente agradable. En el segundo criterio se prestó atención al estilo de redacción, la manera en que se realizan las referencias, cómo se gestionan los recursos disponibles en el sistema y los permisos otorgados para modificar las herramientas digitales. En cuanto al tercer criterio, se evaluó la facilidad con la que los usuarios pueden acceder al entorno virtual, la disposición de las herramientas y la presencia de software invasivo o elementos de edición que puedan afectar la experiencia del usuario. Por último, en el cuarto criterio, se consideró una valoración de la acción formativa proporcionada por el entorno digital, el nivel de formación académica que han adquirido los estudiantes y el beneficio que obtiene cada uno.

Luego se revisó LORI, una herramienta que evaluó ocho criterios: calidad de contenidos, adecuación de los objetivos de aprendizaje, retroalimentación y adaptabilidad, motivación, diseño de presentación, usabilidad de la interacción, accesibilidad y cumplimiento de estándares, con una escala que oscila entre -1 y -5 para las calificaciones negativas, y de 1 a 5 para las positivas. En el primer criterio, se destacó la importancia de que el contenido estuviera exento de errores, que las presentaciones resaltaran partes clave y transmitieran ideas de forma clara, y que los contenidos fueran apropiados para diversos estilos de aprendizaje. El segundo criterio enfatiza que las actividades de aprendizaje, los contenidos y las evaluaciones deben estar alineados con los objetivos de manera efectiva, y que estas actividades deben ser suficientes para lograr dichos objetivos. En el tercer se evidencia que los mensajes de instrucción y las actividades se adaptan a las necesidades específicas de cada alumno. En cuanto al cuarto criterio se observa la capacidad de la herramienta para mantener la motivación entre los usuarios, así como la disponibilidad de actividades interactivas. El quinto criterio se concentra en la eficiencia del aprendizaje proporcionado por la herramienta a través de recursos visuales con una redacción clara y concisa, libre de errores, así como el uso adecuado del color y un diseño estéticamente agradable. Además, se consideran adecuados los gráficos y las tablas utilizadas (^{Adame Rodríguez, 2015}). En el sexto criterio, se busca que el usuario pueda navegar de manera sencilla e intuitiva a través de todos los hipervínculos o botones presentes en los espacios digitales. El séptimo criterio se enfoca en garantizar que el material sea accesible para las personas con discapacidades sensoriales y motoras, además de asegurar que se pueda acceder a él desde cualquier dispositivo, cumpliendo con las pautas establecidas por el W3C. En el octavo criterio, se verifica que los espacios virtuales cumplan con los estándares propuestos por IEEE Learning Object Metadata y las directrices técnicas establecidas por el sistema de gestión del aprendizaje (LMS), el Institute of Electrical and Electronics Engineers (IEEE), Shareable Content Object Reference Model (SCORM) y World Wide Web Consortium (W3C). Esto garantiza la conformidad con todas las normas y especificaciones internacionales relevantes.

Finalmente, en la tercera fase se diseñó un sistema que relacionó los criterios de HEODAR, minería de datos, FLOE y LORI para evaluar los EVA. Luego, a partir de los resultados obtenidos, se desarrolla un plan de mejora a corto, mediano o largo plazo, dependiendo del rango alcanzado en la evaluación (^{Frascara, 2000}).

Conclusiones

Para garantizar una formación efectiva, las instituciones educativas deben evaluar constantemente las estrategias y los recursos empleadas, incluidos los entornos virtuales de enseñanza aprendizaje (EVA). Desafortunadamente, en muchas instituciones no se lleva a cabo de manera adecuada la evaluación de los EVA debido, en parte, a la falta de conocimiento sobre las herramientas y sistemas pertinentes.

Por eso, el presente proyecto procuró hallar respuestas para la siguiente interrogante: ¿cómo puede un sistema de evaluación contribuir a la mejora de los EVA de los programas de posgrado de la Universidad Santo Tomás, seccional Bucaramanga, teniendo en cuenta los criterios HEODAR, minería de datos, FLOE y LORI?

Para ello, el proyecto estableció tres objetivos específicos. En primer lugar, diagnosticar los criterios de HEODAR, minería de datos, FLOE y LORI en los referidos EVA con énfasis en la pertinencia del diseño. En tal sentido, los resultados sugieren la necesidad de evaluar los espacios virtuales con base en los criterios mencionados, ya que esto permite comprender mejor los escenarios de formación, considerando aspectos como los objetivos, el impacto del entorno, la estructura, la calidad del contenido, la presentación, la orientación docente y la coherencia entre las actividades y los objetivos, así como la metodología y la retroalimentación.

En segundo lugar, se procuró valorar los criterios de HEODAR, minería de datos, FLOE y LORI en los mismos EVA con el fin de evaluar tanto su pertinencia como su diseño. Para esto, se consultó a tutores y estudiantes sobre cómo los evaluarían en relación con los criterios y subcriterios de los sistemas mencionados. Las respuestas indican un acuerdo general en la importancia de llevar a cabo una evaluación de estos espacios virtuales, considerando aspectos como la claridad de los objetivos, la idoneidad de los materiales, la interactividad, la motivación de los estudiantes, la presentación de la información, la coherencia de las actividades con los objetivos, el impacto del material, la creatividad y la promoción del aprendizaje autónomo, además del cumplimiento de las normativas de la gestión del aprendizaje (LMS).

En tercer lugar, se planteó el objetivo de estructurar un sistema de evaluación de entornos virtuales de enseñanza aprendizaje que integre los criterios de HEODAR, minería de datos, FLOE y LORI con el fin de mejorar aspectos pedagógicos, técnicos y organizacionales (^{Ferrari y Mariño, 2014}). Este objetivo surge como respuesta a las necesidades expresadas por tutores y estudiantes, de ahí que se haya desarrollado el sistema SEEVA, que permite evaluar los aspectos pedagógicos, técnicos y organizacionales a través de una serie de subcriterios que se encuentran agrupados en categorías específicas.

En lo que respecta a los aspectos pedagógicos, SEEVA evalúa criterios que abarcan la adecuación de los objetivos, el aprendizaje en términos de tiempo, la creatividad, la didáctica curricular, el diseño conceptual (estructura de contenidos), el diseño de presentación para el aprendizaje, la evaluación, la interactividad, la motivación y la atención, así como los aspectos técnicos-estéticos.

Para los aspectos técnicos, el sistema evalúa la accesibilidad y disponibilidad, el diseño de interfaz, el diseño de navegación, las especificaciones tecnológicas, la funcionalidad, la presentación, la técnica-estética, la usabilidad y la velocidad de transferencia.

En lo que concierne a los aspectos organizacionales, SEEVA evalúa la autorización y validación, el cumplimiento de estándares y normas, el impacto, la retroalimentación, la seguridad/confidencialidad y el respeto por la propiedad intelectual.

Con base en los resultados obtenidos, se puede indicar que se deben generar planes de mejora a corto, mediano y largo plazo con el objetivo de optimizar los EVA y satisfacer las necesidades tanto de tutores como de estudiantes.

Futuras líneas de investigación

En la actualidad, contamos con una amplia variedad de herramientas para construir los insumos que conforman los entornos virtuales de aprendizaje (EVA). Sin embargo, es crucial que se realice una evaluación de estos recursos para determinar su pertinencia en el contexto del programa, el nivel de formación y la modalidad educativa correspondiente. Para ello, se propone la implementación del Sistema de Evaluación de Entornos de Aprendizaje (SEEVA), el cual analiza aspectos pedagógicos, técnicos y organizativos.

Además, es importante considerar la posibilidad de plantear otros sistemas o herramientas complementarias que se enfoquen en aspectos adicionales, tales como la usabilidad, el diseño, la calidad, la funcionalidad, la eficacia, la flexibilidad, la interactividad, entre otros, elementos esenciales para garantizar experiencias educativas de calidad.