Introducción
En el proceso de enseñanza-aprendizaje se requiere el empleo de diversas herramientas y estrategias para asegurar una formación efectiva, como es el caso de los entornos virtuales de aprendizaje (EVA), los cuales de manera habitual deben ser evaluados para determinar el nivel en que se han alcanzado los objetivos trazados. Un ejemplo de ello es el trabajo de Gordillo et al. (2014), en la Universidad Politécnica de Madrid, quienes propusieron un conjunto de métricas de calidad pedagógica basadas en LORI. Los resultados demostraron eficacia y seguridad de estas métricas para clasificar los resultados de búsqueda basados en la calidad.
Por otro lado, en Argentina, Ferrari y Mariño (2014) se enfatizaron en la evaluación de la usabilidad de los EVA, para lo cual propusieron la creación de un entorno virtual orientado al apoyo del aprendizaje (EVEA) que integra herramientas de minería de datos en la educación superior, ya sea como parte de cursos regulares o de actualización. Adicionalmente, Orozco Rodríguez y Morales Morgado (2016) llevaron a cabo un estudio en la Universidad de Salamanca, España, para analizar los resultados de la prueba psicométrica del instrumento HEODAR (herramienta de evaluación de objetos didácticos de aprendizaje reutilizables).
Adame Rodríguez (2015), por su parte, analizó los hallazgos de la adaptación de indicadores cuantitativos al instrumento para evaluar objetos de aprendizaje LORI. Este trabajo buscó contribuir a la educación al medir, reportar, comunicar, actuar y dar seguimiento a la calidad de los recursos educativos digitales, desde su diseño y desarrollo hasta la posimplementación.
Otra investigación relevante es la de Acuña (26 de diciembre de 2021), quien se centró en la necesidad de evaluar con calidad los recursos educativos, por lo que considera tres sistemas de evaluación, entre ellos LORI. Igualmente, Ballesteros Román et al. (2013) llevaron a cabo un estudio sobre minería de datos enfocada en la gestión educativa. Destacaron que esta herramienta es confiable para que los docentes evalúen sus prácticas y metodologías implementadas con sus estudiantes, independientemente de si se utilizan agentes tutores inteligentes, sistemas virtuales de educación o estrategias activas de aprendizaje en el aula.
Finalmente, Rosado Gómez y Verjel Ibáñez (2017) investigaron cómo se pueden identificar las características necesarias para el procesamiento de datos en el contexto educativo, mientras que González Calleros et al. (2019) afirman que la tecnología está ayudando a la creación de herramientas que han permitido mejorar la evaluación en los procesos educativos. En síntesis, estas investigaciones resaltan la importancia de comprender la evaluación de los EVA y su impacto en el aprendizaje, elemento crucial para la educación actual.
Metodología
El enfoque de investigación adoptado en este estudio fue de naturaleza mixta. Según lo planteado por Hernández Sampiere et al. (2014), este se caracteriza por conjugar procesos sistemáticos, empíricos y críticos que involucran la recolección y análisis de datos tanto cuantitativos como cualitativos. En concreto, se diseñó una investigación exploratoria con el propósito de comprender la percepción de los docentes, estudiantes y expertos temáticos sobre los entornos virtuales de aprendizaje (EVA) en los distintos programas de posgrado ofrecidos por la Universidad Santo Tomás, seccional Bucaramanga.
Para ello, se ejecutaron tres fases: primero se recopilaron las opiniones y evaluaciones de los diseñadores de contenidos, estudiantes y tutores involucrados en estos programas; luego, se realizó un análisis exhaustivo de los datos recopilados, separando las respuestas de cada grupo de participantes, para identificar las necesidades específicas que deben evaluarse en los EVA; finalmente, se planteó un sistema que evalué los aspectos pedagógicos, técnicos y organizacionales a través de criterios y subcriterios.
Evaluación
Según Onetti Onetti (2011), la evaluación es un proceso continuo y sistemático que sirve para el mejoramiento de la enseñanza y el aprendizaje. Esta se aplica en una amplia gama de contextos en la vida de las personas y su objetivo principal es reunir evidencia objetiva que permita guiar y mejorar la actividad evaluada de manera efectiva. En el ámbito educativo, constituye una herramienta fundamental que no solo tiene un impacto positivo en las instituciones, sino que también influye en el crecimiento y desarrollo individual de cada persona, lo que genera un auténtico efecto para la formación. La evaluación educativa se apoya en la recopilación de datos tanto cuantitativos como cualitativos relacionados con el desempeño de los estudiantes que se interpretan cuidadosamente para formular juicios de valor que contribuyan al análisis y la mejora del proceso educativo en su conjunto.
Entorno virtual de enseñanza aprendizaje
Díaz Zelada (2020) define los EVA como conjuntos educativos basados en la web que han demostrado ser especialmente beneficiosos en la educación superior, los cuales están compuestos por herramientas informáticas que facilitan la interacción didáctica entre docentes, alumnos y los materiales de aprendizaje. Esta interacción dinámica se lleva a cabo mediante el uso de tecnologías digitales, lo que posibilita la realización de actividades educativas a distancia. La relevancia de los EVA se encuentra en su flexibilidad en cuanto a tiempo y espacio, lo que permite trabajar en entornos virtuales diversos que incluyen elementos como videos, presentaciones, películas, chats grupales y foros que fomentan la participación activa de los estudiantes.
Sistemas de evaluación
Para evaluar y mejorar los espacios virtuales de enseñanza-aprendizaje, es fundamental considerar una serie de criterios. Por ejemplo, se pueden tomar en cuenta los propuestos por diferentes sistemas, como LORI (Nesbit et al., 2009), HEODAR (Morales Morgado et al., 2008), minería de datos (Hernández et al., s. f.) y FLOE (Vargas-Lombardo, 2007).
El sistema LORI se enfoca en aspectos pedagógicos y de usabilidad, mientras que HEODAR considera datos educativos, el enfoque orientado al usuario, el enfoque colaborativo (experto-profesor) y el enfoque integrador (estudiante-experto-profesor). Por su parte, el sistema de minería de datos contempla el escenario de calidad positiva, negativa, de entrega y de calidad formativa.
En la tabla 1 se presentan los criterios propuestos por cada uno de estos sistemas. De estos criterios, se seleccionarán aquellos que sean más pertinentes para el sistema que se está proponiendo con el objetivo de determinar si se cumplen las necesidades de formación en diferentes niveles y tipos de aprendizaje, así como si los recursos y herramientas se mantienen actualizados.
LORI | HEODAR | Minería de datos | Sistema de evaluación FLOE |
---|---|---|---|
Calidad de los contenidos | Pedagógicos | Datos educacionales | Escenario de calidad positiva. |
Retroalimentación y adaptabilidad | Usabilidad | Enfoque orientado al usuario | Escenario de calidad negativa. |
Adecuación de los objetivos de aprendizaje | - | Enfoque colaborativo (experto-profesor) | Escenario de entrega. |
Motivación | - | Enfoque integrador (estudiante-experto-profesor) | Escenario de calidad formativa. |
Diseño de la presentación | - | - | - |
Usabilidad de la interacción | - | - | - |
Accesibilidad | - | - | - |
Cumplimiento de estándares | - | - | - |
Fuente: Elaboración propia con base en Nesbit et al. (2009), Morales Morgado et al. (2008), Marulanda et al. (2017) y Ortega y Vargas (2007)
Para el desarrollo del presente estudio se formuló la siguiente pregunta: ¿cómo un sistema de evaluación permite el mejoramiento en los EVA de los programas de posgrados de la Universidad Santo Tomás, seccional Bucaramanga, teniendo en cuenta los criterios de las herramientas HEODAR, minería de datos, sistema FLOE y LORI?
Resultados
El sistema para evaluar los EVA, que se plantea como sistema de evaluación de los entornos virtuales de aprendizaje (SEEVA), se estructura en aspectos pedagógicos, técnicos y organizacionales.
Aspectos pedagógicos
Para este aspecto, se toma en cuenta lo mencionado por el Ministerio de Educación Nacional de Colombia (s. f.):
El componente pedagógico privilegia la interacción comunicativa que se establece entre el docente y los estudiantes en contextos específicos; en ella se busca crear un ambiente de aprendizaje que facilite oportunidades a los estudiantes para que ellos construyan conceptos, desarrollen habilidades de pensamiento, valores y actitudes.
Teniendo en cuenta lo anterior, se hace la evaluación en criterios y subcriterios (Tabla 2).
CRITERIOS | SUBCRITERIOS |
---|---|
Adecuación de los objetivos | Indican lo que se espera que sea aprendido |
Las evidencias de aprendizaje, contenidos y retroalimentación proporcionadas se articulan con los objetivos declarados. | |
Es suficiente para que los estudiantes puedan lograr el aprendizaje | |
Aprendizaje (tiempo) | Presenta información suficiente y adecuada al nivel educativo |
Promueve el descubrimiento del aprendizaje | |
Se ofrecen diferentes alternativas para adquirir el conocimiento | |
Creatividad | Promueve el desarrollo e iniciativa y el aprendizaje autónomo |
Promueve las actividades innovadoras y contextualizadas en el entorno para lograr los objetivos propuestos. | |
Promueve el descubrimiento del aprendizaje | |
Didáctico curricular | Capacidad para alcanzar los resultados de aprendizaje |
Integra la nueva información a los conocimientos preexistentes | |
Refuerzo de los conocimientos a través de actividades individuales y en grupo para ser autoevaluadas y coevaluadas. | |
Diseño conceptual: estructura de los contenidos | Adecuan los contenidos al objetivo propuesto |
Se adaptan los contenidos al grado de formación del estudiante. | |
Incluye una estructura pedagógica completa desde la competencia hasta la evaluación. | |
El contenido se puede aplicar en cualquier tipo de contexto de aprendizaje | |
Diseño presentación para el aprendizaje | La presentación es atractiva y original |
Presentan la información en distintos formatos (texto, audio, etc.). | |
Presenta de manera clara cuáles son las competencias esperadas y los resultados de aprendizaje que se deben lograr | |
El contenido está libre de errores y se presenta sin prejuicios u omisiones | |
Las presentaciones minimizan la búsqueda visual | |
Evaluación | Presenta actividades de evaluación y práctica |
Establecer el nivel de calidad y de logro de los objetivos establecidos en el aprendizaje. | |
Es coherente con los objetivos planteados | |
Interactividad | Se interactúa el contenido a través de enlaces |
Hay un buen nivel de interacción permitiendo la retroalimentación al usuario | |
Ofrece una buena interactividad y una buena impresión a la vista | |
Motivación y atención | Motiva la participación del alumno |
Estimula el interés para que los estudiantes participen | |
Es altamente motivador el contenido, los recursos y actividades utilizados | |
Técnico-estética | La parte estéticamente es agradable y llamativa |
Los textos, imágenes y audios son claros y legibles | |
No presenta errores gramáticos, sintácticos y ortográficos. |
Nota: Se recopilan los criterios y subcriterios de los sistemas de evaluación HEODAR, minería de datos, FLOE y LORI
Aspectos técnicos
En este aspecto se deben tener en cuenta la accesibilidad, la interactividad y la interacción de la comunidad académica con los recursos disponibles en las plataformas virtuales en el proceso de enseñanza-aprendizaje a través de un de gestión del aprendizaje LMS (learning management system). Para este aspecto se evalúan los criterios y subcriterios que se encuentran en la tabla 3.
CRITERIOS | SUBCRITERIOS |
---|---|
Accesibilidad-disponibilidad | Cuenta con una buena accesibilidad a los productos del aula. |
Cualquier usuario puede acceder a los productos y herramientas | |
Es adaptado para los estudiantes con disfuncionalidades sensoriales y motoras | |
Diseño de interfaz | La estructura permite cualquier alternativa de navegación. |
Permite la adaptabilidad de la interfaz del usuario. | |
El comportamiento de la interfaz de usuario es consistente y predecible | |
Diseño de navegación | Posee una estructura flexible que permita al usuario controlar su navegación. |
El usuario sabe dónde se encuentra en todo momento | |
Las páginas son sencillas, no están recargadas con publicidad, animaciones, etc. | |
Especificaciones tecnológicas | Se evidencia una traducción de datos apuntando a las ontologías relacionadas |
Los metadatos están de acuerdo con el estándar IEEE LOM 1484 | |
Proporcionan el código etiquetado dentro del objeto y se presentan en una página disponible para los usuarios | |
Funcional | Tiene fácil acceso, no obstruye con el proceso de formación |
Contiene varios hipervínculos o botones y todos funcionan | |
La navegación es fácil, de manera intuitiva y sin demoras excesivas | |
Presentación | Información que presenta es confiable y determina el idioma que se trabaja |
La imagen y el audio se presentan de forma clara | |
Presenta las principales áreas de contenido del sitio con hipervínculos para acceder a ella | |
Técnico-estético | Los contenidos multimedia son integrados |
Los colores y tipos de letras aportan información por sí mismos | |
Tipo de letra es legible y de tamaño adecuado | |
Se atrae al usuario y destaca cosas relevantes | |
Usabilidad | El grado de concentración de los datos permite la reusabilidad en diferentes contextos de aprendizaje. |
Utiliza hipertexto para dividir información extensa en múltiples páginas | |
Usa la multimedia de manera adecuada y cuando sea necesario para aportar algo | |
Informa las características del archivo de audio antes de descarga | |
Velocidad-transferencia | Mide la información en kbs |
El tiempo del cursor dentro del ambiente es apropiado | |
Utiliza los recursos cuando el usuario accede al objeto: memoria RAM, espacio en disco, tiempo de uso del CPU |
Nota: Se recopilan los criterios y subcriterios de los sistemas de evaluación HEODAR, minería de datos, FLOE y LORI
Aspectos organizacionales
Se trabaja la integración de lo pedagógico y lo técnico con el fin de tener la respectiva retroalimentación, la seguridad y el cumplimiento de las normas en la generación de los espacios de interacción en el proceso de enseñanza-aprendizaje. Para ello, es necesario conocer las percepciones de la comunidad académica en los criterios y subcriterios que se evidencian en la Tabla 4.
CRITERIOS | SUBCRITERIOS |
---|---|
Autorización y validación | Objeto cuenta con herramientas que lo protejan frente a modificaciones desautorizadas |
Estado del puerto de conexión con el servidor y tiempo de conexión | |
Cumplimiento de estándares (normas) | Cumple con algunos estándares y especificaciones internacionales relevantes |
Incluyen los estándares de IEEE Learning Object Metadata, y las directrices técnicas desarrolladas por IMS, IEEE, TAW, WAI, DOM, SCORM y W3C. | |
Adopta la agregación de contenidos y empaquetado de acuerdo con los estándares (SCORM, AICC). | |
Impacto | Beneficio personal que obtiene el participante |
Acceder a través de dispositivos de asistencia y altamente portátiles | |
Simular fenómenos en estudio en respuesta al aporte diferencial del alumno | |
Retroalimentación | Provee retroalimentación a las actividades desarrolladas por el usuario. |
Adaptación de mensajes para dar instrucciones para el desarrollo de las actividades de acuerdo con las necesidades o características específicas del estudiante | |
Seguridad/ confidencialidad | Disposición de las herramientas para cualquier usuario |
Identificar los softwares invasores o elementos de edición | |
Requiere identificarse para tener acceso al aula (usuario y contraseña) | |
Respeto por la propiedad intelectual | Objeto cuenta con herramientas que lo protejan frente a modificaciones desautorizadas |
Cita de manera adecuada la información utilizada | |
Se evidencian las referencias bibliográficas |
Nota: se recopila los criterios y subcriterios de los sistemas de evaluación HEODAR, minería de datos, FLOE y LORI
Diseño
El sistema de evaluación de entornos de aprendizaje (SEEVA) fue construido teniendo en cuenta algunos criterios y subcriterios de los sistemas LORI, HEODAR, FLOE y minería de datos educativa con el fin de conocer cuáles son las percepciones que tienen cada uno de los integrantes de la comunidad académica de los espacios digitales educativos que ofrecen las instituciones.
El sistema se divide en los aspectos pedagógicos que se encuentran en la tabla 2, los técnicos descritos en la tabla 3 y los organizacionales de la tabla 4. Cada uno de ellos tiene unos criterios y subcriterios, y a los segundos se le otorga un valor entre 1 y 5, lo cual generará una calificación que corresponde al promedio del criterio. Dependiendo de los resultados, pedirá generar un plan de mejoramiento: a corto plazo si el resultado está entre 1 y 3 (incluyendo); a mediano plazo si está en el rango de 3.1 a 4.4 (inclusive); y a largo plazo si es de 4.5 a 5 (inclusive).
Por otra parte, con los resultados obtenidos en cada uno de los criterios se saca el promedio del aspecto. Según el rango, se solicita un plan de mejoramiento; por último, teniendo el valor de todos los aspectos, se saca el promedio general en el cual se identificará en qué rango se encuentra la valoración y qué tipo de plan se debe generar.
En la tabla 5, se muestra de manera general cómo queda el sistema. Primero, se asigna el valor a cada subcriterio, luego se promedia el valor que se pondrá en la columna que lleva su propio nombre, lo cual permite identificar qué tipo de acción se debe realizar por criterio. Al finalizar cada aspecto, se tiene el promedio de los criterios y la acción por tomar. Lo anterior se hace para los aspectos pedagógicos, técnicos y organizativos, que conforman el SEEVA, y de allí se puede obtener el resultado de evaluación del EVA.
Aspecto | Criterios | Subcriterios | Nota | Valor del criterio | Acción por tomar |
---|---|---|---|---|---|
A1 | 1 | 1.1 | |||
1.2 | |||||
2 | 2.1 | ||||
2.2 | |||||
PROMEDIO A1 | |||||
Aspecto | Criterios | Subcriterios | Nota | Valor del criterio | Acción por tomar |
A2 | 1 | 1.1 | |||
1.2 | |||||
2 | 2.1 | ||||
2.2 | |||||
PROMEDIO A2 | |||||
Aspecto | Criterios | Subcriterios | Nota | Valor del criterio | Acción por tomar |
A3 | 1 | 1.1 | |||
1.2 | |||||
2 | 2.1 | ||||
2.2 | |||||
PROMEDIO A3 | |||||
VALOR TOTAL |
Nota: Propia de autor
Discusión
El estudio se desarrolló en tres fases. La primera implicó el análisis, para lo cual se tomó en cuenta la definición de Ibáñez Peinado (2015), por lo que se hizo un análisis de los criterios de evaluación de los entornos virtuales de aprendizaje HEODAR, minería de datos, FLOE y LORI. Estos criterios se recopilaron a través de entrevistas estructuradas realizadas a diseñadores de contenido de la Universidad Santo Tomás, quienes tenían una amplia variedad de perfiles académicos, como ingenieros con maestrías en diversas disciplinas, comunicadores sociales con maestrías en educación, administradores de empresas con posgrados en diferentes áreas, abogados con diversas especialidades, economistas con posgrados variados y arquitectos con estudios posgraduales.
Los datos recopilados se analizaron utilizando el software Nvivo 12, lo que permitió la creación de nodos y referencias basadas en las apreciaciones de los participantes. Por ejemplo, se destacó que los EVA cuentan con una ruta de aprendizaje en cada una de sus secciones, donde se plasman los propósitos de cada sección y se dejan asignadas las actividades y procesos que se llevarán a cabo durante las semanas correspondientes. Esto incluye criterios relacionados con la presentación de la información, su relevancia para alcanzar los resultados de aprendizaje esperados y la orientación proporcionada para el aprendizaje.
En tal sentido, se resaltó la importancia de la apropiación conceptual a través de lecturas previas y la actualización temática y novedosa de las materias asignadas. Además, se mencionó que existe un sólido diseño del método de enseñanza, incluyendo la didáctica utilizada para transmitir el conocimiento de manera efectiva. También se hicieron referencia a las estrategias de evaluación y retroalimentación, que buscan permitir a los estudiantes profundizar en sus conocimientos y abordar cualquier deficiencia en su comprensión.
En la segunda fase, se evaluaron los criterios de HEODAR, minería de datos, FLOE y LORI en los EVA de varios programas virtuales de posgrado en la Universidad Santo Tomás, seccional Bucaramanga. Para llevar a cabo esta evaluación de pertinencia, se aplicó un cuestionario a estudiantes y tutores de los siguientes programas: Especialización en Seguridad Social, Especialización en Seguridad y Salud en el Trabajo, Especialización en Finanzas Públicas, Especialización en Negocios Globales e Innovación, Especialización en Gerencia de la Internacionalización Empresarial, Especialización en Administración Deportiva y Maestría en Dirección y Gestión de Proyectos, Especialización en Revisoría Fiscal y Auditoría Externa, Especialización en Interventoría y Supervisión de la Construcción, Maestría en Reconciliación y Convivencia y Maestría en Derecho Tributario. La información recopilada se tabuló utilizando la herramienta Nvivo 12.
Para el análisis de los resultados obtenidos en las encuestas se examinaron las percepciones de los estudiantes (disponibles en https://acortar.link/YZvbal) y tutores de programas de modalidad virtual de la Universidad Santo Tomás, seccional Bucaramanga (disponibles en https://acortar.link/iN0GYI) con respecto a las aulas digitales. Esto se hizo considerando los criterios de los sistemas HEODAR, minería de datos, FLOE y LORI, los cuales fueron evaluados mediante una escala de valoración.
En el caso del sistema HEODAR, se analizaron los criterios pedagógicos, didácticos curriculares, de usabilidad y de diseño de navegación con la siguiente escala de valoración: “No sabe”, “Muy deficiente”, “Deficiente”, “Aceptable”, “Alta” y “Muy alta”. En el criterio pedagógico se evaluó la motivación, la atención, la interactividad y la creatividad, aspectos que permiten promover el aprendizaje autónomo y el desarrollo de las habilidades metacognitivas. En cuando al criterio didáctico pedagógico, los participantes mencionan la importancia de la coherencia entre la propuesta de formación y los resultados logrados, teniendo en cuenta que se presenta la información de distintas formas. En el criterio usabilidad se percibió la necesidad de valorar el texto, la imagen, las animaciones, la multimedia, el sonido y el vídeo, lo que sirvió para conocer qué tan pertinente es el contenido de los archivos, el tipo, tamaño y color de letra, y si son adecuados los audios, videos y animaciones para mantener la atención del usuario. Con el último criterio se pudo conocer qué tan pertinente es presentarle al usuario los objetivos que se pretenden desarrollar, así como la flexibilidad de la estructura y la interfaz de la navegación.
Para el sistema minería de datos, se evaluaron los criterios relacionados con el enfoque orientado al usuario, el enfoque colaborativo y el enfoque integrado. La escala incluyó categorías como “Extremadamente en desacuerdo”, “En desacuerdo”, “Ni en desacuerdo ni de acuerdo”, “En acuerdo” y “Extremadamente de acuerdo”. El primer criterio permitió evaluar aspectos como la calidad y estructura de los contenidos para precisar cuán pertinente son y cuál es la efectividad en el proceso de aprendizaje. El segundo criterio resultó útil para conocer la capacidad del objeto virtual de aprendizaje (OVA) en cuanto a alcanzar los objetivos y el diseño de los contenidos. En último criterio perimió precisar la estructura de los contenidos y las especificaciones tecnológicas (Ballesteros Román et al., 2013).
El sistema FLOE evaluó criterios como escenarios de calidad positiva, negativa, de entrega y de calidad formativa, utilizando una escala de valoración de 1 a 5 (1 representó el menor valor y 5 el mayor). Con el primer criterio se puedo evaluar tanto la cantidad de movimientos como el tiempo de uso del cursor en el entorno digital. Además, la calidad de la interacción y cómo esta contribuye a una experiencia visualmente agradable. En el segundo criterio se prestó atención al estilo de redacción, la manera en que se realizan las referencias, cómo se gestionan los recursos disponibles en el sistema y los permisos otorgados para modificar las herramientas digitales. En cuanto al tercer criterio, se evaluó la facilidad con la que los usuarios pueden acceder al entorno virtual, la disposición de las herramientas y la presencia de software invasivo o elementos de edición que puedan afectar la experiencia del usuario. Por último, en el cuarto criterio, se consideró una valoración de la acción formativa proporcionada por el entorno digital, el nivel de formación académica que han adquirido los estudiantes y el beneficio que obtiene cada uno.
Luego se revisó LORI, una herramienta que evaluó ocho criterios: calidad de contenidos, adecuación de los objetivos de aprendizaje, retroalimentación y adaptabilidad, motivación, diseño de presentación, usabilidad de la interacción, accesibilidad y cumplimiento de estándares, con una escala que oscila entre -1 y -5 para las calificaciones negativas, y de 1 a 5 para las positivas. En el primer criterio, se destacó la importancia de que el contenido estuviera exento de errores, que las presentaciones resaltaran partes clave y transmitieran ideas de forma clara, y que los contenidos fueran apropiados para diversos estilos de aprendizaje. El segundo criterio enfatiza que las actividades de aprendizaje, los contenidos y las evaluaciones deben estar alineados con los objetivos de manera efectiva, y que estas actividades deben ser suficientes para lograr dichos objetivos. En el tercer se evidencia que los mensajes de instrucción y las actividades se adaptan a las necesidades específicas de cada alumno. En cuanto al cuarto criterio se observa la capacidad de la herramienta para mantener la motivación entre los usuarios, así como la disponibilidad de actividades interactivas. El quinto criterio se concentra en la eficiencia del aprendizaje proporcionado por la herramienta a través de recursos visuales con una redacción clara y concisa, libre de errores, así como el uso adecuado del color y un diseño estéticamente agradable. Además, se consideran adecuados los gráficos y las tablas utilizadas (Adame Rodríguez, 2015). En el sexto criterio, se busca que el usuario pueda navegar de manera sencilla e intuitiva a través de todos los hipervínculos o botones presentes en los espacios digitales. El séptimo criterio se enfoca en garantizar que el material sea accesible para las personas con discapacidades sensoriales y motoras, además de asegurar que se pueda acceder a él desde cualquier dispositivo, cumpliendo con las pautas establecidas por el W3C. En el octavo criterio, se verifica que los espacios virtuales cumplan con los estándares propuestos por IEEE Learning Object Metadata y las directrices técnicas establecidas por el sistema de gestión del aprendizaje (LMS), el Institute of Electrical and Electronics Engineers (IEEE), Shareable Content Object Reference Model (SCORM) y World Wide Web Consortium (W3C). Esto garantiza la conformidad con todas las normas y especificaciones internacionales relevantes.
Finalmente, en la tercera fase se diseñó un sistema que relacionó los criterios de HEODAR, minería de datos, FLOE y LORI para evaluar los EVA. Luego, a partir de los resultados obtenidos, se desarrolla un plan de mejora a corto, mediano o largo plazo, dependiendo del rango alcanzado en la evaluación (Frascara, 2000).
Conclusiones
Para garantizar una formación efectiva, las instituciones educativas deben evaluar constantemente las estrategias y los recursos empleadas, incluidos los entornos virtuales de enseñanza aprendizaje (EVA). Desafortunadamente, en muchas instituciones no se lleva a cabo de manera adecuada la evaluación de los EVA debido, en parte, a la falta de conocimiento sobre las herramientas y sistemas pertinentes.
Por eso, el presente proyecto procuró hallar respuestas para la siguiente interrogante: ¿cómo puede un sistema de evaluación contribuir a la mejora de los EVA de los programas de posgrado de la Universidad Santo Tomás, seccional Bucaramanga, teniendo en cuenta los criterios HEODAR, minería de datos, FLOE y LORI?
Para ello, el proyecto estableció tres objetivos específicos. En primer lugar, diagnosticar los criterios de HEODAR, minería de datos, FLOE y LORI en los referidos EVA con énfasis en la pertinencia del diseño. En tal sentido, los resultados sugieren la necesidad de evaluar los espacios virtuales con base en los criterios mencionados, ya que esto permite comprender mejor los escenarios de formación, considerando aspectos como los objetivos, el impacto del entorno, la estructura, la calidad del contenido, la presentación, la orientación docente y la coherencia entre las actividades y los objetivos, así como la metodología y la retroalimentación.
En segundo lugar, se procuró valorar los criterios de HEODAR, minería de datos, FLOE y LORI en los mismos EVA con el fin de evaluar tanto su pertinencia como su diseño. Para esto, se consultó a tutores y estudiantes sobre cómo los evaluarían en relación con los criterios y subcriterios de los sistemas mencionados. Las respuestas indican un acuerdo general en la importancia de llevar a cabo una evaluación de estos espacios virtuales, considerando aspectos como la claridad de los objetivos, la idoneidad de los materiales, la interactividad, la motivación de los estudiantes, la presentación de la información, la coherencia de las actividades con los objetivos, el impacto del material, la creatividad y la promoción del aprendizaje autónomo, además del cumplimiento de las normativas de la gestión del aprendizaje (LMS).
En tercer lugar, se planteó el objetivo de estructurar un sistema de evaluación de entornos virtuales de enseñanza aprendizaje que integre los criterios de HEODAR, minería de datos, FLOE y LORI con el fin de mejorar aspectos pedagógicos, técnicos y organizacionales (Ferrari y Mariño, 2014). Este objetivo surge como respuesta a las necesidades expresadas por tutores y estudiantes, de ahí que se haya desarrollado el sistema SEEVA, que permite evaluar los aspectos pedagógicos, técnicos y organizacionales a través de una serie de subcriterios que se encuentran agrupados en categorías específicas.
En lo que respecta a los aspectos pedagógicos, SEEVA evalúa criterios que abarcan la adecuación de los objetivos, el aprendizaje en términos de tiempo, la creatividad, la didáctica curricular, el diseño conceptual (estructura de contenidos), el diseño de presentación para el aprendizaje, la evaluación, la interactividad, la motivación y la atención, así como los aspectos técnicos-estéticos.
Para los aspectos técnicos, el sistema evalúa la accesibilidad y disponibilidad, el diseño de interfaz, el diseño de navegación, las especificaciones tecnológicas, la funcionalidad, la presentación, la técnica-estética, la usabilidad y la velocidad de transferencia.
En lo que concierne a los aspectos organizacionales, SEEVA evalúa la autorización y validación, el cumplimiento de estándares y normas, el impacto, la retroalimentación, la seguridad/confidencialidad y el respeto por la propiedad intelectual.
Con base en los resultados obtenidos, se puede indicar que se deben generar planes de mejora a corto, mediano y largo plazo con el objetivo de optimizar los EVA y satisfacer las necesidades tanto de tutores como de estudiantes.
Futuras líneas de investigación
En la actualidad, contamos con una amplia variedad de herramientas para construir los insumos que conforman los entornos virtuales de aprendizaje (EVA). Sin embargo, es crucial que se realice una evaluación de estos recursos para determinar su pertinencia en el contexto del programa, el nivel de formación y la modalidad educativa correspondiente. Para ello, se propone la implementación del Sistema de Evaluación de Entornos de Aprendizaje (SEEVA), el cual analiza aspectos pedagógicos, técnicos y organizativos.
Además, es importante considerar la posibilidad de plantear otros sistemas o herramientas complementarias que se enfoquen en aspectos adicionales, tales como la usabilidad, el diseño, la calidad, la funcionalidad, la eficacia, la flexibilidad, la interactividad, entre otros, elementos esenciales para garantizar experiencias educativas de calidad.