SciELO - Scientific Electronic Library Online

 
vol.14 número27Propuesta de instrumento de evaluación de las emociones básicas de los estudiantes dentro de un programa de tutoría universitariaMejora de procesos de laboratorio de mecánica de suelos aplicando herramientas de manufactura esbelta índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


RIDE. Revista Iberoamericana para la Investigación y el Desarrollo Educativo

versión On-line ISSN 2007-7467

RIDE. Rev. Iberoam. Investig. Desarro. Educ vol.14 no.27 Guadalajara jul./dic. 2023  Epub 22-Ene-2024

https://doi.org/10.23913/ride.v14i27.1639 

Artículos científicos

SEEVA para posgrados de la Universidad Santo Tomás, seccional Bucaramanga

SEEVA for postgraduate studies of the Universidad Santo Tomás, Bucaramanga section

SEEVA para pós-graduação da Universidade Santo Tomás, seção Bucaramanga

Claudia Yaneth Roncancio Becerra1 
http://orcid.org/0000-0003-0085-5837

Serafín Ángel Torres Velandia2 
http://orcid.org/0000-0002-1854-8192

1Universidad Santo Tomás, Campus Virtual, Seccional Bucaramanga, Colombia claudiayroncancio@yahoo.es

2Centro de Estudios e Investigaciones para el Desarrollo Docente CENID A. C., México angelt@uaem.mx


Resumen

Los entornos virtuales de enseñanza-aprendizaje (EVA) son recursos ampliamente utilizados en la educación en línea. Para garantizar su efectividad, es esencial que estos sean de alta calidad y sometidos a evaluación. Sin embargo, a pesar de la disponibilidad de diversas herramientas y sistemas de evaluación, aún no existe un enfoque integral que englobe aspectos pedagógicos, técnicos y organizativos. Por eso, en el presente trabajo se propone el Sistema de Evaluación de Entornos de Aprendizaje (SEEVA), el cual fue creado para los EVA de los programas de posgrado de la Universidad Santo Tomás, seccional Bucaramanga. Este se basa en la integración de criterios provenientes de sistemas como HEODAR, minería de datos, FLOE y LORI. Para desarrollarlo, se llevó a cabo un diagnóstico exhaustivo y una valoración de los criterios usados en los referidos sistemas. El resultado generó un marco de evaluación que abarca las tres dimensiones (aspectos pedagógicos, técnicos y organizativos) con criterios y subcriterios detallados. El objetivo fundamental del SEEVA es proporcionar a los EVA un plan de mejora personalizado, lo cual permitirá actualizarlos y optimizarlos según las necesidades específicas del contexto educativo y las últimas tendencias en herramientas digitales.

Palabras clave: sistema de evaluación; entorno educacional; programa de enseñanza; aprendizaje; interacción

Abstract

Virtual teaching-learning environments (VLE) are resources widely used in online education. In order to ensure their effectiveness, it is essential that they have high quality and be evaluated. However, despite the availability of various evaluation tools and systems, there is still no comprehensive approach that encompasses pedagogical, technical and organizational aspects. For this reason, in this work the Learning Environment Evaluation System (SEEVA) is proposed, which was created for the EVA of the graduate programs of the Santo Tomás University, Bucaramanga section. This is based on the criteria integration that comes from systems such as HEODAR, data mining, FLOE and LORI. To develop it, an exhaustive diagnosis and evaluation of the criteria used in the aforementioned Systems were carried out. The result generated an evaluation framework that covers three dimensions (pedagogical, technical and organizational aspects) with detailed criteria and sub-criteria. The fundamental objective of SEEVA is to provide EVAs with a personalized improvement plan, which will allow them to be updated and optimized according to the specific needs of the educational context and the latest trends in digital tools.

Keywords: Assessment system; learning environment; Instructional programmes; learning; interaction

Resumo

Os ambientes virtuais de ensino-aprendizagem (AVA) são recursos amplamente utilizados na educação online. Para garantir a sua eficácia, é essencial que sejam de elevada qualidade e sujeitos a avaliação. No entanto, apesar da disponibilidade de diversas ferramentas e sistemas de avaliação, ainda não existe uma abordagem abrangente que englobe aspectos pedagógicos, técnicos e organizacionais. Por este motivo, neste trabalho é proposto o Sistema de Avaliação de Ambientes de Aprendizagem (SEEVA), que foi criado para o EVA dos programas de pós-graduação da Universidade Santo Tomás, seção Bucaramanga. Isto se baseia na integração de critérios de sistemas como HEODAR, mineração de dados, FLOE e LORI. Para desenvolvê-lo foi realizado um diagnóstico exaustivo e avaliação dos critérios utilizados nos referidos sistemas. O resultado gerou um quadro de avaliação que abrange as três dimensões (aspectos pedagógicos, técnicos e organizacionais) com critérios e subcritérios detalhados. O objetivo fundamental do SEEVA é dotar os EVAs de um plano de melhoria personalizado, que permitirá a sua atualização e otimização de acordo com as necessidades específicas do contexto educativo e as últimas tendências em ferramentas digitais.

Palavras-chave: sistema de avaliação; ambiente educacional; programa de ensino; aprendizagem; interação

Introducción

En el proceso de enseñanza-aprendizaje se requiere el empleo de diversas herramientas y estrategias para asegurar una formación efectiva, como es el caso de los entornos virtuales de aprendizaje (EVA), los cuales de manera habitual deben ser evaluados para determinar el nivel en que se han alcanzado los objetivos trazados. Un ejemplo de ello es el trabajo de Gordillo et al. (2014), en la Universidad Politécnica de Madrid, quienes propusieron un conjunto de métricas de calidad pedagógica basadas en LORI. Los resultados demostraron eficacia y seguridad de estas métricas para clasificar los resultados de búsqueda basados en la calidad.

Por otro lado, en Argentina, Ferrari y Mariño (2014) se enfatizaron en la evaluación de la usabilidad de los EVA, para lo cual propusieron la creación de un entorno virtual orientado al apoyo del aprendizaje (EVEA) que integra herramientas de minería de datos en la educación superior, ya sea como parte de cursos regulares o de actualización. Adicionalmente, Orozco Rodríguez y Morales Morgado (2016) llevaron a cabo un estudio en la Universidad de Salamanca, España, para analizar los resultados de la prueba psicométrica del instrumento HEODAR (herramienta de evaluación de objetos didácticos de aprendizaje reutilizables).

Adame Rodríguez (2015), por su parte, analizó los hallazgos de la adaptación de indicadores cuantitativos al instrumento para evaluar objetos de aprendizaje LORI. Este trabajo buscó contribuir a la educación al medir, reportar, comunicar, actuar y dar seguimiento a la calidad de los recursos educativos digitales, desde su diseño y desarrollo hasta la posimplementación.

Otra investigación relevante es la de Acuña (26 de diciembre de 2021), quien se centró en la necesidad de evaluar con calidad los recursos educativos, por lo que considera tres sistemas de evaluación, entre ellos LORI. Igualmente, Ballesteros Román et al. (2013) llevaron a cabo un estudio sobre minería de datos enfocada en la gestión educativa. Destacaron que esta herramienta es confiable para que los docentes evalúen sus prácticas y metodologías implementadas con sus estudiantes, independientemente de si se utilizan agentes tutores inteligentes, sistemas virtuales de educación o estrategias activas de aprendizaje en el aula.

Finalmente, Rosado Gómez y Verjel Ibáñez (2017) investigaron cómo se pueden identificar las características necesarias para el procesamiento de datos en el contexto educativo, mientras que González Calleros et al. (2019) afirman que la tecnología está ayudando a la creación de herramientas que han permitido mejorar la evaluación en los procesos educativos. En síntesis, estas investigaciones resaltan la importancia de comprender la evaluación de los EVA y su impacto en el aprendizaje, elemento crucial para la educación actual.

Metodología

El enfoque de investigación adoptado en este estudio fue de naturaleza mixta. Según lo planteado por Hernández Sampiere et al. (2014), este se caracteriza por conjugar procesos sistemáticos, empíricos y críticos que involucran la recolección y análisis de datos tanto cuantitativos como cualitativos. En concreto, se diseñó una investigación exploratoria con el propósito de comprender la percepción de los docentes, estudiantes y expertos temáticos sobre los entornos virtuales de aprendizaje (EVA) en los distintos programas de posgrado ofrecidos por la Universidad Santo Tomás, seccional Bucaramanga.

Para ello, se ejecutaron tres fases: primero se recopilaron las opiniones y evaluaciones de los diseñadores de contenidos, estudiantes y tutores involucrados en estos programas; luego, se realizó un análisis exhaustivo de los datos recopilados, separando las respuestas de cada grupo de participantes, para identificar las necesidades específicas que deben evaluarse en los EVA; finalmente, se planteó un sistema que evalué los aspectos pedagógicos, técnicos y organizacionales a través de criterios y subcriterios.

Evaluación

Según Onetti Onetti (2011), la evaluación es un proceso continuo y sistemático que sirve para el mejoramiento de la enseñanza y el aprendizaje. Esta se aplica en una amplia gama de contextos en la vida de las personas y su objetivo principal es reunir evidencia objetiva que permita guiar y mejorar la actividad evaluada de manera efectiva. En el ámbito educativo, constituye una herramienta fundamental que no solo tiene un impacto positivo en las instituciones, sino que también influye en el crecimiento y desarrollo individual de cada persona, lo que genera un auténtico efecto para la formación. La evaluación educativa se apoya en la recopilación de datos tanto cuantitativos como cualitativos relacionados con el desempeño de los estudiantes que se interpretan cuidadosamente para formular juicios de valor que contribuyan al análisis y la mejora del proceso educativo en su conjunto.

Entorno virtual de enseñanza aprendizaje

Díaz Zelada (2020) define los EVA como conjuntos educativos basados en la web que han demostrado ser especialmente beneficiosos en la educación superior, los cuales están compuestos por herramientas informáticas que facilitan la interacción didáctica entre docentes, alumnos y los materiales de aprendizaje. Esta interacción dinámica se lleva a cabo mediante el uso de tecnologías digitales, lo que posibilita la realización de actividades educativas a distancia. La relevancia de los EVA se encuentra en su flexibilidad en cuanto a tiempo y espacio, lo que permite trabajar en entornos virtuales diversos que incluyen elementos como videos, presentaciones, películas, chats grupales y foros que fomentan la participación activa de los estudiantes.

Sistemas de evaluación

Para evaluar y mejorar los espacios virtuales de enseñanza-aprendizaje, es fundamental considerar una serie de criterios. Por ejemplo, se pueden tomar en cuenta los propuestos por diferentes sistemas, como LORI (Nesbit et al., 2009), HEODAR (Morales Morgado et al., 2008), minería de datos (Hernández et al., s. f.) y FLOE (Vargas-Lombardo, 2007).

El sistema LORI se enfoca en aspectos pedagógicos y de usabilidad, mientras que HEODAR considera datos educativos, el enfoque orientado al usuario, el enfoque colaborativo (experto-profesor) y el enfoque integrador (estudiante-experto-profesor). Por su parte, el sistema de minería de datos contempla el escenario de calidad positiva, negativa, de entrega y de calidad formativa.

En la tabla 1 se presentan los criterios propuestos por cada uno de estos sistemas. De estos criterios, se seleccionarán aquellos que sean más pertinentes para el sistema que se está proponiendo con el objetivo de determinar si se cumplen las necesidades de formación en diferentes niveles y tipos de aprendizaje, así como si los recursos y herramientas se mantienen actualizados.

Tabla 1 Recopilación de los criterios de sistemas de evaluación 

LORI HEODAR Minería de datos Sistema de evaluación FLOE
Calidad de los contenidos Pedagógicos Datos educacionales Escenario de calidad positiva.
Retroalimentación y adaptabilidad Usabilidad Enfoque orientado al usuario Escenario de calidad negativa.
Adecuación de los objetivos de aprendizaje - Enfoque colaborativo (experto-profesor) Escenario de entrega.
Motivación - Enfoque integrador (estudiante-experto-profesor) Escenario de calidad formativa.
Diseño de la presentación - - -
Usabilidad de la interacción - - -
Accesibilidad - - -
Cumplimiento de estándares - - -

Fuente: Elaboración propia con base en Nesbit et al. (2009), Morales Morgado et al. (2008), Marulanda et al. (2017) y Ortega y Vargas (2007)

Para el desarrollo del presente estudio se formuló la siguiente pregunta: ¿cómo un sistema de evaluación permite el mejoramiento en los EVA de los programas de posgrados de la Universidad Santo Tomás, seccional Bucaramanga, teniendo en cuenta los criterios de las herramientas HEODAR, minería de datos, sistema FLOE y LORI?

Resultados

El sistema para evaluar los EVA, que se plantea como sistema de evaluación de los entornos virtuales de aprendizaje (SEEVA), se estructura en aspectos pedagógicos, técnicos y organizacionales.

Aspectos pedagógicos

Para este aspecto, se toma en cuenta lo mencionado por el Ministerio de Educación Nacional de Colombia (s. f.):

El componente pedagógico privilegia la interacción comunicativa que se establece entre el docente y los estudiantes en contextos específicos; en ella se busca crear un ambiente de aprendizaje que facilite oportunidades a los estudiantes para que ellos construyan conceptos, desarrollen habilidades de pensamiento, valores y actitudes.

Teniendo en cuenta lo anterior, se hace la evaluación en criterios y subcriterios (Tabla 2).

Tabla 2 Criterios y subcriterios del componente pedagógico 

CRITERIOS SUBCRITERIOS
Adecuación de los objetivos Indican lo que se espera que sea aprendido
Las evidencias de aprendizaje, contenidos y retroalimentación proporcionadas se articulan con los objetivos declarados.
Es suficiente para que los estudiantes puedan lograr el aprendizaje
Aprendizaje (tiempo) Presenta información suficiente y adecuada al nivel educativo
Promueve el descubrimiento del aprendizaje
Se ofrecen diferentes alternativas para adquirir el conocimiento
Creatividad Promueve el desarrollo e iniciativa y el aprendizaje autónomo
Promueve las actividades innovadoras y contextualizadas en el entorno para lograr los objetivos propuestos.
Promueve el descubrimiento del aprendizaje
Didáctico curricular Capacidad para alcanzar los resultados de aprendizaje
Integra la nueva información a los conocimientos preexistentes
Refuerzo de los conocimientos a través de actividades individuales y en grupo para ser autoevaluadas y coevaluadas.
Diseño conceptual: estructura de los contenidos Adecuan los contenidos al objetivo propuesto
Se adaptan los contenidos al grado de formación del estudiante.
Incluye una estructura pedagógica completa desde la competencia hasta la evaluación.
El contenido se puede aplicar en cualquier tipo de contexto de aprendizaje
Diseño presentación para el aprendizaje La presentación es atractiva y original
Presentan la información en distintos formatos (texto, audio, etc.).
Presenta de manera clara cuáles son las competencias esperadas y los resultados de aprendizaje que se deben lograr
El contenido está libre de errores y se presenta sin prejuicios u omisiones
Las presentaciones minimizan la búsqueda visual
Evaluación Presenta actividades de evaluación y práctica
Establecer el nivel de calidad y de logro de los objetivos establecidos en el aprendizaje.
Es coherente con los objetivos planteados
Interactividad Se interactúa el contenido a través de enlaces
Hay un buen nivel de interacción permitiendo la retroalimentación al usuario
Ofrece una buena interactividad y una buena impresión a la vista
Motivación y atención Motiva la participación del alumno
Estimula el interés para que los estudiantes participen
Es altamente motivador el contenido, los recursos y actividades utilizados
Técnico-estética La parte estéticamente es agradable y llamativa
Los textos, imágenes y audios son claros y legibles
No presenta errores gramáticos, sintácticos y ortográficos.

Nota: Se recopilan los criterios y subcriterios de los sistemas de evaluación HEODAR, minería de datos, FLOE y LORI

Aspectos técnicos

En este aspecto se deben tener en cuenta la accesibilidad, la interactividad y la interacción de la comunidad académica con los recursos disponibles en las plataformas virtuales en el proceso de enseñanza-aprendizaje a través de un de gestión del aprendizaje LMS (learning management system). Para este aspecto se evalúan los criterios y subcriterios que se encuentran en la tabla 3.

Tabla 3 Criterios y subcriterios del componente técnico 

CRITERIOS SUBCRITERIOS
Accesibilidad-disponibilidad Cuenta con una buena accesibilidad a los productos del aula.
Cualquier usuario puede acceder a los productos y herramientas
Es adaptado para los estudiantes con disfuncionalidades sensoriales y motoras
Diseño de interfaz La estructura permite cualquier alternativa de navegación.
Permite la adaptabilidad de la interfaz del usuario.
El comportamiento de la interfaz de usuario es consistente y predecible
Diseño de navegación Posee una estructura flexible que permita al usuario controlar su navegación.
El usuario sabe dónde se encuentra en todo momento
Las páginas son sencillas, no están recargadas con publicidad, animaciones, etc.
Especificaciones tecnológicas Se evidencia una traducción de datos apuntando a las ontologías relacionadas
Los metadatos están de acuerdo con el estándar IEEE LOM 1484
Proporcionan el código etiquetado dentro del objeto y se presentan en una página disponible para los usuarios
Funcional Tiene fácil acceso, no obstruye con el proceso de formación
Contiene varios hipervínculos o botones y todos funcionan
La navegación es fácil, de manera intuitiva y sin demoras excesivas
Presentación Información que presenta es confiable y determina el idioma que se trabaja
La imagen y el audio se presentan de forma clara
Presenta las principales áreas de contenido del sitio con hipervínculos para acceder a ella
Técnico-estético Los contenidos multimedia son integrados
Los colores y tipos de letras aportan información por sí mismos
Tipo de letra es legible y de tamaño adecuado
Se atrae al usuario y destaca cosas relevantes
Usabilidad El grado de concentración de los datos permite la reusabilidad en diferentes contextos de aprendizaje.
Utiliza hipertexto para dividir información extensa en múltiples páginas
Usa la multimedia de manera adecuada y cuando sea necesario para aportar algo
Informa las características del archivo de audio antes de descarga
Velocidad-transferencia Mide la información en kbs
El tiempo del cursor dentro del ambiente es apropiado
Utiliza los recursos cuando el usuario accede al objeto: memoria RAM, espacio en disco, tiempo de uso del CPU

Nota: Se recopilan los criterios y subcriterios de los sistemas de evaluación HEODAR, minería de datos, FLOE y LORI

Aspectos organizacionales

Se trabaja la integración de lo pedagógico y lo técnico con el fin de tener la respectiva retroalimentación, la seguridad y el cumplimiento de las normas en la generación de los espacios de interacción en el proceso de enseñanza-aprendizaje. Para ello, es necesario conocer las percepciones de la comunidad académica en los criterios y subcriterios que se evidencian en la Tabla 4.

Tabla 4 Criterios y subcriterios del componente organizacionales 

CRITERIOS SUBCRITERIOS
Autorización y validación Objeto cuenta con herramientas que lo protejan frente a modificaciones desautorizadas
Estado del puerto de conexión con el servidor y tiempo de conexión
Cumplimiento de estándares (normas) Cumple con algunos estándares y especificaciones internacionales relevantes
Incluyen los estándares de IEEE Learning Object Metadata, y las directrices técnicas desarrolladas por IMS, IEEE, TAW, WAI, DOM, SCORM y W3C.
Adopta la agregación de contenidos y empaquetado de acuerdo con los estándares (SCORM, AICC).
Impacto Beneficio personal que obtiene el participante
Acceder a través de dispositivos de asistencia y altamente portátiles
Simular fenómenos en estudio en respuesta al aporte diferencial del alumno
Retroalimentación Provee retroalimentación a las actividades desarrolladas por el usuario.
Adaptación de mensajes para dar instrucciones para el desarrollo de las actividades de acuerdo con las necesidades o características específicas del estudiante
Seguridad/ confidencialidad Disposición de las herramientas para cualquier usuario
Identificar los softwares invasores o elementos de edición
Requiere identificarse para tener acceso al aula (usuario y contraseña)
Respeto por la propiedad intelectual Objeto cuenta con herramientas que lo protejan frente a modificaciones desautorizadas
Cita de manera adecuada la información utilizada
Se evidencian las referencias bibliográficas

Nota: se recopila los criterios y subcriterios de los sistemas de evaluación HEODAR, minería de datos, FLOE y LORI

Diseño

El sistema de evaluación de entornos de aprendizaje (SEEVA) fue construido teniendo en cuenta algunos criterios y subcriterios de los sistemas LORI, HEODAR, FLOE y minería de datos educativa con el fin de conocer cuáles son las percepciones que tienen cada uno de los integrantes de la comunidad académica de los espacios digitales educativos que ofrecen las instituciones.

El sistema se divide en los aspectos pedagógicos que se encuentran en la tabla 2, los técnicos descritos en la tabla 3 y los organizacionales de la tabla 4. Cada uno de ellos tiene unos criterios y subcriterios, y a los segundos se le otorga un valor entre 1 y 5, lo cual generará una calificación que corresponde al promedio del criterio. Dependiendo de los resultados, pedirá generar un plan de mejoramiento: a corto plazo si el resultado está entre 1 y 3 (incluyendo); a mediano plazo si está en el rango de 3.1 a 4.4 (inclusive); y a largo plazo si es de 4.5 a 5 (inclusive).

Por otra parte, con los resultados obtenidos en cada uno de los criterios se saca el promedio del aspecto. Según el rango, se solicita un plan de mejoramiento; por último, teniendo el valor de todos los aspectos, se saca el promedio general en el cual se identificará en qué rango se encuentra la valoración y qué tipo de plan se debe generar.

En la tabla 5, se muestra de manera general cómo queda el sistema. Primero, se asigna el valor a cada subcriterio, luego se promedia el valor que se pondrá en la columna que lleva su propio nombre, lo cual permite identificar qué tipo de acción se debe realizar por criterio. Al finalizar cada aspecto, se tiene el promedio de los criterios y la acción por tomar. Lo anterior se hace para los aspectos pedagógicos, técnicos y organizativos, que conforman el SEEVA, y de allí se puede obtener el resultado de evaluación del EVA.

Tabla 5 Valoración de los criterios y subcriterios del sistema de evaluación SEEVA  

Aspecto Criterios Subcriterios Nota Valor del criterio Acción por tomar
A1 1 1.1
1.2
2 2.1
2.2
PROMEDIO A1
Aspecto Criterios Subcriterios Nota Valor del criterio Acción por tomar
A2 1 1.1
1.2
2 2.1
2.2
PROMEDIO A2
Aspecto Criterios Subcriterios Nota Valor del criterio Acción por tomar
A3 1 1.1
1.2
2 2.1
2.2
PROMEDIO A3
VALOR TOTAL

Nota: Propia de autor

Discusión

El estudio se desarrolló en tres fases. La primera implicó el análisis, para lo cual se tomó en cuenta la definición de Ibáñez Peinado (2015), por lo que se hizo un análisis de los criterios de evaluación de los entornos virtuales de aprendizaje HEODAR, minería de datos, FLOE y LORI. Estos criterios se recopilaron a través de entrevistas estructuradas realizadas a diseñadores de contenido de la Universidad Santo Tomás, quienes tenían una amplia variedad de perfiles académicos, como ingenieros con maestrías en diversas disciplinas, comunicadores sociales con maestrías en educación, administradores de empresas con posgrados en diferentes áreas, abogados con diversas especialidades, economistas con posgrados variados y arquitectos con estudios posgraduales.

Los datos recopilados se analizaron utilizando el software Nvivo 12, lo que permitió la creación de nodos y referencias basadas en las apreciaciones de los participantes. Por ejemplo, se destacó que los EVA cuentan con una ruta de aprendizaje en cada una de sus secciones, donde se plasman los propósitos de cada sección y se dejan asignadas las actividades y procesos que se llevarán a cabo durante las semanas correspondientes. Esto incluye criterios relacionados con la presentación de la información, su relevancia para alcanzar los resultados de aprendizaje esperados y la orientación proporcionada para el aprendizaje.

En tal sentido, se resaltó la importancia de la apropiación conceptual a través de lecturas previas y la actualización temática y novedosa de las materias asignadas. Además, se mencionó que existe un sólido diseño del método de enseñanza, incluyendo la didáctica utilizada para transmitir el conocimiento de manera efectiva. También se hicieron referencia a las estrategias de evaluación y retroalimentación, que buscan permitir a los estudiantes profundizar en sus conocimientos y abordar cualquier deficiencia en su comprensión.

En la segunda fase, se evaluaron los criterios de HEODAR, minería de datos, FLOE y LORI en los EVA de varios programas virtuales de posgrado en la Universidad Santo Tomás, seccional Bucaramanga. Para llevar a cabo esta evaluación de pertinencia, se aplicó un cuestionario a estudiantes y tutores de los siguientes programas: Especialización en Seguridad Social, Especialización en Seguridad y Salud en el Trabajo, Especialización en Finanzas Públicas, Especialización en Negocios Globales e Innovación, Especialización en Gerencia de la Internacionalización Empresarial, Especialización en Administración Deportiva y Maestría en Dirección y Gestión de Proyectos, Especialización en Revisoría Fiscal y Auditoría Externa, Especialización en Interventoría y Supervisión de la Construcción, Maestría en Reconciliación y Convivencia y Maestría en Derecho Tributario. La información recopilada se tabuló utilizando la herramienta Nvivo 12.

Para el análisis de los resultados obtenidos en las encuestas se examinaron las percepciones de los estudiantes (disponibles en https://acortar.link/YZvbal) y tutores de programas de modalidad virtual de la Universidad Santo Tomás, seccional Bucaramanga (disponibles en https://acortar.link/iN0GYI) con respecto a las aulas digitales. Esto se hizo considerando los criterios de los sistemas HEODAR, minería de datos, FLOE y LORI, los cuales fueron evaluados mediante una escala de valoración.

En el caso del sistema HEODAR, se analizaron los criterios pedagógicos, didácticos curriculares, de usabilidad y de diseño de navegación con la siguiente escala de valoración: “No sabe”, “Muy deficiente”, “Deficiente”, “Aceptable”, “Alta” y “Muy alta”. En el criterio pedagógico se evaluó la motivación, la atención, la interactividad y la creatividad, aspectos que permiten promover el aprendizaje autónomo y el desarrollo de las habilidades metacognitivas. En cuando al criterio didáctico pedagógico, los participantes mencionan la importancia de la coherencia entre la propuesta de formación y los resultados logrados, teniendo en cuenta que se presenta la información de distintas formas. En el criterio usabilidad se percibió la necesidad de valorar el texto, la imagen, las animaciones, la multimedia, el sonido y el vídeo, lo que sirvió para conocer qué tan pertinente es el contenido de los archivos, el tipo, tamaño y color de letra, y si son adecuados los audios, videos y animaciones para mantener la atención del usuario. Con el último criterio se pudo conocer qué tan pertinente es presentarle al usuario los objetivos que se pretenden desarrollar, así como la flexibilidad de la estructura y la interfaz de la navegación.

Para el sistema minería de datos, se evaluaron los criterios relacionados con el enfoque orientado al usuario, el enfoque colaborativo y el enfoque integrado. La escala incluyó categorías como “Extremadamente en desacuerdo”, “En desacuerdo”, “Ni en desacuerdo ni de acuerdo”, “En acuerdo” y “Extremadamente de acuerdo”. El primer criterio permitió evaluar aspectos como la calidad y estructura de los contenidos para precisar cuán pertinente son y cuál es la efectividad en el proceso de aprendizaje. El segundo criterio resultó útil para conocer la capacidad del objeto virtual de aprendizaje (OVA) en cuanto a alcanzar los objetivos y el diseño de los contenidos. En último criterio perimió precisar la estructura de los contenidos y las especificaciones tecnológicas (Ballesteros Román et al., 2013).

El sistema FLOE evaluó criterios como escenarios de calidad positiva, negativa, de entrega y de calidad formativa, utilizando una escala de valoración de 1 a 5 (1 representó el menor valor y 5 el mayor). Con el primer criterio se puedo evaluar tanto la cantidad de movimientos como el tiempo de uso del cursor en el entorno digital. Además, la calidad de la interacción y cómo esta contribuye a una experiencia visualmente agradable. En el segundo criterio se prestó atención al estilo de redacción, la manera en que se realizan las referencias, cómo se gestionan los recursos disponibles en el sistema y los permisos otorgados para modificar las herramientas digitales. En cuanto al tercer criterio, se evaluó la facilidad con la que los usuarios pueden acceder al entorno virtual, la disposición de las herramientas y la presencia de software invasivo o elementos de edición que puedan afectar la experiencia del usuario. Por último, en el cuarto criterio, se consideró una valoración de la acción formativa proporcionada por el entorno digital, el nivel de formación académica que han adquirido los estudiantes y el beneficio que obtiene cada uno.

Luego se revisó LORI, una herramienta que evaluó ocho criterios: calidad de contenidos, adecuación de los objetivos de aprendizaje, retroalimentación y adaptabilidad, motivación, diseño de presentación, usabilidad de la interacción, accesibilidad y cumplimiento de estándares, con una escala que oscila entre -1 y -5 para las calificaciones negativas, y de 1 a 5 para las positivas. En el primer criterio, se destacó la importancia de que el contenido estuviera exento de errores, que las presentaciones resaltaran partes clave y transmitieran ideas de forma clara, y que los contenidos fueran apropiados para diversos estilos de aprendizaje. El segundo criterio enfatiza que las actividades de aprendizaje, los contenidos y las evaluaciones deben estar alineados con los objetivos de manera efectiva, y que estas actividades deben ser suficientes para lograr dichos objetivos. En el tercer se evidencia que los mensajes de instrucción y las actividades se adaptan a las necesidades específicas de cada alumno. En cuanto al cuarto criterio se observa la capacidad de la herramienta para mantener la motivación entre los usuarios, así como la disponibilidad de actividades interactivas. El quinto criterio se concentra en la eficiencia del aprendizaje proporcionado por la herramienta a través de recursos visuales con una redacción clara y concisa, libre de errores, así como el uso adecuado del color y un diseño estéticamente agradable. Además, se consideran adecuados los gráficos y las tablas utilizadas (Adame Rodríguez, 2015). En el sexto criterio, se busca que el usuario pueda navegar de manera sencilla e intuitiva a través de todos los hipervínculos o botones presentes en los espacios digitales. El séptimo criterio se enfoca en garantizar que el material sea accesible para las personas con discapacidades sensoriales y motoras, además de asegurar que se pueda acceder a él desde cualquier dispositivo, cumpliendo con las pautas establecidas por el W3C. En el octavo criterio, se verifica que los espacios virtuales cumplan con los estándares propuestos por IEEE Learning Object Metadata y las directrices técnicas establecidas por el sistema de gestión del aprendizaje (LMS), el Institute of Electrical and Electronics Engineers (IEEE), Shareable Content Object Reference Model (SCORM) y World Wide Web Consortium (W3C). Esto garantiza la conformidad con todas las normas y especificaciones internacionales relevantes.

Finalmente, en la tercera fase se diseñó un sistema que relacionó los criterios de HEODAR, minería de datos, FLOE y LORI para evaluar los EVA. Luego, a partir de los resultados obtenidos, se desarrolla un plan de mejora a corto, mediano o largo plazo, dependiendo del rango alcanzado en la evaluación (Frascara, 2000).

Conclusiones

Para garantizar una formación efectiva, las instituciones educativas deben evaluar constantemente las estrategias y los recursos empleadas, incluidos los entornos virtuales de enseñanza aprendizaje (EVA). Desafortunadamente, en muchas instituciones no se lleva a cabo de manera adecuada la evaluación de los EVA debido, en parte, a la falta de conocimiento sobre las herramientas y sistemas pertinentes.

Por eso, el presente proyecto procuró hallar respuestas para la siguiente interrogante: ¿cómo puede un sistema de evaluación contribuir a la mejora de los EVA de los programas de posgrado de la Universidad Santo Tomás, seccional Bucaramanga, teniendo en cuenta los criterios HEODAR, minería de datos, FLOE y LORI?

Para ello, el proyecto estableció tres objetivos específicos. En primer lugar, diagnosticar los criterios de HEODAR, minería de datos, FLOE y LORI en los referidos EVA con énfasis en la pertinencia del diseño. En tal sentido, los resultados sugieren la necesidad de evaluar los espacios virtuales con base en los criterios mencionados, ya que esto permite comprender mejor los escenarios de formación, considerando aspectos como los objetivos, el impacto del entorno, la estructura, la calidad del contenido, la presentación, la orientación docente y la coherencia entre las actividades y los objetivos, así como la metodología y la retroalimentación.

En segundo lugar, se procuró valorar los criterios de HEODAR, minería de datos, FLOE y LORI en los mismos EVA con el fin de evaluar tanto su pertinencia como su diseño. Para esto, se consultó a tutores y estudiantes sobre cómo los evaluarían en relación con los criterios y subcriterios de los sistemas mencionados. Las respuestas indican un acuerdo general en la importancia de llevar a cabo una evaluación de estos espacios virtuales, considerando aspectos como la claridad de los objetivos, la idoneidad de los materiales, la interactividad, la motivación de los estudiantes, la presentación de la información, la coherencia de las actividades con los objetivos, el impacto del material, la creatividad y la promoción del aprendizaje autónomo, además del cumplimiento de las normativas de la gestión del aprendizaje (LMS).

En tercer lugar, se planteó el objetivo de estructurar un sistema de evaluación de entornos virtuales de enseñanza aprendizaje que integre los criterios de HEODAR, minería de datos, FLOE y LORI con el fin de mejorar aspectos pedagógicos, técnicos y organizacionales (Ferrari y Mariño, 2014). Este objetivo surge como respuesta a las necesidades expresadas por tutores y estudiantes, de ahí que se haya desarrollado el sistema SEEVA, que permite evaluar los aspectos pedagógicos, técnicos y organizacionales a través de una serie de subcriterios que se encuentran agrupados en categorías específicas.

En lo que respecta a los aspectos pedagógicos, SEEVA evalúa criterios que abarcan la adecuación de los objetivos, el aprendizaje en términos de tiempo, la creatividad, la didáctica curricular, el diseño conceptual (estructura de contenidos), el diseño de presentación para el aprendizaje, la evaluación, la interactividad, la motivación y la atención, así como los aspectos técnicos-estéticos.

Para los aspectos técnicos, el sistema evalúa la accesibilidad y disponibilidad, el diseño de interfaz, el diseño de navegación, las especificaciones tecnológicas, la funcionalidad, la presentación, la técnica-estética, la usabilidad y la velocidad de transferencia.

En lo que concierne a los aspectos organizacionales, SEEVA evalúa la autorización y validación, el cumplimiento de estándares y normas, el impacto, la retroalimentación, la seguridad/confidencialidad y el respeto por la propiedad intelectual.

Con base en los resultados obtenidos, se puede indicar que se deben generar planes de mejora a corto, mediano y largo plazo con el objetivo de optimizar los EVA y satisfacer las necesidades tanto de tutores como de estudiantes.

Futuras líneas de investigación

En la actualidad, contamos con una amplia variedad de herramientas para construir los insumos que conforman los entornos virtuales de aprendizaje (EVA). Sin embargo, es crucial que se realice una evaluación de estos recursos para determinar su pertinencia en el contexto del programa, el nivel de formación y la modalidad educativa correspondiente. Para ello, se propone la implementación del Sistema de Evaluación de Entornos de Aprendizaje (SEEVA), el cual analiza aspectos pedagógicos, técnicos y organizativos.

Además, es importante considerar la posibilidad de plantear otros sistemas o herramientas complementarias que se enfoquen en aspectos adicionales, tales como la usabilidad, el diseño, la calidad, la funcionalidad, la eficacia, la flexibilidad, la interactividad, entre otros, elementos esenciales para garantizar experiencias educativas de calidad.

Referencias

Acuña, M. (26 de diciembre de 2021). Evaluando calidad en los recursos educativos digitales. Evirtualplus. https://www.evirtualplus.com/evaluando-calidad-recursos-educativos/Links ]

Adame Rodríguez, S. I. (2015). Instrumento para evaluar recursos educativos digitales, LORI - AD. Certus, (12), 56-67. https://ireneadame.com/gestion-en-movimiento/publicaciones/instrumento-evaluar-recursos-educativos-digitales-lori-ad/Links ]

Ballesteros Román, A., Sánchez-Guzmán, D. y García Salcedo, R. (2013). Minería de datos educativa: una herramienta para la investigación de patrones de aprendizaje sobre un contexto educativo. Latin-American Journal of Physics Education, 7(4). [ Links ]

Díaz Zelada, Y. (2020). Plataformas learning y TI en programas de postgrado, EVA: una propuesta para el aprendizaje. Iberoamerican Business Journal: Revista de Estudios Internacionales, 3(2). [ Links ]

Ferrari, I. y Mariño, S. (2014). Entorno virtual para apoyar el aprendizaje de temas de minería de datos y su evaluación basado en heurísticas de usabilidad. Revista Iberoamericana de Informática Educativa, (19), 49-60. https://dialnet.unirioja.es/servlet/articulo?codigo=4794549Links ]

Frascara, J. (2000). Diseño gráfico y comunicaciones. Ediciones Infinito. [ Links ]

González Calleros, J. M., Castillo Avila, A. A. y Guerrero García, J. (2013). Desarrollo de un sistema de evaluación educativa En M. Prieto, S. Pech y A. Pérez (eds.), Tecnologías y aprendizaje: avances en Iberoamérica (vol. 1) (pp.242-248). Universidad Tecnológica de Cancún. [ Links ]

Gordillo, A., Barra, E. and Quemada, J. (2014). Towards a Learning Object pedagogical quality metric based on the LORI evaluation model. 2014 IEEE Frontiers in Education Conference (FIE) Proceedings. https://ieeexplore.ieee.org/abstract/document/7044499/Links ]

Hernández Sampiere, R., Fernández Collado, C. y Baptista Lucio, M. (2014). Metodología de la Investigación. McGraw Hill. [ Links ]

Ibáñez Peinado, J. (2015). Métodos, técnicas e instrumentos de la investigación criminológica. Dykynson. [ Links ]

Marulanda, C., López, M. y Mejía, M. H. (2017). Minería de datos en gestión del conocimiento de pymes de Colombia. Revista Virtual Universidad Católica del Norte, (50), 224-237. http://revistavirtual.ucn.edu.co/index.php/RevistaUCN/article/view/821Links ]

Ministerio de Educación Nacional de Colombia (s. f.). https://www.mineducacion.gov.co/1621/articles-299245_recurso_1.pdfLinks ]

Morales Morgado, E. M., Gómez, D. A. y García, F. J. (2008). HEODAR: herramienta para la evaluación de objetos didácticos de aprendizaje reutilizables. X Simposio Internacional de Informática Educativa - SIIE’08. Salamanca, España. https://www.researchgate.net/publication/281242142_EODAR_Herramienta_para_la_Evaluacion_de_Objetos_Didacticos_de_Aprendizaje_ReutilizablesLinks ]

Nesbit, J., Belfer, K. and Leacock, T. (2009). Learnig object Review Instrument (LORI). Academia.edu. https://www.academia.edu/7927907/Learning_Object_Review_Instrument_LORI_Links ]

Onetti Onetti, V. (2011). La evaluación. Revista Virtual Innovación y Experiencias Educativas, 39. [ Links ]

Orozco Rodríguez, C. and Morales Morgado, E. (2016). Psychometric testing for HEODAR tool. TEEM 16: Proceedings of the Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality. https://dl.acm.org/doi/abs/10.1145/3012430.3012512Links ]

Ortega, M. and Vargas, M. (2007). FLOE-T: Tool to measure the quality in learning objects. In M. Iskander (ed.), Innovations in E-learning, Instruction Technology, Assessment, and Engineering Education (249-455). Springer [ Links ]

Rosado Gomez, A. A. y Verjel Ibáñez, A. (2017). Aplicación de la minería de datos en la educación en línea. Revista Colombiana de Tecnologías de Avanzada, 1(19), 92-98. [ Links ]

Vargas-Lombardo, M. (2007). FLOE-T: Una herramienta para la evaluación y estudio de Learning Object en los portales. Secretaría Nacional de Ciencia y Tecnología-Panamá (SENACYT). [ Links ]

Rol de Contribución Autor (es)
Conceptualización Claudia Yaneth Roncancio Becerra
Metodología Claudia Yaneth Roncancio Becerra
Software No aplica
Validación Claudia Yaneth Roncancio Becerra
Análisis Formal Claudia Yaneth Roncancio Becerra
Investigación Claudia Yaneth Roncancio Becerra
Recursos Claudia Yaneth Roncancio Becerra
Curación de datos Claudia Yaneth Roncancio Becerra
Escritura - Preparación del borrador original Claudia Yaneth Roncancio Becerra
Escritura - Revisión y edición Claudia Yaneth Roncancio Becerra - «principal»
Serafín Ángel Torres Velandia - «que apoya»
Claudia Yaneth Roncancio Becerra
Supervisión Serafín Ángel Torres Velandia - «que apoya»
Administración de Proyectos Claudia Yaneth Roncancio Becerra
Adquisición de fondos Claudia Yaneth Roncancio Becerra

Recibido: Febrero de 2023; Aprobado: Septiembre de 2023

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons