1. Introducción

Los cursos en línea, también conocidos como e-learning, gradualmente han permeado en el ámbito educativo moderno. Este tipo de materiales educativos poseen el potencial de llegar a un gran número de personas que pueden beneficiarse del acceso fácil a un conocimiento de calidad. Un ejemplo de estas tecnologías son los cursos en línea masivos abiertos, coloquialmente conocidos como MOOCs por sus siglas en inglés (Massive Open Online Courses). En este tipo de entornos, una gran cantidad de estudiantes pueden aprender remotamente del material y avanzar a su ritmo, con la posibilidad de ser evaluados dentro del mismo entorno.

En cualquier sistema de aprendizaje en línea es vital que el material sea de calidad para que el aprovechamiento de los alumnos sea maximizado. Sin embargo, muchas veces los materiales de e-learning son estandarizados e idénticos para todos los estudiantes. En la gran mayoría de las ocasiones no se considera adaptar el material en caso de que el estudiante ya tenga conocimientos previos acerca del tema. En estas situaciones el alumno avanzado tiene que limitarse a aprender con el mismo material que el resto de los estudiantes. Esto suele ser perjudicial, ya que un alumno con conocimientos previos se comporta de manera distinta a un alumno neófito ^[1] y puede llegar a perder interés en el material, ya que los alumnos con un nivel más avanzado de lo usual, manifiestan expectativas de conocimientos nuevos como prioridad al participar en cursos en línea ^[2].

Además de esto, existe un factor aún más relevante que la presencia de conocimientos previos que afecta el aprovechamiento de los materiales educativos: los llamados "estilos cognitivos". Existen diferencias individuales entre los alumnos, por lo que no hay un método instruccional adecuado para todos ^[3]. Entre las diversas diferencias individuales, los estilos cognitivos son particularmente importantes porque afectan los hábitos de procesamiento de información de una persona, lo que refleja el modo preferido de un individuo de percibir, pensar, recordar y solucionar problemas ^[4]. En otras palabras, los individuos procesan la información de manera diferente de acuerdo con la tendencia de estilo de aprendizaje que presentan.

Los estilos cognitivos se refieren al enfoque coherente de cada individuo de procesar y organizar la información ^[5]. La investigación existente ha indicado que los estilos cognitivos influyen en el aprendizaje ^[6]. En el pasado, este tipo de investigación se centró en el campo de dependencia/independencia propuesto por Witkin et al. ^[7].

Trabajos más recientes han tratado de cambiar a otras dimensiones de estilos cognitivos ^[8,9,10]. Por ejemplo, el estilo holista/serialista se considera como otra dimensión influyente ^[11,12]. Las diferencias entre holistas y serialistas se enumeran en la Tabla 1.

En la última década, varios estudios encontraron que los holistas y serialistas demuestran diferentes comportamientos de aprendizaje. En ^[9], los autores investigaron las preferencias de los estudiantes para el uso de los motores de búsqueda desde una perspectiva de estilo cognitivo. Se encontró que los holistas prefieren múltiples opciones, pero los serialistas no demostraron tal preferencia. Más tarde, estos autores llevaron a cabo otro estudio que examina la relación entre los estilos cognitivos y las preferencias de los estudiantes para el aprendizaje basado en la web (WBL).

Los resultados mostraron que los holistas tuvieron mayores problemas en el uso de los botones adelante/atrás que los serialistas ^[10].

Los factores antes mencionados ponen en evidencia la necesidad de identificar el estilo de aprendizaje de cada estudiante para adaptar a sus necesidades la forma de presentación de los conceptos que componen un curso en línea, así como para detectar a aquellos estudiantes que ya tienen familiaridad con el tema y, por ende, necesitan de material más avanzado. Resolver estos problemas posibilitaría desarrollar materiales de aprendizaje en línea que se ajusten a las necesidades particulares de cada estudiante ^[1].

Por lo tanto, es importante desarrollar una forma de identificar automáticamente el estilo de aprendizaje y la presencia de conocimientos previos en un estudiante de un curso en línea. En este trabajo se propone el uso de tecnologías de monitoreo no invasivo para encontrar patrones en las señales fisiológicas de los alumnos que los identifiquen como pertenecientes a un determinado estilo de aprendizaje y evidencien si poseen conocimientos previos sobre el tema.

En concreto, se propone realizar una clasificación automática usando señales electroencefalográficas, así como de ritmo cardiaco, respuesta galvánica de la piel y temperatura corporal, de los estudiantes, obtenidas por medio de los dispositivos Emotiv EPOC y Microsoft Band 2, mientras participan en un curso en línea. Se decidió utilizar estos dos dispositivos debido a su disponibilidad comercial y relativo bajo costo.

Los métodos de clasificación automática propuestos en este trabajo son dos que han resultado eficaces en el campo de e-learning y en otros dominios de aplicación: las redes neuronales artificiales (RNA) ^[13,14] y las máquinas de vector de soporte (MVS) ^[15,16].

A pesar de que el objetivo principal es identificar patrones en las señales fisiológicas que permitan clasificar a los alumnos de acuerdo con su estilo de aprendizaje y su nivel de conocimientos previos, en este trabajo se exploran dos tareas de clasificación adicionales para investigar el potencial de este tipo de señales fisiológicas como predictores del género del estudiante y la clasificación del tipo de actividad que realiza (lectura vs. respuesta de preguntas).

La principal contribución de este trabajo es demostrar que las señales fisiológicas generadas por usuarios de herramientas de aprendizaje en línea contienen información relevante acerca de las características de dichos estudiantes y que esa información puede ser extraída automáticamente por medio de algoritmos de aprendizaje de máquina.

El resto de este artículo se estructura de la siguiente manera: la Sección 2 ofrece un resumen de los trabajos relacionados relativos al uso de señales electroencefalográficas con énfasis en el uso del Emotiv EPOC para resolver problemas de e-learning y otros dominios. De la misma forma, se revisan trabajos que hayan aplicado los clasificadores usados en esta investigación a otros problemas de e-learning. Posteriormente, la Sección 3 detalla las características del entorno experimental, el cual incluye a la población estudiada, los dispositivos usados, la estructura del curso, el tratamiento de los datos recabados en el experimento, así como la descripción de los distintos modelos de clasificación. La Sección 4 muestra los resultados de los experimentos y ofrece una discusión acerca de estos. Después, la Sección 5 ofrece una reflexión acerca de las implicaciones de los hallazgos de esta investigación con un enfoque a mejorar el aprendizaje en línea. Finalmente, la Sección 6 describe líneas de investigación a futuro sobre la base de este trabajo.

2. Trabajos relacionados

La presente investigación tiene como ejes centrales el uso de dispositivos no invasivos para obtener señales electroencefalográficas (EEG), y el uso de redes neuronales artificiales (RNA) y máquinas de vector de soporte (MVS) para predecir diversos aspectos de los estudiantes de un curso en línea, a partir de su respuesta fisiológica. A continuación, se menciona un resumen de trabajos relacionados con los ejes centrales de esta investigación.

El uso de señales electroencefalográficas (EEG) para resolver problemas en el campo del aprendizaje en línea ha tenido gran aceptación y éxito en la última década. Por ejemplo, en ^[17], los autores emplearon señales EEG para identificar conceptos relacionados semánticamente, a partir de los cambios en las señales de los sujetos al pensar en dichos conceptos. Las señales EEG no sólo se han usado para modelar conceptos, sino que también se les ha dado uso como predictores. En ^[18] los autores midieron señales EEG y las clasificaron usando redes neuronales artificiales (RNA) para identificar autismo en niños. Dentro del ámbito del aprendizaje en línea, en ^[19] los autores mostraron que es posible predecir si el sujeto responderá verdadero o falso en las preguntas de un cuestionario a partir de señales EEG. En ^[20] se utilizaron señales EEG tomadas con un dispositivo NeuroSky que fueron clasificadas usando una máquina de vectores de soporte (MVS) para detectar el nivel de atención de estudiantes en un curso en línea. Otra aplicación interesante de las señales EEG se muestra en ^[21], donde son utilizadas como un método biométrico para identificar personas.

El dispositivo Emotiv EPOC utilizado en el presente trabajo ha sido empleado en años recientes para obtener señales EEG confiables en una diversa gama de aplicaciones. Por ejemplo, los autores de ^[20] desarrollaron un sistema basado en el EPOC y un Kinect para controlar una silla de ruedas a través de una interfaz cerebral. De manera similar, en ^[23] se empleó el Emotiv EPOC para controlar remotamente un robot. Este dispositivo fue utilizado por los autores de ^[24] para analizar los cambios en las señales cerebrales de las personas al inducirles tristeza en un entorno de realidad virtual. Una instancia más del uso del EPOC en la investigación puede apreciarse en ^[25], donde se usó en conjunto con un sistema de monitoreo ocular para analizar el comportamiento de los sujetos ante la presencia de estímulos mercadológicos.

Los clasificadores utilizados en este trabajo, las RNA y las MVS, han sido ampliamente utilizadas en una multitud de dominios de aplicación. En esta revisión nos limitamos a mencionar algunas aplicaciones relacionadas al campo del aprendizaje en línea y la educación asistida por computadora.

Las RNA fueron empleadas en ^[26], junto con otros clasificadores, para predecir el desempeño de los alumnos en un curso en línea; mientras que en ^[27], las emplearon para ayudar a diseñar cursos de e-learning personalizados de acuerdo con las características de los estudiantes. En ^[28], los autores hicieron uso de las RNA para predecir el desempeño de los alumnos en un curso de inglés como lengua extranjera.

Las MVS también han mostrado buen desempeño en varias aplicaciones. Por ejemplo, en ^[29] los autores utilizaron las MVS para mejorar el desempeño de sistemas de e-learning inteligentes, mientras que en ^[30] usaron este modelo de clasificación para lograr un buen desempeño en el reconocimiento de expresiones faciales en un sistema de aprendizaje en línea. Un trabajo que emplea ambos modelos usados en la presente investigación puede verse en ^[31], donde se utilizaron RNA, MVS y otros modelos para predecir qué alumnos no terminarán un curso en línea.

Es preciso mencionar las principales diferencias entre los trabajos anteriormente mencionados y el presente trabajo. En primer lugar, estos trabajos no emplearon señales EEG y fisiológicas para realizar la clasificación, sino que se valieron de atributos demográficos y de que los alumnos contestaran cuestionarios para obtener sus datos de entrada; o monitorearon y registraron las actividades que realizaban los estudiantes durante el curso. Esta diferencia es importante, puesto que las respuestas a un cuestionario o la observación y el registro de actividades no son tan confiables como las señales EEG: un usuario fácilmente puede mentir o comportarse atípicamente a propósito, mientras que sería sumamente difícil que alterara conscientemente sus señales fisiológicas. Otra diferencia notable es que ninguno de estos trabajos intenta resolver la identificación del género del estudiante, la presencia de conocimientos previos, o trata de distinguir automáticamente el tipo de actividad realizada por la persona que está tomando el curso.

La predicción de los estilos de aprendizaje también ha sido un tema popular en el campo de la clasificación automática aplicada al ámbito educativo. Por mencionar algunos trabajos, en ^[32] se usó el algoritmo del vecino más cercano y algoritmos genéticos para predecir estilos de aprendizaje, mientras que en ^[33] hicieron uso de RNA alimentadas con las respuestas de un cuestionario con el mismo propósito. Por otra parte, en ^[34] los autores usaron los estilos de aprendizaje para clasificar objetos de e-learning. Finalmente, en ^[35] los autores probaron algoritmos de minería de datos para mejorar sistemas de aprendizaje en línea a través de la predicción de los estilos de aprendizaje.

3. Metodología

3.1. Procedimiento de experimentación

El objetivo de la presente investigación consiste en capturar las respuestas fisiológicas del cuerpo humano cuando la persona participa en un curso en línea, y a partir de estas señales explorar si es posible predecir características y tendencias de los alumnos.

En concreto, en este trabajo se investigan cuatro preguntas independientes:

1. ¿Hay una diferencia en las señales fisiológicas emitidas por sujetos masculinos y femeninos durante la participación en un curso en línea?

2. ¿Existe alguna relación entre las señales cerebrales del alumno mientras aprende y el estilo de aprendizaje al cual es más afín?

3. ¿Es posible identificar si un alumno ya tiene conocimientos previos acerca del tema por medio de las señales fisiológicas que emite al leer la información, o son similares a las de un neófito?

4. ¿Existe una diferencia significativa entre las señales fisiológicas de un alumno cuando lee un material y cuando contesta un cuestionario? Si la respuesta es positiva, ¿es posible predecir qué actividad realiza a partir de sus señales fisiológicas?

Para dar respuesta a las preguntas planteadas y basándose en estudios anteriores que han tenido éxito en predecir cuestiones similares ^{[19,20,32,36]}, se consideró monitorear la actividad eléctrica cerebral e incluir también variables fisiológicas obtenidas de diversos sensores. Dichos sensores se enumeran a detalle en la Sección 3.1.1.

Para la obtención de los datos, se invitó a participar a estudiantes de una escuela del área de Ciencias Físico-Matemáticas del nivel medio superior (años 10-12 de instrucción) del Instituto Politécnico Nacional. Los alumnos participaron en un curso en línea de programación básica en lenguaje Python. Los criterios de selección fueron: (a) edades de 15 a 18 años, (b) habilidades de computación básicas para utilizar la aplicación del curso en línea y (c) conocimientos básicos de programación. De acuerdo con estos criterios, de 95 aspirantes originales se seleccionaron a 50 alumnos para participar, divididos en 22 mujeres y 28 hombres. Tener un balance entre sujetos masculinos y femeninos fue necesario para contestar la pregunta número 1.

El experimento se realizó en tres sesiones (una cada semana). En la primera sesión, el participante firma la hoja de consentimiento (Figura 1b.), contesta el "Cuestionario de Preferencias de Estudio (SPQ)" (Figura 1c.) ^[37], y se le registra en el software del curso (Figura 1d.). Posteriormente, se le colocan los dispositivos de monitoreo (Figura 1e.) y contesta un cuestionario para identificar algún conocimiento previo (Figura 1f.). Finalmente, le son presentados los primeros tres subtemas y contesta los correspondientes tres mini cuestionarios de evaluación. Cada sesión subsecuente, consiste en tres subtemas con sus correspondientes evaluaciones cada uno. Todos los experimentos se desarrollaron en un ambiente controlado donde los sujetos de prueba se encontraban libres de distracciones externas. Los aspectos del curso y del experimento se resumen en las siguientes secciones.

Fig. 1 Diagrama de la obtención de datos para el experimento 

3.1.1. Dispositivos empleados

Para medir las variables fisiológicas del sujeto durante el experimento, se emplearon: a) Emotiv EPOC¹ (Figura 2-a), un dispositivo inalámbrico de 14 canales que permite la monitorización de señales de electroencefalografía (EEG) y b) Microsoft Band 2² (Figura 2-b), una banda inteligente de segunda generación con funciones de smartwatch desarrolladas por Microsoft, que incluyen: monitor de ritmo cardíaco, medidores de respuesta galvánica de la piel y temperatura corporal, acelerómetro en 3 ejes, girómetro, micrófono, sensor ultravioleta, GPS, sensor de luz ambiental, sensor capacitivo y barómetro.

Fig. 2 Dispositivos seleccionados para los experimentos: a) Emotiv EPOC y b) Microsoft Band 2 

4. Resultados y discusión

Considerando la cantidad de datos que componen los resultados obtenidos en cada experimento, se generó una muestra aleatoria del 10% de las instancias (450 registros) para utilizarlos como datos de prueba, mientras que el 90% restante (4050 registros) se empleó como datos de entrenamiento. El método empleado para validar el resultado de los modelos utilizados fue una validación cruzada de nueve iteraciones (9-fold cross-validation).

Una vez obtenidos los resultados de la eficacia de clasificación de las redes neuronales en los datos de entrenamiento para cada una de las características, empleando solo la Microsoft Band 2, solo el Emotiv Epoc, y ambos dispositivos juntos, se obtiene lo siguiente:

Por otro lado, considerando que cada característica es independiente, se puede obtener el siguiente comportamiento de los modelos basados en redes neuronales:

Para el caso de los modelos con máquinas de vector de soporte, se tiene que:

En lo que respecta al análisis individual de las características a clasificar se tiene que:

Una vez obtenidos los mejores modelos para clasificar los datos de entrenamiento, se procedió a evaluar su desempeño al presentarles datos desconocidos para ellos. Para este fin, el conjunto de prueba reservado anteriormente fue clasificado por cada uno de los modelos, tanto de RNA como de MVS. Las tablas 5 y 6 muestran los modelos que mejor se desempeñaron para cada tarea, junto con los porcentajes de eficiencia de clasificación que obtuvieron para el conjunto de prueba. La tabla 7 muestra un resumen comparativo del mejor modelo RNA contra el mejor modelo MVS para cada una de las cuatro tareas.

Al observar los resultados obtenidos, se puede llegar a las siguientes conclusiones:

5. Conclusiones

Este trabajo consistió en probar dos paradigmas de clasificación de patrones: las redes neuronales y las máquinas de vector de soporte, para predecir cuatro atributos de estudiantes de un curso en línea a partir de las señales fisiológicas que emiten, mientras interactúan con el material. Estas señales fueron obtenidas por medio de dos dispositivos comerciales de fácil acceso: el Emotiv EPOC para obtener señales electroencefalográficas, y la Microsoft Band 2, para obtener otras señales como el ritmo cardíaco y la temperatura corporal, entre otros. En concreto, los cuatro atributos a predecir fueron: el género del participante, su tendencia de tipo aprendizaje, la presencia de conocimientos previos del tema del curso y el tipo de actividad que se encuentra realizando (respuesta vs. lectura).

La primera contribución de este trabajo fue la recopilación de un conjunto de datos de señales fisiológicas emitidas por participantes de cursos en línea. Estos datos pueden ser usados por la comunidad científica para realizar posteriores análisis sobre la información contenida en dichas señales fisiológicas. De la misma forma, este conjunto de datos puede ser usado para caracterizar el desempeño de algoritmos de clasificación para series de tiempo. Dichos datos están disponibles al público en el nuestro repositorio³.

Una vez procesadas estas señales, se probaron distintas configuraciones de cada clasificador para determinar los hiper-parámetros que producen el mejor desempeño de cada uno de los modelos. Los mejores modelos identificados en la etapa de entrenamiento fueron puestos a prueba con el resto de los datos obtenidos, para medir su desempeño al presentarles datos desconocidos y evaluar así, su capacidad de generalización.

La investigación realizada arrojó que tres de las tareas son clasificadas con un buen desempeño. La predicción del género del participante fue la mejor clasificada, seguida de la presencia de conocimientos previos y por último, la predicción del tipo de aprendizaje del alumno. Para estas tres tareas, las redes neuronales fueron superiores a las máquinas de vector de soporte y alcanzaron desempeños cercanos al 90%. Para la última tarea, la predicción de la actividad realizada, ambos clasificadores tuvieron mayor dificultad para predecir correctamente, aunque las MVS superaron a las redes neuronales.

Es preciso notar que los resultados mejoran significativamente al emplear las series de tiempo recopiladas por ambos dispositivos, comparado con el caso en que se utilizan individualmente las señales obtenidas de cualquiera de los dos. Esto sugiere que incrementar las características disponibles facilita la clasificación para este problema en particular.

Los porcentajes de clasificación obtenidos indican que las señales fisiológicas recopiladas durante el estudio contienen información que puede ser usada de manera efectiva para determinar un conjunto de características relevantes sobre los sujetos de prueba. Esto es particularmente interesante por el hecho de que los dispositivos utilizados para la captura de datos son de bajo costo y están comercialmente disponibles. Lo anterior, hace factible el desarrollo de una nueva generación de plataformas educativas altamente adaptativas que saquen provecho del monitoreo continuo de sus usuarios. Por ejemplo, al tener un buen nivel de confianza en la predicción de conocimientos previos, se puede diseñar un curso que eleve el nivel y la complejidad del contenido si se detecta que el alumno ya conoce la información presentada. De manera similar, la predicción del tipo de aprendizaje puede ayudar a diseñar cursos que se adapten a las necesidades de cada alumno para maximizar su aprovechamiento.

6. Trabajo futuro

La investigación posterior tendrá las siguientes vertientes. En el plano de las tecnologías educativas, se propone desarrollar una plataforma adaptativa que presente material didáctico de acuerdo con el nivel de conocimiento previo y con el tipo de estilo de aprendizaje. Se espera que este tipo de plataformas promuevan el mejor desempeño de sus usuarios. Adicionalmente, se propone desarrollar una metodología para evaluar la efectividad del material que compone a los cursos en línea, dependiendo de las características particulares de los estudiantes.

Con respecto al análisis de señales fisiológicas y sus aplicaciones, se propone extrapolar las técnicas de análisis desarrolladas en este trabajo a otros contextos tan diversos como el monitoreo clínico continuo, el monitoreo de desarrolladores de software, o de operadores de maquinaria y vehículos.

De la misma forma, se propone investigar la utilización de otros modelos de clasificación en el contexto del análisis de las señales fisiológicas.