Tutor Inteligente con reconocimiento y manejo de emociones para Matemáticas

Intelligent Tutor with Emotion Recognition and Student Emotion Management for Math Performance

María Lucía Barrón Estrada¹, Ramón Zatarain Cabada¹, Yasmín Hernández Pérez²

¹ Instituto Tecnológico de Culiacán. Departamento de Ciencias de la Computación. Juan de Dios Bátiz 310 Pte. Col. Guadalupe, 80220. Culiacán, Sinaloa, México. lbarron@itculiacan.edu.mx, lbarron@itculiacan.edu.mx

Recibido: 19 de abril de 2013;
Aceptado para su publicación: 22 de julio de 2014.

Resumen

En el presente trabajo se describe el desarrollo, implementación y pruebas de un Sistema Tutor Inteligente para matemáticas de tercer grado de primaria que identifica el estado emocional del estudiante y produce retroalimentación afectiva para el mismo durante un curso, el cual se encuentra instalado en una red social. El reconocimiento de emociones se lleva a cabo a través de expresiones faciales, lo cual se realiza por medio de una red neuronal artificial. La red social y el Sistema Tutor Inteligente con manejo afectivo han sido probados en escuelas públicas y privadas de la localidad, con resultados muy favorables.

Palabras clave: Instrucción basada en Web, Sistemas tutores inteligentes, Aprendizaje mediado por computadora.

Abstract

Keywords: Web-based instruction, Intelligent tutoring systems, Computer-based learning.

I. Introducción

De acuerdo con Scherer (Scherer, 2009), las emociones son fenómenos multifacéticos que involucran procesos psicológicos coordinados, que incluyen aspectos afectivos, cognitivos, fisiológicos, motivacionales y expresivos. Un ejemplo es cuando un estudiante tiene que codificar un software en un examen de una hora. El estudiante puede estar muy nervioso (afecto), inseguro de sus conocimientos (cognición), su presión arterial puede ser alta (fisiología), frustrado por el último examen (motivacional) y su rostro y voz denotan preocupación (expresión).

Las emociones son elementos prominentes que están siempre presentes en la mente humana (Picard, 1995), y hace 50 años todavía los científicos separaban los procesos de emoción de los procesos de cognición para resolver problemas de toma de decisiones o de aprendizaje.

La importancia del estado afectivo o emocional durante el proceso de aprendizaje ha sido demostrada en numerosas investigaciones. Por ejemplo Fredrickson (2001) y Dong (2011) mostraron que un estado emocional positivo promueve formas más creativas de resolver problemas. En relación con esto, científicos de la computación se han orientado a resolver el problema de reconocer automáticamente las emociones y las han clasificado usando técnicas de inteligencia artificial para reconocimiento de patrones. El reconocimiento automático de emociones puede mejorar el desempeño, la usabilidad y, en general, la calidad de sistemas de software que interactúan con el hombre; y en particular, podría mejorar los resultados de los ambientes virtuales de aprendizaje.

Durante los últimos años, los sistemas tutores inteligentes (STI) han aprendido a reconocer no solo el estado cognitivo del estudiante sino también su estado afectivo. La investigación en el área de computación afectiva incluye detectar y dar respuesta a emociones de un individuo (por ejemplo un estudiante). Los sistemas que detectan emociones identifican emociones como frustración, interés y aburrimiento (Arroyo, Woolf, Cooper, Burleson, Muldner y Christopherson, 2009; Conati y McLaren, 2004). Además, un sistema afectivo busca transformar un estado de emoción negativo, como es frustración o aburrimiento, a un estado de emoción positivo como es el de compromiso (D'Mello, Picard y Graesser, 2007; Du Boulay, 2011). Para ello se requiere de la ayuda de software y hardware en ambientes de aprendizaje que incluyen sensores especiales como brazaletes de conductividad en la piel, sillones y ratones ("mouses") con adaptaciones, cámaras específicas para los ojos, etc., instalados en equipos de cómputo especiales.

Sin embargo, la mayoría de estos trabajos se olvidan de un elemento que es clave en el proceso de aprendizaje de un estudiante: la interacción social (Vygotsky, 1978), que juega un papel preponderante en el desarrollo cognitivo del niño.

Un estudiante, que es miembro de una comunidad de aprendices, va adquiriendo lentamente habilidades y conocimientos de uno o más expertos, mientras se va involucrando activamente dentro de la comunidad. Según la teoría de Vygotsky, las habilidades y patrones de pensamiento se determinan, no por factores innatos, sino por el producto de actividades sociales llevadas a cabo dentro de la comunidad cultural donde el estudiante crece.

II. Emociones durante el proceso de aprendizaje

Existen muchas teorías psicológicas que definen lo que es una emoción, su origen y los diferentes factores que producen sus cambios, como es la percepción de situaciones, valoraciones cognitivas, procesos neuro-hormonales y retroalimentación sensorial de expresiones faciales, gestos y posturas (Davidson, Scherer y Goldsmith, 2003). En el caso de ambientes de aprendizaje, las emociones tienen influencia en una gran cantidad de procesos cognitivos relacionados con el aprendizaje como la percepción, atención, memoria, toma de decisiones y solución de problemas cognitivos (Loewenstein y Lerner, 2003). Por ejemplo, un profesor puede dedicar tanto tiempo en motivar a los estudiantes como en apoyarlos en sus objetivos cognitivos o pedagógicos (Lepper y Hodell, 1989).

Si queremos implementar un sistema de software que reconozca emociones, es conveniente solo manejar un número pequeño de emociones básicas. Hasta hoy no existe una teoría o trabajo comprensivo y validado sobre emociones, que establezca cuáles emociones son las que más influyen en el proceso de aprendizaje (Picard, Papert, Bender, Blumberg, Breazal, Cavallo, et al., 2004), aunque ese punto es muy debatible por la gran cantidad de trabajos relacionados con el tema. Sin embargo, el trabajo sobre análisis facial de expresiones de Ekman (Ekman, 1999), donde se describe un subconjunto de emociones básicas como alegría, enojo, sorpresa, miedo, disgusto/desprecio e interés, ha influido en la implementación de nuevos sistemas tutores inteligentes que incluyen reconocimiento y tratamiento de emociones y/o afectos (Arroyo et al., 2009; D'Mello, Dowell y Graesser 2009; Forbes-Riley y Litman, 2009; D'Mello, Lehman y Graesser, 2011).

III. Elementos del Usuario, la Red Social y el STI

Nuestra red social de aprendizaje tiene la funcionalidad básica de toda red social, pero su principal característica es que incluye dos sistemas tutores inteligentes que despliegan el contenido de un curso en forma individualizada. Cada usuario de la red social tiene asociada información personal, académica y afectiva en un perfil, como se aprecia en la Figura 1, el cual se obtiene y almacena en forma estática y dinámica. El perfil estático contiene la información inicial del usuario (por ejemplo, información personal y académica), mientras que el perfil dinámico se actualizará de acuerdo a la interacción del usuario dentro de la red y del STI, tomando en cuenta los diferentes aspectos sociales, cognitivos y emocionales.

Las emociones están muy relacionadas al aprendizaje del estudiante, lo cual representa el factor clave hacia los resultados que éste obtiene. La interacción social del estudiante es capturada por medio de las actividades que el estudiante realiza en la red en donde se analizan diferentes aspectos como los intereses del alumno, sus contactos, otros cursos visitados, etc. Los factores cognitivos son obtenidos de acuerdo al historial observado en los resultados de los exámenes del usuario y los factores emocionales son captados por medio de la cámara Web de la computadora.

El sistema tutor inteligente y afectivo para la red social adopta el modelo tradicional conocido como arquitectura de cuatro-módulos, donde el primer módulo (la interfaz de la red social) tiene acceso a otros tres módulos principales llamados: dominio, estudiante y tutor. La figura 2 muestra la arquitectura completa del STI.

Módulo del Dominio. El conocimiento de un curso en el STI es estructurado en forma de árbol el cual contiene capítulos, y estos a su vez están compuestos por temas. La totalidad de todos los nodos en el árbol representa el conocimiento del módulo del dominio o del experto.

Módulo del Tutor. El módulo del tutor en el STI está basado principalmente en la Teoría de Cognición llamada ACT-R (Anderson, Boyle, Corbett y Lewis, 1990). Los sistemas tutores inteligentes basados en esta teoría son llamados Tutores de Modelo-Seguimiento ("Model-Tracing") o tutores cognitivos.

Módulo del Estudiante. Este módulo es responsable de evaluar el desempeño del estudiante para determinar habilidades cognitivas y de razonamiento. Provee la información sobre las competencias y capacidades de aprendizaje del estudiante. El STI se da cuenta del conocimiento del estudiante a través de un examen diagnóstico inicial. El módulo de estudiante del STI administra dinámicamente un sub-árbol de todo el conocimiento que el experto posee en el dominio, como se muestra en la parte derecha de la figura 2.

Sub-módulo Afectivo. Las emociones son detectadas por medio de expresiones del rostro. El método usado para la detección de emociones faciales está basado en la teoría de Ekman (1999), para lo cual reconocemos siete principales emociones: ira, disgusto, miedo, felicidad, tristeza, sorpresa y emoción neutral. Para determinar la emoción en un rostro, primero tomamos la imagen del estudiante por medio de la cámara web de la computadora y la transformamos a una forma más básica. Con base en esta imagen obtenemos puntos o coordenadas de la boca, los ojos y las cejas los cuales se convierten en datos de entrada a una red neuronal que se encarga de reconocer una emoción.

Una vez que el estado emocional del estudiante es determinado, el sub-módulo afectivo tiene que responder congruentemente; para hacer esto, el tutor usa un modelo el cual establece parámetros que habilitan un mapeo del estado afectivo y de conocimiento del estudiante hacia las acciones de enseñanza que serán utilizadas. Todo este proceso, el sistema tutor inteligente y afectivo lo lleva a cabo en tiempo real.

Ejemplo de Operación de División. Para la enseñanza de ejecución del procedimiento o algoritmo de las operaciones de multiplicación y división nos basamos en los algoritmos tradicionales (Van de Walle y Lovin, 2006) y en el caso particular de multiplicaciones se enseña un segundo algoritmo llamado de celosía o "Lattice" (Nugent, 2007). El tutor inteligente evalúa al estudiante y de acuerdo a sus conocimientos en las tablas de multiplicar decide el método o algoritmo a usar.

Como podemos observar, las acciones del tutor inteligente obtenidas de algoritmos resueltos por el estudiante y a través de su estado emocional, están relacionadas con un componente pedagógico y un componente afectivo. El componente pedagógico apunta a ofrecer la comprensión del algoritmo de una operación matemática, mientras que el componente afectivo se enfoca en promover un estado afectivo positivo en el estudiante.

Las acciones afectivas del agente pedagógico son mostradas en la Tabla I. Estas acciones son el resultado de un estudio conducido para evaluar la expresividad de agentes animados (Hernández, Sucar y Arroyo, 2008). Durante este estudio, se pidió a 20 profesores que seleccionaran las acciones afectivas apropiadas de acuerdo con diversos escenarios en un tutor computacional. Nuestro objetivo es que las acciones del agente animado "Genio" fomenten en los estudiantes un ambiente afectivo de aprendizaje. Esto representa que el sistema tutor inteligente también es afectivo.

IV. Método para el Reconocimiento o Identificación de Emociones

Nuestro método para el proceso de reconocimiento de emociones en rostros se dividió en dos etapas: una de entrenamiento de la red neuronal y otra de uso-producción de la misma. En la primera etapa se prepara a la red neuronal para que sea capaz de reconocer el estado emocional de los estudiantes. En la segunda se utiliza la red neuronal como parte del sub-módulo afectivo del sistema tutor inteligente. En la siguientes dos secciones se explican detalles del proceso de entrenamiento de la red neuronal (tamaño y tipo del corpus) y la validación de la misma con estudiantes.

4.1 Procedimiento de Entrenamiento de la Red Neuronal

En el primer paso, para el entrenamiento de la red neuronal se consiguió un corpus o base de datos de expresiones faciales de distintos estados emocionales, de hombres, mujeres y niños de diferentes culturas para los distintos estados emocionales de una persona. La base de datos de expresiones faciales RaFD (Radboud Faces Database) (Langner, Dotsch, Bijlstra, Wigboldus, Hawk y van Knippenberg, 2010) incluye un conjunto de 67 modelos. Los modelos muestran 8 expresiones de diferentes estados emocionales, cada emoción en 3 direcciones de mirada diferente y además en 5 posiciones de toma de la cámara. El gran total de toda la base de datos son 8040 imágenes. Un ejemplo de esta base de datos se muestra en la Figura 4. El sistema reconocedor de emociones en rostros fue implementado en dos lenguajes de programación (Java y C++) usando para ello las librerías OpenCV y JavaCV.

4.2 Etapa de Uso-Producción de la Red Neuronal dentro de un STI

La etapa de uso-producción de la red neuronal, está incluida dentro del sistema tutor inteligente el cual forma parte de la red social educativa llamada Fermat. En la figura 5 se muestra como se extrae la información del rostro del estudiante, y con la información y la ayuda de la red neuronal se clasifica (identifica) el estado emocional, y se envía al tutor inteligente de la red social.

Primero se captura el rostro del estudiante por medio de la cámara Web, acto seguido se extraen los valores de las características del rostro (cejas, ojos y boca), estos se normalizan o cambian a valores manejados por la red neuronal y por último, se envían dichos valores a la red previamente entrenada. La red neuronal produce su propia salida (la emoción). Una vez que se reconoce la emoción, ésta es enviada al STI de la red social Fermat. El STI integrará el estado emocional junto con los valores pedagógicos obtenidos en los ejercicios resueltos por el estudiante, para así enviar una retroalimentación afectiva por medio del agente animado.

V. Método de Evaluación

El Sistema Tutor Inteligente dentro de la red social Fermat ha sido evaluado (ver figura 6) con diferentes grupos de tercer año de primaria en dos escuelas de la localidad (Culiacán, Sinaloa): una escuela pública (escuela primaria pública Lic. Benito Juárez, turno matutino) y una privada (Instituto Chapultepec). La evaluación completa (curso de uso de la herramienta, evaluación pre-test y evaluación post-test) fue con 33 niños con resultados reportados por los profesores que ayudaron en la evaluación. La dinámica para evaluar el sistema tutor inteligente tuvo las siguientes actividades: introducción breve a la red social Fermat y al STI, registro de usuarios en Fermat, examen inicial diagnóstico (pre-test), uso de tutores de multiplicaciones y divisiones, aplicación de examen de evaluación (post-test) y encuesta.

Introducción breve a la Red Social Fermat. Esta actividad tomó un tiempo aproximado de 15 minutos, con una respuesta muy favorable por parte de los alumnos, donde la principal inquietud nació al hacer referencia a redes sociales populares como Facebook y Twitter.

Registro en la Red Social Fermat. En esta actividad hubo algunos problemas de adaptación y se dedicó un poco más de tiempo (30 minutos), mientras los niños se familiarizaban con capturar sus datos personales e interactuar con sus amigos.

Examen Diagnóstico (pre-test). El examen diagnóstico tuvo un tiempo aproximado de 15 minutos, donde al término del examen el sistema les indicaba su calificación en la escala del 0 al 10. Los alumnos se mostraron muy entusiastas y motivados al poder analizar su resultado a través de una barra pequeña horizontal color verde, la cual indica su calificación.

Tutor de Multiplicación y División. Una vez finalizado el examen diagnóstico, se expuso con detalle el funcionamiento del sistema tutor inteligente. Se explicó cuáles son los valores de entrada admitidos, el desarrollo de la operación y la participación del agente pedagógico (el Genio). La actividad tomó un tiempo aproximado de 45 minutos para cada operación aritmética, durante este tiempo los alumnos resolvieron distintas multiplicaciones o divisiones con diferentes grados de dificultad, mismo que fue calculado de manera automática por el STI.

Aplicación de Exámenes de Evaluación (post-test) y de la Encuesta. El examen de evaluación constó de 10 preguntas, el cual fue contestado en un tiempo de 15 minutos, mientras que la encuesta se efectuó en solo 10 minutos.

6.1 Métodos de Medición de la Usabilidad de la Herramienta de Software

Para la evaluación del STI afectivo junto con la red social se usó el método de encuesta de opinión en donde se definieron un conjunto de 5 preguntas muy sencillas y de opción múltiple sobre la interfaz y la aplicación del software. A los niños se les pidió dar sus respuestas (en una escala de Likert). La figura 7 presenta el concentrado de frecuencias obtenido en la evaluación para las cinco preguntas. Como se puede apreciar en la gráfica, los resultados nos dicen que la mayoría del grupo en el taller estuvo "de acuerdo" o "totalmente de acuerdo" en que la herramienta les ayudó a entender mejor los algoritmos de las operaciones de multiplicación y división, les gustó la interfaz, el agente afectivo fue de gran apoyo, el STI fue fácil de usar y muy importante que están interesados en volver a usar el tutor inteligente con otras operaciones.

Una de los puntos que más se les complicó a los estudiantes, de acuerdo a los resultados, fue el registro a la red social. También aquellos estudiantes que salieron altos en calificación, no utilizaron mucho las ayudas que provee el tutor, más sin embargo más de la mitad de los estudiantes sintió que los mensajes de retroalimentación del "Genio" fueron de mucho apoyo.

VI. Resultados y Discusión

Con los resultados obtenidos de los exámenes de diagnóstico inicial (pre-test) y de evaluación final (post-test) se obtuvieron varias estadísticas. La figura 8 nos muestra los resultados de la evaluación en operaciones de multiplicación y división de los 33 estudiantes (9 de la escuela pública y 24 de la escuela privada) que nos reportaron los profesores evaluadores. Como podemos apreciar en la figura los resultados de ambas calificaciones (inicial y final) nos muestran el avance que tuvieron 27 de los 33 estudiantes (seis de ellos no modificaron su calificación). Este resultado se obtuvo con datos efectivos que arrojaron los exámenes pre-test y post-test aplicado a cada uno de los niños participantes en la evaluación de nuestro sistema.

Haciendo también un análisis detallado de los resultados encontramos varios datos interesantes. Uno de ellos es que en la escuela pública en el examen diagnostico (pre-test) solo la tercera parte de los estudiantes obtuvo una calificación menor a 6, mientras que en el caso de la escuela privada fueron la mitad de los estudiantes (12 alumnos). Por otra parte, otro dato interesante fue que en el examen final (post-test), todos los estudiantes de la escuela privada obtuvieron calificaciones arriba de 6 mientras que en la escuela pública la gran mayoría lo hizo (más de 90 %).

VII. Conclusiones

La metodología presentada tiene que ver con el reconocimiento de emociones en los estudiantes cuando estos acceden al sistema tutor inteligente. El reconocimiento de emociones es a través de expresiones en la cara. El estado emocional del estudiante entregados por el reconocedor de emociones es integrado por medio de una técnica de lógica difusa junto a los valores pedagógicos del estudiante como son el tiempo invertido en un ejercicio, el número de errores y el número de ayudas o apoyos pedagógicos que requirió.

El método de evaluación que se presenta en la sección V describe el procedimiento seguido para evaluar la efectividad del sistema tutor inteligente y afectivo para matemáticas de tercer año de primaria. Este tutor forma parte de una red social llamada Fermat la cual está enfocada al aprendizaje de las matemáticas. En la actualidad se tienen totalmente terminado el tutor inteligente con manejo o retroalimentación afectiva para operaciones de multiplicación y división de tercer año de primaria, de acuerdo al programa oficial de la Secretaría de Educación Pública (SEP) en México y se está trabajando con la integración de los valores obtenidos de la interacción social del estudiante, además de tutores inteligentes para los temas completos cubiertos en los años segundo, tercero y cuarto de primaria de acuerdo con los programas de la SEP.

Referencias

Anderson, R., Boyle, C. F., Corbett, A. T. y Lewis, M. W. (1990). Cognitive modeling and intelligent tutoring. Artificial Intelligence, 42, 17-49.         [ Links ]

Arroyo, I., Woolf, B., Cooper, D., Burleson, W., Muldner, K. y Christopherson, R. (2009). Emotions sensors go to school. In V. Diminitrova, R., Mizoguchi, B. Du Boulay y A. Graesser (Eds.) Proceedings of the 14th International Conference on Artificial Intelligence in Education (pp. 17-24). Amsterdam: IOS Press.         [ Links ]

Conati, C. y McLaren, H. (2004). Evaluating a probabilistic model of student affect. Proceedings of ITS 2004. Documento presentado en la 7a. Conferencia Internacional de Sistemas Tutoriales Inteligentes (vol. 3220). Heidelberg: Springer.         [ Links ]

Davidson, R. J., Scherer, K. R. y Goldsmith, H. H. (Eds.). (2003). Handbook of affective sciences. Oxford University Press.         [ Links ]

D'Mello, S. K., Picard, R. W. y Graesser, A. C. (2007). Towards an affective-sensitive autotutor. Special issue on Intelligent Educational Systems. IEEE Intelligent Systems 22(4), 53-61.         [ Links ]

D'Mello, S. K., Dowell, N. y Graesser, A. C. (2009). Cohesion relationships in tutorial dialogue as predictors of affective states. En V. Dimitrova, R. Mizoguchi, B. du Boulay, y A. Graesser (Eds.), Proceedings of 14th International Conference on Artificial Intelligence In Education (pp. 9-16). Amsterdam: IOS Press.         [ Links ]

D'Mello, S., Lehman, B. y Graesser, A. C. (2011). A motivationally supportive affect-sensitive autotutor. New perspectives on affect and learning technologies, explorations in the learning sciences, instructional systems and performance technologies, 3, pp. 113-126, Springer science+business media.         [ Links ]

Dong, A. (2011). The role of affect in creative minds. New perspectives on affect and learning technologies, Explorations in the learning sciences, instructional systems and performance technologies, 3, pp. 217-232, Springer science+business media.         [ Links ]

Du Boulay, B. (2011). Towards a motivationally intelligence pedagogy: how should an intelligent tutor respond to the unmotivated or the demotivated?. New perspectives on affect and learning technologies, Explorations in the learning sciences, instructional systems and performance technologies, 3, pp. 41-52, Springer science+business media.         [ Links ]

Ekman, P. (1999). Facial Expressions. Nueva York: John Wiley & Sons Ltd.         [ Links ]

Fredrickson, B. L. (2001). The role of positive emotions in positive psychology: The broaden-and-build theory of positive emotions. American Psychologist, 56, 218-226.         [ Links ]

Forbes-Riley, K., Litman, D. J. (2009). Adapting to student uncertainty improves tutoring dialogues. Brighton, Inglaterra: IOS Press.         [ Links ]

Hernández, Y., Sucar, L. E. y Arroyo G. (2008). Building an affective model for intelligent tutoring systems with base on teachers' expertise. Nueva York: Springer.         [ Links ]

Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D., Hawk, S. y van Knippenberg, A. (2010). Presentation and validation of the Radboud Faces Database. Cognition & Emotion, 1377-1388.

Lepper, M. R. and Hodell, M. (1989). Intrinsic Motivation in the Classroom. C. Ames, and R. E. Ames, (Eds.) Research in Motivation in Education (73-105) Nueva York: Academic.         [ Links ]

Loewenstein, G. y Lerner, J.S. (2003). The role of affect in decision making. In R. J. Davidson, K. R. Scherer, H. Hill Goldsmith (Eds.), Handbook of affective sciences (pp. 619-642). Oxford University Press.         [ Links ]

Nugent, P. M. (2007). Lattice multiplication in a preservice classroom. Mathematics Teaching in the Middle School, 13(2), 110-113.         [ Links ]

Picard, R., W. (1995). Affective Computing. MIT Technical Report 321.         [ Links ]

Picard, R. W., Papert, S., Bender, W., Blumberg, B., Breazeal, C., Cavallo, D., Machover, T., Rrsnick, M., Roy, D. y Strohecker, C. (2004). Affective Learning-A Manifesto. BT Technical Journal, 2(4), 253-269.         [ Links ]

Scherer, K. R. (2009). The dynamic architecture of emotions: Evidence for the component process model. Cognition & Emotion, 23, 1307-1351.         [ Links ]

Van de Walle, J. A. y Lovin, L. H. (2006). Teaching Student-centered Mathematics, grades 5-8. Nueva York: Pearson.         [ Links ]

Vygotsky, L. S. (1978). Mind in Society: The development of higher psychological process. Cambridge, MA: Harvard University Press.         [ Links ]