SciELO - Scientific Electronic Library Online

 
vol.22 número3Compensación de potencia reactiva mediante el control robusto de un STATCOM en un sistema de potenciaMetodología para asignar espacio de almacenamiento a contenedores de exportación índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Ingeniería, investigación y tecnología

versión On-line ISSN 2594-0732versión impresa ISSN 1405-7743

Ing. invest. y tecnol. vol.22 no.3 Ciudad de México jul./sep. 2021  Epub 03-Ago-2021

https://doi.org/10.22201/fi.25940732e.2021.22.3.021 

Artículos

Ludibot: Interfaz humano-robot móvil para el aprendizaje lúdico de idiomas

Ludibot: A gesture-based human-mobile robot interface

Manuel Alejandro Ojeda-Misses1 
http://orcid.org/0000-0003-3963-5399

Haydée Silva-Ochoa2 
http://orcid.org/0000-0001-5239-4820

Alberto Soria-López3 
http://orcid.org/0000-0002-6310-9527

1Centro de Investigación y de Estudios Avanzados Instituto Politécnico Nacional Departamento de Control Automático Correo: manuel.ojeda@cinvestav.mx

2Universidad Nacional Autónoma de México Facultad de Filosofía y Letras Colegio de Letras Modernas Correo: silva8a@unam.mx

3Centro de Investigación y de Estudios Avanzados Instituto Politécnico Nacional Departamento de Control Automático Correo: soria@cinvestav.mx


Resumen:

Ludibot, robot móvil basado en el dispositivo Kinect v2, busca aprovechar la interacción gestual humano-máquina con fines de aprendizaje de una lengua extranjera. Este proyecto asocia la robótica con las ciencias del juego y la didáctica de lenguas y culturas para desarrollar una plataforma de interacción y aplicaciones lúdicas destinadas a situaciones formales e informales de aprendizaje de idiomas. El presente artículo pormenoriza los componentes de Ludibot y discute los principales aspectos relativos al control de la interfaz interactiva humano-robot móvil. Posteriormente, expone la estructura y la ley de control de dicha interfaz y describe el primer juego desarrollado, enfocado al aprendizaje lúdico del vocabulario relativo a las partes del cuerpo en francés. Los resultados preliminares de las pruebas experimentales dejan entrever un alto potencial pedagógico, relacionado con el carácter novedoso e interactivo de las herramientas desarrolladas, cuyo uso es posible aprender rápidamente de manera intuitiva. Ludibot tiene además un alto potencial de adaptación en cuanto a los idiomas trabajados, el nivel lingüístico de los usuarios, el grado de formalidad del contexto de aprendizaje, las eventuales necesidades especiales de los jugadores, entre otros. Ahora bien, quedan aún por realizar las pruebas en situación real con alumnos de bachillerato hispanohablantes en el aula y en mediateca. Previstas al inicio del año escolar 2020-2021, dichas pruebas tuvieron que ser pospuestas con motivo de la contingencia sanitaria mundial. La principal originalidad de Ludibot radica en el acercamiento deliberadamente pluridisciplinario elegido, así como en la posibilidad de brindar herramientas tecnológicas eficaces pero sencillas, adaptables y asequibles, con el fin de promover la difusión crítica de nuevos paradigmas de aprendizaje.

Palabras clave: Interfaz interactiva; interacción humano-máquina; robot móvil; juego; aprendizaje de idiomas; reconocimiento de gestos; Kinect v2

Abstract:

Ludibot, a mobile robot based on the Kinect v2 device, seeks to take advantage of human-machine gestural interaction for foreign language learning purposes. This project combines robotics with game studies and language and culture teaching to develop an interaction platform and playful applications for formal and informal language learning situations. This paper details the components of Ludibot and discusses the main aspects related to the control of the interactive human-robot mobile interface. Subsequently, it presents the structure and the control law of the interface and describes the first game developed, focused on the playful learning of vocabulary related to body parts in French. The preliminary results of the experimental tests reveal a high pedagogical potential, related to the novel and interactive character of the developed tools, whose use is possible to learn quickly and intuitively. Ludibot also has a high potential for adaptation in terms of the languages used, the linguistic level of the users, the degree of formality of the learning context, the possible special needs of the players, among others. However, there are still tests to be carried out in real situations, with Spanish-speaking high school students, in the classroom and in the media library. Planned for the beginning of the 2020-2021 school year, these tests had to be postponed due to the global health contingency. The main originality of Ludibot lies in the deliberately multidisciplinary approach chosen, as well as in the possibility of providing effective but simple, adaptable and affordable technological tools, in order to promote the critical dissemination of new learning paradigms.

Keywords: User interfaces; human computer interaction; mobile robots; game and play; language learning; gesture recognition; Kinect v2

Introducción

Tanto la robótica como el juego están cada día más presentes en el ámbito de la educación. Empero, son aún poco frecuentes los desarrollos que buscan combinar de manera equilibrada los aportes de los campos disciplinarios en presencia. Se expone aquí un proyecto deliberadamente pluridisciplinario que asocia la robótica con las ciencias del juego y la didáctica de lenguas y culturas; su principal producto es Ludibot, un robot móvil basado en el dispositivo Kinect v2 que aprovecha la interacción gestual humano-máquina con fines de aprendizaje de una lengua extranjera.

Cabe destacar que los orígenes de la robótica aplicada a juegos remontan a finales del siglo XVIII, cuando Wolfgang von Kempele desarrolló una máquina autónoma capaz de desafiar en el ajedrez a un jugador humano. Hoy en día, los robots en general y los robots móviles en particular siguen generando amplio interés como dispositivos lúdicos. Ejemplo de ello son los desarrollos propuestos por Ohashi et al. (2014); Galán et al. (2011) y Su et al. (2009), entre otros.

Durante las dos últimas décadas, los robots móviles han tenido un auge importante, trátese de robots guías (Burgard et al., 1999; Thrun et al., 1999), de robots de apoyo a la rehabilitación (Hansen et al., 2012; Calderita et al., 2015), de robots para la navegación y el mapeo simultáneo (Yu et al., 2015), de robots multiagentes (García et al., 2010) o de robots aplicados a juegos (Ohashi et al., 2014; Galán et al., 2011; Su et al., 2009). Todos ellos han requerido el desarrollo tanto de sensores capaces de medir las variables de interés (relativas al entorno, al usuario y al robot) como de actuadores capaces de poner en movimiento las extremidades, los eslabones o las ruedas del dispositivo.

Las interfaces destinadas a medir las variables arriba mencionadas permiten controlar el robot y sus acciones. Algunos dispositivos comúnmente usados con ese fin son las palancas de mando o joysticks (Kružić et al., 2017), los dispositivos hápticos (Xiaolei et al., 2017), las cámaras (Wu et al., 2017; Waldherr et al., 2000), los teléfonos inteligentes (Waldherr et al., 2000) o los relojes inteligentes (Villani et al., 2017). A ellos se suman las interfaces humano-máquina, que tienen como particularidad la capacidad de procesar informaciones relativas al usuario. Dentro de esta última categoría caben las interfaces cerebro-computadora, las interfaces con reconocimiento facial, vocal y de movimiento, así como las interfaces basadas en gestos, entre otros. Para recabar la información, estas interfaces suelen recurrir a cámaras, micrófonos y otros tipos de sensores.

Entre los dispositivos que permiten obtener datos útiles para el desarrollo y la implementación de interfaces humano-máquina en tiempo real, destaca el Kinect v2. Para medir los parámetros del cuerpo humano el Kinect v2 integra tres tipos de sensores: Una cámara a color, un sensor infrarrojo y un conjunto de micrófonos. En comparación con otros dispositivos, presenta especial interés por su accesibilidad y su bajo costo (Escolano & Minguez, 2011; Sirvent, 2011). El Kinect v2 se ha aprovechado en diversas disciplinas corporales y artísticas: artes marciales (Alharbi et al., 2017), yoga (Islam et al., 2017), danza (Masurelle et al., 2013) o música (Payeur et al., 2014), entre otras.

En el marco de esta investigación, que combina robótica, ciencias del juego y didáctica de lenguas, se ha dado prioridad al estudio de las propuestas de uso del sensor Kinect v2 relacionadas con robótica y juegos, mismas que presentaremos sucintamente a continuación.

En el campo de la robótica, el Kinect v2 se ha utilizado principalmente en asociación con robots articulares y con robots móviles para realizar aplicaciones e interfaces. La mayoría de las aplicaciones han sido implementadas para los robots móviles, mientras que las interfaces han sido desarrolladas solo para robots articulares.

Entre las aplicaciones más notables están el sistema articular de validación de dispositivos RGBD para medir el equilibrio de pacientes en terapia (Ayed et al., 2017); la aplicación para la captura automática de posturas corporales (Muñoz et al., 2018) y el robot móvil compacto bajo ROS para la navegación y la localización en ambientes no estructurados (Araújo et al., 2014).

En cuanto a las interfaces humano-robot, resultan especialmente pertinentes cinco de ellas: un sistema de reconocimiento de gestos para mover un brazo robótico (Baron et al., 2013); una interfaz que reconoce posturas estáticas del cuerpo humano (Cicirelli et al., 2015); una interfaz que identifica las acciones ejecutadas por un grupo de niños mientras bailan (Maraj et al., 2016); las librerías de desarrollo de software para el Kinect v2 (SDK) (Cueva et al., 2017) para controlar un robot industrial de siete grados de libertad; y, finalmente, una interfaz para mover un robot industrial basada en Lab-View (Ben et al., 2015).

Durante la revisión de la literatura, no fue posible identificar trabajos que integrasen a la vez robótica, ciencias del juego y didáctica de lenguas, como sí lo hace Ludibot. Ahora bien, entre los juegos programados con el Kinect v2 que coinciden en mayor o menor grado con el enfoque de tipo ludopedagógico de Ludibot, se pueden mencionar, entre otros, la propuesta de Fernández y Lücken (2015), cuyo objetivo es propiciar el acercamiento lúdico a las matemáticas de niños en edad preescolar, así como juegos en los cuales el usuario dirige un avatar mediante movimientos del cuerpo (Qingtang et al., 2015; Grammatikopoulou et al., 2017). Por su parte, el trabajo de Iturrate et al. (2013) combina el Kinect v2 con juegos de video y robots móviles remotos, en el marco de un entorno interactivo para la resolución de retos de cultura general.

Estructura y control de Ludibot

Ludibot es un robot móvil basado en el dispositivo Kinect v2 diseñado para aprovechar la interacción gestual humano-máquina con fines de aprendizaje de una lengua extranjera. Se describen a continuación los elementos que componen su estructura y la ley de control utilizada.

Ludibot posee una configuración diferencial con una rueda de apoyo. El prototipo incluye un sensor Kinect v2, una computadora portátil, un controlador de motores de corriente directa (CD) RoboClaw y dos motores de corriente directa con decodificadores ópticos incrementales. Se utiliza un entorno Matlab-Simulink (The Math Works, 2012), un núcleo de tiempo real QuaRC (Quanser Consulting, 2011) y Visual Studio (Microsoft Corporation, 2013a y b). La arquitectura del sistema se muestra en la Figura 1.

Figura 1: Conexión de los componentes de Ludibot 

El sensor Kinect v2 permite el seguimiento de 25 articulaciones del cuerpo humano y detecta tres estados de las manos (mano abierta, mano cerrada y posición de lazo). Usa un sensor infrarrojo para estimar la distancia calculando el tiempo de vuelo.

La interfaz se programó en el lenguaje C# utilizando Visual Studio bajo el entorno .NET (Microsoft Corporation, 2013a) y el SDK Kinect (Microsoft Corporation, 2013b). Para el control de motores se utiliza el controlador RoboClaw (Basic Micro Motion Control, 2014-2015). Se emplea el entorno Matlab/Simulink (The Math Works, 2012) asociado al núcleo de tiempo real QuaRc (Quanser Consulting, 2011) para programar la ley de control. Desde luego, existen otras alternativas, tales como Raspberry Pi o Arduino. Sin embargo, éstas exigen un puente H externo, además de un dispositivo de comunicación USB a USART TTL 3.3V en el caso de Raspberry Pi. Arduino es una opción interesante para proyectos que no requieren altas prestaciones, pero resulta una opción inadecuada cuando los requerimientos de tiempo son demandantes, como es el caso de sistemas en tiempo real.

El robot móvil es propulsado mediante dos ruedas. Cada una de ellas puede girar de manera independiente, a diferentes velocidades. La cinemática de movimiento del robot está dada por = vcos (θ), = vsin(θ), θ˙ = ω, donde (x, y, θ) es el vector de estados del robot, ν es la velocidad lineal, ω es la velocidad angular del robot, ωd y ωi son las velocidades de las ruedas derecha e izquierda, respectivamente, r es el radio de las llantas y L determina la distancia entre ambas ruedas. Usando un cambio de coordenadas y una posición de referencia (xref, yref, θref), se obtienen los errores:

e1e2e3=cos(θ)sin(θ)0-sin(θ)cos(θ)0001xref-xyref-yθref-θ (1)

Las velocidades lineal y angular se definen de acuerdo con las velocidades de las llantas, determinadas por:

v=ωd+ωir2          ω=ωd-ωirL (2)

El seguimiento de trayectorias se consigue mediante la ley de control propuesta por Canudas et al. (1994), que estabiliza al robot móvil en un punto de operación. El control no lineal implementado busca que el sistema tenga estabilidad asintótica. Cuando las velocidades de referencia vref y ωref son variantes en el tiempo, la ley de control no lineal está dada por:

u1=-k1(vref,ωref)e1u2=-k2vrefsin(e3)e3e2-k3(vref,ωref)e3 (3)

Donde:

k1(vref, ωref) = k3(vref, ωref) = 2ξ (k2vref2 + ωref2)1/2, en donde k2 > 0 y ξ son parámetros que se sintonizan. En los experimentos se utilizó r = 0.095 m, L = 0.42 m, k2 = 2.1 y ξ = 0.35.

Interfaz interactiva humano-robot móvil

La interfaz interactiva de Ludibot está inspirada en un modelo de máquina de estado finito. Las transiciones se activan con gestos de las manos como entrada, definidos según dos posiciones (arriba/abajo) y la situación de las manos (mano abierta/mano cerrada).

El funcionamiento de la interfaz se basa en cinco estados primarios: “Menú”, “¡Te sigo!”, “Posicióname”, “Juguemos” y “Alto”. La Figura 2 muestra la representación esquemática de la interfaz, que incluye el estado inicial, llamado “Aprende a controlarme”.

El diagrama de la Figura 2 ilustra los diversos estados primarios y secundarios, así como las transiciones entre ellos.

Figura 2: Diagrama de estados y ventana de la interfaz interactiva 

Hay diez estados secundarios derivados de los primarios, gracias a las diversas combinaciones el usuario podrá conducir el robot de un estado origen a un estado destino:

  • 1) “Establecer posición”

  • 2) “Guardar posición”

  • 3) “Mover a Ludibot”

  • 4) “Repasar”

  • 5) “Entrenar”

  • 6) “Jugar De la tête aux pieds

  • 7) “Recibir indicación”

  • 8) “Verificar”

  • 9) “Perdiste”

  • 10) “Ganaste”

Se aborda aquí de manera detallada únicamente el desarrollo requerido por el estado primario “Juguemos”.

La interfaz gráfica (Figura 3), que permite al usuario elegir entre cinco estados diferentes, incluye la barra de estado, etiquetada en la Figura 3 con (1), la ventana de animación del cuerpo (2), la ventana del gesto detectado (3), la ventana con el repertorio de gestos disponibles (4), el estado de la detección por parte del Kinect (5) y, finalmente, la barra de nivel de energía de la batería (6). Cada uno de estos elementos se explica brevemente a continuación.

Figura 3: Ventana principal de la interfaz gráfica en Visual Studio 2012 

La barra de estados describe el estado actual del robot. Entre las funciones implementadas están: “Aprende a controlarme”, “Menú”, “¡Te sigo!”, “Posicióname”, “Juguemos”. La ventana de animación muestra la representación del cuerpo del usuario obtenida a partir de la información de Kinect v2. Para posicionar y mover a Ludibot, la interfaz emplea los siguientes estados de las manos: mano abierta (círculo verde), mano cerrada (círculo rojo), mano arriba o abajo del punto superior del pecho a la altura del hombro.

La ventana del gesto detectado presenta la imagen de la posición y el gesto del usuario tal como van identificándose en un momento dado y, por ende, permite cerciorarse de la pertinencia del gesto que ha sido seleccionado.

La ventana con el repertorio de gestos disponibles asocia la representación gráfica de diversos estados y los nombres respectivos. Indica al usuario los estados accesibles y sirve para recordar el gesto preestablecido para cada estado.

El estado detectado por el Kinect v2 se representa mediante una secuencia de caracteres. La secuencia de caracteres (o‿o) representa una cara con los ojos abiertos e indica que el Kinect v2 está detectando adecuadamente al usuario. La secuencia de caracteres (-‿-) representa una cara con los ojos cerrados e indica que el Kinect v2 no está detectando ningún usuario. La barra de nivel de energía indica el estado de carga de la batería en tiempo real.

“Aprende a controlarme” es el estado inicial de la interfaz. En él, el usuario descubre cómo funciona Ludibot y aprende los gestos preestablecidos para la interacción. El gesto correspondiente a “Salir” le permite transitar hacia el menú. En el estado “Menú”, el usuario tiene la posibilidad de elegir entre cuatro estados: “¡Te sigo!”, “Posicióname”, “Juguemos” y “Salir”. A cada uno de ellos corresponde un gesto específico. “¡Te sigo!” permite que Ludibot siga al usuario en movimiento, según la distancia y el ángulo predefinidos en el diagrama de control. “Posicióname” permite mover el robot a la posición deseada, recurriendo a los datos relativos a las magnitudes y al ángulo del brazo derecho del usuario. “Salir” permite regresar al menú o, en el caso de estar ya en “Menú”, regresar al estado inicial “Aprende a controlarme”.

“Juguemos” permite acceder al juego De la tête aux pieds. En éste, el robot enuncia aleatoriamente, uno por uno y en francés, los nombres de diferentes partes del cuerpo. El jugador no debe tocar la parte del cuerpo recién enunciada sino la anterior. En otras palabras, al iniciar el juego, Ludibot enuncia la parte A y el jugador debe permanecer inmóvil. Cuando el robot enuncia la parte B, el jugador toca la parte A; cuando el robot enuncia la parte C, el jugador toca la parte B, y así sucesivamente. Se trata de una actividad durante la cual el desfase deliberado entre instrucción dada e instrucción realizada exige concentración y memorización a corto plazo. El objetivo es acumular cinco aciertos sin cometer más de dos errores. Por cada acierto, el robot avanzará una distancia determinada (Figura 4).

Figura 4: Gestos disponibles desde el estado “Juguemos” 

Antes de iniciar el juego, el usuario puede elegir dos modalidades distintas de utilización, de menor complejidad que el juego en sí: “Repasar” y “Entrenar”.

“Repasar” permite descubrir o revisar el vocabulario. En esta modalidad, cuando el usuario toca una parte de su cuerpo, Ludibot permanece fijo, detecta la parte del cuerpo correspondiente y formula el nombre de la misma en voz alta.

“Entrenar” invita a practicar la interacción con el robot sin el reto adicional del desfase entre instrucciones que introduce De la tête aux pieds.

“Juguemos” incluye asimismo la posibilidad de pasar al estado “Alto” (para interrumpir anticipadamente el juego o dar por terminada la partida en curso) y la de recurrir a la transición “Salir” (para regresar al menú).

Juego De la tête aux pieds

La primera aplicación lúdica desarrollada con Ludibot está destinada al aprendizaje dirigido o semiautónomo del idioma francés, teniendo por objetivo lingüístico la sensibilización, la conceptualización y la sistematización del vocabulario básico relativo a las partes del cuerpo humano, así como los elementos gramaticales y fonéticos correspondientes. Los usuarios pueden ser tanto los aprendientes que se acercan por primera vez a ese vocabulario, como quien busca organizar o repasar un conocimiento léxico previo.

El juego es fácilmente adaptable a cualquier idioma, pues basta con sustituir los archivos de los audios y las imágenes con los archivos correspondientes en el idioma deseado. También puede ajustarse el nivel de lengua, enriqueciendo el repertorio léxico o remplazándolo por una lista de nivel más avanzado.

La Figura 5 ilustra las partes del cuerpo humano incluidas hasta ahora en el repertorio de Ludibot. A futuro, se tiene contemplado ampliar la lista de vocabulario disponible. Es posible asimismo programar adaptaciones a otros contenidos, siempre y cuando a cada unidad de contenido corresponda una posición específica en el espacio (por ejemplo, identificar figuras proyectadas en una pantalla o ubicar sitios en un mapa).

Figura 5: Partes del cuerpo humano incluidas en De la tête aux pieds 

A reserva de futuros desarrollos, De la tête aux pieds ha permitido ya efectuar diversas pruebas, con base en los tres estados secundarios del estado primario “Juguemos”, a saber, “Repasar”, “Entrenar” y “Jugar De la tête aux pieds”.

El estado “Repasar” tiene como objetivo que el usuario descubra o repase el vocabulario. Esta primera dinámica brinda un acercamiento sonoro, visual y escrito al corpus lingüístico. En efecto, la interfaz enuncia el nombre de cada parte del cuerpo y, simultáneamente, muestra en pantalla la imagen correspondiente, acompañada del nombre en cuestión, siempre precedido del artículo definido (le, la o l’) que, en los dos primeros casos, permite determinar el género de la palabra.

El propósito de esta dinámica es favorecer un proceso de aprendizaje intuitivo y multisensorial, durante el cual el usuario escucha una palabra, ve la imagen asociada a la palabra y toca la parte del cuerpo correspondiente. De esta manera, descubre o repasa elementos léxicos, gramaticales (género de la palabra) y fonéticos (pronunciación), identificando a qué partes de su propio cuerpo alude Ludibot como se muestra en la Figura 6. La pantalla incluye tres grandes secciones: a la izquierda aparece el título de la modalidad de juego, seguido por un recuadro con la representación del cuerpo del usuario. En la Figura 6 vemos al jugador tocando su cabeza en respuesta al audio “la tête”. Más abajo figuran el estado de detección de Kinect y el estado de la batería. Al centro, se muestra el modelo de figura humana que permite identificar la posición, el nombre y la ortografía de la parte del cuerpo mencionada. A la derecha, se ofrece al usuario la opción “Salir” y se le recuerda el gesto correspondiente.

Figura 6: Interfaz con el estado “Repasar” de Ludibot 

La segunda y la tercera dinámicas del estado “Juguemos” son “Entrenar” y “Jugar De la tête aux pieds”. Ambos estados se basan en tocar la parte del cuerpo enunciada por el robot móvil mediante el estado secundario “Recibir indicación”, cuya función es reproducir un audio aleatoriamente pero, como se mencionó más arriba, “Entrenar” permite jugar sin desfase entre la indicación y la acción solicitada, mientras que “Jugar De la tête aux pieds” introduce el reto adicional de recordar y realizar la acción previa a la enunciada.

En ambos casos, cada vez que el usuario obtiene un acierto, el robot emite una señal sonora específica, muestra en pantalla un ícono de aplauso, y avanza una distancia preestablecida. Por el contrario, si el usuario se equivoca o tarda más de cinco segundos en dar su respuesta, el robot emite una señal sonora de error y no avanza.

Cuando el jugador obtiene cinco aciertos, gana. El robot emite una señal sonora de fanfarria para felicitarlo. Para reiniciar el juego, el usuario debe emplear el estado “Salir”. Ahora bien, si el usuario acumula tres errores, se reproduce una señal sonora que indica que el jugador ha perdido el juego. En tal caso, es necesario reiniciar el juego con el estado “Salir”. A futuro, las distintas señales sonoras mencionadas serán sustituidas por mensajes vocales. La Figura 7 muestra un usuario jugando De la tête aux pieds.

Figura 7: Jugando De la tête aux pieds 

El robot móvil lleva a cabo el conteo de aciertos (Figura 8), según dos modalidades: la barra central, de color rojo, va aumentando su longitud; además, en la esquina inferior derecha de la pantalla se indica el número de aciertos acumulados.

Figura 8: Interfaz contando acierto con el estado Mover a Ludibot 

Durante el desarrollo de Ludibot, se buscó tomar en cuenta la heterogeneidad de los jugadores potenciales. Según se expuso anteriormente, es posible trabajar con alumnos de diferentes idiomas y con diferentes niveles de desempeño. Las pruebas realizadas permiten una identificación gestual adecuada para el desarrollo del juego con usuarios diversos: la interfaz propuesta, al permitir visualizar el gesto detectado, facilita la verificación del desempeño. Los contados errores de percepción derivan de los límites propios del dispositivo Kinect. Gracias al carácter multisensorial de la interfaz, es posible también prever adaptaciones en función de ciertas necesidades especiales. Así, para jugadores con limitaciones visuales, es posible desplegar la imagen de la interfaz en una pantalla de gran tamaño, utilizando una conexión remota. El uso de imágenes favorece también la participación de usuarios con limitaciones auditivas. Como la mayoría de los gestos se realizan con brazos y manos, el juego es accesible para usuarios en silla de ruedas.

Discusión de los resultados

Las pruebas experimentales con alumnos de bachillerato (adolescentes hispanohablantes de 15 a 18 años, con un nivel básico de francés) estaban previstas para el inicio del periodo escolar 2020-2021, tanto en el aula como en mediateca. La contingencia sanitaria impidió realizar pruebas en situación real. En espera de poder experimentar con grupos de aprendientes, se llevaron a cabo pruebas preliminares con cinco voluntarios. Se efectuaron en un lugar cerrado semejante al entorno de uso previsto, cuyos niveles de iluminación no afectaron de manera significativa el reconocimiento y la adquisición de datos. Ludibot funciona de manera óptima sobre un suelo cuya superficie es regular, pues las pruebas en superficies irregulares dieron lugar a perturbaciones tanto en el seguimiento de trayectorias del robot como en el proceso de reconocimiento y de adquisición de datos. Será necesario elegir entre trabajar ese aspecto o restringir el uso de Ludibot a espacios que reúnan condiciones óptimas.

Las pistas para mejorar el desempeño técnico, lúdico y lingüístico de Ludibot serán tomadas en cuenta para el pilotaje en situaciones formales e informales de aprendizaje de idiomas, en el aula de francés o en mediateca. Se mencionan aquí algunas de ellas.

Las pruebas del juego De la tête aux pieds involucraron a un solo usuario a la vez. Está previsto programar una modalidad de juego colectiva (de dos a ocho usuarios), introduciendo de esa manera la emulación y la competencia entre participantes. Para hacer el juego más ágil, es importante reducir tanto el tiempo de reconocimiento por parte de Kinect v2 como el tiempo de reacción del robot.

Está en proceso el diseño de actividades de juego distintas, que saquen provecho de la singularidad del sistema. En tales actividades, los aprendientes serán invitados a descubrir por sí mismos las modalidades de interacción. Se contempla asimismo el diseño de actividades grupales inscritas en una secuencia didáctica con objetivos curriculares específicos.

En cuanto al aspecto visual, la actitud lúdica de los usuarios se vería sin duda favorecida por un diseño gráfico más sobrio y llamativo a la vez. En efecto, muchos de los beneficios asociados actualmente con el juego pedagógico están relacionados con la disposición de ánimo del participante respecto de la actividad antes que con el material de juego o las reglas que rigen la actividad (Silva, 1999).

En lo que atañe a los contenidos lingüísticos, el juego incluye por el momento la identificación y el reconocimiento de ocho partes del cuerpo, que fueron elegidas tanto por pertenecer a un nivel básico de vocabulario como por la facilidad de identificación por Kinect v2. Será indispensable ampliar la lista, incluyendo palabras de nivel más avanzado e introduciendo los ajustes de programación necesarios. Para ello, será preciso implementar un método más eficiente de detección, con el fin de diferenciar partes del cuerpo cercanas entre sí o situadas a la misma altura en las partes anterior y posterior del cuerpo.

Tomando en cuenta las necesidades de aprendizaje, se contempla incluir en la modalidad “Repasar” la posibilidad de elegir entre desplegar u ocultar el nombre escrito de la palabra enunciada, de tal manera que la grafía no interfiera en la percepción sonora.

Conclusiones

En este artículo se ha presentado a un robot móvil experimental basado en el Kinect v2, el cual aplica la interacción humano-máquina mediante reconocimiento de gestos para promover el aprendizaje de un idioma. La arquitectura de Ludibot incluye en su diseño diferentes elementos que ofrecen al usuario una interfaz interactiva, atractiva y de fácil uso, destinada a estimular la comunicación verbal y no verbal.

Respecto de otros desarrollos basados en el sensor Kinect v2 que asocian juego y robótica, Ludibot se distingue técnicamente por la naturaleza de su interfaz interactiva humano-máquina y, epistemológicamente, por la asociación multidisciplinaria que busca de manera deliberada establecer un equilibrio entre los aportes de la robótica, las ciencias del juego y la didáctica de lenguas. Por añadidura, el desarrollo contempla la posibilidad de apoyar el proceso de aprendizaje de un idioma tanto en situaciones formales como en situaciones informales.

La interfaz de Ludibot aprovecha la comunicación no verbal para un aprendizaje activo y significativo. Con miras a fomentar la autonomía, incluye un menú que permite al usuario descubrir de manera independiente el funcionamiento del robot, practicar el vocabulario por adquirir y, finalmente, jugar.

La primera de las aplicaciones desarrollada para Ludibot consiste en un juego en francés enfocado al aprendizaje de vocabulario relacionado con las partes del cuerpo. El juego refuerza asimismo elementos gramaticales y fonéticos.

La interfaz interactiva y la primera aplicación lúdica han sido probadas con éxito con un grupo reducido de usuarios, y se han identificado nuevas pistas de desarrollo. Se busca así promover el uso razonado de herramientas tecnológicas para favorecer el aprendizaje activo de idiomas, conjugando aportes pluridisciplinarios que contribuyen a la difusión crítica de nuevos paradigmas de aprendizaje.

Agradecimientos

Este artículo ha sido posible gracias al apoyo de la Dirección General de Asuntos del Personal Académico de la Universidad Nacional Autónoma de México (proyecto PAPIIT IT400119), así como a la beca de doctorado otorgada a Ojeda-Misses M. A. por el Consejo Nacional de Ciencia y Tecnología.

Referencias

Alharbi, N., Liang, Y. & Dalei, W. (2017). A data preprocessing technique for gesture recognition based on extended-Kalman-filter. IEEE/ACM Int. Conf. on Connected Health: Applications. Systems and Engineering Technologies, (77-83). Recuperado de https://doi.org/10.1109/CHASE.2017.63 [ Links ]

Araújo, A., Portugal, M. S., Couceiro, J., Sales, J. & Rocha, R. P. (2014). Desarrollo de un robot móvil compacto integrado en el middleware ROS. Revista Iberoamericana de Automática e Informática Industrial, 11(3), 315-326. https://doi.org/10.1016/j.riai.2014.02.009 [ Links ]

Ayed, I., Moyà, B., Martínez, P., Varona, J., Ghazel, A. & Jaume, A. (2017). Validación de dispositivos RGBD para medir terapéuticamente el equilibrio: el test de alcance funcional con Microsoft Kinect. Revista Iberoamericana de Automática e Informática Industrial, 14(1), 115-120 https://doi.org/10.1016/j.riai.2016.07.007 [ Links ]

Baron, G., Czekalski, P., Golenia, M. & Tokarz, K. (2013). Gesture and voice driven tribot mobile robot using Kinect sensor. Int. Symp. on Electrodynamic and Mechatronic Systems, (33-34). Opole-Zawiercie, Polonia. [ Links ]

Basic Micro Motion Control. (2014-2015). RoboClaw 2x30A Motor Controller. Recuperado el 28 de abril de 2021 de Recuperado el 28 de abril de 2021 de https://www.basicmicro.com/Links ]

Ben, Abdallah, I., Bouteraa, Y., Boucetta R., & Rekik, C. (2015). Kinect-based computed torque control for lynxmotion robotic arm. Int. Conf. on Modeling Identification and Control, (1-6). Sousse, Túnez. Recuperado de http://10.1109/ICMIC.2015.7409416 [ Links ]

Burgard, W., Cremers, A. B., Fox, D., Hähnel, D., Lakemeyer, G., Schulz, D., Thrun, S. (1999). Experiences with an interactive museum tour guide robot. Artificial Intelligence, 1-2(114), 3-55. http://10.1016/S0004-3702(99)00070-3 [ Links ]

Calderita, L. V., Bustos, P., Suárez Mejías, C., Fernández, F., Viciana, R. & Bandera, A. (2015). Asistente robótico socialmente interactivo para terapias de rehabilitación motriz con pacientes de pediatría. Revista Iberoamericana de Automática e Informática Industrial, 99-110. https://doi.org/10.1016/j.riai.2014.09.007 [ Links ]

Canudas de Wit, C., Khennouf, H., Samson, C. & Sordalen, O. J. (1994). Nonlinear Control Design for Mobile Robots. En Zheng Y. F., World Scientific Series in Robotics and Intelligent Systems (121-156). [ Links ]

Cicirelli, G., Attolico, C., Guaragnella, C. & D’Orazio, T. (2015). A Kinect-based gesture recognition approach for natural human robot interface. International Journal of Advanced Robotic Systems, 12(3), 1-11. https://doi.org/10.5772/59974 [ Links ]

Cueva, W. F., Torres, S. H. & Kern, M. J. (2017). 7 DOF industrial robot controlled by hand gestures using Kinect v2. IEEE 3rd Colombian Conference on Automatic Control, (1-6). Cartagena, Colombia. [ Links ]

Escolano, C. & Minguez, J. (2011). Sistema de teleoperación multi-robot basado en interfaz cerebro-computador. Revista Iberoamericana de Automática e Informática Industrial, 16-23. [ Links ]

Fernández, R. & Lücken, C. V. (2015). Using the Kinect sensor with open source tools for the development of educational games for kids in pre-school age. Latin American Computing Conference, (1-12). Arequipa, Perú. [ Links ]

Galán-Munévar, J., Robles-Sánchez, L. & Moreno-Mosquero, H. (2011). La robótica aplicada a la lúdica. Tecnural, 52-63. [ Links ]

García-Cena, C., Saltarén, R., López-Blázquez, J. & Aracil, R. (2010). Desarrollo de una interfaz de usuario para el sistema robótico multiagente SMART. Revista Iberoamericana de Automática e Informática Industrial, 17-27. https://doi.org/10.1016/S1697-7912(10)70056-X [ Links ]

Grammatikopoulou, A., Laraba, S., Sahbenderoglu, O., Dimitropoulus, K. & Grammalidis, N. (2017). An adaptive framework for the creation of body motion-based games. 9th Int. Conf. on Virtual Worlds and Games for Serious Applications, (209-216). Atenas, Grecia. [ Links ]

Hansen, S. T., Bak, T. & Risager, C. (2012). An adaptive game algorithm for an autonomous, mobile robot. A real world study with elderly users. Int. Symp. on Robot and Human Interactive Communication, (125-130). París, Francia. [ Links ]

Islam, M. U., Mahmud, H., Bin-Ashraf, A., Hossain, I. & Hasan, M. K. (2017). Yoga posture recognition by detecting human joint points in real time using Microsoft Kinect. IEEE Region 10 Humanitarian Technology Conference, (668-673). [ Links ]

Iturrate, I., Martín, G., García-Zubia, J., Angulo, I., Dziabenko, O., Orduña, P., Fidalgo, A. V. (2013). A mobile robot platform for open learning based on serious games and remote laboratories. 1st Int. Conf. of the Portuguese Society for Engineering Education, (1-7). Porto, Portugal. [ Links ]

Kružić, S., Musić, J. & Stančić, I. (2017). Influence of human-computer interface elements on performance of teleoperated mobile robot. 40th Int. Conv. on Information and Communication Technology, Electronics and Microelectronics, (1015-1020). [ Links ]

Maraj, D., Maraj, A. & Hajzeraj, A. (2016). Application interface for gesture recognition with Kinect sensor. IEEE Int. Conf. on Knowledge Engineering and Applications, (98-102). [ Links ]

Masurelle, A., Essid, S. & Richard, G. (2013). Multimodal classification of dance movements using body joint trajectories and step sounds. Workshop on Image Analysis for Multimedia Interactive Services, (1-4). [ Links ]

Microsoft Corporation. (2013a). Kinect for Windows Software Development Kit (SDK). Recuperado el 28 de abril de 2021 de Recuperado el 28 de abril de 2021 de https://www.microsoft.com/es-mx/Links ]

Microsoft Corporation. (2013b). Visual Studio. (versión 12). Recuperado el 28 de abril de 2021 de Recuperado el 28 de abril de 2021 de https://www.microsoft.com/es-mx/Links ]

Microsoft Corporation. (2014). Kinect for Windows version 2.0 SDK. Visual Gesture Builder. [ Links ]

Muñoz, R., Barcelos, T., Villaroel, R., Guíñez, R. & Merino, E. (2018). Body posture visualizer to support multimodal learning analytics. IEEE Latin America Transactions, 2706-2715 https://doi.org/10.1109/TLA.2018.8795111 [ Links ]

Ohashi, O., Ochiai, E. & Kato, E. Y. (2014). A remote control method for mobile robots using game engines. 28th Int. Conf. on Advanced Information Networking and Applications Workshops, (79-84). Victoria, BC, Canada. [ Links ]

Payeur, P., Gomes-Nascimento, G. M., Beacon, J., Comeau, G., Cretu, A. M., D’Aoust, V. & Charpentier, M. A. (2014). Human gesture quantification. An evaluation tool for somatic training and piano performance. IEEE Int. Symp. on Haptic, Audio and Visual Environments and Games, (100-105). [ Links ]

Qingtang, L. Y., Qingtang, L., Yang, W., Linjing, W., Jingxiu, H. & Peng, W. (2015). Design and implementation of a serious game based on Kinect. Int. Conf. of Educational Innovation through Technology, (13-18). Wuhan, China. [ Links ]

Quanser Consulting. (2011). QuaRC. (versión 2.3.603). Recuperado el 28 de abril de 2021 de Recuperado el 28 de abril de 2021 de https://www.quanser.com/Links ]

Silva, H. (1999). Paradigmas y niveles del juego. En Ramos J. L., Juego, educación y cultura (35-52). ENAH/Conaculta. [ Links ]

Sirvent, J. L., Azorín, J. M., Iáñez, E., Úbeda, A. & Fernández, E. (2011). Interfaz cerebral no invasiva basada en potenciales evocados para el control de un brazo robot. Revista Iberoamericana de Automática e Informática Industrial, 103-111. https://doi.org/10.1016/S1697-7912(11)70031-0 [ Links ]

Su, K. L., Shiau, S. V., Guo, J. H. & Shiau, C. W. (2009). Mobile robot based chinese chess game. IEEE 4th Int. Conf. on Innovative Computing, Information and Control, (528-531). Kaohsiung, Taiwan. Recuperado de https://doi.org/10.1109/ICICIC.2009.261 [ Links ]

The Math Works. (2012). Matlab-Simulink R2012B. Recuperado el 28 de abril de 2021 de Recuperado el 28 de abril de 2021 de https://www.mathworks.com/Links ]

Thrun, S., Bennewitz, M., Burgard, W., Cremers, A., Dellaert, F., Fox, D., Schulz, D. (1999). Minerva: a second generation museum tour guide robot, 3, 1999-2005. 1 [ Links ]

Villani, V., Sabattini, L., Riggio, G., Levratti, A., Secchi, C. & Fantuzzi, C. (2017). Interacting with a mobile robot with a natural infrastructure-less interface. 20th IFAC World Congress, (12753-12758). [ Links ]

Waldherr, S., Romero, R. & Thrun, S. (2000). A gesture based interface for human-robot interaction. Autonomous Robots, 151-173. [ Links ]

Wu, J., Lv, C., Zhao, L., Li, R. & Wang, G. (2017). Design and implementation of an omnidirectional mobile robot platform with unified I/O interfaces. IEEE Int. Conf. on Mechatronics and Automation, (410-415). Takamatsu, Japón. Recuperado de https://doi.org/10.1109/ICMA.2017.8015852 [ Links ]

Xiaolei, H., Pengfei, F. & Yaohong, G. (2017). Dynamic kinesthetic boundary for haptic teleoperation of unicycle type ground mobile robots. Chinese Control Conf., (6246-6251). Recuperado de http://10.23919/ChiCC.2017.8028350 [ Links ]

Yu, W., Zamora, E. & Soria, A. (2015). Ellipsoid SLAM: a novel set membership method for simultaneous localization and mapping. Autonomous Robots, 39(3), 125-137. [ Links ]

Cómo citar: Ojeda-Misses M. A., Silva-Ochoa H. & Soria-López A. (2021). Ludibot: Interfaz humano-robot móvil para el aprendizaje lúdico de idiomas. Ingeniería Investigación y Tecnología, 22 (03), 1-10. https://doi.org/10.22201/fi.25940732e.2021.22.3.021

Recibido: 10 de Noviembre de 2020; Aprobado: 03 de Mayo de 2021

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons