SciELO - Scientific Electronic Library Online

 
vol.155 número1Tratamiento de infección crónica por virus de hepatitis C en niños, ¿perspectiva hacia la curación o lejos de la meta?Alteración del gen AMELX en amelogénesis imperfecta. Una breve revisión índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


Gaceta médica de México

versão On-line ISSN 2696-1288versão impressa ISSN 0016-3813

Gac. Méd. Méx vol.155 no.1 Ciudad de México Jan./Fev. 2019  Epub 01-Jul-2021

https://doi.org/10.24875/gmm.18004801 

Simposio

La analítica del aprendizaje en educación médica: ¿punto de inflexión?

Melchor Sánchez-Mendiola1 

José Gerardo Moreno-Salinas2 

Tomás Bautista-Godínez2 

Adrián Martínez-González1 

1Facultad de Medicina. Universidad Nacional Autónoma de México. Ciudad de México, México

2Coordinación de Universidad Abierta y Educación a Distancia. Universidad Nacional Autónoma de México. Ciudad de México, México


Resumen

La analítica del aprendizaje es una disciplina novedosa que tiene un enorme potencial para mejorar la calidad de la educación médica y la evaluación del aprendizaje. Se define como: “la medición, recopilación, análisis y reporte de datos sobre los alumnos y sus contextos, con el propósito de entender y optimizar el aprendizaje y los entornos en que ocurre”. En las últimas décadas, la aparición de grandes volúmenes de datos (big data), acompañada de una rápida evolución en la minería de datos educativos, la aparición de tecnologías sofisticadas para analizar y visualizar datos de cualquier tipo, así como la disponibilidad de dispositivos móviles con conectividad permanente, mayor velocidad de procesamiento y capacidad de recuperación de información, han generado un contexto que favorece el uso de la analítica del aprendizaje en la medicina clínica y la educación médica. En este artículo se describe la historia reciente del concepto de analítica del aprendizaje, sus ventajas y desventajas en educación superior, así como sus aplicaciones en la enseñanza de las ciencias de la salud y la evaluación educativa. Es necesario que la comunidad de educadores médicos conozca la analítica del aprendizaje, para ser capaces de integrarla en su contexto eficaz y oportunamente.

PALABRAS CLAVE Analítica del aprendizaje; Volúmenes masivos de datos; Evaluación educativa; Informática biomédica; Minería de datos; Educación médica

Abstract

Learning analytics is an innovative discipline that has an enormous potential to improve the quality of medical education and learning assessment. It is defined as: “the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs”. In recent decades, the appearance of large volumes of data (big data), accompanied by a quick evolution of educational data mining techniques, the emergence of sophisticated technologies to analyze and visualize any type of data, as well as the availability of permanently-connected mobile electronic devices, higher processing speed and capacity of information retrieval, have generated a context that favors the use of learning analytics in clinical medicine and medical education. In this paper, the recent history of the concept of learning analytics is described, as well as its advantages and disadvantages in higher education, and its applications in the teaching of health sciences and educational assessment. It is necessary for the community of medical educators to be acquainted with learning analytics, in order to be able to integrate it to our context in an efficacious and timely manner.

KEY WORDS Learning analytics; Big data; Educational assessment; Biomedical informatics; Data mining; Medical education

Si torturas a los datos por un tiempo suficiente, confesarán

RONALD COASE, 2001

…la era de analítica de datos ya está aquí y la educación médica se está quedando atrás

TERESA CHAN, 2018

Introducción

La gran cantidad de datos e información generados por los seres humanos y mediados por la tecnología ha originado un entorno en el que debemos adquirir conciencia de su utilidad e implicaciones en las ciencias de la salud. La disponibilidad de una cantidad enorme de datos y herramientas poderosas para describirlos, analizarlos, visualizarlos y combinarlos, ha revolucionado la medicina y generado grandes expectativas en la comunidad académica.1,2 Paralelamente a la evolución de la informática y la medicina de precisión, ha surgido la minería de datos y el procesamiento de información en educación, con el advenimiento de la “analítica del aprendizaje” (AA).3-5 Esta área ha avanzado a pasos agigantados y está transformando el escenario de la educación, a través de la detección temprana de estudiantes en riesgo de fracaso, la provisión de educación personalizada adecuada a las fortalezas de cada estudiante, la capacidad de visualizar los datos de los estudiantes en formas novedosas, entre otras posibilidades.5-7

La educación médica es un área del conocimiento que ha madurado en las últimas décadas, con ventanas de oportunidad para el uso de la AA.8-10 El presente escrito explora el origen del concepto, algunas de sus ventajas y desventajas en la educación superior moderna, así como sus aplicaciones en la práctica de la enseñanza de la medicina y la evaluación educativa en ciencias de la salud, para proveer al médico general o especialista con un panorama general de este tema.

¿Qué es la analítica del aprendizaje?

Del dato hacia el conocimiento

No podemos concebir el mundo sin las computadoras o los dispositivos electrónicos, estamos conectados a Internet en todo momento y lugar. Así nos comunicamos, socializamos, compramos e incluso, estudiamos; “hemos pasado de ser analógicos a ser digitales”.11 Los datos que procesamos digitalmente tienen mayor propensión a analizarse y entenderse a través de diferentes técnicas. Esto se logra con la jerarquía del conocimiento (DIKW, data, information, knowledge & wisdom), que va de lo básico a lo complejo.12 Dato es la representación simbólica de un atributo o variable; este pasa a entenderse como información cuando representa un conjunto organizado de datos procesados y son operados globalmente en una organización o comunidad; después escala al nivel de conocimiento, que se puede explicar como la certidumbre cognitiva mensurable según la respuesta a ¿por qué?, ¿cómó, ¿cuándó y ¿dónde?, manejado en un ámbito local; alcanza así a la sabiduría, con la que junto a la experiencia e inteligencia propia, más la consideración de los niveles anteriores de la jerarquía, es posible reflexionar y obtener conclusiones más profundas.12 (Figura 1).

Figura 1 Interpretación visual de la jerarquía del conocimiento (elaboración propia). 

Los datos deben analizarse con su contexto, lo que permite procesar información y generar conocimiento holísticamente, según el fenómeno estudiado. El dato es uno de los recursos intangibles más valiosos y estratégicos, “la información es poder”, aunque esta debe entenderse como el poder para un mayor entendimiento sobre cualquier sistema y así promover el cambio hacia una mejora en el sistema.

La valoración del dato en las universidades

El análisis de datos no es exclusivo de las organizaciones comerciales; las universidades consideran al dato como un activo estratégico en los procesos formativos de los estudiantes, así como la información y conocimiento que pueden obtener de estos para aumentar la retención y aprobación.4 Entre los datos que registran las universidades están los que capturan al momento del ingreso de los estudiantes, como antecedentes académicos, perfiles sociodemográficos y económicos; su trayectoria académica, número de asignaturas, calificaciones, uso de la biblioteca, conexión a la red inalámbrica, entre otros. Si la universidad cuenta con sistemas en línea de administración del aprendizaje, los estudiantes dejan huellas “digitales” (la huella digital formada por los rastros al utilizar Internet, comentarios en redes sociales, llamadas de Skype, uso de aplicaciones, registros de correo electrónico) o rastros de sus actividades en línea, lo que permitiría saber la frecuencia con la que ingresan a las plataformas de aprendizaje y tiempo de permanencia, cómo se expresan en los foros, la forma cómo avanzan (paralelo o serial) o quiénes son sus contactos; por último, los datos al egreso, como el tiempo para cumplir los créditos, promedio final, opción de titulación. Las universidades deberían registrar los datos de los estudiantes en tres momentos: al ingreso, en su trayectoria y al egreso.4

Obtener información de los datos que se pueda traducir en conocimiento, posibilitará una mejor toma de decisiones por los involucrados en el proceso formativo. Es importante personalizar la educación y considerar cada alumno como un individuo diferente, con necesidades particulares, “nunca debemos estar interactuando con los estudiantes como si fueran todos iguales”.13

El proceso y los niveles de la analítica

De acuerdo con Campbell y Oblinger,14 el proceso de la analítica tiene cinco fases:

  • –Registrar. Los datos son la base de los esfuerzos de análisis, en múltiples fuentes y formatos. Pueden originarse dentro o fuera de la institución. La gestión, recopilación, organización y racionalización de los datos es un desafío considerable, pero es vital porque las decisiones basadas en ellos dependen de su calidad e integridad.

  • –Reportar. Una vez que los datos se han extraído y almacenado, es posible realizar consultas e informes, examinar la información e identificar tendencias, patrones y excepciones. Los informes tradicionales (tablas de datos) están siendo reemplazados por cuadros de control (dashboards), que muestran gráficamente los datos en comparación con las metas, siendo más fáciles de comprender.

  • –Predecir. Los datos recopilados y almacenados se analizan estadísticamente. Las reglas de los modelos pueden ser simples o complejas, basadas en numerosos puntos de datos y algoritmos para generar predicciones con el propósito de identificar las variables que contribuyen al éxito o riesgo del estudiante.

  • –Intervenir. El objetivo de cualquier proyecto de análisis es permitir a una institución actuar con base en predicciones y probabilidades, estableciendo líneas de acción para intervenir en beneficio de los estudiantes.

  • –Refinar. El monitoreo del impacto del proyecto es un esfuerzo continuo, y los modelos estadísticos deben actualizarse periódicamente. Los refinamientos pueden involucrar nuevos datos o mejoras de procesos.

El propósito de las organizaciones es obtener el mayor conocimiento posible de sus datos, por lo que es necesario recurrir a análisis avanzados de datos estructurados o no estructurados:15

  • –Analítica descriptiva: Da respuesta a la interrogante ¿qué sucedió? Revisa objetivamente la serie de datos históricos de un fenómeno. Utiliza estadísticas descriptivas.

  • –Analítica inquisitiva: Proceso de diagnóstico para indagar por qué sucedió un fenómeno. Examina los resultados descriptivos y evalúa críticamente el acontecimiento en su contexto.

  • –Análisis predictivo: Estudia los datos disponibles, para predecir resultados futuros de forma probabilística, respondiendo a la pregunta ¿qué es probable que suceda?

  • –Analítica prescriptiva: Analítica de optimización cuyo objetivo es guiar la toma de decisiones respondiendo la pregunta ¿qué deberíamos hacer para lograr los objetivos?

Analítica del aprendizaje

La AA es un concepto relativamente nuevo, entre sus precursores están George Siemens4 y Tanya Elias,16 quienes la definen como “el uso de datos inteligentes, datos producidos por el alumno y modelos de análisis para descubrir información y conexión social, y para predecir y asesorar sobre el aprendizaje”, así como “la medición, recopilación, análisis e informe de datos sobre los alumnos y sus contextos con el fin de comprender y optimizar el aprendizaje y los entornos en los que se produce”, respectivamente.

En 2011 fue la primera vez que apareció el concepto de AA en el Informe Horizon;17 desde entonces, el concepto ha tomado gran relevancia en la educación (https://g.co/trends/UBMM1). En dicho informe refieren a la AA como la “interpretación de una amplia cantidad de datos producidos y recopilados en beneficio de los estudiantes, para evaluar el progreso académico, predecir el rendimiento futuro y detectar posibles problemas”. Los datos se recopilan a partir de acciones explícitas de los estudiantes, como completar tareas y responder exámenes, y de acciones tácitas, que incluyen interacciones sociales en línea, actividades extraescolares, publicaciones en foros de discusión y otras actividades como parte del progreso del estudiante.

El objetivo de la AA es “permitir que los maestros y las escuelas adapten las oportunidades educativas al nivel de necesidad y habilidad de cada estudiante en un tiempo cercano”. En 2011 se realizó la primera Conferencia Mundial de Analítica del Aprendizaje y del Conocimiento (LAK, International Conference on Learning Analytics & Knowledge),18 en la que se acuñó la siguiente definición:

  • Medida, colección, análisis e informes de los datos de alumnos y sus contextos, para propósitos de comprender y optimizar el aprendizaje y los entornos en los cuales acontece.

La AA es la intersección de numerosas disciplinas: ciencias del aprendizaje, pedagogía, psicología, ciencias web y computacionales;19 así como de una variedad de campos relacionados: análisis académico y minería de datos educativos. Reúne técnicas de análisis como aprendizaje automático, minería de datos, recuperación de información, estadística y visualización.19,20

La AA tiene el propósito de identificar las oportunidades para mejorar el proceso educativo y personalizar la experiencia de estudio para cada estudiante, lo que permite minimizar los riesgos de deserción. Tiene tres productos fundamentales: las alertas tempranas, la recomendación de cursos y el aprendizaje adaptativo.

Virtudes y limitaciones de la analítica del aprendizaje en educación superior

Modelos de analítica del aprendizaje

Las tendencias sobre AA en la educación superior que reporta la literatura corresponden a mecanismos de alertas, algoritmos, clustering, sistemas de recomendación, modelos de adopción y visualizadores.21 No obstante, es importante hacer un alto en el camino y reflexionar sobre las críticas, asociadas con la posible ausencia de valor que existe en los “clic” que marcan los alumnos sobre las condiciones, las operaciones, los productos, las evaluaciones y los estándares, considerados como los ejes de los modelos educativos. Es importante no olvidar que la AA, en aparente tautología, es para el aprendizaje, para transformar los métodos a través de los cuales este se logra de mejor manera.22

Los modelos que prevalecen en torno a la AA han adoptado partes del proceso genérico de análisis, conformado por las fases de captura, reporte, predicción, actuación, refinamiento. Esto ha permitido la construcción de modelos en los cuales los actores participantes, el conjunto de bases de datos, las técnicas y los objetivos son los elementos sustantivos de cambio del aprendizaje. Sus vasos comunicantes son los estudiantes, los procesos, la interpretación del dato, y la optimización de los recursos. En esta dinámica se encuentran los modelos de Siemens23 y Chatti,24 que desde una perspectiva orgánica y sistemática han incorporado los elementos que pudieran robustecer la AA. Decimos orgánica y sistemática porque sugieren la incorporación de más bases de datos abiertas y cerradas y, en consecuencia, un mayor volumen de datos, tanto que se ha llegado a un punto de construir modelos sobre open learning analytics.25

Los resultados de estos modelos frecuentemente son inconsistentes con el logro escolar de los alumnos. Por ello se afirma que la analítica de la educación aún se encuentra en una etapa incipiente de desarrollo, sobre la cual se han depositado expectativas altamente prometedoras.26 Para impulsarla se ha hecho énfasis en su integración a modelos pedagógicos a partir de la investigación educativa (cuantitativa, cualitativa y mixta), para mejorar los procesos de enseñanza y fortalecer el aprendizaje.21

Los planteamientos que McLuhan realiza en la “aldea global” respecto a ¿qué agranda o incrementa cualquier artefactó, ¿qué desgasta o deja obsoletó, ¿qué recupera de aquello que se encontraba en desusó, ¿qué altera o cambia cuando el artefacto se empuja hasta el límite de su potencial?27 y la idea de Bergson28 sobre la metáfora del cinematógrafo para retener el tiempo nos llevan a proponer un modelo conceptual en el cual la analítica, como cinematógrafo, abre la posibilidad de analizar lo que sucede entre los estados de aprendizaje de los alumnos. Este planteamiento nos permite introducir el concepto “devenir” en el aprendizaje, pues es el flujo continuo de la vida que se construye a partir de las relaciones que establece el individuo consigo mismo y sus entornos.

Devenir, un concepto faltante en la analítica del aprendizaje

¿Qué significado producen los “clic” de los alumnos para construir su conocimientó ¿A partir de estos “clic” como insumos es posible construir realidades alternas de aprendizaje? Situamos al alumno en el centro, con la pretensión de dar respuesta a estas interrogantes a través del modelo de analítica que proponemos. La vida es movimiento, educamos para la vida. Por estas razones, el “devenir” es la base sobre la que construimos nuestro modelo de AA. Nuestros planteamientos integran los conceptos de la evolución creadora de la vida, desarrollados por Henri Bergson.28 En 1907, Bergson propuso la integración de la teoría de la vida y la teoría del conocimiento. Al tiempo, a esta teoría, Bautista agrega la dimensión de accidentalidad (Bautista, “Open the doors to humanistic systems engineering”, 2018, en prensa),28 es decir, la vida azarosa (Figura 2).

Figura 2 Marco de referencia para una analítica del aprendizaje desde una perspectiva humanista (Bautista, “Open the doors to humanistic systems engineering”, 2018, en prensa). a) Bases epistemológicas para el reconocimiento de los puntos de inflexión de la vida del estudiante; b) Sistema conceptual de la analítica del aprendizaje. 

La teoría de la vida afianza la idea de que la inteligencia transforma y se transforma en el torbellino de la evolución de la vida. Permite insertarnos en el medio en las condiciones que este determina. La inteligencia tiene un pasado en el que el tiempo marca su huella y actúa en el presente. En esta dinámica, la memoria tiene un papel sustantivo, acumula continuamente cada acontecimiento que se presenta durante nuestra existencia y registra el pasado. Determina lo que somos y lo que hacemos y en esta circularidad progresiva nos construimos. Nuestra actitud y la redirección de la atención se encuentra bajo los impulsos de la memoria y permiten reconfigurar nuestro actuar. Inteligencia, memoria, duración son algunos conceptos que aloja la teoría de la vida. Esta, como complementariedad a la teoría del conocimiento dan forma a una “evolución creadora”, plasmada en el devenir.28

Los vértices del triángulo (Figura 2a) se relacionan con la manipulación del tiempo: pasado, presente e imaginario, para proyectarlos posteriormente en el futuro, como un constructo teleológico y ético. En este marco, el tiempo es una variable dependiente, más que una dimensión determinada en la que transitamos. Cuando dichos vértices cruzan por un punto de inflexión a lo largo de la vida, consideramos que es “un momento particular sobre el cual un acontecimiento se estrecha, donde, de alguna manera, debe volver a reinterpretarse el acontecimiento, como si volviera bajo una forma desplazada, modificada, pero obligándonos a redeclararlo”. En suma, un punto es cuando las consecuencias de una construcción de verdad, ya sea política, amorosa, artística o científica, generalmente nos obligan a rehacer una elección radical, como al principio de todo, cuando aceptamos y declaramos el acontecimiento”.29

Detener el tiempo en los puntos de inflexión del tránsito de la vida, en los momentos de apogeo o de crisis, deviene en transformación. Devenir es aquello que llega a ser del movimiento continuo como una resultante de las relaciones que establecemos continuamente con quienes interactuamos y con nuestras circunstancias. Los puntos de inflexión representan la imanación del acontecimiento para redefinir nuestro rumbo. Tomando en cuenta el artificio de detener el tiempo y los vértices y las aristas de la teoría de la evolución creadora, es posible confrontar nuestro estado de conciencia con las cosas exteriores. Es el espacio vacío donde debemos redefinir nuestra actitud y redireccionar nuestra atención. En este caso, el devenir de los estudiantes, representado en la Figura 2a, es la construcción propia del individuo a partir de las relaciones que continuamente logra establecer. Consideramos que es posible construirlo a partir de tres ejes: el dato, el concepto y el entendimiento, articulados por la validez, la argumentación y la sistematización, respectivamente (Figura 2b).

Para profundizar nuestro entendimiento necesitamos fijar puntos de referencia en el pasado; la fijación de estos puntos nos permite crear realidades alternas. Retomamos la idea de realidad alterna de la ucronía como una negación de lo sensible, con el fin de contar con un “antídoto contra el peso de la tradición determinista”.30 La construcción de este tipo de realidades necesariamente se sitúa en los puntos de inflexión por los que cruza el alumno. Logramos la ucronía a partir de la integración de los modelos centrados en el dato, como el propuesto por Siemens4 y el modelo sistémico que aquí presentamos. Ambos, tanto el que se encuentra centrado en el dato como el que nos permite reconocer los puntos de inflexión de la vida, nos introducen al proceso de nuestro entendimiento, para, a partir de este, construir una realidad alterna. Los estratos o capas que debemos atravesar para poder construir nuestra realidad alterna se encuentran representados en la Figura 3.

Figura 3 Un modelo de analítica del aprendizaje desde el estudiante (Bautista, “Open the doors to humanistic systems engineering”, 2018, en prensa). 

A través de dos vórtices nos vamos introduciendo en cada capa. Un vórtice corresponde al proceso de AA basado en el dato y el otro corresponde a la analítica del estudiante basado en los puntos de inflexión de la vida que reconoce el alumno en su devenir. La opinión corresponde a las expresiones genéricas relacionadas con la universalidad, es lo que el individuo capta de un objeto y lo que uno quiere decir en lo inmediato. La importancia de la opinión da entrada a la percepción, la opinión es el primer acercamiento al fenómeno. La percepción es una aprehensión que se construye a partir de la opinión, transita por un proceso de asimilación consciente para determinar lo verdadero a partir de un ejercicio de reflexión personal, marcado por nuestro pasado. Las percepciones y los acontecimientos históricos determinan nuestra realidad; durante el proceso de reflexión, en un sentido hegeliano, construimos opuestos, lo que nos permite la creación de una conciencia social y, en consecuencia, empatía.

La AA en los últimos tiempos se ha vuelto uno de los temas de mayor interés para transformar la educación. Las investigaciones permanecen en la línea de analizar más datos para reconocer patrones subyacentes que posibiliten una mejor toma de decisiones sobre el aprendizaje. No obstante, las investigaciones muestran inconsistencias en los resultados y necesidad de evidencias sobre el impacto en el aprendizaje. Por esta razón, proponemos un modelo sistémico que integra el análisis del dato y la vida desde el propio estudiante. Con este sistema el alumno podría reconocer los puntos de inflexión a lo largo de su vida estudiantil, las decisiones que ha tomado, las alternativas que hubiera podido elegir y los escenarios alternos por los cuales estaría transitando.

Aplicaciones de la analítica del aprendizaje en educación médica

El crecimiento de datos e información en los ambientes clínicos y educativos constituye un escenario sin precedentes para el uso de la minería de datos y la AA.1,2 Las estrategias de enseñanza y evaluación que utilizamos en el sistema de salud y las instituciones educativas, si bien han evolucionado y se han tecnologizado, continúan siendo primordialmente tradicionales y conservadoras.31 A pesar de la retórica que rodea a la educación superior, seguimos aplicando modelos educativos más centrados en el docente que en el estudiante.

El entorno de la enseñanza de la medicina es una “ecología del aprendizaje”, sistema que incluye factores, contextos y actores que interactúan multidimensionalmente. Esta ecología engloba docentes, educandos, tareas de aprendizaje y de evaluación, materiales educativos, pacientes, hospitales y universidades, que interactúan para generar el aprendizaje formal e informal en los estudiantes.32 Aunado a este sistema, los dispositivos tecnológicos se han insertado en muchas facetas de nuestra vida, contribuyendo a la “huella digital”, ese sendero que dejamos en la red al utilizar nuestros dispositivos personales.14

La medicina maneja grandes volúmenes de datos e información en el día a día de su práctica, que proceden de pacientes, profesionales de la salud, dispositivos hospitalarios, entre otros. Se requiere la analítica para que estos datos adquieran significado y se transformen en información accionable, de otra manera se pierden irremediablemente.2 Estos datos se pueden convertir en reservorios que realimenten al sistema de salud y promuevan una atención de mayor calidad. La investigación moderna debe incluir a la nueva disciplina de “ciencia de datos”, una metadisciplina que involucra estadística, ciencias de la computación, matemáticas, análisis y visualización de datos, aprendizaje de máquinas, entre otros conceptos.33,34 Así, podríamos aplicar estas herramientas en investigación traslacional e innovación curricular.

En la última década han aumentado las publicaciones sobre minería de datos educativos y AA,35 así como AA y educación médica.1 En Medline, en 2008 solo apareció una referencia sobre AA, en 2017 fueron 162 y de enero a octubre de 2018 hay 225 (www.pubmed.gov), lo que refleja el creciente interés sobre el tema. Algunos expertos predicen que para el año 2022 prácticamente toda la investigación que se realice en educación involucrará de alguna forma a la AA.36 Es pertinente difundir estos conceptos entre los participantes del proceso de formación de estudiantes y residentes, ya que con la implementación a nivel global de la educación basada en competencias, actividades profesionales confiables, exámenes de progreso, informática biomédica, entre otras estrategias, se están acumulando datos sobre estudiantes de pre y posgrado, pacientes, docentes y sistemas de salud. Estos datos colocan en una posición difícil a los sistemas tradicionales de servicios escolares y evaluación educativa de las universidades y centros de atención de la salud, para detectar oportunamente las áreas de competencia de cada estudiante. La AA tiene el potencial de auxiliar en la toma de decisiones a los docentes e instituciones educativas, explorar preguntas a nivel sistémico e identificar problemas que pueden realimentar los programas.1,4

Existen varias técnicas y metodologías con las que los médicos estamos poco familiarizados, que pueden revolucionar la forma como nos aproximamos al análisis y visualización de datos educativos (Tabla 1). Recientemente algunas instituciones han sido pioneras incorporando estas metodologías. La incorporación de la AA en cada contexto debe hacerse profesional y prudentemente, sin sobreestimar su utilidad en el corto plazo ni subestimar su sofisticación técnica. Es fundamental integrar el proceso de implementación de la AA con un sólido sustento teórico-conceptual en educación, de otra manera se puede obtener gran cantidad de datos no interpretables, o datos que no reflejen lo que se pretende explorar y que lleven a decisiones erróneas.37-39 Ello implica la participación de clínicos y profesionales de la educación, ya que en las diversas etapas de recolección, agregación, análisis y reporte de los datos se requiere una perspectiva académica integral.

Tabla 1 Categorías y técnicas de analítica del aprendizaje que pueden aplicarse en educación médica (adaptado de Chan1

Categoría Técnicas Ejemplos en educación médica
Análisis descriptivos de datos cuantitativos Estadísticas sumarias, analítica visual, análisis de racimos, análisis de redes sociales, mapas de calor. – Gráficas de series de promedios de puntuaciones de logro (por ejemplo, exámenes y calificaciones).
– Gráficas de radar (múltiples puntos de datos en mallas de competencias).
Análisis descriptivos de datos cualitativos Análisis lingüísticos computacionales de coherencia de textos, similaridad semántica, diversidad de léxico, complejidad sintáctica. – Procesamiento natural del lenguaje (PNL), con aplicación de inteligencia artificial.
– Análisis automatizado de contenidos, para “aprender” códigos humanos en grandes volúmenes de datos (por ejemplo, identificación de comentarios cualitativos del profesorado).
Modelación explicativa Factores de dificultad y de aprendizaje, regresión lineal, automatización de modelos cognitivos, árboles de decisión. – Trayectorias de aprendizaje.
– Curvas de aprendizaje.
– Diagramas acumulativos de puntuaciones.
Modelación predictiva Regresión lineal y logística, clasificadores de vecinos cercanos, clasificadores bayesianos, máquinas de apoyo de vectores, redes neuronales. – Predicción de dificultad en las residencias (por ejemplo, remediación, condicionamiento, fracaso).
– Detección de patrones de desempeño en residentes.
Análisis evaluativos Varias de las técnicas mencionadas, cambiando el foco de interés del educando hacia el programa de residencia, profesorado o sistema. – Evaluaciones diarias de datos de hitos de competencias.
– Sesgo de género en evaluación.

Existen reportes del uso de la AA para la educación médica en diversas áreas disciplinarias:

  • –Tableros de datos (data dashboards) en la enseñanza de la medicina de urgencias, para describir y caracterizar los eventos de aprendizaje de los residentes.40

  • –Analítica visual, para utilizar los métodos de visualización de datos en los planes de estudio de medicina, combinando análisis de datos con técnicas para representar el conocimiento y fortalecer la capacidad cognitiva humana para reconocer patrones visuales. Esto puede ayudar a identificar aspectos curriculares que de otra manera no se visualizan.41,42

  • –Mapeo curricular, para describir, manejar y explorar aspectos administrativos y curriculares de los planes de estudios. Con analítica visual se pueden descubrir relaciones entre elementos del currículo, así como facilitar su actualización e incorporación de innovaciones educativas, especificando metadatos curriculares hasta el nivel de resultados de aprendizaje esperados.43

  • –Reconocimiento computarizado de expresiones y sus implicaciones educativas. Se han desarrollado herramientas que permiten identificar una gran variedad de expresiones faciales, y su relación con patrones afectivos y emocionales, así como “pistas” de aprendizaje y respuestas individuales a retos educativos.44

La AA ha incrementado su popularidad en educación, además del congreso LAK se creó la Sociedad para Investigación en Analítica del Aprendizaje (https://solaresearch.org), con académicos de diversas partes del mundo. Este grupo desarrolló una revista sobre el tema, Journal of Learning Analytics (https://learning-analytics.info/journals/index.php/JLA/index) y el Handbook of Learning Analytics (https://solaresearch.org/hla-17/).

En la Conferencia Internacional de Educación en las Residencias se ha incluido una Cumbre de Analítica del Aprendizaje, con lo que se legitima su uso (https://icreblog.royalcollege.ca/2017/08/30/top-3- reasons-to-attend-the-learning-analytics-summit - a-guest-post-by-dr-rodrigo-cavalcanti/). La Escuela de Medicina de la Universidad de Nueva York creó una División de Analítica del Aprendizaje en su Instituto para Innovaciones en Educación Médica (https://med.nyu.edu/institute-innovations-medical-education/) y ha implementado un currículo para entrenar a los futuros médicos en el uso de big data, utilizando datos de más de dos millones y medio de pacientes de Nueva York (https://med.nyu.edu/departments- institutes/innovations-medical-education/research- scholarship/grants/health-care-the-numbers).

En la revista Investigación en Educación Médica de la Facultad de Medicina de la Universidad Nacional Autónoma de México se publicó el artículo “Big Data y Analítica del Aprendizaje en aplicaciones de salud y educación médica”45 y en el plan de estudios de la carrera de médico cirujano de ese misma facultad se incluye la asignatura Informática Biomédica.46 En la versión actual del libro de texto de este curso hay capítulos sobre analítica y las implicaciones educativas de la informática.47

En agosto de 2018 se efectuó una sesión académica en la Academia Nacional de Medicina de México sobre el tema de AA en educación médica (https://bit.ly/2NyGSG2). Actualmente están en trámite para su eventual aprobación la creación de la carrera de Ingeniería y Ciencia de Datos, así como la especialidad en Ciencia de Datos, en entidades de la Universidad Nacional Autónoma de México. A corto y mediano plazo se fortalecerá el grupo de académicos interesados en estas disciplinas en nuestro país, para mejorar la calidad de la enseñanza, aprendizaje y evaluación educativa.

Potencial de la analítica del aprendizaje en la evaluación educativa

En la actualidad se posee una gran cantidad de información académica de los estudiantes de medicina. Su desempeño escolar previo, uso de redes sociales, libros leídos en línea, uso de teléfonos inteligentes, participación en foros, tiempo dedicado a un recurso, suponen un acercamiento para entender su comportamiento. La integración de estos datos es un factor clave para una mejor comprensión del proceso educativo. Mientras algunos estudiantes aprenden presencialmente, otros lo hacen de forma virtual o híbrida, en pequeños o grandes grupos, y prácticamente todos aprenden en redes sociales. Las interacciones de los alumnos son complejas y existen maneras de trabajar estas interacciones, recuperándolas para identificar y analizar los elementos que pueden mejorar el aprendizaje. Algo que se debe destacar es que la AA tiene como propósito fundamental ayudar al estudiante a participar en su propia trayectoria educativa y profundizar en la comprensión del proceso de aprendizaje. Al identificar a los estudiantes con menos probabilidades de éxito académico mediante la evaluación, se podría intervenir oportunamente y personalizar el proceso.

La evaluación es un elemento inherente del proceso de enseñanza-aprendizaje y valora los estudiantes en sus logros personales en las fases del desarrollo profesional. Se requiere mayor énfasis en la función formativa para promover el aprendizaje del estudiante y buscar el perfeccionamiento de distintos aspectos educativos. La AA ofrece la posibilidad de tener una visión más completa de todas las áreas de la evaluación educativa no solo de estudiantes, sino de docentes, planes y programas de estudio, materiales de estudio, escuelas y facultades de medicina, con resultados presentados visualmente que generen preguntas de investigación. Los instrumentos de evaluación utilizados de forma convencional para valorar los conocimientos, habilidades, actitudes y valores, pueden ser enriquecidos por la AA con nuevos tipos de evaluación, como análisis de redes sociales, análisis del discurso y de la conversación.48 También puede ser útil para mejorar la realimentación a los estudiantes, sus habilidades de autorregulación y promover un mayor rendimiento a través de la evaluación formativa.49,50

En los modelos de AA no se encuentra explícitamente la etapa de evaluación, como se observa en Siemens23 y Chatti,24 por lo que es recomendable incluirla. Aprovechar el poder de la evaluación convencional más la evaluación con AA, puede cerrar efectivamente el ciclo de datos y aumentar su rendimiento y utilidad. El potencial de la analítica es grande y se extiende a todos los actores involucrados en el proceso educativo. En relación con los estudiantes, al realizar un seguimiento académico de ellos y una realimentación individualizada se puede aumentar su éxito académico al identificarlos tempranamente. Se puede lograr una mayor personalización del aprendizaje, con recomendaciones al proceso de mejora continua de los contenidos por parte del profesor para que sean más adaptables a las necesidades y capacidades de los estudiantes, al proporcionar informes detallados sobre el logro de conocimientos y habilidades a lo largo del tiempo, compararlo con su punto de partida, comparar el desempeño con otros estudiantes o cohortes.49,50

En relación con los profesores puede enriquecer la evaluación del desempeño docente, para alentar el desarrollo profesional. Estudiar cuáles son las interacciones que se producen entre los estudiantes y docentes en entornos sociales de aprendizaje para conocer su nivel de implicación, qué alumno es el que más influencia tiene en el grupo, descubrir patrones de comunicación, detectar qué alumnos trabajan mejor juntos o detectar alumnos aislados. La AA puede revelar las prácticas de enseñanza y aprendizaje, evaluar los resultados de aprendizaje de un curso, y detectar áreas que necesitan mejoras. En relación con la institución, se puede prevenir el abandono y rezago académico de los estudiantes, mejorar el egreso, implementar medidas para el éxito académico, mejorar la enseñanza mediante herramientas, recursos digitales y formación docente y actualizar de forma continua los contenidos de los cursos impartidos. Puede ayudar a evaluar los programas comparando cohortes de estudiantes, ofreciendo puntos de referencia a nivel nacional e internacional, así como brindar a las instituciones realimentación sobre sus objetivos.

Conclusiones

  • –La AA es una estrategia moderna que involucra una combinación de disciplinas para mejorar la calidad de la educación. Involucra ciencias de la computación, visualización y ciencia de datos, estadística, entre otras.51

  • –La analítica en educación ha tenido un desarrollo muy importante en la última década, con la aparición de congresos, libros y revistas, con investigación original sobre el tema.

  • –Es primordial que la AA se sustente en las ciencias de la educación y los marcos conceptuales relevantes del aprendizaje, para aterrizar su utilización en problemas educativos reales.

  • –El potencial de su uso en educación médica es muy amplio, se requiere que los profesionales de la salud conozcamos los conceptos básicos de esta área y comencemos a explorar su uso en nuestras actividades clínicas y educativas.

Bibliografía

1. Chan T, Sebok-Syer S, Sebok-Syer S, Thoma B, Wise A, Sherbino J, Pusic M. Learning analytics in medical education assessment: the past, the present, and the future. AEM Educ Train. 2018;2:178-187. [ Links ]

2. Krumholz HM. Big data and new knowledge in medicine: the thinking, training, and tools needed for a learning health system. Health Aff (Millwood). 2014;33:1163-1170. [ Links ]

3. Lodge JM, Corrin L. What data and analytics can and do say about effective learning? Npj Sci Learn. 2017;2:5. [ Links ]

4. Lang C, Siemens G, Wise A, Gaševi? D. Handbook of Learning Analytics. EE. UU.: Society for Learning Analytics Research; 2017. [ Links ]

5. Greller W, Drachsler H. Translating learning into numbers: a generic framework for learning analytics. J Educ Techno Soc. 2012;15(42):42-57. [ Links ]

6. Sclater N, Peasgood A, Mullan J. Learning analytics in higher education. A review of UK and international practice. Full Report. Reino Unido: Joint Information Systems Committee; 2016. [ Links ]

7. Bienkowski M, Feng M, Means B. Enhancing teaching and learning through educational data mining and learning analytics. An Issue Brief. EE. UU.: United States Department of Educational Technology; 2012. [ Links ]

8. Lee K, Whelan JS, Tannery NH, Kanter SL, Peters AS. 50 years of publication in the field of medical education. Med Teach. 2013;35(7):591-598. [ Links ]

9. Ellaway RH, Pusic MV, Galbraith RM, Cameron T. Developing the role of big data and analytics in health professional education. Med Teach. 2014;36:216-222. [ Links ]

10. Cirigliano MM, Guthrie C, Pusic M V, Cianciolo AT, Lim-Dunham JE, Spickard A, et al. Exploring the future of learning analytics in medical education. Teach Learn Med. 2017;29:368-372. [ Links ]

11. Hilbert M, López P. The world's technological capacity to store, communicate, and compute information. Science. 2011;332:60-65. [ Links ]

12. Rowley J. The wisdom hierarchy: representations of the DIKW hierarchy. J Inf Sci. 2007;33:163-180. [ Links ]

13. Bhansali N. Data governance. Creating value from information assets. EE. UU.: CRC Press; 2013. [ Links ]

14. Campbell JP, DeBlois PB, Oblinger DG. Academic analytics: a new tool for a new era. Educause Rev. 2007;42:40-57. [ Links ]

15. Mousannif H, Sabah H, Douiji Y, Sayad Y O. From big data to big projects: a step-by-step roadmap. En: 2014 International Conference on Institute of Electrical and Electronics Engineers. EE. UU.: Future Internet of Things and Cloud; 2014. [ Links ]

16. Elias T. Learning analytics: definitions, processes and potential. EE. UU.: 2011. [ Links ]

17. Johnson L, Smith R, Willis H, Levine A, Haywood K. The 2011 Horizon Report. EE. UU.: The New Media Consortium; 2011. [ Links ]

18. Society for Learnig Analytics Research. [Sitio web]. International Conference on Learning Analytics & Knowledge (LAK). Disponible en: https://solaresearch.org/events/lak. [ Links ]

19. Dawson S, Gasevic D, Siemens G, Joksimovic S. Current state and future trends: a citation network analysis of the learning analytics field. En: Proceedings of the Fourth International Conference on Learning Analytics & Knowledge. EE. UU.: ACM; 2014. [ Links ]

20. Chatti MA, Lukarov V, Thus H, Muslim A, Yousef AMF, Wahid U, et al. Learning analytics: challenges and future research directions. 2014. [ Links ]

21. Leitner P, Khalil M, Ebner M. Learning analytics in higher education: a literature review. En: Peña-Ayala A, editor. Learning analytics: fundaments, applications, and trends. Suiza: Springer International Publishing; 2017. [ Links ]

22. Gaševi? D, Dawson S, Siemens G. Let's not forget: learning analytics are about learning. TechTrends. 2015;59:64-67. [ Links ]

23. Siemens G. Learning analytics. The emergence of a discipline. Am Behav Sci. 2013;57:1380-1400. [ Links ]

24. Chatti MA, Dyckhoff AL, Schroeder U, Thüs H. A reference model for learning analytics. IJTEL. 2012;4:318-331. [ Links ]

25. Chatti M A, Muslim A, Schroeder U. Toward an open learning analytics ecosystem. En: Big data and learning analytics in higher education. Suiza: Springer; 2017 [ Links ]

26. Wilson A, Watson C, Lynn T, Drew V, Doyle S. Learning analytics: challenges and limitations. Teaching in Higher Education. 2017;22:991-1007. [ Links ]

27. Wikipedia. The Free Encyclopedia. Global village. Disponible en: https://en.wikipedia.org/wiki/Global_village. [ Links ]

28. Bergson H. La evolución creadora. Argentina: Cactus; 2007. [ Links ]

29. Badiou A. Elogio al amor. Argentina: Paidós; 2011. [ Links ]

30. Murcia-Carbonell A. La ucronía intencional como relato moral. España: Asociación Cultural Xatafi; 2009. [ Links ]

31. Sánchez-Mendiola M. Educación médica basada en evidencias, ¿ser o no ser? Inv Ed Med. 2012;1:82-89. [ Links ]

32. Ringsted C, Hodges B, Scherpbier A. "The research compass": an introduction to research in medical education: AMEE Guide No. 56. Med Teach. 2011;33:695-709. [ Links ]

33. Donoho D. 50 years of data science. J Comput Graph Stat. 2017;26:745-766. [ Links ]

34. Altman RB, Levitt M. What is biomedical data science, and do we need an annual review of it? Annu Rev Biomed Data Sci. 2018;1:i-iii. [ Links ]

35. Calvet-Liñán L, Pérez AA. Educational data mining and learning analytics: differences, similarities, and time evolution. RUSC. 2015;12:98-112. [ Links ]

36. Larusson JA, White B. Learning analytics from research to practice. EE. UU.: Springer; 2014. [ Links ]

37. Cirigliano MM, Guthrie C, Pusic MV, Cianciolo AT, Lim-Dunham JE, Terry V, et al. "Yes, and …" exploring the future of learning analytics in medical education. Teach Learn Med. 2017;29:368-372. [ Links ]

38. Ellaway RH, Topps D, Pusic M. Data, big and small: emerging challenges to medical education scholarship. Acad Med. 2018. [ Links ]

39. Wise AF, Shaffer DW. Why Theory matters more than ever in the age of big data. J Learn Anal. 2015;2:5-13. [ Links ]

40. Chan TM, Sherbino J, Mercuri M. Nuance and noise: lessons learned from longitudinal aggregated assessment data. J Grad Med Educ. 2017;9:724-729. [ Links ]

41. O'Donoghue SI, Baldi BF, Clark SJ, Darling AE, Hogan JM, Kaur S, et al. Visualization of biomedical data. Annu Rev Biomed Data Sci. 2018;1:275-304. [ Links ]

42. Vaitsis C, Nilsson G, Zary N. Visual analytics in healthcare education: exploring novel ways to analyze and represent big data in undergraduate medical education. PeerJ. 2014;2:e683. [ Links ]

43. Komenda M, Víta M, Vaitsis C, et al. Curriculum mapping with academic analytics in medical and healthcare education. PLoS One. 2015;10:e0143748. [ Links ]

44. Littlewort G, Whitehill J, Wu T, Fasel I, Frank M, Movellan J, et al. The Computer Expression Recognition Toolbox (CERT). Face and Gesture. 2011. [ Links ]

45. Peñaloza-Báez MJ. Big data y analítica del aprendizaje en aplicaciones de salud y educación médica. Inv Ed Med. 2017;7:61-66. [ Links ]

46. Sánchez-Mendiola M, Durante-Montiel I, Morales-López S, Lozano-Sánchez R, Martinez-González A, Graue-Wiechers E. Plan de estudios 2010 de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Gac Med Mex. 2011;147:152-158. [ Links ]

47. Sánchez-Mendiola M, Martínez-Franco AI. Informática Biomédica. México: Universidad Nacional Autónoma de México/Elsevier; 2018. [ Links ]

48. Martin F, Ndoye A. Using Learning analytics to assess student learning in online courses. Journal of University Teaching & Learning Practice. 2016;13. [ Links ]

49. Gikandi JW, Morrow D, Davis NE. Evaluación formativa en línea en la educación superior: una revisión de la literatura. Comput Educ. 2011;57:2333-2351. [ Links ]

50. Ellis C. Ampliar el alcance y aumentar la utilidad del análisis de aprendizaje: el caso para el análisis de evaluación. Br J Educ Technol. 2013;44:662-664. [ Links ]

51. Aikat J, Carsey TM, Fecho K, Jeffay K, Mucha PJ, Ahalt SC, et al. Scientific training in the era of big data: a new pedagogy for graduate education. Big Data. 2017;5:12-18. [ Links ]

Recibido: 30 de Octubre de 2018; Aprobado: 15 de Noviembre de 2018

Correspondencia: Melchor Sánchez-Mendiola E-mail: melchorsm@unam.mx

Creative Commons License Academia Nacional de Medicina de México. Published by Permanyer. This is an open ccess article under the CC BY-NC-ND license