Introducción

A lo largo de la historia, la educación médica ha necesitado renovarse y adaptarse a diversas necesidades, tendencias o evidencias^1-3. También ha enfrentado crisis sanitarias, como la reciente pandemia del COVID-19. Estos eventos mundiales obligaron a mudar varías de las sesiones presenciales a formatos no presenciales online o flipped classrooms mediados por las Tecnologías de la Información y Comunicación (TIC) y replantearse el rol de docentes y estudiantes de medicina en los ciclos básicos y en el ambiente clínico ^4-6.

En el contexto de la educación médica durante la pandemia algunos autores concuerdan en que la educación que vivimos al principio de la pandemia no fue, estrictamente hablando, educación en línea, sino educación remota de emergencia que tuvo mucho de improvisación y estrategias no ideales ^7-9.

Siguiendo la línea de investigación de la “educación a distancia” que se vivió en México durante el confinamiento sanitario, otros autores destacan la preocupación de profesores encuestados por desarrollar capacidades pedagógicas para ejercer su práctica mediada por las tecnologías y que su actual conocimiento en el uso de herramientas y plataformas digitales no siempre les permitía desarrollar su práctica docente ¹⁰.

Actualmente el papel protagónico de las TIC que están transformando el ecosistema del aprendizaje, así como las características de las nuevas generaciones de estudiantes ^11-13 y los retos a nivel de salud mundial exigen que el profesorado deba renovarse y aprovechar las enormes posibilidades tecnológicas ¹⁴.

La Comisión Europea 2018 definió la Competencia Digital como una de las nueve competencias claves que un ciudadano debe de tener para para poder participar en la sociedad actual y uno de los objetivos del Marco Estratégico Educación y Formación 2020 (Unión Europea) señala que el profesorado debe de vincular a su práctica profesional aquellas habilidades acordes a la era digital ¹⁵. De forma análoga, el Instituto Nacional De Tecnologías Educativas y de Formación del Profesorado (lNTEF) señala que la competencia digital docente (CDD) es posiblemente el factor más importante para el desarrollo de una cultura digital en el aula y la sintonía del sistema educativo con la “sociedad red” y, en la misma línea, se sentencia que la adquisición de la CDD es responsabilidad del profesor si pretende mantenerse competitivo en el actual sistema de educación de una sociedad digitalizada ¹⁶.

Distintos autores han definido la CDD, como “el uso de las TIC para enseñar y aprender con criterios didácticos y pedagógicos y con conciencia ética y moral” ¹⁷. En tiempos más recientes, se define como “las capacidades, habilidades y actitudes que un profesor o profesora debe desarrollar con el objetivo de poder incorporar tecnologías digitales en su práctica y desarrollo profesional” ¹⁵.

La relevancia global del tópico ha llevado a varias instituciones y autores a estudiar, cuestionar e investigar el tema de la CDD ¹⁸. Entre los esfuerzos más destacados se encuentran los realizados por la Comisión Europea con su instrumento DigiCompEdu¹⁹; lo trabajado por el INTEF ²⁰ en España; trabajos realizados por la UNESCO ²¹ o lo estudiado por el proyecto ENLANCES en el contexto latinoamericano. Aunque se han utilizado algunos instrumentos, incluso a nivel de México ²², en el campo de la educación médica, y hasta donde se tiene conocimiento, no hay un instrumento con evidencia de validez que evalúe dicha competencia.

El concepto de validez es un tema en constante evolución, pero autores como Downing ²³ la definen como “la evidencia que permite apoyar o refutar el significado o la interpretación de los resultados de una evaluación” y describe cinco diferentes fuentes de evidencia de validez: proceso de evaluación, relacionadas con el contenido de la prueba, proceso de respuesta, estructura interna, su relación con otras variables y las consecuencias de quien responde la evaluación.

Objetivo

El objetivo de este trabajo es proponer un instrumento en español que permita evaluar la CDD en el contexto actual de la educación médica mexicana y describir el proceso de obtención de sus evidencias de validez.

Método

Para proporcionar de un mayor rigor metodológico a la elaboración del instrumento y buscar sus evidencias de validez, se siguieron las recomendaciones publicadas ²⁴ en la elaboración de cuestionarios que incluyen revisión de la literatura, grupos focales, síntesis, elaboración de reactivos, validación por expertos, entrevistas cognitivas y prueba piloto (Figura 1). Es importante señalar que para la creación de este instrumento se omitió la fase de creación de grupos focales, ya que los instrumentos previamente elaborados utilizaron grupos focales conformados por académicos de distintas universidades latinoamericanas para obtener evidencias de validez y poder ser utilizados en América Latina.²⁵

Figura 1 Propuesta de Artino et al. para la construcción y validación de un cuestionario. 

El primer paso fue definir las dimensiones iniciales de las que se desprenderían diferentes descriptores (posteriormente factores) y sus respectivos reactivos. Como principal referencia para las dimensiones, se usaron las propuestas por Martínez-Garcés y Garcés-Fuenmayor ²⁶ y se decidió por consenso de expertos incluir las siguientes: organización de recursos digitales; creación y gestión de espacios y recursos digitales; evaluación mediada por las TIC; seguridad y ética y formación y dominio en el uso de las TIC.

Como principal referente para la conformación de los descriptores y reactivos, se utilizó el instrumento COMDID creado por Lázaro-Cantabrana y Gisbert-Cervera²⁷. La decisión de utilizarlo deriva en que se alinea casi a la perfección con la propuesta de la Comisión Europea y la amplía, ya que los autores también usaron diversos referentes de distintos proyectos e instituciones y, de igual manera, cuenta con evidencias de validez reportadas, inclusive en el contexto latinoamericano.

Una vez que se definieron las dimensiones y los 19 descriptores iniciales, se prosiguió a la redacción de los reactivos para conformar el instrumento. Se redactaron 42 reactivos con opción de respuesta con método de escalamiento Likert. Para procurar la calidad de los reactivos se remitió a las recomendaciones disponibles en la literatura ^24,28

Al tener redactado el primer esbozo del instrumento, se prosiguió con la validación por 19 expertos y expertas - quienes contaban con grado de maestría o doctorado en educación en ciencias de la salud o evaluación educativa, experiencia docente ante grupo de diez o más años o experiencia administrativa en cargos de coordinación de diversas áreas educativas -, para encontrar la evidencia de validez de contenido y determinar si los reactivos son relevantes para el constructo que se quiere medir. El acercamiento que se tuvo a la validación fue por el método Delphi modificado de agregados individuales dado que es un método factible de aplicar, eficiente y evita sesgos por contacto entre expertos. Para robustecer el rigor en esta etapa, se recurrió a la guía y recomendaciones elaboradas por Escobar-Pérez y Cuervo-Martínez ²⁹. En el inicio de este proceso, se contactó a los expertos y expertas vía WhatsApp o correo electrónico invitándolos a participar en el estudio. Para capturar la información se compartió una encuesta vía Google Forms con los reactivos redactados y opciones de respuesta tipo Likert para medir la claridad, coherencia y relevancia de estos, así como un apartado abierto para emitir opiniones u observaciones - también se compartieron documentos que contenían información complementaria (definición de dimensiones y descriptores, guías de evaluación, entre otros). Transcurrido un lapso de dos semanas, se recabaron las respuestas y se calculó el grado de acuerdo entre expertos a través de la operación W de Kendall. Se armó un árbol de categorías (Tabla 1) para la codificación axial, la agrupación de testimonios por categorías y análisis cualitativo de las respuestas emitidas en el apartado de “opiniones u observaciones”. Una vez realizado los cambios y ajustes propuestos por los expertos al instrumento inicial, se prosiguió a efectuar una segunda ronda de validación.

Posterior a esta fase, se realizaron las entrevistas cognitivas, que son un “método cualitativo basado en evidencia diseñado específicamente para investigar si un cuestionario satisface las necesidades para lo que fue creado” ³⁰. Para efectuarlas se citó vía Zoom a cinco profesores de pregrado y se les presentó el cuestionario. Se les solicitó responderlo y se utilizó la estrategia de think-aloud interviewing, que consiste en que el entrevistado exprese de forma verbal sus pensamientos mientras responde el cuestionario - el trabajo del entrevistador es lograr que fluya la conversación y evitar largos silencios. Las sesiones fueron grabadas para su posterior transcripción, tarea que fue facilitada por el servicio de Google Pinpoint. Una vez realizada la tarea, se prosiguió a la codificación axial, la agrupación de testimonios por categorías y análisis cualitativo, para lo que se utilizó un árbol de categorías similar (se incluyó una cuarta categoría: formas de uso) al empleado en la fase de análisis cualitativo de la ronda de validación por expertos.

El último paso por seguir para la validación del instrumento fue el pilotaje. Para la prueba piloto se contactó a las autoridades de la Escuela de Medicina Saint Luke (incorporada a la UNAM). La Dirección, así como diferentes Coordinaciones, se encargaron de la distribución, vía correo electrónico, del instrumento. El universo de la plantilla docente de la Institución fue de 80 profesores (30 de ciclos básicos y 50 de ciclos clínicos). Una vez enviada la encuesta, se dio un espacio de tres semanas antes de cerrarla para proseguir con el subsecuente análisis de datos. De la información obtenida - y utilizando el software SPSS 29 - se corroboró la validez interna calculado el alfa de Cronbach y se corrió un análisis factorial exploratorio con método de extracción de componentes principales y rotación Varimax.

Consideraciones éticas

El protocolo contó con la aprobación del Comité de Ética del Programa de Maestría y Doctorado en Ciencias Médicas, Odontológicas y de la Salud de la UNAM (PMDCMOS/CEI/1/2023), así como del Consejo Técnico de la Escuela de Medicina St. Luke. La participación fue voluntaria y los resultados anónimos.

Resultados

Comenzando con los resultados de las rondas de validación por expertos, se analizó las respuestas de ellos y ellas. Con la evaluación de estos sobre la claridad, coherencia y relevancia de los reactivos se calculó el grado de acuerdo; la operación se hizo a través de la W de Kendall. Todos los niveles de significancia fueron menores a 0.05 por lo que se rechazó la H₀ y se concluyó la existencia de concordancia. También se calculó e interpretó la fuerza de concordancia. Parece pertinente recordar, que esta prueba sólo demuestra si existió o no acuerdo entre los expertos, mas no señala la calidad de los criterios a evaluar en que coincidieron los evaluadores. Para responder a esta inquietud, se obtuvo la media de la asignación de rangos para la claridad, coherencia y relevancia de los reactivos con una escala (1. No cumple con el criterio, 2. Bajo nivel, 3. Moderado nivel, 4. Alto nivel) y el resultado se interpretó como de alto nivel (Tabla 2).

El árbol de categorías inicialmente construido se completó con tres emergentes y se continuó a la codificación, agrupación de testimonios por categorías y subsecuente análisis cualitativo de las transcripciones de las entrevistas cognitivas. Tras la realización de este ejercicio, el número de reactivos se redujo de 42 a 36.

De la prueba piloto se obtuvieron 65 respuestas: 34 (52.3%) de profesores de ciclos clínicos, 20 (30.8%) de básicos y 11 (16.9%) que imparten en ambos. Con los datos se obtuvieron datos demográficos; se corroboró la validez interna al calcular un alfa de Cronbach de 0.905 y del análisis factorial se obtuvo un KMO de 0.642 y una prueba de esfericidad de Bartlett de 0.001 (Tabla 3). Estos resultados fueron satisfactorios para continuar con la extracción y reducción de factores. También se redefinieron las dimensiones y se terminó de agrupar los reactivos por dimensión y factor correspondiente. El resultado final fue un instrumento conformado por cinco dimensiones, 12 factores y 36 reactivos (Anexo 1).

Discusión

Al ser este un instrumento que pretende evaluar la competencia digital docente en el área de la Educación Médica mexicana, las fuentes de evidencia de validez corresponden a las propuestas en la guía AMEE No. 87²⁴. Estas corresponden a la validez de contenido, proceso de respuesta y estructura interna.

La validez de contenido se fue explorando desde que se revisó la literatura y se sintetizó para elaborar los reactivos. Se terminó de encontrar cuando se realizaron dos rondas de validación por expertos. Las recomendaciones y observaciones realizadas por expertos en el área de educación en ciencias de la salud - y que fueron analizadas cualitativamente - resultaron cruciales para la elaboración de reactivos de calidad, entendibles y aplicables a los docentes. Cabe resaltar que este ejercicio, como señalan diversos autores ³¹, fue adecuado en el número de participantes y el análisis cuantitativo de los resultados demostró la existencia de concordancia entre expertos, aunque la W de Kendall evidenció un bajo nivel de esta (0.179, 0.177 y 0.166 respectivamente para la claridad, coherencia y relevancia).

La evidencia de validez de proceso de respuesta se obtuvo mediante cinco entrevistas cognitivas en las que participaron profesores de pregrado de las Facultades de Medicina y Odontología de la UNAM. Como señalan Willis y Artino ³⁰, el número de entrevistados fue suficiente y representativo de la población blanco que los autores de este trabajo pretenden alcanzar con el instrumento: profesores del área de educación médica de pregrado. Durante el análisis de los datos de esta fase del estudio, se obtuvieron respuestas que refuerzan la idea de la importancia de este trabajo e invitan a abrir nuevas líneas de investigación que estudien el fenómeno del uso de las TIC y la formación de la CDD en campo de la educación médica. A continuación, se comparte un fragmento discursivo que responde al reactivo 29. ¿En qué medida considera que los cursos-talleres sobre el uso de las TIC en educación han contribuido a su ejercicio docente? Y que ejemplifica lo antes mencionado:

“Sí, tomamos un curso que dieron, de hecho, en algún Departamento, sobre algunos ejemplos que mencionaste Prezi, BlackBoard... me costó mucho trabajo, la verdad. Es que el curso fue como muy complejo. Eran uno que nos dieron dos chicas, que te tenías que inscribir como a Blackboard y así, a un chorro de aplicaciones. Eran como a través de videos, ni siquiera eran como sesiones sincrónicas. Me costaron mucho… me costó mucho trabajo y sentí que me tenía que inscribir como a muchas cosas. Te hacían hacer suscripción a varias cosas y como que nunca ocupé ninguna.”

La prueba piloto, la obtención del alfa de Cronbach y el análisis factorial, aportó la evidencia de validez de estructura interna. Es importante señalar que algunos autores ³² aconsejarían tomar con precaución los resultados obtenidos del análisis factorial, ya que la prueba piloto se realizó con una muestra relativamente pequeña (65 participantes). También es importante considerar, como posible limitación, que todos los participantes pertenecían a una misma institución, por lo que se sugiere que para estudios posteriores se extienda a diversas instituciones. El alfa de Cronbach de 0.9 confirmó la fiabilidad del instrumento y un KMO de 0.642, aunque fue un resultado moderado junto con la prueba de esfericidad de Bartlett de 0.001, fueron suficientes para continuar con la extracción de factores. El análisis factorial arrojó 12 factores, de los cuales el último dominio sobre el uso de las TIC (conformado por los reactivos 31 a 36) explicó el 28% de la varianza total. El primer factor se denominó búsqueda y curaduría de recursos digitales e incluyó los reactivos 1, 2 y 3. El segundo fue la preservación y recuperación de recursos digitales y se integró por los reactivos 4 y 5. Los reactivos 6, 7, 8, 9, 10, 11 y 12 se agruparon para formar el factor de didáctica e interacción mediada por las TIC. Los reactivos 13, 14 y 15 construyeron el factor llamado incorporación de la Inteligencia Artificial (IA) en la práctica docente. El factor de creación y difusión de recursos digitales se conformó por los reactivos 16 a 20. La adaptación de recursos digitales incluyó un solo reactivo, el numero 21. El reactivo 22 fue el único que obtuvo una carga factorial menor a 0.4, pero los autores de este trabajo deliberaron que de cualquier forma sería incluido. Esta decisión se basó en la premisa de que el reactivo de forma única conforma un factor (evaluación) y la dimensión de evaluación mediadas por las TIC - la pregunta en cuestión resulta fundamental para los propósitos del instrumento. El reactivo 23 de forma individual conformó el factor de protección de datos personales. El factor de protección a la salud incluyó los reactivos 24 y 25. El factor de ética se construyó a partir de los reactivos 25, 26, 27 y 28. El penúltimo, formación continua, incluyó los reactivos 29 y 30. Esta última fase permitió realizar modificaciones menores y terminar de afinar todos los reactivos.

Respecto a la evidencia de validez con relación a otras variables, los resultados se podrían comparar con los obtenidos en otros estudios. Ejemplo concreto de esto pudiera ser el esfuerzo realizado por el Comité de Tecnologías de la Información de la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES), que en 2021 aplicaron el instrumento Check-in DigiCompEdu a 18´934 docentes de 232 instituciones de educación superior mexicanas³³. Las consecuencias de quien responda la encuesta dependerían de las coordinaciones de distintas instituciones, que podrían utilizar los resultados para instaurar cursos de la actualización docente en el uso de las TIC o, a nivel individual, los propios docentes para que pudieran trazar su trayectoria personal en el tema.

Una limitante importante para considerar de este trabajo es que el instrumento al ser un auto reporte no puede asegurar que los encuestados respondan con honestidad a los reactivos que revelarían conductas poco desaseadas. De igual manera, la evidencia ^34,35 sugiere que los profesores se auto evalúan con puntuaciones altas en los auto reportes. Ante esta inquietud, algunos autores sugieren que el desempeño docente puede evaluarse integrando diversas estrategias para obtener una visión más completa ³⁶. Algunas estrategias que podrían utilizarse para complementar los resultados arrojados por este instrumento son la opinión de los estudiantes, la evaluación por pares o el aprovechamiento académico.

Conclusiones

El instrumento elaborado en este trabajo permite evaluar la competencia digital docente a través de cinco dimensiones (organización de recursos digitales, creación y gestión de espacios y recursos digitales, evaluación mediada por las TIC, seguridad y ética y formación y dominio en el uso de las TIC) y reúne suficientes evidencias de validez para ser utilizado por escuelas y facultades de medicina.

Se recomienda que este instrumento sea utilizado por diversas instituciones o áreas de las ciencias de la salud para conocer el nivel de competencia digital docente de sus cuerpos académicos y así contemplar novedosas líneas de investigación o diversos cursos y talleres que permitan la actualización docente en el uso de las TIC y su óptimo desempeño en el ecosistema del aprendizaje actual.