SciELO - Scientific Electronic Library Online

 
vol.11 número43Perfil de personalidad y rendimiento académico en estudiantes de la Licenciatura en FisioterapiaCorrelación entre una evaluación sumativa escrita y el promedio ponderado en estudiantes de medicina humana índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Investigación en educación médica

versión On-line ISSN 2007-5057

Investigación educ. médica vol.11 no.43 Ciudad de México jul./sep. 2022  Epub 14-Abr-2023

https://doi.org/10.22201/fm.20075057e.2022.43.21399 

Artículos originales

Adaptación de un ECOE presencial a modalidad en línea para un examen de altas consecuencias

Adjustment from a face-to-face OSCE to an on-line modality in a high stakes examination

Juan Andrés Trejo Mejíaa  * 
http://orcid.org/0000-0002-0680-6836

Jorge Peña Balderasa 
http://orcid.org/0000-0002-2962-4875

Carlos Alberto Soto Aguileraa 
http://orcid.org/0000-0003-1104-2962

Amilcar Alpuche Hernándeza 

Armando Ortiz Montalvob 
http://orcid.org/0000-0003-3548-1513

Antonio Cerritosa  b 
http://orcid.org/0000-0001-9346-8793

a Departamento de Evaluación Educativa, Facultad de Medicina, UNAM, Cd. Mx., México.

b Secretaría de Educación Médica, Facultad de Medicina, UNAM, Cd. Mx., México.


Resumen

Introducción:

Ante la necesidad de evaluar a distancia las competencias clínicas durante la pandemia de COVID-19, se diseñó y aplicó un examen clínico objetivo estructurado (ECOE) en línea en 2021 a los egresados de la Facultad de Medicina de la Universidad Nacional Autónoma de México y a las instituciones incorporadas.

Objetivo:

Evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias.

Método:

Se desarrolló la adaptación del ECOE presencial a la modalidad en línea adecuándose en todos los casos clínicos la habilidad clínica de la exploración física y se sustituyó el rubro de la nota médica por un resumen clínico verbal. Para la aplicación en línea se utilizó la plataforma Zoom, se capacitó a los evaluadores y pacientes estandarizados para homogeneizar su desempeño en esta plataforma. Se analizó el procedimiento empleado en el diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba.

Resultados:

Ambas modalidades de ECOE constaron de seis estaciones de 20 minutos. Se evaluaron los 99 reactivos que integran la totalidad de las seis competencias evaluadas y discriminaron a <0.001 entre puntajes altos y bajos. Se identificaron seis factores que explican el 60.7% de la varianza en el ECOE presencial, y seis factores más cinco indicadores en la modalidad en línea con una varianza explicada de 56.6%. El Alfa de Cronbach fue 0.96 para el ECOE presencial y 0.93 para la modalidad en línea.

Conclusiones:

Ambas modalidades de ECOE mostraron evidencias de calidad psicométrica con respecto a la validez de contenido, la estructura interna de la prueba y el proceso de respuesta, lo que le da solidez al mismo. Este estudio observó que la modalidad en línea es una alternativa factible como evaluación de la fase práctica del examen profesional.

Palabras clave: ECOE en línea; evaluación sumativa; competencias clínicas; pandemia COVID-19; México

Abstract

Introduction:

In view of the need to remotely assess clinical competencies during the COVID-19 pandemic, an online objective structured clinical examination (OSCE) was developed and applied in 2021 to applicants at the end of their medical degree at the National Autonomous University of Mexico, Faculty of Medicine and of incorporated institutions.

Objective:

To assess the OSCE online 2021 psychometric quality and compare it to a face-to-face OSCE modality in 2020 in a high stakes examination.

Method:

The OSCE was adjusted from a face-to-face to an online format. The clinical cases and the rubrics used for the online modality were previously designed according to the face-to-face OSCE. In each of the clinical cases, the ability of the physical examination was adjusted and the medical note was replaced to a verbal clinical summary. For this new modality we used the zoom platform; therefore, training courses were given to the assessors and patients to standardize their knowledge and performance on this platform. For the applicants we designed audiovisual resources explaining the process of the examination. We analyzed the applied procedure based on the design, implementation, and grade; also, we used the psychometric analysis to provide the validity evidence related to the internal structure of the test.

Results:

Both formats of the OSCE were composed of six-20 minutes stations. We examined the 99 items that constitute the total of the six evaluated competencies with a <0.001 discrimination between the high and the low scores. We identified six factors that explain the 60.7% of the variance in the face-to-face OSCE and six factors with five more indicators in the online format that explained the 56.6% of the variance. We calculated a Chronbach Alfa of 0.96 for the face-to-face format and a 0.93 for the online OSCE.

Conclusions:

Both OSCE formats showed psychometric quality evidence based on the content validity, internal structure of the test, and the response process, these characteristics strengthened both tests. This research showed that the online format is a feasible alternative for the evaluation of the practical phase in the professional examination.

Key words: OSCE online; summative exam; clinical competencies; COVID-19 pandemic; Mexico

INTRODUCCIÓN

La Facultad de Medicina (FM) de la Universidad Nacional Autónoma de México (UNAM), desde 2010, implementó un plan de estudios por asignaturas enfocado por competencias en la licenciatura de médico cirujano (LMC)1. La evaluación de las competencias en el examen profesional (EP) se desarrolla en dos fases: teórica y práctica, esta última se realiza mediante la aplicación del examen clínico objetivo estructurado (ECOE). Este método permite observar la interacción de los estudiantes con pacientes estandarizados para evaluar sus habilidades clínicas, ya que entre más semejanza exista con la práctica clínica habitual, mayor valor tendrá la evaluación. El ECOE ofrece un entorno de evaluación formativa y sumativa por lo que su utilización en la evaluación de competencias es común y la eficacia en la evaluación del aprendizaje clínico está ampliamente documentada2.

El ECOE lo inició Harden en 1975, la FM de la UNAM lo adoptó en 1998 y lo aplica desde 2002 en la fase práctica del EP a sus sustentantes y a los de las instituciones del sistema incorporado (ISI)2-4. A partir de 2015 se modificó y adaptó al formato del National Board of Medical Examiners (NBME)5,6. Se integra por estaciones clínicas que hacen referencia a los problemas más frecuentes a los que se enfrenta el médico general, tomados del programa académico de internado médico7. Para cada caso se desarrollan libretos, instrucciones para sustentantes con sus estudios de laboratorio y/o gabinete y guías para el evaluador en las que se especifican lo que debe de realizar el sustentante en cada una de las competencias8.

Un circuito del ECOE está constituido por seis estaciones y en cada una hay un caso clínico de cada área de la medicina. Durante 20 minutos los sustentantes desarrollan el estudio clínico del paciente (interrogatorio, exploración física específica, solicitan estudios de laboratorio y/o gabinete para integrar un diagnóstico, los diferenciales y el plan preventivo-terapéutico), al final realizan un resumen de la nota médica del problema del paciente y se hace el cambio de estación. Este proceso se continúa hasta completar las seis estaciones.8

Todos los evaluadores que participaron en el ECOE 2021 son médicos, académicos de la FM, capacitados y muchos de ellos cuentan con más de diez años de experiencia en su aplicación. Actualmente se cuenta con un total de 180 pacientes estandarizados y capacitados, la mayoría con experiencia de más de cinco años. Los pacientes son seleccionados acorde a su edad, género y complexiónidóneos para cada representación.

A partir del 2020, debido a la pandemia por COVID-19, las medidas de distanciamiento social se aplicaron a múltiples áreas, incluidas la enseñanza y la evaluación; por lo cual, las instituciones educativas modificaron esos procesos a fin de disminuir el riesgo de contagio entre los sustentantes, pacientes y evaluadores.

Los profesores tuvieron que hacer uso de las tecnologías de la información y la comunicación (TIC), a pesar de considerar que no estaban suficientemente preparados para utilizarlas plenamente9-11. Ante la evidencia del riesgo, se optó por hacer uso de la tecnología en ausencia de cualquier otra alternativa disponible12-14.

Asimismo, los procesos de evaluación en línea requieren más que una simple introducción al uso de las TIC, se requiere resolver una serie de imperativos que resaltan la importancia de diseñar, desarrollar, adaptar métodos y estrategias que hacen posible la evaluación, esto incluye, entre otros aspectos, la respuesta a las preguntas: ¿Cómo evaluar de manera justa? ¿Cómo mantener la validez de los distintos métodos? ¿Qué tan confiables serán? ¿Qué tan viable es hacerlo en línea? ¿Cuál es la aportación de las evidencias de validez con respecto a la calidad psicométrica del ECOE en línea?

En el presente estudio se entiende calidad psicométrica como las características de un instrumento de medición a partir de las evidencias de validez obtenidas, así como los procedimientos con los que se realizó dicho instrumento, los cuales permiten la interpretación de los puntajes obtenidos dentro de un marco conceptual15-17.

Algunas instituciones educativas del área de la salud han propuesto estrategias para la aplicación del ECOE en línea18-22. Sin embargo, se han centrado en detallar las modificaciones realizadas que permitieran la aplicación del ECOE y/o evaluar la satisfacción de los estudiantes posterior a su aplicación, dejando a un lado la calidad psicométrica del instrumento utilizado.

Por tanto, ante la necesidad de evaluar a distancia las competencias de los sustentantes, se desarrolló una estrategia institucional que permitiera aplicar el ECOE en línea.

OBJETIVO

El objetivo de este estudio fue evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias.

MÉTODO

La estrategia utilizada para determinar la calidad psicométrica del ECOE en línea y compararlo con la modalidad presencial fue analizar el procedimiento empleado en su diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba. A continuación se describen a detalle.

De abril a diciembre de 2020 se planificó y desarrolló la adaptación del ECOE a la modalidad en línea. El comité de expertos estuvo integrado por diez médicos, cinco psicólogos y tres ingenieros en sistemas, adscritos a la Secretaría de Educación Médica (SEM) de la FM. El equipo de trabajo se reunió de forma virtual (Zoom) constantemente para cumplir en tiempo y forma con el objetivo.

Los sustentantes del ECOE presencial fueron 927, y en la modalidad en línea 1,190, la mayor proporción en ambas modalidades fue de mujeres (65.3 y 70.3%, respectivamente).

Los ejes rectores para la adaptación en la modalidad en línea fueron:

1. Adecuación de los casos clínicos y de las rúbricas

Tanto los casos clínicos como las rúbricas que se utilizaron para la modalidad en línea se diseñaron con base en el ECOE presencial. Se revisó la redacción y las cuestiones técnicas de cada uno de los materiales utilizados. En cada uno de los casos se precisó la adecuación de la exploración física para evaluar la habilidad clínica, en este sentido, llegado el momento del acto médico, los sustentantes mencionarían y justificarían de forma verbal las regiones a explorar, los procedimientos específicos a realizar y la descripción de las maniobras a efectuar. Si eran pertinentes, el evaluador proporcionaría al sustentante, los datos requeridos y no más información. Se sustituyó el rubro de la nota médica por un “resumen clínico verbal” para sintetizar los datos más relevantes de la entrevista clínica, enfocándose en el mismo formato de nota médica (SOAP), justificando el o los diagnósticos y el plan preventivo-terapéutico.

2. Capacitación de evaluadores, pacientes estandarizados y sustentantes

Los evaluadores y pacientes estandarizados que participaron recibieron cursos de capacitación tanto de la plataforma para videoconferencias como de la adecuación metodológica de la prueba, de los materiales y de las rúbricas, con el objetivo de estandarizar su participación. Para los sustentantes se crearon materiales audiovisuales que describen el proceso de desarrollo del examen y fueron proporcionados a cada uno de ellos por los canales oficiales de comunicación de la FM.

3. Plataforma virtual

Para la aplicación en línea se utilizó la plataforma Zoom versión 5.0 (Zoom Video Communications Inc.; San José, California) debido a que la UNAM cuenta con licencia oficial para su uso y es considerada aula virtual de la institución. Esto permitió tener un control logístico eficiente y asegurar la calidad de la aplicación, pues mostró su facilidad de uso, ser una interfaz intuitiva con aplicación masiva y versatilidad.

4. Pruebas piloto

Se realizaron dos pruebas piloto con el objetivo de evaluar e identificar dificultades logísticas, operativas, técnicas y de conexión. Permitieron determinar las estrategias necesarias para resolverlas y limitar, en la medida de lo posible, los problemas durante la aplicación. En la primera prueba piloto se incluyeron sólo tres estaciones de diferentes áreas clínicas y participaron tres pasantes de servicio social de la LMC adscritos a la SEM. La segunda prueba constó de seis estaciones clínicas con una duración de 20 minutos cada una y participaron seis pasantes. Con ambas pruebas se evaluó la viabilidad de la nota médica y la sustitución de ella por un resumen clínico verbal que el sustentante comunicaría al final de la entrevista clínica.

Además, permitieron establecer las bases de las modificaciones necesarias en la habilidad de exploración física como se describió anteriormente. Previo a la aplicación de las pruebas, se enviaron los materiales de evaluación y la liga de acceso oportunamente a los evaluadores, pacientes estandarizados y pasantes, a estos últimos se les añadieron las instrucciones de cada caso.

Estructura y aplicación del ECOE presencial y en línea

Se cumplió con la normatividad vigente contenida en el reglamento general de exámenes de la UNAM y en las recomendaciones para la realización de los exámenes profesionales o de grado vía remota durante la contingencia sanitaria expresados en el oficio de la abogacía general23,24.

Los ECOE presencial y en línea estuvieron compuestos de seis estaciones (1. Cirugía, 2. Ginecología y obstetricia, 3. Medicina interna, 4. Medicina familiar, 5. Urgencias y 6. Pediatría), en ambas modalidades, cada una se evaluó con rúbricas holísticas diseñadas exprofeso con cuatro niveles de desempeño: bueno, suficiente, insuficiente y deficiente para cada competencia25(anexo 1). Las competencias evaluadas fueron:

  • 1: Pensamiento crítico.

  • 3: Comunicación.

  • 4: Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas.

  • 5: Habilidades clínicas.

  • 6: Profesionalismo, aspectos éticos y responsabilidades legales.

  • 7: Promoción de la salud y prevención de la enfermedad.

En la modalidad presencial y en línea las rúbricas se conformaron por 99 reactivos, el número se determinó de acuerdo con los indicadores de cada competencia expuesta en el plan de estudios de la LMC, con una distribución diferente para cada estación: la uno con 16 reactivos; la dos con 17; la tres con 15; la cuatro con 18; la cinco con 17; y la seis con 16. En cada estación se evaluaron cuatro competencias dependiendo del caso clínico con énfasis en las competencias 3 y 5.

El ECOE presencial se aplicó en siete días diferentes con un total de 140 circuitos con seis estaciones cada uno, en cuatro turnos por día. Se conformó de ocho versiones distintas, se utilizaron 48 casos clínicos diferentes, equivalentes en el área clínica, estructura de las competencias y grado de complejidad.

El ECOE en línea se aplicó en tres días diferentes con un total de 58 circuitos con seis estaciones cada uno, en tres o cuatro turnos por día. Constó de tres versiones de examen diferentes, se utilizaron 18 casos clínicos diferentes, equivalentes en el área clínica, estructura de las competencias y grado de complejidad.

En ambas modalidades la capacitación para los evaluadores y pacientes estandarizados fue la misma, con respecto del contenido de los casos clínicos, solo para la modalidad en línea, se capacitó a los evaluadores y pacientes en el uso de la plataforma Zoom. Para la modalidad presencial participaron 113 evaluadores y 85 pacientes estandarizados, incluyendo los de reserva, de acuerdo a su disponibilidad de horario. El ECOE en línea contó con la participación de 180 evaluadores y 180 pacientes estandarizados, incluyendo los de reserva, de acuerdo a su disponibilidad de horario. El incremento del personal en 2021 se debió al número reducido de días de aplicación. El 90% de los evaluadores y pacientes participantes de la modalidad presencial se mantuvieron en las mismas estaciones que en el ECOE en línea. La asignación de los sustentantes fue aleatoria, con base en el listado de la Secretaría de Servicios Escolares.

La mecánica de aplicación consistió en la identificación del sustentante y en la ubicación de este en la estación de inicio. Al comienzo, en cada una de ellas, el profesor envió por el chat de la plataforma las instrucciones del examen y la indicación del inicio de la prueba. El sustentante mantuvo su micrófono y cámara encendidos, los evaluadores apagaron su cámara y lo observaron interactuando virtualmente con el paciente. Llegado el momento de la exploración física, el evaluador proporcionó de forma verbal solo la información requerida y justificada. Para finalizar, el sustentante expresó verbalmente al evaluador el resumen clínico del paciente. Terminado el tiempo, fue conducido a la siguiente estación hasta completar el circuito (figura 1).

Figura 1 Dinámica de la aplicación del ECOE en línea 

Análisis estadístico

Para evaluar la calidad psicométrica de cada uno de los instrumentos se calculó la discriminación de los reactivos utilizando la prueba t de Student, la consistencia interna del instrumento empleando el Alfa de Cronbach y la estructura por medio del análisis de componentes principales. Para lograr el objetivo del presente estudio se utilizó la prueba t de Student con medida del efecto. Para la realización de estos análisis se utilizó el paquete estadístico SPSS versión 25 (SPSS Statistics, IBM; Stanford, California).

CONSIDERACIONES ÉTICAS

Se eliminaron los identificadores individuales; se presentan únicamente resultados agregados, siempre se mantuvo el anonimato de los sustentantes en la elaboración del manuscrito. Los participantes dieron su consentimiento informado.

RESULTADOS

Para lograr el objetivo del presente estudio se muestran a continuación las evidencias de validez observadas en los ECOE presencial y en línea, se describen cinco categorías: contenido, proceso de respuesta, estructura interna, relación con otras variables y consecuencias26(tabla 1).

Tabla 1 Fuentes de evidencia de validez para los ECOE profesionales en la evaluación de competencias 

Categoría de evidencia de validez Fuentes de evidencia de validez 2020 2021
Contenido Realimentación a partir de las pruebas piloto.
Acreditación de expertos, experiencia y capacitación dirigida en el instrumento.
Estandarización en el diseño de casos clínicos para las estaciones con el objetivo de alinear el contenido del reactivo con las especificaciones del instrumento.
Elaboración de tablas de especificaciones con base en el plan de estudios de la LMC.
Diseño de casos clínicos con base en la epidemiología del primer nivel de atención.
Adecuación colegiada de las habilidades de exploración física y nota médica.
Formación de un comité de expertos de la SEM para la elaboración de la prueba.
Capacitación de los pacientes estandarizados para una representación consistente con los libretos.
Experiencia de más de cinco años de la mayor proporción de pacientes estandarizados.
Equivalencia de las versiones en el área clínica, estructura de competencias y grado de complejidad.
Proceso de respuesta Familiarización de los sustentantes con el ECOE por tres experiencias previas (EAAs) con esta prueba.
Experiencia de más de diez años de los evaluadores en la prueba.
Capacitación de evaluadores en el examen.
Participación de la mayoría de evaluadores con formación en medicina general / familiar.
Diseño de las actividades de evaluación al simular el acto médico que se desarrolla en el primer nivel de atención.
Evaluación con rúbricas holísticas diseñadas exprofeso y validadas por profesores externos, compuestas de cuatro niveles de desempeño y con descriptores detallados de cada una de las competencias.
Ejecución de pruebas piloto con el objetivo de evaluar e identificar dificultades: logísticas, operativas, técnicas y de conexión.
Monitorización constante de coordinadores en el proceso de evaluación durante la ejecución de la prueba.
Validación clave y precisión de los puntajes durante el análisis estadístico.
Utilización del software denominado “sistema automatizado para calificar los ECOE”
Estructura interna Análisis de discriminación de los 99 reactivos que componen al instrumento (diferencia entre puntajes altos y bajos p < 0.001).
Consistencia interna de la prueba (Alfa de Cronbach; 0.96 y 0.93, respectivamente).
Estructura de la prueba (análisis de componentes principales: seis factores identificados para la modalidad presencial y seis factores más cinco indicadores para el ECOE en línea, que explican el 60.7% y 56.6%, respectivamente)
Relación con otras variables No se obtuvo en este estudio.
Consecuencias Al ser examen profesional tiene altas consecuencias, aprobar o quedar suspendido.

ECOE: Examen Clínico Objetivo Estructurado; LMC: licenciatura de médico cirujano; EAAs: evaluaciones del avance académico.

  • Evidencia de validez de contenido: En el diseño de ambas modalidades del ECOE se hace referencia a la relación entre el comportamiento presentado por el sustentante entre las competencias del plan de LMC evaluadas y cómo se representan estas en las estaciones que conforman el examen. Esto se realizó con la verificación de los contenidos por el juicio de expertos en el área (evaluadores y pacientes estandarizados).

  • Evidencia de validez del proceso de respuesta: El instrumento se diseñó de acuerdo con los comportamientos que simulan el acto médico que se desarrolla en el primer nivel de atención, lo cual se obtuvo siguiendo el procedimiento ejecutado para el diseño de rúbricas holísticas para ECOE25.

  • Evidencia de validez de estructura interna: Al evaluar la discriminación de los reactivos en ambos instrumentos se observó que los 99 permiten distinguir entre puntajes altos y bajos (p < 0.001), la consistencia interna de la prueba obtuvo un Alfa de Cronbach de 0.96 para el ECOE presencial y de 0.93 para el ECOE en línea considerando los 99 reactivos que integran la totalidad de las seis competencias evaluadas. Para la estructura interna del instrumento presencial se identificaron seis factores que explican el 60.7% de la varianza y 6 factores más cinco indicadores para la modalidad en línea con una varianza explicada de 56.6% (tabla 2 y anexo 2). Los seis factores de la modalidad presencial se agrupan de acuerdo a las seis estaciones evaluadas, en tanto, en la modalidad en línea 6 factores hacen referencia a las seis estaciones más 5 indicadores que no cubren el requisito para integrar un factor.

  • Evidencia de validez de relación con otras variables: De acuerdo con el enfoque del presente estudio, no se obtuvo.

  • Evidencia de validez de las consecuencias de la prueba: Al ser examen profesional tiene altas consecuencias, aprobar o quedar suspendido.

Tabla 2 Análisis psicométrico 

Discriminación Consistencia interna Estructura de la prueba Análisis de componentes principales
Alfa de Cronbach Factores identificados Varianza explicada (%) KMO/
ECOE 2020 <0.001 0.96 6 60.7 0.95*
ECOE 2021 0.93 6 factores más 5 indicadores 56.6 0.91*

*Esfericidad de Bartlett, Sig. <0.001.

La discriminación corresponde a los 99 reactivos de ambos instrumentos.

Para conocer el desempeño presentado por los sustentantes se calcularon sus calificaciones por competencias y habilidades clínicas de acuerdo al tipo de contenido establecido en la tabla de especificaciones diseñada para las rúbricas del ECOE presencial y en línea.

Como se mencionó al inicio, la calidad psicométrica de un instrumento se sustenta en sus evidencias de validez y los procedimientos con los que se realizó para poder convertir los datos en información. A continuación se describen los resultados que permiten observar el nivel de desempeño de los sustentantes, las competencias y sus habilidades clínicas (tablas 3y4).

Tabla 3 Puntaje global de los sustentantes por competencias clínicas del ECOE en línea (n = 1,190) 

Competencia Presencial/2020(puntos) En línea/2021 (puntos) Valor de t p* Magnitud del efecto
1. Pensamiento crítico, juicio clínico, toma de decisiones y manejo de información 71.4 ± 14.1 79.8 ± 13.5 -13.91 <0.001 0.29
3. Comunicación efectiva 78.4 ± 7.5 84.4 ± 8.2 -17.36 <0.001 0.35
4. Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas en el ejercicio de la medicina 68.4 ± 12.8 69.6 ± 12.8 -2.03 0.043 0.04
5. Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación 71.0 ± 7.6 77.5 ± 8.8 -17.82 <0.001 0.37
6. Profesionalismo, aspectos éticos y responsabilidades legales 77.2 ± 10.3 85.0± 9.28 -18.05 <0.001 0.37
7. Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad 68.8 ± 13.3 73.2 ± 14.3 -7.22 <0.001 0.16

Media ± desviación estándar.

*Los valores de p se obtienen al comparar el ECOE presencial 2020 y en línea 2021. Valor p < 0.05 obtenido utilizando prueba de T student.

Puntaje del ECOE presencial de 2020, n = 927. Los resultados se expresan en una escala máxima de 100 puntos.

Valores: r > 0.8 se considera una magnitud del efecto con alta magnitud, r > 0.6 moderada alta, r > 0.5 moderada media, r > 0.3 moderada baja, r > 0.2 de alta magnitud (Cohen, 1988). La magnitud del efecto (ME) se define como el grado de generalidad que posee esa superioridad de A sobre B en la población de la que se obtuvo la muestra estudiada. De esta manera, la ME se refiere a la magnitud de un efecto que es, en este ejemplo, la diferencia entre un tratamiento nuevo A y otro clásico B. (Ledesma y cols., 2008).

Tabla 4 Puntaje global de los sustentantes por habilidades clínicas del ECOE en línea (n = 1,190) 

Competencia Habilidades clínicas Presencial/2020(puntos) En línea/2021 (puntos) Valor de t p* Magnitud del efecto
1 Pensamiento crítico 71.4 ± 14.1 79.8 ± 13.5 -13.91 <0.001 0.29
3 Responde a las necesidades del paciente 78.1 ± 8.0 83.8 ± 9.1 -14.96 <0.001 0.31
Coherencia en la entrevista 77.1 ± 8.5 83.6 ± 8.9 -15.44 <0.001 0.32
Expresión verbal 79.03 ± 8.0 85.9 ± 9.1 -17.40 <0.001 0.35
Expresión no verbal 79.06 ± 8.5 84.3 ± 9.5 -13.20 <0.001 0.28
4 Diagnóstico diferencial 70.6 ± 12.5 68.6 ± 15.9 3.30 <0.001 0.09
Fisiopatología 66.1 ± 14.6 71.8 ± 19.6 -7.33 <0.001 0.16
5 Interrogatorio 74.2 ± 9.4 82.5 ± 10.2 -19.15 <0.001 0.38
Exploración física 74.6 ± 9.1 76.6 ± 11.5 -4.34 <0.001 0.09
Estudios de laboratorio 70.0 ± 9.7 72.7 ± 11.5 -5.72 <0.001 0.12
Diagnóstico 70.3 ± 9.9 75.8 ± 11.5 -11.55 <0.001 0.24
Fundamentación del diagnóstico 69.6 ± 10.7 75.8 ± 12.0 -12.39 <0.001 0.26
Plan preventivo / terapéutico 67.2 ± 10.4 73.3 ± 11.9 -12.28 <0.001 0.28
Calificación del paciente 78.66 ± 9.0 85.0 ± 9.6 -15.48 <0.001 0.32
Resumen clínico 62.9 ± 10.0 79.0 ± 10.1 -36.42 <0.001 0.62
6 Profesionalismo 80.5 ± 10.3 87.4 ± 10.0 -15.57 <0.001 0.32
Aspectos éticos 77.9 ± 10.8 86.0 ± 10.5 -17.18 <0.001 0.35
Responsabilidades legales 73.2 ± 12.7 81.8 ± 11.9 -15.95 <0.001 0.33
7 Promoción de la salud 68.8 ± 13.2 73.2 ± 14.3 -7.22 <0.001 0.16

Media ± desviación estándar.

*Los valores de p se obtienen al comparar el ECOE presencial 2020 y en línea 2021. Valor p < 0.05 obtenido utilizando prueba de T student.

Puntaje del ECOE presencial de 2020, n = 927. Los resultados se expresan en una escala máxima de 100 puntos.

Valores: r > 0.8 se considera una magnitud del efecto con alta magnitud, r > 0.6 moderada alta, r > 0.5 moderada media, r > 0.3 moderada baja, r > 0.2 de alta magnitud (Cohen, 1988). La magnitud del efecto (ME) se define como el grado de generalidad que posee esa superioridad de A sobre B en la población de la que se obtuvo la muestra estudiada. De esta manera, la ME se refiere a la magnitud de un efecto que es, en este ejemplo, la diferencia entre un tratamiento nuevo A y otro clásico B. (Ledesma y cols., 2008).

Se calcularon los puntajes en una escala máxima de 100 puntos. A pesar de que hubo diferencias estadísticamente significativas a favor del ECOE en línea, solamente las competencias 3, 5 y 6 tuvieron una magnitud del efecto mayor a 0.3; en contraste, las competencias 1, 4 y 7 tuvieron baja magnitud del efecto (r ≤ 0.3). Asimismo, de las 19 habilidades clínicas evaluadas, en nueve se observaron diferencias estadísticamente significativas y magnitud del efecto alto con mayor puntaje para la modalidad en línea; por ejemplo, en las habilidades de interrogatorio y resumen clínico tuvieron r = 0.38 y r = 0.62, respectivamente. Por otra parte, la exploración física, que fue modificada para el ECOE en línea, presentó diferencia estadísticamente significativa con respecto al ECOE presencial; sin embargo, tuvo magnitud del efecto bajo (r = 0.09) (tablas 3 y 4).

DISCUSIÓN

Con respecto a la calidad psicométrica del examen, se observó que la modalidad en línea permite la interacción virtual con los participantes, esto confirma que los avances y la amplia utilización de la telemedicina a nivel mundial son de utilidad en la educación y la evaluación, además de la práctica clínica a distancia27. De forma consistente otra institución realizó un ECOE en línea, constituido por seis estaciones, se aplicaron rúbricas holísticas validadas y se usó la plataforma Zoom18,25. Por otra parte, en odontología se han aplicado ECOE con metodología similar a grupos pequeños; sin embargo, se han centrado en conocer la opinión sobre la satisfacción de los participantes en esta modalidad, sin aportar evidencias sobre la eficiencia y el desempeño de los evaluados19-22.

Los resultados de las evidencias de validez de contenido indican que el procedimiento seguido para el desarrollo de ambas modalidades cumple la pertinencia y relevancia de los comportamientos observados en las estaciones. Los requerimientos para desarrollar la modalidad en línea fueron similares a los empleados en el presencial, con la diferencia de las reuniones de los participantes, que se realizaron de forma remota.

Además, debido a las características de la modalidad en línea, se adecuaron las habilidades de exploración física y nota médica de forma colegiada. Con respecto a la exploración física se observó consistencia en este procedimiento con lo realizado en otro estudio18. La nota médica se sustituyó por un resumen clínico verbal y tuvo un desempeño alto con respecto al presencial, lo cual se explica a partir de la posibilidad de poder describir y argumentar con más información al evaluador para expresar el problema del paciente. El desempeño observado en el resto de las habilidades clínicas fue similar en ambas modalidades. Por lo tanto, la modalidad en línea, al igual que la presencial, permite obtener información precisa y válida sobre el desempeño de las competencias en sustentantes de la LMC.

Con base en la evidencia de validez del proceso de respuesta, se consideró la complejidad de las habilidades clínicas bajo la directriz de la aplicación de conocimientos, conceptos y la solución de problemas médicos en el primer nivel de atención. La utilización de rúbricas holísticas diseñadas exprofeso, validadas y detalladas para evaluar el desempeño de las competencias de los sustentantes permitieron disminuir la subjetividad de los evaluadores, lo cual se aprecia en los resultados observados en la ejecución de las habilidades clínicas, con niveles semejantes en ambas modalidades. Por otra parte, para garantizar la consistencia en el proceso de respuesta, se mantuvo a un 90% de los evaluadores y pacientes estandarizados en las dos modalidades, al porcentaje restante se le proporcionó el acompañamiento para la realización de sus actividades.

Los sustentantes de ambas modalidades estaban familiarizados con el tipo de actividades en el ECOE, las dos poblaciones participaron en tres exámenes diagnóstico-formativos después de concluir segundo, tercero y cuarto año, respectivamente (Evaluaciones del Avance Académico I, II y III). Esto contribuyó con el desempeño alto de las habilidades clínicas, como lo observado en varios estudios que han reportado que la familiarización de las actividades del ECOE puede conducir a niveles más bajos de ansiedad y mayor confianza, lo que lleva a una puntuación más alta28-30.

Con referencia a la evidencia de validez de la estructura interna de la prueba, los valores psicométricos calculados para los 99 reactivos de las rúbricas de las seis competencias en ambas modalidades fueron: la discriminación, la consistencia interna y la estructura de la prueba. Los valores obtenidos en el análisis de discriminación indican que las calificaciones de los sustentantes permiten distinguir entre aquellos que tienen un desempeño óptimo y los que tienen uno deficiente, lo cual, señala que el instrumento cumple su función para identificar el nivel de ejecución del comportamiento en el ECOE. Con base en el valor obtenido para la consistencia interna del instrumento utilizado en las dos modalidades, indica que en los dos ECOE permiten observar un desempeño sistemático bajo las condiciones del examen de forma consistente. Finalmente, para la estructura de la prueba en ambas modalidades, el eje que agrupa a los 99 reactivos de las rúbricas son las estaciones del examen, una explicación plausible de esta estructura es que el caso que define a la estación funciona como un “organizador clínico-cognitivo”, ya que la resolución del problema del paciente estandarizado requiere de la adecuada integración e interdependencia de las competencias, como sucede en el acto médico, lo cual es la intención del ECOE.

De acuerdo con el enfoque del estudio, las evidencias de validez de su relación con otras variables no se obtuvieron debido a que, hasta este momento, las calificaciones obtenidas no cuentan con otros datos para identificar relaciones.

En la evidencia de validez de las consecuencias, el sustentante aprueba o queda suspendido debido a la naturaleza de un examen profesional.

Fortalezas y áreas de oportunidad

Los resultados obtenidos a partir del examen en línea indican que esta modalidad proporciona información certera, al igual que en la presencial, para la evaluación de las competencias clínicas. El proceso de diseño y validación, aunado a la experiencia previa de los evaluadores y pacientes estandarizados, además de la capacitación para este examen, son aspectos relevantes a resaltar que tiene este ECOE.

Entre algunos obstáculos identificados en la parte operativa, destaca la inestabilidad en la conexión de algunos dispositivos de los participantes, lo que extendió el tiempo y el número de turnos del examen.

Para tener mayor seguridad en la aplicación del examen y observar al sustentante desde otro ángulo, se recomienda el uso de una segunda cámara o un software especializado para así tener otra perspectiva del entorno del mismo y poder identificar algún factor externo que estuviera interviniendo en su desempeño22.

CONCLUSIONES

La adaptación del ECOE a la modalidad en línea mostró una calidad psicométrica adecuada, en las diferentes fuentes de evidencias de validez, en especial en la evidencia de la estructura interna de la prueba lo que le da solidez del instrumento para obtener puntajes interpretables dentro de un marco de referencia. Las habilidades clínicas de ambas modalidades mostraron diferencias significativas con una magnitud del efecto “moderada baja” en nueve habilidades clínicas, en el resto no se observaron diferencias, lo cual indica una similitud de ambas pruebas.

Dado que las instituciones educativas necesitan métodos sólidos para evaluar a distancia las competencias de los sustentantes y que sean comparables a los utilizados de manera presencial, se observó que la modalidad en línea es una alternativa factible para la evaluación de competencias clínicas para exámenes de altas consecuencias en ciencias de la salud. Además, este estudio provee las bases para un modelo híbrido de la evaluación, categorizando estaciones apropiadas para las modalidades presencial y en línea.

El análisis de los resultados proporciona información importante para realimentar los planes y programas académicos en sus áreas biomédica, sociomédica y clínica para tomar decisiones sobre la formación de los profesionales de la salud, además de dar pie al ensayo de otras metodologías y a la mejora continua de la estrategia diseñada.

Finalmente, el ECOE que se realiza en la FM desde 2015 es un referente, debido a la forma integral en que evalúa las competencias clínicas en la LMC. Se propone esta modalidad en línea como una alternativa que reduce costos, es útil en escenarios remotos, disminuye la movilidad, aumenta la seguridad de los participantes en la transportación y en la salud, entre otros.

REFERENCIAS

1. Facultad de Medicina UNAM. Plan de Estudios 2010 y Programas Académicos de la Licenciatura de Médico Cirujano. En: Facultad de Medicina UNAM, editor. Ciudad Universitaria 2009. p. 1-150. [Consultado: 16 May 2021]. Disponible en: http://www.facmed.unam.mx/plan/PEFMUNAM.pdfLinks ]

2. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1(5955):447-51. doi: 10.1136/bmj.1.5955.447 [ Links ]

3. Trejo Mejía J, Larios Mendoza H, Velasco Jiménez M, Hernández López A, Martínez Viniegra N, Cortés Gutiérrez M. Evaluación de la Competencia Clínica de los alumnos al iniciar el Internado Médico de Pregrado. Rev Fac Med. 1998;41(3):108-13. Disponible en: https://pesquisa.bvsalud.org/portal/resource/pt/lil-234020 y en: https://www.imbiomed.com.mx/articulo.php?id=16134Links ]

4. Larios Mendoza H, Trejo Mejía J, Méndez I. Examen Profesional con el Examen Clínico Objetivo Estructurado. Rev Ed Sup. 2005;34(4):7-17. [Consultado: 10 Jun 2021]. Disponible en: https://www.redalyc.org/pdf/604/60413601.pdfLinks ]

5. Furman GE. The role of standardized patient and trainer training in quality assurance for a high-stakes clinical skills examination. Kaohsiung J Med Sci. 2008;24(12):651-5. doi: 10.1016/s1607-551x(09)70031-2 [ Links ]

6. Furman G, Montanano A. ECFMG 2014 Annual Report. Case Development Workshop conducted at School of Medicine of the National Autonomous University of Mexico; Monterrey, Mexico: ECFMG; 2014. p. 1-75. [Consultado: 20 May 21]. Disponible en: https://www.yumpu.com/en/document/read/38343332/ecfmg-2014-annual-report [ Links ]

7. Facultad de Medicina UNAM. Internado Médico. Asignatura Clínica-Quinto Año-Décimo y Undécimo Semestre. En: Facultad de Medicina UNAM, editor. Ciudad Universitaria; 2018. p. 1-101. [Consultado: 10 jul 21]. Disponible en: http://paginas.facmed.unam.mx/deptos/ss/wp-content/uploads/2018/10/1011.pdfLinks ]

8. Martínez-González A, Sánchez-Mendiola M, Olivares-Olivares S, Grimaldo-Avilés J, Trejo-Mejía J, Martínez-Franco A, y cols. Colaboración de tres escuelas de medicina de México en un examen clínico objetivo estructurado (ECOE). Inv Ed Med. 2020;10(38). doi: 10.22201/fm.20075057e.2020.36.20258 [ Links ]

9. Amin H, Shehata M, Ahmed S. Step-by-step Guide to Create Competency-Based Assignments as an Alternative for Traditional Summative Assessment. MedEdPublish. 2020:1-15. doi: 10.15694/mep.2020.000120.1 [ Links ]

10. Boursicot K, Kemp S, Ong T, Wijaya L, Goh S, Freeman K, y cols. Conducting a high-stakes OSCE in a COVID-19 environment. MedEdPublish. 2020:1-8. doi: 10.15694/mep.2020.000054.1 [ Links ]

11. Khan RA, Jawaid M. Technology Enhanced Assessment (TEA) in COVID 19 Pandemic. Pak J Med Sci. 2020;36(COVID19-S4):S108-S10. doi: 10.12669/pjms.36.covid19-s4.2795 [ Links ]

12. Ahmed S, Shehata M, Hassanien M. Emerging Faculty Needs for Enhancing Student Engagement on a Virtual Platform. MedEdPublish. 2020:1-5. doi: 10.15694/mep.2020.000075.1 [ Links ]

13. Shehata MH, Kumar AP, Arekat MR, Alsenbesy M, Mohammed Al Ansari A, Atwa H, y cols. A toolbox for conducting an online OSCE. Clin Teach. 2021;18(3):236-42. doi: 10.1111/tct.13285 [ Links ]

14. Ward JP, Gordon J, Field MJ, Lehmann HP. Communication and information technology in medical education. Lancet. 2001;357(9258):792-6. doi: 10.1016/s0140-6736(00)04173-8 [ Links ]

15. Standards for educational and psychological testing / American Educational Research Association, American Psychological Association, National Council on Measurement in Education [Internet]. Washington, DC: American Educational Research Association; 2014 [Citado: 2022 Ene 15]. Disponible en: https://search.ebscohost.com/login.aspx?direct=true&db=edsnuk&AN=edsnuk.vtls004537073&lang=es&site=eds-liveLinks ]

16. Nuván Hurtado IL, Rivera Porras DA, Carillo Sierra SM, Forgiony Santos JO, Bonilla Cruz NJ, Rozo Sánchez AC. Diferencias en la calidad psicométrica de tests construidos mediante la estrategia pedagógica audiovisual y las estrategias pedagógicas tradicionales. Rev Esp. 2018; 39(25):7-21. ISSN 0798 1015. Disponible en: https://www.revistaespacios.com/a18v39n25/a18v39n25p07.pdfLinks ]

17. García Pérez EM, Magaz Lago A. ¿Cómo valorar test psiscométricos? [Internet] Bizkaya, España: COHS. Consultores en Ciencias Humanas, S.L.; 2009. [Citado: 2022 Ene 15]. Disponible en: http://www.gac.com.es/editorial/libros/comovalorartestpsicometricos.pdfLinks ]

18. Craig C, Kasana N, Modi A. Virtual OSCE delivery: The way of the future? Med Educ. 2020;54(12):1185-6. doi: 10.1111/MEDU.14286 [ Links ]

19. Kakadia R, Chen E, Ohyama H. Implementing an online OSCE during the COVID-19 pandemic. J Dent Educ. 2020. doi: 10.1002/jdd.12323 [ Links ]

20. Hytönen H, Näpänkangas R, Karaharju-Suvanto T, Eväsoja T, Kallio A, Kokkari A, y cols. Modification of national OSCE due to COVID-19 - Implementation and students' feedback. Eur J Dent Educ. 2020. doi: 10.1111/eje.12646 [ Links ]

21. Donn J, Scott JA, Binnie V, Bell A. A pilot of a Virtual Objective Structured Clinical Examination in dental education. A response to COVID-19. Eur J Dent Educ. 2020. doi: 10.1111/eje.12624 [ Links ]

22. Khalaf K, El-Kishawi M, Moufti MA, Al Kawas S. Introducing a comprehensive high-stake online exam to final-year dental students during the COVID-19 pandemic and evaluation of its effectiveness. Med Educ Online. 2020;25(1):1826861. doi: 10.1080/10872981.2020.1826861 [ Links ]

23. Reglamento General de Exámenes, UNAM (1969). [Consultado: 25 Jul 21]. Diponible en: http://www.abogadogeneral.unam.mx/sites/default/files/2018-05/229.pdfLinks ]

24. González Contró, M. Oficio AGEN/DGEL/107/20OJ/62/20. Ciudad Universitaria 2020. [Consultado: 25 Jul 21]. Disponible en: http://escolares.quimica.unam.mx/exaprof/Oficio_AGEN-DGEL-107-20.pdfLinks ]

25. Alpuche HA, Trejo-MJ, Peña BJ, Ortiz MA. Diseño y elaboración de rúbricas para evaluar competencias de estudiantes de medicina en un Examen Clínico Objetivo. Psicología Educativa. 2020-2021;8-9(1):58-64. eISSN 2448-6957 [ Links ]

26. Downing, SM. Validity: On the meaningful interpretation of assessment data. Medical Education. 2003;37(9):830-837. https://doi.org/10.1046/j.1365 2923.2003.01594.x [ Links ]

27. Lawrence K, Hanley K, Adams J, Sartori DJ, Greene R, Zabar S. Building Telemedicine Capacity for Trainees During the Novel Coronavirus Outbreak: a Case Study and Lessons Learned. J Gen Intern Med. 2020;35(9):2675-9. doi: 10.1007/s11606-020-05979-9 [ Links ]

28. Robinson P, Morton L, Haran H, Manton R. Mock OSCEs improve medical students' confidence and reduce anxiety related to summative examinations. Education in Medicine Journal. 2017;9:41-5. doi: 10.21315/eimj2017.9.2.4 [ Links ]

29. Hess BJ, Kvern B. A call to understand the psychometric implications of virtual OSCE delivery. Med Teach. 2020:1-2. doi: 10.1080/0142159X.2020.1849591 [ Links ]

30. Young I, Montgomery K, Kearns P, Hayward S, Mellanby E. The benefits of a peer-assisted mock OSCE. Clin Teach. 2014;11(3):214-8. doi: 10.1111/tct.12112 [ Links ]

PRESENTACIONES PREVIAS

  • En el Congreso de la Facultad de Medicina de la UNAM, en abril de 2021, se presentó la experiencia sin el análisis de este trabajo.

  • En la sesión del mes de abril de 2021 de la Academia Nacional de Educación Médica se presentó la experiencia y la logística, pero no el análisis de este trabajo.

  • En el Congreso de Guatemala en julio de 2021 se habló de la experiencia que se tuvo con el ECOE en línea en México, en términos muy generales.

Anexo 1

Rúbrica de la competencia 5 con sus habilidades clínicas correspondientes

1. Habilidades en el interrogatorio 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
Incompleto. Desorganizado. No confiable, impreciso, sin relación con el padecimiento actual del paciente Inconsistente obtención de datos, incompleto, enfocado al padecimiento actual del paciente Completo pero desorganizado. Orientado al padecimiento actual del paciente Completo, organizado. Eficiente, identifica sutilezas, Orientado al padecimiento actual del paciente

2ª. Habilidades en la exploración física 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
No selecciona ni justifica las regiones a explorar con relación al padecimiento actual Selecciona y justifica incorrectamente las regiones a explorar con relación al padecimiento actual Selecciona correctamente y justifica incorrectamente las regiones a explorar con relación al padecimiento actual Selecciona y justifica correctamente las regiones a explorar con relación al padecimiento actual

2B. Habilidades en la exploración física 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
No selecciona ni justifica la(s) maniobra(s) de la EF que aporta hallazgos relevantes al padecimiento actual Selecciona y justifica incorrectamente la(s) maniobra(s) de la EF que aporta hallazgos relevantes al padecimiento actual Selecciona correctamente y justifica incorrectamente la(s) maniobra(s) de la EF que aporta hallazgos relevantes al padecimiento actual Selecciona y justifica la(s) maniobra(s) de la EF que aporta hallazgos relevantes al padecimiento actual

Estudios de laboratorio y gabinete 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
Omite solicitar exámenes complementarios o los solicita e interpreta de manera inadecuada de acuerdo con el padecimiento actual del paciente Solicita e interpreta de manera incompleta los exámenes básicos de acuerdo al padecimiento actual del paciente Solicita e interpreta los exámenes complementarios indicados para el padecimiento actual del paciente Solicita e interpreta los exámenes complementarios con mayor sensibilidad y especificidad para el padecimiento actual del paciente

Habilidades diagnósticas 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
No identifica los elementos para establecer ningún tipo de diagnósticos Identifica algunos elementos para establecer solo un diagnóstico principal Identifica algunos elementos y establece además un diagnóstico diferencial relacionado al problema Identifica muy bien el problema y establece además dos diagnósticos diferenciales relacionados

Fundamentación del diagnóstico 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
No considera los datos básicos del interrogatorio, la exploración física, los resultados de laboratorio y gabinete Considera los datos básicos del interrogatorio, la exploración física, los resultados de laboratorio y gabinete Completo. Considera, pero no todos los datos del interrogatorio, la exploración física, los resultados de laboratorio y gabinete Muy completo. Considera los datos del interrogatorio, la exploración física, los resultados de laboratorio y gabinete

Plan preventivo-terapéutico (médico y/o quirúrgico) 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
No sugiere el tratamiento adecuado de acuerdo con el padecimiento actual. Omite referir oportunamente al paciente al segundo o tercer nivel de acuerdo la normativa vigente Sugiere un tratamiento básico. Refiere al paciente al segundo o tercer nivel sin discriminar el nivel de atención apropiado Sugiere un tratamiento de acuerdo con el padecimiento actual. Refiere al paciente al segundo o tercer nivel de acuerdo con la normativa vigente Sugiere y explica el mejor tratamiento y sus posibles efectos secundarios de acuerdo con el padecimiento actual. Refiere oportunamente al paciente al segundo o tercer nivel con los requerimientos de la normativa vigente

Nota médica / resumen clínico verbal 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
Incompleta. Desordenada. No integra la información para fundamentar el diagnóstico principal ni el manejo Incompleta. Desordenada. Integra parcialmente la información para fundamentar el diagnóstico principal y el manejo Completa. Desordenada. Integra la información para fundamentar el diagnóstico principal y el manejo parcial del paciente Muy completa y ordenada. Integra adecuadamente la información para fundamentar el diagnóstico principal y el manejo integral

Evaluación por el paciente 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
No saludó, no se presentó ni mostró respeto durante la entrevista o exploración. No utilizó un lenguaje claro ni comprensible Saludó, mostró respeto durante la entrevista o exploración. No utilizó un lenguaje claro ni comprensible Saludó, se presentó y mostró respeto durante la entrevista y exploración. Utilizó un lenguaje claro y comprensible Saludó, se presentó y mostró respeto durante la entrevista y exploración propiciando un ambiente confortable donde fui capaz de expresarme libremente. Utilizó un lenguaje claro y comprensible

Valoración global de los conocimientos y habilidades 

A. Deficiente B. Insuficiente C. Suficiente D. Excelente
Falta de conocimiento y desarrollo de habilidades de interrogatorio, exploración e interpretación para integrar el diagnóstico y manejo Demuestra conocimientos y habilidades básicas de interrogatorio, exploración e interpretación de manera completa para integrar el diagnóstico y manejo Demuestra conocimientos y habilidades de interrogatorio, exploración e interpretación de manera completa para integrar el diagnóstico y manejo Demuestra conocimientos y habilidades de interrogatorio, exploración e interpretación de manera sistemática, ordenada, completa y dirigida para integrar el diagnóstico y manejo

Anexo 2

Matriz de componente rotado del ECOE 2020 

F1 F2 F3 F4 F5 F6
E4c5i5 .881
E4c4i1 .870
E4c5i4 .869
E4c5i6 .844
E4c4i2 .805
E4c5i7 .725
E4c3i2 .716
E4c5i3 .697
E4c6i3 .677
E4c3i1 .665
E4c6i2 .658
E4c5i2 .646
E4c5i1 .621
E4c3i3 .606
E4c6i1 .614
E4c5i8 .573
E4c3i4 .559
E5c3i2 .848
E5c6i1 .840
E5c3i3 .833
E5c3i4 .830
E5c3i1 .826
E5c6i2 .801
E5c5i5 .739
E5c6i3 .737
E5c5i1 .719
E5c1i1 .698
E5c5i6 .679
E5c5i4 .668
E5c5i2 .634
E5c5i3 .591
E5c5i7 .585
E5c5i8 .496
E6c5i5 .885
E6c4i1 .878
E6c4i2 .874
E6c5i4 .873
E6c5i6 .837
E6c7i1 .776
E6c5i3 .710
E6c5i7 .697
E6c5i1 .689
E6c3i2 .681
E6c3i1 .672
E6c3i3 .634
E6c3i4 .625
E6c5i8 .521
E6c5i2 .749
E1c5i5 .893
E1c1i1 .874
E1c5i4 .858
E1c4i1 .837
E1c5i6 .832
E1c4i2 .830
E1c5i7 .616
E1c3i2 .611
E1c5i3 .608
E1c3i1 .594
E1c3i3 .535
E1c3i4 .533
E1c5i1 .491
E1c5i8 .466
E1c5i2 .432
E3c5i5 .860
E3c5i4 .851
E3c1i1 .833
E3c5i6 .816
E3c7i1 .739
E3c5i3 .701
E3c5i7 .636
E3c3i4 .778
E3c3i3 .766
E3c3i2 .705
E3c3i1 .639
E3c5i1 .601
E3c5i2 .538
E3c5i8 .419
E2c5i5 .846
E2c5i4 .831
E2c5i6 .796
E2c5i7 .683
E2c7i1 .642
E2c5i3 .612
E2c5i8 .529
E2c3i3 .849
E2c3i4 .821
E2c3i2 .786
E2c3i1 .757
E2c5i1 .611
E2c5i2 .518

C: competencia; E: estación; F: factor; I: indicador de la competencia.

Método de extracción: análisis de componentes principales.

Método de rotación: Varimax con normalización Kaiser.

La rotación ha convergido en 8 iteraciones.

Matriz de componente rotado del ECOE 2021 

F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 F11
E2R29Ac2.11 .797
E2R30Ac2.12 .792
E2R32Ac2.14 .777
E2R28Ac2.10 .771
E2R31Ac2.13 .764
E2R33Ac2.15 .726
E2R19Ac2.1 .694
E2R26Ac2.8 .651
E2R24Ac2.6 .634
E2R34Ac2.16 .622
E2R25Ac2.7 .603
E2R23Ac2.5 .595
E2R21Ac2.3 .577
E2R20Ac2.2 .576
E2R35Ac2.17 .541
E2R22Ac2.4 .510
E2R27Ac2.9 .499
E6R99Ac1.6 .844
E6R98Ac1.5 .829
E6R108Ac1.15 .795
E6R100Ac1.7 .741
E6R107Ac1.14 .729
E6R105Ac1.12 .696
E6R106Ac1.13 .676
E6R101Ac1.8 .667
E6R95Ac1.2 .644
E6R109Ac1.16 .631
E6R103Ac1.10 .630
E6R97Ac1.4 .628
E6R96Ac1.3 .620
E6R104Ac1.11 .584
E6R94Ac1.1 .576
E6R102Ac1.9 .501
E1R6Ac6.6 .803
E1R5Ac6.5 .791
E1R7Ac6.7 .770
E1R13Ac6.13 .763
E1R12Ac6.12 .742
E1R14Ac6.14 .741
E1R8Ac6.8 .726
E1R16Ac6.16 .716
E1R10Ac6.10 .675
E1R15Ac6.15 .648
E1R11Ac6.11 .643
E1R2Ac6.2 .621
E1R4Ac6.4 .601
E1R3Ac6.3 .565
E1R1Ac6.1 .422
E5R80Ac5.6 .800
E5R79Ac5.5 .799
E5R86Ac5.12 .795
E5R89Ac5.15 .792
E5R87Ac5.13 .778
E5R84Ac5.10 .759
E5R90Ac5.16 .752
E5R81Ac5.7 .747
E5R85Ac5.11 .705
E5R82Ac5.8 .681
E5R91Ac5.17 .658
E5R88Ac5.14 .635
E5R78Ac5.4 .621
E5R76Ac5.2 .580
E5R77Ac5.3 .559
E5R75Ac5.1 .547
E3R43Ac3.6 .834
E3R44Ac3.7 .823
E3R51Ac3.14 .816
E3R42Ac3.5 .812
E3R52Ac3.15 .708
E3R50Ac3.13 .683
E3R45Ac3.8 .672
E3R49Ac3.12 .645
E3R47Ac3.10 .603
E3R41Ac3.4 .548
E3R48Ac3.11 .525
E3R38Ac3.1 .494
E3R46Ac3.9 .412
E4R68Ac4.14 .798
E4R69Ac4.15 .796
E4R67Ac4.13 .792
E4R66Ac4.12 .787
E4R64Ac4.10 .767
E4R65Ac4.11 .682
E4R70Ac4.16 .678
E4R55Ac4.1 .480
E4R60Ac4.6 .800
E4R59Ac4.5 .797
E4R56Ac4.2 .778
E4R62Ac4.8 .693
E4R61Ac4.7 .689
E4R72Ac4.18 .642
E4R71Ac4.17 .631
E4R58Ac4.4 .629
E3R39Ac3.2 .799
E3R40Ac3.3 .788
E4R57Ac4.3 .786
E4R63Ac4.9 .514
E5R83Ac5.9 .497

Ac: área clínica; E: estación; F: factor; R: reactivo.

Método de extracción: análisis de componentes principales.

Método de rotación: Varimax con normalización Kaiser.

La rotación ha convergido en 14 iteraciones.

Recibido: 31 de Agosto de 2021; Aprobado: 07 de Febrero de 2022

*Autor para correspondencia: Juan Andrés Trejo Mejía. Coordinador del ECOE, Departamento de Evaluación Educativa, Facultad de Medicina, Universidad Nacional Autónoma de México. Circuito Universitario. 3er Piso. CU. Cd. Mx., México, C.P. 04510. Correo electrónico: andretreme@gmail.com

CONTRIBUCIÓN INDIVIDUAL

  • JATM, JPB, AOM, AC, CASA: Conceptualización, diseño y revisión crítica.

  • JATM, JPB, CASA: Metodología, redacción, interpretación de datos, revisión crítica, edición y referencias.

  • AAH: Análisis psicométrico y revisión crítica. Conservación de datos.

  • JATM, JPB, CASA, AAH, AOM, AC: Aprobación final del manuscrito.

AGRADECIMIENTOS

  • A Francisco Javier Fernández Puerto, Mónica Anastasia Ramírez Arrieta, Rocío García Duran por su decidida participación en la logística del examen.

  • A Argelia Rosales Vega y Alejandro Enríquez Andonaegui por su participación en la asistencia técnica del sistema informático de evaluación y de la plataforma antes y durante la ejecución del examen.

  • A Mauricio Pilar Díaz por la cesión de la imagen de la dinámica del ECOE.

  • A Arsenio Vargas y Tania Vives Varela por su apoyo y comentarios en la redacción del manuscrito.

  • A todos los profesores y pacientes que participaron para el éxito del examen.

FINANCIAMIENTO. No se recibió financiamiento externo.

CONFLICTO DE INTERESES. No se informaron posibles conflictos de intereses relevantes para este artículo.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons