nova página do texto(beta)
Espanhol (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Enviar este artigo por email
Citado por SciELO 
Similares em
SciELO 
Permalink
INTRODUCCIÓN
La Facultad de Medicina (FM) de la Universidad Nacional Autónoma de México (UNAM), desde 2010, implementó un plan de estudios por asignaturas enfocado por competencias en la licenciatura de médico cirujano (LMC)1. La evaluación de las competencias en el examen profesional (EP) se desarrolla en dos fases: teórica y práctica, esta última se realiza mediante la aplicación del examen clínico objetivo estructurado (ECOE). Este método permite observar la interacción de los estudiantes con pacientes estandarizados para evaluar sus habilidades clínicas, ya que entre más semejanza exista con la práctica clínica habitual, mayor valor tendrá la evaluación. El ECOE ofrece un entorno de evaluación formativa y sumativa por lo que su utilización en la evaluación de competencias es común y la eficacia en la evaluación del aprendizaje clínico está ampliamente documentada2.
El ECOE lo inició Harden en 1975, la FM de la UNAM lo adoptó en 1998 y lo aplica desde 2002 en la fase práctica del EP a sus sustentantes y a los de las instituciones del sistema incorporado (ISI)2-4. A partir de 2015 se modificó y adaptó al formato del National Board of Medical Examiners (NBME)5,6. Se integra por estaciones clínicas que hacen referencia a los problemas más frecuentes a los que se enfrenta el médico general, tomados del programa académico de internado médico7. Para cada caso se desarrollan libretos, instrucciones para sustentantes con sus estudios de laboratorio y/o gabinete y guías para el evaluador en las que se especifican lo que debe de realizar el sustentante en cada una de las competencias8.
Un circuito del ECOE está constituido por seis estaciones y en cada una hay un caso clínico de cada área de la medicina. Durante 20 minutos los sustentantes desarrollan el estudio clínico del paciente (interrogatorio, exploración física específica, solicitan estudios de laboratorio y/o gabinete para integrar un diagnóstico, los diferenciales y el plan preventivo-terapéutico), al final realizan un resumen de la nota médica del problema del paciente y se hace el cambio de estación. Este proceso se continúa hasta completar las seis estaciones.8
Todos los evaluadores que participaron en el ECOE 2021 son médicos, académicos de la FM, capacitados y muchos de ellos cuentan con más de diez años de experiencia en su aplicación. Actualmente se cuenta con un total de 180 pacientes estandarizados y capacitados, la mayoría con experiencia de más de cinco años. Los pacientes son seleccionados acorde a su edad, género y complexiónidóneos para cada representación.
A partir del 2020, debido a la pandemia por COVID-19, las medidas de distanciamiento social se aplicaron a múltiples áreas, incluidas la enseñanza y la evaluación; por lo cual, las instituciones educativas modificaron esos procesos a fin de disminuir el riesgo de contagio entre los sustentantes, pacientes y evaluadores.
Los profesores tuvieron que hacer uso de las tecnologías de la información y la comunicación (TIC), a pesar de considerar que no estaban suficientemente preparados para utilizarlas plenamente9-11. Ante la evidencia del riesgo, se optó por hacer uso de la tecnología en ausencia de cualquier otra alternativa disponible12-14.
Asimismo, los procesos de evaluación en línea requieren más que una simple introducción al uso de las TIC, se requiere resolver una serie de imperativos que resaltan la importancia de diseñar, desarrollar, adaptar métodos y estrategias que hacen posible la evaluación, esto incluye, entre otros aspectos, la respuesta a las preguntas: ¿Cómo evaluar de manera justa? ¿Cómo mantener la validez de los distintos métodos? ¿Qué tan confiables serán? ¿Qué tan viable es hacerlo en línea? ¿Cuál es la aportación de las evidencias de validez con respecto a la calidad psicométrica del ECOE en línea?
En el presente estudio se entiende calidad psicométrica como las características de un instrumento de medición a partir de las evidencias de validez obtenidas, así como los procedimientos con los que se realizó dicho instrumento, los cuales permiten la interpretación de los puntajes obtenidos dentro de un marco conceptual15-17.
Algunas instituciones educativas del área de la salud han propuesto estrategias para la aplicación del ECOE en línea18-22. Sin embargo, se han centrado en detallar las modificaciones realizadas que permitieran la aplicación del ECOE y/o evaluar la satisfacción de los estudiantes posterior a su aplicación, dejando a un lado la calidad psicométrica del instrumento utilizado.
Por tanto, ante la necesidad de evaluar a distancia las competencias de los sustentantes, se desarrolló una estrategia institucional que permitiera aplicar el ECOE en línea.
OBJETIVO
El objetivo de este estudio fue evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias.
MÉTODO
La estrategia utilizada para determinar la calidad psicométrica del ECOE en línea y compararlo con la modalidad presencial fue analizar el procedimiento empleado en su diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba. A continuación se describen a detalle.
De abril a diciembre de 2020 se planificó y desarrolló la adaptación del ECOE a la modalidad en línea. El comité de expertos estuvo integrado por diez médicos, cinco psicólogos y tres ingenieros en sistemas, adscritos a la Secretaría de Educación Médica (SEM) de la FM. El equipo de trabajo se reunió de forma virtual (Zoom) constantemente para cumplir en tiempo y forma con el objetivo.
Los sustentantes del ECOE presencial fueron 927, y en la modalidad en línea 1,190, la mayor proporción en ambas modalidades fue de mujeres (65.3 y 70.3%, respectivamente).
Los ejes rectores para la adaptación en la modalidad en línea fueron:
1. Adecuación de los casos clínicos y de las rúbricas
Tanto los casos clínicos como las rúbricas que se utilizaron para la modalidad en línea se diseñaron con base en el ECOE presencial. Se revisó la redacción y las cuestiones técnicas de cada uno de los materiales utilizados. En cada uno de los casos se precisó la adecuación de la exploración física para evaluar la habilidad clínica, en este sentido, llegado el momento del acto médico, los sustentantes mencionarían y justificarían de forma verbal las regiones a explorar, los procedimientos específicos a realizar y la descripción de las maniobras a efectuar. Si eran pertinentes, el evaluador proporcionaría al sustentante, los datos requeridos y no más información. Se sustituyó el rubro de la nota médica por un “resumen clínico verbal” para sintetizar los datos más relevantes de la entrevista clínica, enfocándose en el mismo formato de nota médica (SOAP), justificando el o los diagnósticos y el plan preventivo-terapéutico.
2. Capacitación de evaluadores, pacientes estandarizados y sustentantes
Los evaluadores y pacientes estandarizados que participaron recibieron cursos de capacitación tanto de la plataforma para videoconferencias como de la adecuación metodológica de la prueba, de los materiales y de las rúbricas, con el objetivo de estandarizar su participación. Para los sustentantes se crearon materiales audiovisuales que describen el proceso de desarrollo del examen y fueron proporcionados a cada uno de ellos por los canales oficiales de comunicación de la FM.
3. Plataforma virtual
Para la aplicación en línea se utilizó la plataforma Zoom versión 5.0 (Zoom Video Communications Inc.; San José, California) debido a que la UNAM cuenta con licencia oficial para su uso y es considerada aula virtual de la institución. Esto permitió tener un control logístico eficiente y asegurar la calidad de la aplicación, pues mostró su facilidad de uso, ser una interfaz intuitiva con aplicación masiva y versatilidad.
4. Pruebas piloto
Se realizaron dos pruebas piloto con el objetivo de evaluar e identificar dificultades logísticas, operativas, técnicas y de conexión. Permitieron determinar las estrategias necesarias para resolverlas y limitar, en la medida de lo posible, los problemas durante la aplicación. En la primera prueba piloto se incluyeron sólo tres estaciones de diferentes áreas clínicas y participaron tres pasantes de servicio social de la LMC adscritos a la SEM. La segunda prueba constó de seis estaciones clínicas con una duración de 20 minutos cada una y participaron seis pasantes. Con ambas pruebas se evaluó la viabilidad de la nota médica y la sustitución de ella por un resumen clínico verbal que el sustentante comunicaría al final de la entrevista clínica.
Además, permitieron establecer las bases de las modificaciones necesarias en la habilidad de exploración física como se describió anteriormente. Previo a la aplicación de las pruebas, se enviaron los materiales de evaluación y la liga de acceso oportunamente a los evaluadores, pacientes estandarizados y pasantes, a estos últimos se les añadieron las instrucciones de cada caso.
Estructura y aplicación del ECOE presencial y en línea
Se cumplió con la normatividad vigente contenida en el reglamento general de exámenes de la UNAM y en las recomendaciones para la realización de los exámenes profesionales o de grado vía remota durante la contingencia sanitaria expresados en el oficio de la abogacía general23,24.
Los ECOE presencial y en línea estuvieron compuestos de seis estaciones (1. Cirugía, 2. Ginecología y obstetricia, 3. Medicina interna, 4. Medicina familiar, 5. Urgencias y 6. Pediatría), en ambas modalidades, cada una se evaluó con rúbricas holísticas diseñadas exprofeso con cuatro niveles de desempeño: bueno, suficiente, insuficiente y deficiente para cada competencia25(anexo 1). Las competencias evaluadas fueron:
1: Pensamiento crítico.
3: Comunicación.
4: Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas.
5: Habilidades clínicas.
6: Profesionalismo, aspectos éticos y responsabilidades legales.
7: Promoción de la salud y prevención de la enfermedad.
En la modalidad presencial y en línea las rúbricas se conformaron por 99 reactivos, el número se determinó de acuerdo con los indicadores de cada competencia expuesta en el plan de estudios de la LMC, con una distribución diferente para cada estación: la uno con 16 reactivos; la dos con 17; la tres con 15; la cuatro con 18; la cinco con 17; y la seis con 16. En cada estación se evaluaron cuatro competencias dependiendo del caso clínico con énfasis en las competencias 3 y 5.
El ECOE presencial se aplicó en siete días diferentes con un total de 140 circuitos con seis estaciones cada uno, en cuatro turnos por día. Se conformó de ocho versiones distintas, se utilizaron 48 casos clínicos diferentes, equivalentes en el área clínica, estructura de las competencias y grado de complejidad.
El ECOE en línea se aplicó en tres días diferentes con un total de 58 circuitos con seis estaciones cada uno, en tres o cuatro turnos por día. Constó de tres versiones de examen diferentes, se utilizaron 18 casos clínicos diferentes, equivalentes en el área clínica, estructura de las competencias y grado de complejidad.
En ambas modalidades la capacitación para los evaluadores y pacientes estandarizados fue la misma, con respecto del contenido de los casos clínicos, solo para la modalidad en línea, se capacitó a los evaluadores y pacientes en el uso de la plataforma Zoom. Para la modalidad presencial participaron 113 evaluadores y 85 pacientes estandarizados, incluyendo los de reserva, de acuerdo a su disponibilidad de horario. El ECOE en línea contó con la participación de 180 evaluadores y 180 pacientes estandarizados, incluyendo los de reserva, de acuerdo a su disponibilidad de horario. El incremento del personal en 2021 se debió al número reducido de días de aplicación. El 90% de los evaluadores y pacientes participantes de la modalidad presencial se mantuvieron en las mismas estaciones que en el ECOE en línea. La asignación de los sustentantes fue aleatoria, con base en el listado de la Secretaría de Servicios Escolares.
La mecánica de aplicación consistió en la identificación del sustentante y en la ubicación de este en la estación de inicio. Al comienzo, en cada una de ellas, el profesor envió por el chat de la plataforma las instrucciones del examen y la indicación del inicio de la prueba. El sustentante mantuvo su micrófono y cámara encendidos, los evaluadores apagaron su cámara y lo observaron interactuando virtualmente con el paciente. Llegado el momento de la exploración física, el evaluador proporcionó de forma verbal solo la información requerida y justificada. Para finalizar, el sustentante expresó verbalmente al evaluador el resumen clínico del paciente. Terminado el tiempo, fue conducido a la siguiente estación hasta completar el circuito (figura 1).
Análisis estadístico
Para evaluar la calidad psicométrica de cada uno de los instrumentos se calculó la discriminación de los reactivos utilizando la prueba t de Student, la consistencia interna del instrumento empleando el Alfa de Cronbach y la estructura por medio del análisis de componentes principales. Para lograr el objetivo del presente estudio se utilizó la prueba t de Student con medida del efecto. Para la realización de estos análisis se utilizó el paquete estadístico SPSS versión 25 (SPSS Statistics, IBM; Stanford, California).
CONSIDERACIONES ÉTICAS
Se eliminaron los identificadores individuales; se presentan únicamente resultados agregados, siempre se mantuvo el anonimato de los sustentantes en la elaboración del manuscrito. Los participantes dieron su consentimiento informado.
RESULTADOS
Para lograr el objetivo del presente estudio se muestran a continuación las evidencias de validez observadas en los ECOE presencial y en línea, se describen cinco categorías: contenido, proceso de respuesta, estructura interna, relación con otras variables y consecuencias26(tabla 1).
Tabla 1 Fuentes de evidencia de validez para los ECOE profesionales en la evaluación de competencias
| Categoría de evidencia de validez | Fuentes de evidencia de validez | 2020 | 2021 |
|---|---|---|---|
| Contenido | Realimentación a partir de las pruebas piloto. | ✓ | ✓ |
| Acreditación de expertos, experiencia y capacitación dirigida en el instrumento. | ✓ | ✓ | |
| Estandarización en el diseño de casos clínicos para las estaciones con el objetivo de alinear el contenido del reactivo con las especificaciones del instrumento. | ✓ | ✓ | |
| Elaboración de tablas de especificaciones con base en el plan de estudios de la LMC. | ✓ | ✓ | |
| Diseño de casos clínicos con base en la epidemiología del primer nivel de atención. | ✓ | ✓ | |
| Adecuación colegiada de las habilidades de exploración física y nota médica. | ✓ | ✓ | |
| Formación de un comité de expertos de la SEM para la elaboración de la prueba. | ✓ | ✓ | |
| Capacitación de los pacientes estandarizados para una representación consistente con los libretos. | ✓ | ✓ | |
| Experiencia de más de cinco años de la mayor proporción de pacientes estandarizados. | ✓ | ✓ | |
| Equivalencia de las versiones en el área clínica, estructura de competencias y grado de complejidad. | ✓ | ✓ | |
| Proceso de respuesta | Familiarización de los sustentantes con el ECOE por tres experiencias previas (EAAs) con esta prueba. | ✓ | ✓ |
| Experiencia de más de diez años de los evaluadores en la prueba. | ✓ | ✓ | |
| Capacitación de evaluadores en el examen. | ✓ | ✓ | |
| Participación de la mayoría de evaluadores con formación en medicina general / familiar. | ✓ | ✓ | |
| Diseño de las actividades de evaluación al simular el acto médico que se desarrolla en el primer nivel de atención. | ✓ | ✓ | |
| Evaluación con rúbricas holísticas diseñadas exprofeso y validadas por profesores externos, compuestas de cuatro niveles de desempeño y con descriptores detallados de cada una de las competencias. | ✓ | ✓ | |
| Ejecución de pruebas piloto con el objetivo de evaluar e identificar dificultades: logísticas, operativas, técnicas y de conexión. | ✓ | ✓ | |
| Monitorización constante de coordinadores en el proceso de evaluación durante la ejecución de la prueba. | ✓ | ✓ | |
| Validación clave y precisión de los puntajes durante el análisis estadístico. | ✓ | ✓ | |
| Utilización del software denominado “sistema automatizado para calificar los ECOE” | ✓ | ✓ | |
| Estructura interna | Análisis de discriminación de los 99 reactivos que componen al instrumento (diferencia entre puntajes altos y bajos p < 0.001). | ✓ | ✓ |
| Consistencia interna de la prueba (Alfa de Cronbach; 0.96 y 0.93, respectivamente). | ✓ | ✓ | |
| Estructura de la prueba (análisis de componentes principales: seis factores identificados para la modalidad presencial y seis factores más cinco indicadores para el ECOE en línea, que explican el 60.7% y 56.6%, respectivamente) | ✓ | ✓ | |
| Relación con otras variables | No se obtuvo en este estudio. | ✓ | ✓ |
| Consecuencias | Al ser examen profesional tiene altas consecuencias, aprobar o quedar suspendido. | ✓ | ✓ |
ECOE: Examen Clínico Objetivo Estructurado; LMC: licenciatura de médico cirujano; EAAs: evaluaciones del avance académico.
Evidencia de validez de contenido: En el diseño de ambas modalidades del ECOE se hace referencia a la relación entre el comportamiento presentado por el sustentante entre las competencias del plan de LMC evaluadas y cómo se representan estas en las estaciones que conforman el examen. Esto se realizó con la verificación de los contenidos por el juicio de expertos en el área (evaluadores y pacientes estandarizados).
Evidencia de validez del proceso de respuesta: El instrumento se diseñó de acuerdo con los comportamientos que simulan el acto médico que se desarrolla en el primer nivel de atención, lo cual se obtuvo siguiendo el procedimiento ejecutado para el diseño de rúbricas holísticas para ECOE25.
Evidencia de validez de estructura interna: Al evaluar la discriminación de los reactivos en ambos instrumentos se observó que los 99 permiten distinguir entre puntajes altos y bajos (p < 0.001), la consistencia interna de la prueba obtuvo un Alfa de Cronbach de 0.96 para el ECOE presencial y de 0.93 para el ECOE en línea considerando los 99 reactivos que integran la totalidad de las seis competencias evaluadas. Para la estructura interna del instrumento presencial se identificaron seis factores que explican el 60.7% de la varianza y 6 factores más cinco indicadores para la modalidad en línea con una varianza explicada de 56.6% (tabla 2 y anexo 2). Los seis factores de la modalidad presencial se agrupan de acuerdo a las seis estaciones evaluadas, en tanto, en la modalidad en línea 6 factores hacen referencia a las seis estaciones más 5 indicadores que no cubren el requisito para integrar un factor.
Evidencia de validez de relación con otras variables: De acuerdo con el enfoque del presente estudio, no se obtuvo.
Evidencia de validez de las consecuencias de la prueba: Al ser examen profesional tiene altas consecuencias, aprobar o quedar suspendido.
Tabla 2 Análisis psicométrico
| Discriminación† | Consistencia interna | Estructura de la prueba Análisis de componentes principales | |||
|---|---|---|---|---|---|
| Alfa de Cronbach | Factores identificados | Varianza explicada (%) | KMO/ | ||
| ECOE 2020 | <0.001 | 0.96 | 6 | 60.7 | 0.95* |
| ECOE 2021 | 0.93 | 6 factores más 5 indicadores | 56.6 | 0.91* | |
*Esfericidad de Bartlett, Sig. <0.001.
†La discriminación corresponde a los 99 reactivos de ambos instrumentos.
Para conocer el desempeño presentado por los sustentantes se calcularon sus calificaciones por competencias y habilidades clínicas de acuerdo al tipo de contenido establecido en la tabla de especificaciones diseñada para las rúbricas del ECOE presencial y en línea.
Como se mencionó al inicio, la calidad psicométrica de un instrumento se sustenta en sus evidencias de validez y los procedimientos con los que se realizó para poder convertir los datos en información. A continuación se describen los resultados que permiten observar el nivel de desempeño de los sustentantes, las competencias y sus habilidades clínicas (tablas 3y4).
Tabla 3 Puntaje global de los sustentantes por competencias clínicas del ECOE en línea (n = 1,190)
| Competencia | Presencial/2020†(puntos) | En línea/2021 (puntos) | Valor de t | p* | Magnitud del efecto‡ |
|---|---|---|---|---|---|
| 1. Pensamiento crítico, juicio clínico, toma de decisiones y manejo de información | 71.4 ± 14.1 | 79.8 ± 13.5 | -13.91 | <0.001 | 0.29 |
| 3. Comunicación efectiva | 78.4 ± 7.5 | 84.4 ± 8.2 | -17.36 | <0.001 | 0.35 |
| 4. Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas en el ejercicio de la medicina | 68.4 ± 12.8 | 69.6 ± 12.8 | -2.03 | 0.043 | 0.04 |
| 5. Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación | 71.0 ± 7.6 | 77.5 ± 8.8 | -17.82 | <0.001 | 0.37 |
| 6. Profesionalismo, aspectos éticos y responsabilidades legales | 77.2 ± 10.3 | 85.0± 9.28 | -18.05 | <0.001 | 0.37 |
| 7. Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad | 68.8 ± 13.3 | 73.2 ± 14.3 | -7.22 | <0.001 | 0.16 |
Media ± desviación estándar.
*Los valores de p se obtienen al comparar el ECOE presencial 2020 y en línea 2021. Valor p < 0.05 obtenido utilizando prueba de T student.
†Puntaje del ECOE presencial de 2020, n = 927. Los resultados se expresan en una escala máxima de 100 puntos.
‡ Valores: r > 0.8 se considera una magnitud del efecto con alta magnitud, r > 0.6 moderada alta, r > 0.5 moderada media, r > 0.3 moderada baja, r > 0.2 de alta magnitud (Cohen, 1988). La magnitud del efecto (ME) se define como el grado de generalidad que posee esa superioridad de A sobre B en la población de la que se obtuvo la muestra estudiada. De esta manera, la ME se refiere a la magnitud de un efecto que es, en este ejemplo, la diferencia entre un tratamiento nuevo A y otro clásico B. (Ledesma y cols., 2008).
Tabla 4 Puntaje global de los sustentantes por habilidades clínicas del ECOE en línea (n = 1,190)
| Competencia | Habilidades clínicas | Presencial/2020†(puntos) | En línea/2021 (puntos) | Valor de t | p* | Magnitud del efecto‡ |
|---|---|---|---|---|---|---|
| 1 | Pensamiento crítico | 71.4 ± 14.1 | 79.8 ± 13.5 | -13.91 | <0.001 | 0.29 |
| 3 | Responde a las necesidades del paciente | 78.1 ± 8.0 | 83.8 ± 9.1 | -14.96 | <0.001 | 0.31 |
| Coherencia en la entrevista | 77.1 ± 8.5 | 83.6 ± 8.9 | -15.44 | <0.001 | 0.32 | |
| Expresión verbal | 79.03 ± 8.0 | 85.9 ± 9.1 | -17.40 | <0.001 | 0.35 | |
| Expresión no verbal | 79.06 ± 8.5 | 84.3 ± 9.5 | -13.20 | <0.001 | 0.28 | |
| 4 | Diagnóstico diferencial | 70.6 ± 12.5 | 68.6 ± 15.9 | 3.30 | <0.001 | 0.09 |
| Fisiopatología | 66.1 ± 14.6 | 71.8 ± 19.6 | -7.33 | <0.001 | 0.16 | |
| 5 | Interrogatorio | 74.2 ± 9.4 | 82.5 ± 10.2 | -19.15 | <0.001 | 0.38 |
| Exploración física | 74.6 ± 9.1 | 76.6 ± 11.5 | -4.34 | <0.001 | 0.09 | |
| Estudios de laboratorio | 70.0 ± 9.7 | 72.7 ± 11.5 | -5.72 | <0.001 | 0.12 | |
| Diagnóstico | 70.3 ± 9.9 | 75.8 ± 11.5 | -11.55 | <0.001 | 0.24 | |
| Fundamentación del diagnóstico | 69.6 ± 10.7 | 75.8 ± 12.0 | -12.39 | <0.001 | 0.26 | |
| Plan preventivo / terapéutico | 67.2 ± 10.4 | 73.3 ± 11.9 | -12.28 | <0.001 | 0.28 | |
| Calificación del paciente | 78.66 ± 9.0 | 85.0 ± 9.6 | -15.48 | <0.001 | 0.32 | |
| Resumen clínico | 62.9 ± 10.0 | 79.0 ± 10.1 | -36.42 | <0.001 | 0.62 | |
| 6 | Profesionalismo | 80.5 ± 10.3 | 87.4 ± 10.0 | -15.57 | <0.001 | 0.32 |
| Aspectos éticos | 77.9 ± 10.8 | 86.0 ± 10.5 | -17.18 | <0.001 | 0.35 | |
| Responsabilidades legales | 73.2 ± 12.7 | 81.8 ± 11.9 | -15.95 | <0.001 | 0.33 | |
| 7 | Promoción de la salud | 68.8 ± 13.2 | 73.2 ± 14.3 | -7.22 | <0.001 | 0.16 |
Media ± desviación estándar.
*Los valores de p se obtienen al comparar el ECOE presencial 2020 y en línea 2021. Valor p < 0.05 obtenido utilizando prueba de T student.
†Puntaje del ECOE presencial de 2020, n = 927. Los resultados se expresan en una escala máxima de 100 puntos.
‡Valores: r > 0.8 se considera una magnitud del efecto con alta magnitud, r > 0.6 moderada alta, r > 0.5 moderada media, r > 0.3 moderada baja, r > 0.2 de alta magnitud (Cohen, 1988). La magnitud del efecto (ME) se define como el grado de generalidad que posee esa superioridad de A sobre B en la población de la que se obtuvo la muestra estudiada. De esta manera, la ME se refiere a la magnitud de un efecto que es, en este ejemplo, la diferencia entre un tratamiento nuevo A y otro clásico B. (Ledesma y cols., 2008).
Se calcularon los puntajes en una escala máxima de 100 puntos. A pesar de que hubo diferencias estadísticamente significativas a favor del ECOE en línea, solamente las competencias 3, 5 y 6 tuvieron una magnitud del efecto mayor a 0.3; en contraste, las competencias 1, 4 y 7 tuvieron baja magnitud del efecto (r ≤ 0.3). Asimismo, de las 19 habilidades clínicas evaluadas, en nueve se observaron diferencias estadísticamente significativas y magnitud del efecto alto con mayor puntaje para la modalidad en línea; por ejemplo, en las habilidades de interrogatorio y resumen clínico tuvieron r = 0.38 y r = 0.62, respectivamente. Por otra parte, la exploración física, que fue modificada para el ECOE en línea, presentó diferencia estadísticamente significativa con respecto al ECOE presencial; sin embargo, tuvo magnitud del efecto bajo (r = 0.09) (tablas 3 y 4).
DISCUSIÓN
Con respecto a la calidad psicométrica del examen, se observó que la modalidad en línea permite la interacción virtual con los participantes, esto confirma que los avances y la amplia utilización de la telemedicina a nivel mundial son de utilidad en la educación y la evaluación, además de la práctica clínica a distancia27. De forma consistente otra institución realizó un ECOE en línea, constituido por seis estaciones, se aplicaron rúbricas holísticas validadas y se usó la plataforma Zoom18,25. Por otra parte, en odontología se han aplicado ECOE con metodología similar a grupos pequeños; sin embargo, se han centrado en conocer la opinión sobre la satisfacción de los participantes en esta modalidad, sin aportar evidencias sobre la eficiencia y el desempeño de los evaluados19-22.
Los resultados de las evidencias de validez de contenido indican que el procedimiento seguido para el desarrollo de ambas modalidades cumple la pertinencia y relevancia de los comportamientos observados en las estaciones. Los requerimientos para desarrollar la modalidad en línea fueron similares a los empleados en el presencial, con la diferencia de las reuniones de los participantes, que se realizaron de forma remota.
Además, debido a las características de la modalidad en línea, se adecuaron las habilidades de exploración física y nota médica de forma colegiada. Con respecto a la exploración física se observó consistencia en este procedimiento con lo realizado en otro estudio18. La nota médica se sustituyó por un resumen clínico verbal y tuvo un desempeño alto con respecto al presencial, lo cual se explica a partir de la posibilidad de poder describir y argumentar con más información al evaluador para expresar el problema del paciente. El desempeño observado en el resto de las habilidades clínicas fue similar en ambas modalidades. Por lo tanto, la modalidad en línea, al igual que la presencial, permite obtener información precisa y válida sobre el desempeño de las competencias en sustentantes de la LMC.
Con base en la evidencia de validez del proceso de respuesta, se consideró la complejidad de las habilidades clínicas bajo la directriz de la aplicación de conocimientos, conceptos y la solución de problemas médicos en el primer nivel de atención. La utilización de rúbricas holísticas diseñadas exprofeso, validadas y detalladas para evaluar el desempeño de las competencias de los sustentantes permitieron disminuir la subjetividad de los evaluadores, lo cual se aprecia en los resultados observados en la ejecución de las habilidades clínicas, con niveles semejantes en ambas modalidades. Por otra parte, para garantizar la consistencia en el proceso de respuesta, se mantuvo a un 90% de los evaluadores y pacientes estandarizados en las dos modalidades, al porcentaje restante se le proporcionó el acompañamiento para la realización de sus actividades.
Los sustentantes de ambas modalidades estaban familiarizados con el tipo de actividades en el ECOE, las dos poblaciones participaron en tres exámenes diagnóstico-formativos después de concluir segundo, tercero y cuarto año, respectivamente (Evaluaciones del Avance Académico I, II y III). Esto contribuyó con el desempeño alto de las habilidades clínicas, como lo observado en varios estudios que han reportado que la familiarización de las actividades del ECOE puede conducir a niveles más bajos de ansiedad y mayor confianza, lo que lleva a una puntuación más alta28-30.
Con referencia a la evidencia de validez de la estructura interna de la prueba, los valores psicométricos calculados para los 99 reactivos de las rúbricas de las seis competencias en ambas modalidades fueron: la discriminación, la consistencia interna y la estructura de la prueba. Los valores obtenidos en el análisis de discriminación indican que las calificaciones de los sustentantes permiten distinguir entre aquellos que tienen un desempeño óptimo y los que tienen uno deficiente, lo cual, señala que el instrumento cumple su función para identificar el nivel de ejecución del comportamiento en el ECOE. Con base en el valor obtenido para la consistencia interna del instrumento utilizado en las dos modalidades, indica que en los dos ECOE permiten observar un desempeño sistemático bajo las condiciones del examen de forma consistente. Finalmente, para la estructura de la prueba en ambas modalidades, el eje que agrupa a los 99 reactivos de las rúbricas son las estaciones del examen, una explicación plausible de esta estructura es que el caso que define a la estación funciona como un “organizador clínico-cognitivo”, ya que la resolución del problema del paciente estandarizado requiere de la adecuada integración e interdependencia de las competencias, como sucede en el acto médico, lo cual es la intención del ECOE.
De acuerdo con el enfoque del estudio, las evidencias de validez de su relación con otras variables no se obtuvieron debido a que, hasta este momento, las calificaciones obtenidas no cuentan con otros datos para identificar relaciones.
En la evidencia de validez de las consecuencias, el sustentante aprueba o queda suspendido debido a la naturaleza de un examen profesional.
Fortalezas y áreas de oportunidad
Los resultados obtenidos a partir del examen en línea indican que esta modalidad proporciona información certera, al igual que en la presencial, para la evaluación de las competencias clínicas. El proceso de diseño y validación, aunado a la experiencia previa de los evaluadores y pacientes estandarizados, además de la capacitación para este examen, son aspectos relevantes a resaltar que tiene este ECOE.
Entre algunos obstáculos identificados en la parte operativa, destaca la inestabilidad en la conexión de algunos dispositivos de los participantes, lo que extendió el tiempo y el número de turnos del examen.
Para tener mayor seguridad en la aplicación del examen y observar al sustentante desde otro ángulo, se recomienda el uso de una segunda cámara o un software especializado para así tener otra perspectiva del entorno del mismo y poder identificar algún factor externo que estuviera interviniendo en su desempeño22.
CONCLUSIONES
La adaptación del ECOE a la modalidad en línea mostró una calidad psicométrica adecuada, en las diferentes fuentes de evidencias de validez, en especial en la evidencia de la estructura interna de la prueba lo que le da solidez del instrumento para obtener puntajes interpretables dentro de un marco de referencia. Las habilidades clínicas de ambas modalidades mostraron diferencias significativas con una magnitud del efecto “moderada baja” en nueve habilidades clínicas, en el resto no se observaron diferencias, lo cual indica una similitud de ambas pruebas.
Dado que las instituciones educativas necesitan métodos sólidos para evaluar a distancia las competencias de los sustentantes y que sean comparables a los utilizados de manera presencial, se observó que la modalidad en línea es una alternativa factible para la evaluación de competencias clínicas para exámenes de altas consecuencias en ciencias de la salud. Además, este estudio provee las bases para un modelo híbrido de la evaluación, categorizando estaciones apropiadas para las modalidades presencial y en línea.
El análisis de los resultados proporciona información importante para realimentar los planes y programas académicos en sus áreas biomédica, sociomédica y clínica para tomar decisiones sobre la formación de los profesionales de la salud, además de dar pie al ensayo de otras metodologías y a la mejora continua de la estrategia diseñada.
Finalmente, el ECOE que se realiza en la FM desde 2015 es un referente, debido a la forma integral en que evalúa las competencias clínicas en la LMC. Se propone esta modalidad en línea como una alternativa que reduce costos, es útil en escenarios remotos, disminuye la movilidad, aumenta la seguridad de los participantes en la transportación y en la salud, entre otros.
