nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La competencia clínica es una combinación de conocimientos, habilidades y actitudes para desempeñarse adecuadamente en un entorno de atención al paciente. El concepto se reconoce mediante la observación de múltiples atributos asociados con la relación entre médico-paciente tales como: conocimiento del paciente a través de la historia y examen físico, diagnóstico y determinación de opciones de intervención y tratamiento a través de un diálogo que atiende principios fundamentales de profesionalismo1. El Examen Clínico Objetivo Estructurado (ECOE) es uno de los métodos más utilizados para evaluar la competencia clínica en las profesiones de la salud debido a que permite determinar el nivel de desarrollo de la misma a partir de conductas observables en un encuentro clínico simulado y estandarizado2.
Aunque los ECOE se utilizan en varios países del mundo, los desafíos logísticos y de recursos humanos de la implementación de los exámenes ECOE presentan serios obstáculos para las escuelas de medicina con recursos limitados3. En México, el ECOE se introdujo en 1997 en la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) como una herramienta de evaluación formativa y sumativa para estudiantes de medicina4. En general, pocas instituciones han aplicado la metodología ECOE para la evaluación formativa y sumativa en las escuelas de medicina mexicanas. López-Bárcena et al informaron en un estudio interinstitucional en México, en el cuál evaluaban el conocimiento y la competencia clínica con preguntas de opción múltiple y un ECOE de 18 estaciones en 8 escuelas de medicina5.
Esta herramienta es particularmente deseable que sea integrada durante el internado, cuando los alumnos participan en entornos hospitalarios, y que por su nivel de inmersión deberían demostrar su capacidad para apoyar este tipo de contextos de alta complejidad. El objetivo del internado es desarrollar a los estudiantes el desarrollo de la competencia clínica a partir de la participación de los estudiantes en encuentros clínicos con pacientes reales en entornos supervisados. Las áreas de práctica incluyen medicina interna, pediatría, cirugía general, ginecología y obstetricia, emergencias y medicina familiar4.
Durante el internado, los alumnos se encuentran sometidos a una gran carga de trabajo, por lo cual en ocasiones no reciben la supervisión y realimentación con la oportunidad y calidad deseadas6. Así mismo, los profesores se encuentran con roles duales de enseñanza y atención clínica que les limita en su alcance para establecer mecanismos adecuados para medir el desempeño de los alumnos7. El ECOE es una oportunidad para hacer pausas a intervalos adecuados para evaluar a los estudiantes de forma que se pueda favorecer su aprendizaje y desarrollo durante el internado.
El objetivo de este estudio es describir una colaboración entre tres escuelas de medicina para el diseño de escenarios, procesos y productos académicos. El objetivo es explicar la forma de desplegar la metodología para generar consenso entre las instituciones participantes para la creación de casos junto con herramientas de evaluación y gestión de forma conjunta. Se muestra además la identificación múltiples evidencias de validez del ECOE implementado.
Método
El estudio consiste en un análisis descriptivo de cada una de las fases para la formalización, el diseño, implementación y validación de un ECOE a partir un esfuerzo de colaboración entre escuelas de medicina. De acuerdo a Sabiote8 en este tipo de análisis cualitativo se considera al investigador como participante activo experto del proceso de indagación desde una perspectiva naturalista. Se contemplan cuatro fases como se muestra en la Figura 1, de las cuales las primeras tres se incluyen como parte del método y la fase 4 como parte de los resultados del estudio.
Fase 1: Formalización del consorcio y lanzamiento
La organización National Board of Medical Examiners (NBME) es "una organización independiente sin fines de lucro que sirve al público a través de evaluaciones de alta calidad de profesionales de la salud" con sede en Filadelfia, EE. UU. (https://www.nbme.org). El NBME creó un programa de premios "para mejorar la calidad de la evaluación de los estudiantes de medicina en América Latina". Cada premio proporciona hasta $50,000 USD durante un período de dos años para fomentar el desarrollo de un consorcio regional de evaluación de escuelas de medicina. Las propuestas se diseñan para tener un impacto amplio y sostenible en la región.
Dentro de esta convocatoria, se estableció un consorcio formal entre tres escuelas de medicina en México: la Universidad Nacional Autónoma de México (UNAM) en la Ciudad de México, el Tecnológico de Monterrey (ITESM) en Monterrey, Nuevo León y la Universidad Autónoma de San Luis Potosí (UASLP) en San Luis Potosí. El proyecto fue la evaluación de la competencia clínica de los estudiantes de medicina utilizando un ECOE formativo al término del internado médico. La UNAM y la UASLP son universidades públicas y el Tecnológico de Monterrey es una escuela privada. Todas son escuelas prestigiosas y acreditadas. La UNAM tiene experiencia desde 1997 en el uso de los ECOE para estudiantes de medicina y residentes, mientras que las otras dos escuelas tenían una exposición y capacitación limitadas en la metodología. Se estableció un acuerdo por escrito entre el consorcio de las escuelas mexicanas y el NBME. La Facultad de Medicina de la UNAM fue el líder del consorcio, aunque todas las decisiones y recursos fueron compartidos por los equipos participantes de las tres escuelas de medicina. El proyecto tuvo una duración de dos años, periodo durante el cual las escuelas de medicina involucradas brindaron apoyo administrativo y financiero a los miembros del equipo, con el apoyo de la NBME.
Fase 2: Diseño de escenarios y capacitación a evaluadores y pacientes estandarizados.
El contenido de los casos clínicos y su correspondiente escenario fue diseñado por un comité de 18 profesores de las tres escuelas de medicina, capacitados y asesorados por un grupo de expertos del National Board of Medical Examiners (NBME) siguiendo la metodología de Furman (2008). Se desarrolló un ECOE formativo con estaciones de 15 minutos por caso para dejar tiempo para comentarios individuales a los estudiantes.
El enfoque de 12 pasos de Haladyna y Downing para el desarrollo de pruebas objetivas se utilizó como esquema conceptual9. El grupo diseñó y aprobó la tabla de especificaciones orientada a cubrir un total de seis especialidades del internado médico: medicina interna, pediatría, cirugía general, ginecología-obstetricia, emergencias y medicina familiar. El nivel de complejidad de los casos se relacionó con consideraciones epidemiológicas locales de atención primaria. Para su despliegue, un total de 81 docentes clínicos fueron capacitados con los casos previamente diseñados.
Cada escuela reclutó adultos sanos como pacientes estandarizados (el caso pediátrico estuvo representado por un padre simulado). Un total de 36 pacientes fueron entrenados para representar con precisión la historia clínica, los hallazgos físicos del caso, y utilizaron un instrumento estandarizado para evaluar al estudiante. Se desarrolló una rúbrica que incluye nueve atributos para evaluar la competencia clínica, con una escala de cuatro niveles de desempeño (insuficiente, suficiente, bueno y excelente). (Anexo 1)
Fase 3: Implementación del ECOE en tres escuelas de medicina
Se realizó una prueba piloto en cada una de las sedes con el fin de mejorar la claridad y relevancia de 10 estaciones elaboradas de acuerdo a los sugerido por Navas et al.10. En esta fase en total participaron 40 estudiantes y 80 profesores. La experiencia permitió que se ajustara el contenido de los casos y se eliminara una de las estaciones. En el ECOE final participaron 93 estudiantes (UNAM=57, ITESM = 18, UASLP = 18) aplicando muestreo por conveniencia11.
Las estaciones utilizadas se presentan en la Tabla 1.
Tabla 1 Estaciones clínicas del ECOE formativo
| Especialidad Médica | Estación |
| Medicina Interna | Dificultad para respirar, constipación |
| Pediatría | Convulsiones |
| Cirugía General | Dolor de rodilla |
| Ginecología y obstetricia | Dolor abdominal |
| Medicina de Emergencias | Dolor en el pecho |
| Medicina Familiar | Ardor al orinar, cansancio, dificultad para dormir |
Resultados
Fase 4: Validación de la implementación y productos académicos
El marco de validez holístico de Kane se utilizó para identificar y desarrollar las fuentes de evidencia de validez de prueba12. Hay cinco fuentes principales de evidencia de validez en las pruebas: contenido, proceso de respuesta, estructura interna, relación con otras variables y consecuencias13. Kreptul y Thomas14 publicaron una revisión sistemática del ECOE en programas de medicina familiar. La implementación de instrumentos apropiados para evaluar la competencia clínica es relevante para todos los niveles de educación médica. La evaluación de la competencia clínica en estudiantes de medicina tiene sus propias implicaciones, ya que generalmente no son responsables de las decisiones de manejo del paciente. El uso del ECOE como herramienta para evaluar a los estudiantes de medicina con evidencia de validez y confiabilidad se ha encontrado como efectivo en varios países15,16. Para el presente estudio la Tabla 2 indica la forma de determinar las fuentes de evidencia de validez en cada una de las dimensiones.
Tabla 2 Fuentes de evidencia de validez para la prueba formativa ECOE para evaluar la competencia clínica al término del internado médico de pregrado [6,7].
| Categoría de evidencia de validez | Fuentes de evidencia de validez para la prueba ECOE |
| Contenido | Credenciales de expertos en la materia,
experiencia y capacitación enfocada. • Consenso en el desarrollo de estaciones, haciendo coincidir el contenido del ítem con las especificaciones de prueba. • Diseño de planos y especificaciones de prueba para el examen, teniendo en cuenta los planes de estudio locales • Comentarios del estudio piloto •Formación de los pacientes estandarizados • Los mismos materiales de caso y métodos de capacitación empleados en las tres instituciones, con énfasis en la presentación realista de casos |
| Proceso de respuesta | Estudio piloto para aumentar la familiaridad
del estudiante con el método ECOE. • Los maestros con experiencia clínica fueron capacitados como examinadores de la competencia clínica desde la fase de preparación • Escalas y rúbricas de calificación global desarrolladas por expertos en la materia clínica, con niveles de competencia clínica • El estudio piloto y el desarrollo del profesorado mejoraron el control de calidad de la puntuación • Validación clave y precisión de puntajes durante el análisis estadístico. •Uso de la aplicación diseñada para la puntuación del evaluador |
| Estructura interna | Análisis de ítems de la aplicación ECOE
• Fiabilidad del puntaje del instrumento (coeficiente alfa y G de Cronbach) • Análisis de componentes principales, análisis de discriminación. |
| Relación con otras variables | No se obtuvo en este estudio |
| Consecuencias | Evaluación formativa con retroalimentación
directa a los estudiantes en cada estación. • No consecuencias sumativas |
La validez de contenido se determinó desde el diseño de los casos y se mejoró con la prueba piloto. La metodología de diseño de estos documentos corresponde a una integración de las propuestas de Trejo-Mejía, Blee-Sánchez, y Peña-Balderas17 y Park, Chibnall, Blaskiewwics, Furman, Powell y Mohr18. El proceso de respuesta se calculó para cada estación aplicando el índice de acuerdo entre evaluadores con la prueba Kappa de Fleiss. La Tabla 3 muestra que los rangos van de bajos a moderados. Las estaciones que presentan mayor número de acuerdo en las observaciones realizadas por los evaluadores son: dolor abdominal, ardor para orinar, problemas para dormir y convulsiones. En tanto que la estación de cansancio manifiesta el menor número de acuerdos (4 de 9).
Tabla 3 Índice de acuerdo entre evaluadores (Kappa de Fleiss)
| Estación | Valor Kappa | Atributos en acuerdo |
| 1.Dolor de rodilla | 0.32 a 0.48 | 5 de 9 |
| 2.Constipación | 0.15 a 0.30 | 6 de 9 |
| 3.Dolor en el pecho | 0.30 a 0.49 | 5 de 8 |
| 4.Convulsiones | 0.34 a 0.57 | 5 de 8 |
| 5.Dolor abdominal | 0.35 a 0.60 | 5 de 9 |
| 6.Ardor para orinar | 0.25 a 0.52 | 7 de 9 |
| 7.Dificultad para respirar | 0.18 a 0.48 | 5 de 9 |
| 8. Problemas para dormir | 0.43 a 0.73 | 5 de 9 |
| 9. Cansancio | 0.34 a 0.68 | 4 de 9 |
La estructura interna de la Guía sintética del evaluador en su totalidad tuvo un Alpha de Cronbach de 0.94, el cual aceptable según Vogt19 y supera el rango de otros estudios equivalentes los cuales han determinado aspectos psicométricos del ECOE como el Alpha de Cronbach en rangos entre 0.62 y 0.9320,21 22,23,24,25. Para calcular el coeficiente G, se empleó un modelo cruzado anidado considerando como facetas las estaciones y la sede. Se aprecia un valor de coeficiente G alto (0.80), lo cual se encuentra cerca del rango superior de otras investigaciones, que calculado el coeficiente G, el cual varía entre 0.42 y 0.84 22,26,27,28,29,30,31,32.
En cuanto a las consecuencias de la prueba, los estudiantes fueron realimentados sobre su desempeño exclusivamente para fines formativos. Como estadística descriptiva, se indica que la media de la competencia clínica fue de 63.04 en escala de 100, la desviación estándar manifiesta las características de la dispersión de los puntajes adecuada para el tamaño de la muestra (8.7) y los datos observados. Esto es superior al estudio de López Bárcernas et al.5 quienes mostraron medias combinadas por área: 57.9 medicina interna, 52.2 pediatría, 60.2 cirugía general, 61.9 ginecología obstétrica y 49.7 en salud comunitaria.
Antes de iniciar los análisis psicométricos se identificó la distribución de los datos.
La asimetría y la curtosis manifiestan la presencia en la distribución normal de una curva leptocúrtica con sesgo neutro, que se reiteró con la prueba de Kolmogorov con corrección de Lilliefors, la cual obtuvo un puntaje global de 0.20. Se realizó un análisis de discriminación utilizando la prueba t de Student, con la intención de identificar si los reactivos distinguen entre altos y bajos puntajes. Los resultados en las 9 estaciones fueron aceptables (0.02-0.00).
La Tabla 4 muestra los resultados del análisis de componentes principales, con la varianza explicada por área de especialidad. A partir de los datos observados en la matriz de coeficientes de las puntuaciones factoriales y con el fin de reducir el número de variables que tienen cargas altas en cada factor y a la vez simplificar la interpretación de los factores, se decidió emplear la rotación Varimax con normalización Kaiser, esta convergió en 8 iteraciones. La prueba de adecuación muestral Kaiser Meyer Olkin registró un valor adecuado de 0.80, en tanto el nivel de significancia para la prueba de esfericidad de Bartlett fue de 0.00, lo cual indica un ajuste apropiado de las variables incluidas en el análisis. Se identificaron seis factores que corresponden a las seis áreas de especialidad médica, estas explicaron el 69.08 % de la varianza. El área con el mayor porcentaje de varianza explicada fue la de cirugía general (29.58%), mientras que la estación con menor varianza fue la de medicina interna (4.72%).
Tabla 4 Análisis formativo de componentes principales del ECOE, por área de especialidad
| Especialidad | Eigen valores | % de varianza explicada | % global de varianza explicada |
| Medicina Interna | 0.54 a 0.76 | 4.72 | 69.08 |
| Pediatría | 0.38 a 0.85 | 6.96 | |
| Cirugía general | 0.44 a 0.87 | 29.58 | |
| Ginecología y obstetricia | 0.53 a 0.88 | 8.50 | |
| Medicina de emergencias | 0.53 a 0.83 | 5.66 | |
| Medicina Familiar | 0.47 a 0.91 | 13.63 |
Hubo varios productos académicos intencionados y fortuitos como resultado de la participación en las actividades del proyecto: presentaciones en reuniones médicas, manuscritos para publicación, iniciativas de desarrollo del profesorado, una tesis de doctorado y el programa estandarizado de pacientes (Anexo 2).
Otro producto del proyecto fue el desarrollo, desde cero, de una aplicación de software basada en Android para capturar los datos de evaluación con tabletas en cada estación. La aplicación tenía una interfaz gráfica de usuario fácil de usar y fue utilizada por los evaluadores en la aplicación de prueba final del ECOE. Las tabletas se adquirieron con los fondos de la subvención y se utilizaron en la prueba final para convertirse en parte de los recursos designados de cada escuela después del final del proyecto.
Discusión
El proyecto fue un éxito en términos de sus objetivos establecidos, con varias consecuencias educativas, académicas, financieras y políticas intencionadas y no intencionadas, y podría ser un modelo para aplicar esquemas de implementación en entornos con recursos limitados. La versión final del instrumento de evaluación acumuló diversas fuentes de evidencia de validez y se desarrolló siguiendo un proceso de desarrollo de pruebas profesionales9,13.
La incorporación de la metodología del ECOE en el plan de estudios formal de las escuelas de medicina requiere una comprensión de su historia, fortalezas y debilidades potenciales, así como el reconocimiento de los desafíos nacionales y locales para su implementación, principalmente en los países en desarrollo3,33. La creación de estaciones de ECOE, los desafíos logísticos y académicos relacionados con su diseño, pilotaje e implementación, pueden superar los activos limitados de la mayoría de las escuelas de medicina en países con recursos limitados. Este hecho innegable requiere que los académicos de educación médica y los líderes de las escuelas de medicina participen en protocolos de colaboración que promuevan la creación y el uso compartido de recursos.
El consorcio de escuelas de medicina mexicanas fue motivado y comprometido por el acuerdo de colaboración formal explícito y el apoyo oficial de uno de los líderes institucionales mundiales en evaluación de educación médica, el NBME. Aunque el papel de las personas en el inicio y la promoción de proyectos de colaboración es fundamental, es crucial que los líderes institucionales designados participen formalmente, las tareas, las responsabilidades y los objetivos se describan claramente, y se cree consensualmente una declaración de colaboración por escrito para aumentar la probabilidad de éxito.
En los países latinoamericanos, los esfuerzos para evaluar la competencia clínica no han sido sistemáticos. El diseño de las estaciones de 15 minutos, con pacientes estandarizados y retroalimentación como estrategia formativa, sería deseable que fuera capitalizada por otras escuelas de medicina del país. En lugar de ser utilizado sólo para fines sumativos o de licenciamiento, se recomienda incorporar el carácter formativo como estrategia didáctica.
La experiencia previa de la UNAM fue crucial en la guía en la implementación del presente estudio. Estudios previos de dicha institución, cuyos investigadores coincidieron en el presente estudio utilizaron el ECOE en estudiantes de medicina en varios niveles han informado resultados de siete cohortes de 5.399 estudiantes4,34. El ECOE se aplicó para medir la competencia clínica en varias áreas: medicina interna, pediatría, cirugía general, ginecología-obstetricia, emergencias y medicina familiar. La capacidad previa de la UNAM en iniciativas de evaluación, facilitaron la estructura y guía para desarrollar el presente trabajo. La colaboración con dos instituciones expandió y consolidó su metodología para que otras universidades se sumen a una iniciativa de evaluación de ECOE formativa.
El proyecto capitalizó múltiples productos académicos que han difundido la experiencia en diversos foros. Uno de los modelos más efectivos para desarrollar productos académicos en entornos de educación médica con recursos limitados es la "doble hélice de actividad y erudición" de Page Morahan35. En este modelo, los académicos de economías emergentes utilizan actividades clínicas y docentes cotidianas y los transforman en productos académicos utilizando los cuatro dominios de becas de Boyers y los criterios de Glassick para evaluar esos productos, de manera similar a la estrategia del presente estudio. Se recomienda utilizar este modelo en entornos con recursos limitados, donde a veces la carga clínica y de enseñanza puede ser abrumadora.
Existen algunas limitaciones del estudio. El presente proyecto se acota a tres escuelas mexicanas, lo que podría interpretarse como una limitación a la generalización en el resto de América Latina y otros países en desarrollo. Así mismo se limitó a dos años de colaboración para el desarrollo e implementación de los casos diseñados. Por otro lado, como se describió anteriormente, la financiación y el apoyo técnico sirvieron como un fuerte incentivo para iniciar y continuar el proyecto, y las relaciones políticas y personales que se formaron durante el proyecto son duraderas y contribuyen a la iniciación de otros servicios médicos y proyectos relacionados con la educación médica de pregrado y posgrado.
Conclusiones
En países con recursos limitados, el desarrollo y uso compartido del ECOE es una opción viable para las escuelas de medicina. Las organizaciones profesionales internacionales como el NBME pueden ser catalizadores exitosos para este tipo de esfuerzos de prueba complejos. El ECOE, sus elementos y la experiencia para evaluar la competencia clínica podrían compartirse con otras escuelas de medicina en el país y América Latina.
El conocimiento y los recursos combinados de las instituciones y las personas individuales involucradas lograron mucho más de lo que cualquier institución podría haber hecho sola. Esta colaboración podría servir como modelo para futuros estudios y mejorar la competencia clínica a nivel nacional e internacional.
