text new page (beta)
Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
Introducción
Los profesionales de la medicina que terminan cursos de especialización requieren de alguna forma de verificación objetiva externa, para documentar que han logrado las metas educativas y competencias definidas por las escuelas de medicina e instituciones de salud. La evaluación de la competencia de un especialista que demuestre, con evidencia de validez y confiabilidad, que tiene los conocimientos y habilidades para practicar la especialidad de manera no supervisada, requiere un proceso de evaluación formal que culmine en un examen de alto impacto1,2.
Los procesos de licencia y certificación varían sustancialmente de país a país, ya que cada gremio profesional desarrolla relaciones locales y regionales específicas con las entidades relevantes del gobierno y la sociedad. Licencia es "el privilegio de practicar la medicina" que requiere verificación externa por una instancia que represente a la sociedad (universidades, agencias de evaluación, ministerios de salud o de educación), mientras que "certificación" es la documentación formal de que se ha logrado una competencia especializada, p. ej. la especialidad de Pediatría1. El proceso de certificación generalmente es responsabilidad de organizaciones profesionales designadas para ello, quienes diseñan, aplican, analizan y reportan los resultados de estos exámenes de alto impacto, como el American Board of Medical Specialties en los EUA, el Royal College of Physicians and Surgeons en Canadá y el Royal College of Physicians en el Reino Unido.
Varios países han seguido las estrategias de evaluación y liderazgo de estas organizaciones, desarrollando sus propios sistemas de certificación con diversas combinaciones de instituciones gubernamentales y grupos sin fines de lucro de pares profesionales. El rigor académico y técnico de los procesos de certificación de dichos sistemas varía de país a país, dependiendo de factores económicos, políticos, logísticos y académicos. Es importante hacer notar la relativa escasez de artículos publicados sobre la validez del proceso de certificación en ciencias de la salud, comparado con la cantidad de investigaciones publicadas sobre la educación médica de pre y posgrado. En una revisión sistemática de la evidencia publicada sobre la validez de los exámenes de certificación de posgrado en medicina, se identificaron 55 artículos de solo seis países (Australia, Canadá, Israel, Nueva Zelanda, Reino Unido y EUA), ninguno de países en vías de desarrollo3. Estos datos son probablemente la punta del iceberg de las actividades de exámenes de certificación de especialidades médicas a nivel global, y ciertamente no implican que solamente estos países tienen exámenes de certificación de calidad, pero sí es preocupante que los demás países no investiguen sus exámenes con herramientas académicas, ni publiquen sus resultados o los hagan disponibles a la comunidad académica mundial. Es necesario compartir las experiencias de los procesos de certificación de especialistas en diferentes contextos. Recientemente algunos Consejos Mexicanos de especialidad han comenzado a publicar en la literatura internacional sus experiencias y estrategias para mejorar la calidad de sus procesos de evaluación4-6.
En México el primer Consejo de Especialidad Médica fue el Consejo Mexicano de Anatomía Patológica, creado en 1963. En 1974 había 15 consejos mexicanos de especialidad, cuando estas organizaciones solicitaron a la Academia Nacional de Medicina de México, uno de los organismos académicos más respetados en el país, que coordinara sus esfuerzos para promover homogeneidad y profesionalismo en sus tareas de evaluación, a través de acciones normativas y recomendaciones. En 1995 la Academia Nacional de Cirugía de México, un organismo académico paralelo a la Academia Nacional de Medicina, se unió a esta fuerza de trabajo para crear una instancia nacional llamada CONACEM (Comité Normativo Nacional de Consejos de Especialidades Médicas), responsable de la coordinación y dirección normativa de los 47 consejos mexicanos de especialidad que existen actualmente7. Cada Consejo mexicano de especialidad médica funciona como una organización autónoma sin fines de lucro, creada y desarrollada por un grupo de pares profesionales de la especialidad, y cada Consejo desarrolla sus propios exámenes con los métodos y recursos que considere apropiados.
El Consejo Mexicano de Otorrinolaringología y Cirugía de Cabeza y Cuello (CMOCCC) fue creado en 1970, es el organismo nacional que certifica especialistas en enfermedades de oído, nariz y garganta, y además aprueba actividades de educación médica continua, relacionadas con la especialidad que son válidas para la recertificación8. El CMOCCC inició recientemente un proceso de mejoría de calidad para optimizar la calidad del desarrollo y análisis psicométrico de su examen, migró a un examen de tipo criterial, y un método absoluto de establecimiento de estándar de pase.
Este trabajo describe un proceso de cambio de dos años en el Consejo Mexicano de Otorrinolaringología y Cirugía de Cabeza y Cuello, algunos de los asuntos educativos, técnicos, políticos y de recursos humanos que surgieron, y provee algunas lecciones para los organismos de certificación de especialida des médicas en países en vías de desarrollo.
Método
• Escenario: Organización nacional de certificación de especialistas en Otorrinolaringología en la Ciudad de México, México. El examen de certificación se aplica anualmente en febrero en dos sitios, la Ciudad de México y un lugar de provincia (Monterrey y Guadalajara, alternando cada año). El número de sustentantes varía cada año, en los últimos años ha fluctuado de 86 a 136.
• Diseño de investigación: Estudio de caso único descriptivo instrumental9.
• Colección de datos: Revisión de los documentos normativos del CMOCCC y de los reportes de los exámenes previos. Entrevistas y discusiones con los actores relevantes recientes del Consejo.
• Marco teórico: La perspectiva de mejores prácticas en evaluación utilizada fue el modelo de 12 pasos de Steve Downing, para el desarrollo de exámenes objetivos de alto impacto10. El modelo conceptual para los determinantes de difusión, diseminación e implementación de innovaciones en organizaciones de servicio, desarrollado por Trisha Greenhalgh y su equipo, se utilizó para la aproximación a los procesos de cambio en el CMOCCC, ya que muchos de los cambios, ideas y prácticas introducidas en el proceso de certificación se percibieron como nuevas por el grupo de adopción11,12.
• Proceso: Después de la primera reunión de la Junta de Gobierno del CMOCCC con un grupo de asesores técnicos expertos en evaluación educativa de alto impacto y psicometría, se diseñó un plan de mejoría del examen de 2 años, siguiendo los marcos conceptuales reconocidos para elaboración de exámenes objetivos y escritura de reactivos de opción múltiple10,13,14. La Tabla 1 describe los elementos del proceso de desarrollo del examen del CMOCCC utilizando el modelo de Downing, con algunos ejemplos de las actividades implementadas.
Tabla 1 Elementos del proceso de desarrollo del examen del Consejo Mexicano de Otorrinolaringología y Cirugía de Cabeza y Cuello, utilizando el modelo de Downing y con ejemplos de las actividades implementadas.
| Pasos | Ejemplos de actividades |
|---|---|
| 1. Plan global | Guía sistemática de los pasos de desarrollo del examen; meta del examen; formato del examen; fuentes de evidencia de validez; modelo psicométrico; seguridad del examen; plan de control de calidad; interpretación propuesta de los resultados. |
| 2. Definición del contenido | Definición del constructo a evaluar (el Consejo desarrolló por consenso el perfil de referencia del otorrinolaringólogo mexicano); plan de muestreo del dominio; propósito de la evaluación; fuentes de evidencia de validez de contenido. |
| 3. Especificaciones del examen | Definición operativa del contenido; evidencia de validez de contenido del muestreo del dominio; características de los ítems; decisión de migrar a examen criterial. |
| 4. Desarrollo de los ítems | Desarrollo de tareas evaluativas (preguntas de selección múltiple de una sola respuesta, con viñetas clínicas, de acuerdo con recomendaciones basadas en evidencia); actividades de capacitación de los elaboradores y revisores de reactivos. |
| 5. Diseño y ensamble del examen | Desarrollo del formato del examen; selección de los ítems; muestreo de dominios de acuerdo con la tabla de especificaciones y proyecto del examen. |
| 6. Producción del examen | Desarrollo del examen en la plataforma en línea Moodle; aspectos de control de calidad; planeación detallada de todos los aspectos de seguridad del examen. |
| 7. Administración del examen | Examen basado en computadora (migración del formato papel y lápiz a su aplicación en línea); supervisión y vigilancia durante el examen; tiempo para responder el examen. |
| 8. Calificación de respuestas del examen | Control de calidad; validación de la clave; análisis psicométrico (análisis con la Teoría de Medición Clásica con el programa Iteman, y con la Teoría de Respuesta al Ítem con Bilog); selección de los ítems y calibración. |
| 9. Establecimiento de estándar y puntuación de pase | Desarrollo de un método defendible criterial de establecimiento de puntuación de pase, con el método de Bookmark. |
| 10. Reporte de los resultados del examen | Control de calidad; cuestiones de precisión y validez; oportunidad en tiempo. |
| 11. Banco de reactivos | Seguridad; almacenamiento inicial en una base de datos genérica; migración a FastTest. |
| 12. Reporte técnico | Se elaboró un reporte técnico final, con documentación de todo el proceso y las fuentes de evidencia de validez. |
• Aspectos éticos: El estudio se realizó conforme a los principios éticos de la Declaración de Helsinki, para investigación con datos obtenidos de seres humanos. El análisis de los datos fue aprobado por el Consejo Mexicano de Otorrinolaringología y Cirugía de Cabeza y Cuello, como parte de su programa de evaluación y de sus procesos de mejoría de calidad. Por la naturaleza de bajo riesgo del estudio, no fue requerido consentimiento informado por escrito. Los datos fueron manejados con confidencialidad, cuidando el anonimato de los participantes.
Resultados
Durante el año 2014 el Comité de Examen y la Junta de Gobierno del CMOCCC tuvo varias reuniones con los asesores técnicos, desarrollando las estrategias de implementación y las fuentes de evidencia de validez del examen, en paralelo con el desarrollo de la prueba.
A partir de la revisión de los documentos regulatorios del CMOCCC, la documentación disponible de los exámenes recientes y las entrevistas con los miembros del Consejo, se identificaron las siguientes situaciones y áreas de oportunidad:
Necesidad de profesionalización integral del proceso de desarrollo y análisis del examen, incluyendo la definición del constructo principal, el proyecto y la tabla de especificaciones del examen, entre otros requerimientos técnicos para un examen de alto impacto.
Necesidad de promover una cultura en el CMOCCC y la comunidad de otorrinolaringólogos en práctica, sobre los aspectos técnicos fundamentales de evaluación en educación médica.
Aspectos de recursos humanos. El CMOCCC, de manera similar a varios consejos de certificación de especialistas en México y en países en vías de desarrollo, no tiene expertos en los aspectos técnicos de los exámenes de alto impacto en su estructura organizacional, y tiene que apoyarse en consultantes externos, eventuales, contratados por honorarios. En consecuencia, existe poca continuidad a lo largo de los años en el manejo técnico del examen, con heterogeneidad en los enfoques conceptuales del desarrollo y análisis de la prueba.
Aspectos financieros. Los recursos económicos disponibles al CMOCCC como organización sin fines de lucro son limitados, consisten primordialmente en las cuotas de los miembros y los pagos de inscripción al examen de los aspirantes. Los márgenes financieros de operación disponibles para invertir en la mejoría y mantenimiento de la calidad del examen son relativamente pequeños.
Necesidad de un análisis psicométrico adecuado y técnicamente sólido, así como el desarrollo y mantenimiento de un banco de reactivos. Existía documentación limitada del análisis psicométrico y el banco de reactivos no satisfacía los requerimientos de calidad para este tipo de exámenes.
Aspectos políticos. El CMOCCC tiene una Junta de Gobierno integrada por 12 otorrinolaringólogos con certificación vigente, con una renovación rotatoria. Cada año cuatro nuevos miembros son elegidos por el pleno del Consejo, de tal manera que la composición de la Junta cambia gradualmente, y cada miembro permanece no más de tres años. El Presidente del Consejo en turno es elegido cada año, así como la persona que se encarga de coordinar el examen, lo que agrega una capa política al proceso que debe ocurrir en una ventana de tiempo limitada para efectuar cambios. En México las posiciones de liderazgo en los Consejos de especialidad son ampliamente deseadas por miembros de cada gremio en la co munidad médica, ya que proveen poder político, visibilidad y prestigio académico.
Currículo de la especialidad. Otra cuestión es el hecho de que los residentes de Otorrinolaringología toman sus cursos de especialidad en diferentes instituciones académicas y universidades en varios sitios del país, con currículos diferentes, así como calidad académica y experiencias clínicas heterogéneas. En consecuencia, los resultados de los aspirantes varían ampliamente dependiendo del sitio de entrenamiento, lo que tiene implicaciones académicas, afectivas y políticas en las funciones y responsabilidades del Consejo.
Tiempo de entrega de los resultados del examen. La costumbre en el CMOCCC era dar los resultados del examen a los aspirantes inmediatamente o muy pronto después del examen, con el argumento de que los exámenes realizados en computadora pueden generar puntuaciones instantáneamente. Éste fue uno de los aspectos más difíciles de modificar del proceso de examen, ya que retrasar la entrega de resultados genera incertidumbre y ansiedad en los sustentantes, así como la percepción de posibilidad de manipulación de las calificaciones.
La mayoría de los miembros del Consejo no estaban familiarizados con el concepto de los métodos de establecimiento de estándares15,16. El punto de corte para aprobar el examen se obtenía generalmente de manera normativa, con los problemas inherentes al uso de un estándar relativo15. Las tasas de aprobación en versiones previas del examen eran variables, frecuentemente por arriba del 90%. Esta faceta del proceso también requirió esfuerzo intenso y amplias discusiones para migrar a la implementación de un método absoluto de establecimiento de estándar de pase.
Como resultado de las discusiones con la Junta de Gobierno del Consejo y las intervenciones de formación docente, los procesos de desarrollo y análisis del examen se renovaron. Como se mencionó en Método, utilizamos los marcos conceptuales de Rogers y Greenhalgh para identificar las diferentes facetas del sistema del examen del CMOCCC que eran susceptibles de modificación, visualizando a los cambios como implementaciones sociológicas de innovación (p.ej. tomar en cuenta las características de la innovación a introducir -como la implementación de un método de establecimiento de estándar de pase absoluto- su ventaja relativa, complejidad, ensayabilidad, compatibilidad, entre otras, y así sucesivamente para cada cambio propuesto)11,12. Estos marcos teóricos ayudaron a desarrollar estrategias específicas para los diferentes elementos del sistema (la innovación misma, las características de los adoptadores, la disposición del CMOCCC para innovar e implementar procesos diferentes).
Los productos de este esfuerzo de mejoría de calidad fueron los siguientes, varios de los cuales se aplicaron por primera vez en la historia del CMOCCC:
Desarrollo por consenso del perfil de referencia del otorrinolaringólogo mexicano para el CMOCCC. Este fue un paso fundamental para delimitar el constructo a evaluar en el examen, fue desarrollado con una técnica de Delphi modificada con todos los miembros del Consejo. Se utilizaron los datos recientes de la epidemiología de las enfermedades de oído, nariz y garganta en México, su experiencia personal con la práctica de la especialidad en los sectores públicos y privados de la atención de la salud en el país, así como los programas académicos de la especialidad de las universidades.
Desarrollo de la tabla de especificaciones y un proyecto del examen detallado. Esto constituyó un cambio crucial, ya que previamente se utilizaba principalmente la tabla de contenidos de un importante tratado norteamericano de la especialidad, y ahora, basado en el perfil de referencia, se diseñó una tabla de especificaciones más sustentada técnicamente.
Sesiones de entrenamiento para el desarrollo de exámenes de opción múltiple con los elaboradores y revisores de los reactivos, con apoyo en línea durante el proceso de desarrollo del examen.
Diseño e implementación de un examen anual compuesto por 300 reactivos independientes de opción múltiple, con viñetas clínicas (muchas de ellas de pacientes reales con imágenes de alta calidad, estudios de gabinete, radiológicos e histopatológicos), siguiendo las recomendaciones basadas en evidencia de Haladyna y Downing14.
Análisis psicométrico de los resultados del examen con la Teoría de Medición Clásica y la Teoría de Respuesta al Ítem, selección y calibración de reactivos. Los datos psicométricos obtenidos con los diferentes modelos fueron apropiados para un examen sumativo de alto impacto, con alta confiabilidad y adecuadas características psicométricas. La dificultad del examen es apropiada para el rango de habilidad de los aspirantes.
Definición de una puntuación de pase con un método absoluto criterial. Utilizamos el método Bookmark, un proceso de establecimiento de estándar que usa un cuadernillo de ítems ordenados, que contiene los ítems utilizados para calificar en un continuo del más fácil al más difícil, y les pide a los expertos en contenido que determinen la colocación de la puntuación de corte en este continuo17. El método mide la dificultad de los ítems empíricamente después de calibrar el examen con el modelo de Teoría de Respuesta al Ítem, y lo complementa con la pericia de los jueces expertos. La aceptación por el CMOCCC para utilizar este enfoque requirió un taller con el Comité de Examen y discusiones continuas sobre la importancia de establecer puntuaciones de pase defendibles y justificables con este método. Después de empezar a utilizarlo, los porcentajes de aprobación del examen disminuyeron de aproximadamente 90% a un rango de 76.5-81.6% en los siguientes años. La aceptación del cambio requirió largas e intensas discusiones con la Junta de Gobierno y comunicación efectiva con los sustentantes del examen.
Desarrollo de un banco de reactivos efectivo. En los últimos años el Consejo ha elaborado más de 1,200 reactivos de opción múltiple de los cuales aproximadamente 800 están en el banco, con sus características psicométricas. Se adquirió una licencia del programa FastTest (http://www.assess.com/fasttest/), y se designó a un técnico para capturar los ítems en el sistema.
Presentación de los resultados y del método de desarrollo del examen al pleno de la asamblea del CMOCCC. Hubo varias inquietudes para la aceptación de los cambios en el examen por parte de la comunidad nacional de especialistas en Otorrinolaringología, los profesores de la especialidad en las escuelas de medicina, así como por los aspirantes. Las inquietudes por el lapso de tiempo más prolongado para el reporte de los resultados, preocupaciones con el cambio del contenido del examen y su alineación con la tabla de especificaciones y los temarios de los diversos programas universitarios, las ventajas del método de establecimiento de estándar y punto de pase, entre otros, fueron explicados en detalle en la reunión anual de la Sociedad Mexicana de Otorrinolaringología y Cirugía de Cabeza y Cuello, para que los profesores de los cursos de especialidad y los residentes que iban a tomar el examen de certificación estuvieran conscientes de los cambios y sus implicaciones.
Un ejemplo típico de los asuntos que surgieron fue la idea equivocada de que los resultados de exámenes basados en computadora deben proveer resultados inmediatamente. Tradicionalmente en algunas instancias en nuestro país, cuando los exámenes se aplican en computadoras los resultados se dan muy rápidamente, en ocasiones el mismo día o al día siguiente de la aplicación de la prueba. En el CMOCCC cambiamos la fecha de reporte de resultados a nueve días después del examen, para poder tener un período de tiempo mínimo indispensable para llevar a cabo adecuadamente el control de calidad, el análisis psicométrico apropiado y calibración, la preparación del material para la implementación de la sesión de establecimiento de punto de corte con el método de Bookmark y la sesión final de determinación de punto de corte y asignación de calificaciones. Este cambio requirió discusiones prolongadas y frecuentes con los participantes, finalmente fue aceptado cuando los Consejeros percibieron que era en el mejor interés de los aspirantes tener un proceso de evaluación profesional y bien hecho, más alineado con las mejores prácticas internacionales de exámenes sumativos de alto impacto.
Otros ejemplos de preocupaciones fueron: la inclusión de contenido no tradicional (reactivos relacionados con investigación clínica en la espe cialidad, medicina basada en evidencias, ciencias básicas); el uso de un método absoluto y criterial de establecimiento de estándar para puntuación de pase; el uso de cuatro opciones de respuesta en lugar de cinco; el uso de ítems de opción múltiple independientes (un caso por reactivo), en lugar de los bloques multirreactivos de cinco preguntas por caso (realizamos esta modificación para mejorar la validez de contenido aumentando el muestreo de los dominios explorados por el examen, y para evitar las implicaciones técnicas del análisis psicométrico de ítems interrelacionados).
La Junta de Gobierno y el Comité de Examen del CMOCCC tuvieron una cantidad sustancial de actividades de desarrollo profesional continuo en evaluación de alto impacto en educación médica y desarrollo de exámenes durante todo el proceso, con realimentación constante sobre su desempeño. Los cambios se han institucionalizado para aplicaciones subsecuentes del examen.
Discusión y Conclusiones
Los exámenes sumativos de alto impacto en las especialidades médicas son fundamentales para proteger a la sociedad de profesionales que carecen de los conocimientos requeridos y de la competencia para una práctica profesional independiente y segura. Es crucial que los exámenes de certificación de los Consejos de Especialidades Médicas y los procesos de evaluación utilizados para verificar que los médicos sean competentes (y mantengan un nivel apropiado de competencia a lo largo de su vida profesional) tengan directivas normativas explícitas basadas en las mejores prácticas internacionales y la evidencia científica publicada. Debe realizarse un esfuerzo integrado interinstitucional para profesionalizar al personal de los Consejos en evaluación en educación médica y exámenes de alto impacto1,18-20. Los exámenes de certificación médica varían ampliamente en el mundo, en cuanto a rigor metodológico y tipo de instrumentos utilizados. Con frecuencia los países en vías de desarrollo no tienen el suficiente personal técnico y preparación para el proceso de desarrollo, aplicación, análisis y reporte de exámenes de alto impacto3,20.
El presente reporte de caso del examen de certificación del CMOCCC documenta la factibilidad de implementar iniciativas de mejoría de calidad en un examen sumativo de alto impacto en nuestro medio, el uso de métodos apropiados y marcos teóricos internacionalmente reconocidos, así como la mejoría probada en la calidad técnica del examen. Todo lo anterior provee evidencia de validez adecuada durante el proceso, lo que hace más sólidas las inferencias que se hacen de los resultados13,19,20.
Este es uno de los primeros reportes de un plan de mejoría de calidad de un consejo de especialidad médica mexicano, para proveer una experiencia de evaluación más profesional y de mayor calidad a los aspirantes, con un método absoluto criterial de establecimiento de estándar y definición de puntuación de corte. Se identificaron y enfrentaron diversos retos y obstáculos políticos, culturales, educativos y de recursos humanos durante el proceso, que fueron manejados de manera exitosa por la Junta de Gobierno en turno y su equipo de asesores técnicos, a través de comunicación oportuna y efectiva, así como explicación prudente y sensata de los cambios.
El uso de una estrategia estructurada para el desarrollo de exámenes sumativos, descrita originalmente por Steve Downing, proporcionó un enfoque lógico y factible para la tarea10. Este modelo conceptual fue útil para identificar las fortalezas y áreas de oportunidad del proceso de examen del CMOCCC. Durante la planeación del proceso de cambio y las etapas de implementación, el visualizar los cambios específicos como innovaciones a adoptar en el contexto local ayudó a desarrollar estrategias efectivas para aproximarse a cada cambio individual, así como estimar sus efectos reales y potenciales en el sistema de evaluación del Consejo. El uso de los lentes del marco teórico sociológico de difusión de innovaciones de Rogers, así como la perspectiva más amplia provista por el modelo conceptual de los determinantes de difusión, diseminación e implementación de innovaciones, contribuyeron sustancialmente a la identificación de las barreras, así como el diseño reflexivo de las estrategias de implementación11,12.
La certificación de especialistas es uno de los grandes retos no resueltos de la medicina moderna. Se requiere la profesionalización de los diversos actores que participan en el proceso para asegurar una mayor validez, e implementación de estrategias de cambio organizacional efectivo y sustentable para que los efectos se institucionalicen y sean duraderos. Muchos países, entre ellos México, continúan esforzándose para desarrollar sistemas de certificación médica efectivos y eficientes4-7. Las necesidades y expectativas de la sociedad y de los diversos gremios de profesionales de la salud, deben motivar a los actores relevantes de la comunidad médica a tomar las medidas necesarias para proporcionar un proceso sólido que sea justo, equitativo y fundamentado en la mejor evidencia científica de educación médica2,21.
Los Consejos de Certificación de especialidades médicas deben realizar periódicamente análisis de sus procesos de evaluación, para estar en condiciones de mantener y mejorar sus estándares de calidad.
