Introducción
La educación superior está bajo un escrutinio continuo a medida que los estándares de desempeño aumentan progresivamente. Según las principales asociaciones americanas de educación, como la American Association for Higher Education, la American Education Research Association, la American Psychological Association y el National Council on Measurement in Education, la evaluación del aprendizaje es un proceso científico destinado a determinar qué se puede saber sobre las capacidades de desempeño y cómo se miden mejor, en cuanto a validez, precisión, confiabilidad, análisis e informes1.
Los marcos de educación médica basada en competencias se han vuelto cada vez más frecuentes entre los organismos de acreditación de educación quirúrgica, incluido el Consejo Mexicano de Cirugía General. Los programas tradicionales de formación en residencias médicas utilizan un modelo basado en el tiempo, en que se espera que los estudiantes alcancen la competencia al final del programa por la exposición continua durante los años de formación. En comparación, los alumnos en programas de educación médica basada en competencias deben demostrar competencia en una variedad de actividades y contextos a lo largo de sus programas para completar con éxito su formación. La viabilidad de realizar evaluaciones periódicas de las competencias sigue siendo un desafío, especialmente de las habilidades operatorias debido a las presiones de tiempo en la sala de operaciones, las preocupaciones de seguridad y la renuencia del personal supervisor a permitir que los aprendices operen de forma independiente2.
Sin embargo, no existe una definición de competencia que abarque todos los dominios importantes de la práctica médica profesional y que sea universalmente aceptada. En respuesta, el Acreditation Council for Graduate Medical Education determinó seis áreas que permitieron definir la competencia profesional como el uso habitual y juicioso de la comunicación, el conocimiento, las habilidades técnicas, el razonamiento clínico, las emociones, los valores y la reflexión en el día a día para el beneficio del individuo y la comunidad a la que se sirve3.
Se sabe que el desempeño avanzado en el quirófano depende de la combinación de varios conjuntos de habilidades, para lo que cualquier evaluación objetiva debe ser hecha a medida y probada rigurosamente4.
En México, el plan curricular de las especialidades médicas se diseñó e implementó desde 1994 a través del Plan Único de Especialidades Médicas (PUEM), definiéndolas como una práctica médica de alta calidad que se basa en tres áreas fundamentales de competencia profesional: atención médica, desarrollo de investigación y actividades educativas5.
Es reconocido por el Consejo Mexicano de Cirugía General que por muchos años la certificación y la recertificación se han basado en exámenes escritos y orales, generando la duda de si los cirujanos acreditados tienen las habilidades necesarias para la atención clínica del paciente y si los sistemas de formación del país son aceptablemente adecuados6. Durante las últimas décadas, tanto el Royal College of Physicians and Surgeons of Canada como el American Board of Medical Specialties han implementado programas de certificación para asegurar que los médicos estén comprometidos con un proceso de aprendizaje permanente y de evaluación de competencias. Sin embargo, la relevancia, los requisitos administrativos y la evidencia de efectividad se han cuestionado cada vez más7.
A partir del año 2001, el Acreditation Council for Graduate Medical Education ha implementado varios proyectos, sin éxito (Outcomes, Next), con el propósito de mejorar la calidad de la educación médica de posgrado. El concepto de actividades profesionales confiables (APC) se introdujo en los Países Bajos en 2005 como un constructo práctico para describir el trabajo de un médico en función de sus competencias. Por ello es que, como parte de un mayor enfoque en la educación médica basada en competencias, la especialidad de cirugía ha liderado el camino para incorporarlas a la especialización quirúrgica de posgrado8.
Por esta razón, en 2016, el American Board of Medical Specialties consideró las APC como un modelo potencial para mejorar la evaluación y la retroalimentación de los aprendices quirúrgicos. Sin embargo, se desconoce su eficacia para evaluar el logro de la competencia y la autonomía9.
Actualmente, la evaluación de las competencias quirúrgicas continúa siendo el aspecto más débil de la evaluación, por lo que es imperativo contar con una estrategia de evaluación objetiva de los conocimientos, las habilidades, las destrezas y las actitudes del médico en especialización a través de un Modelo de Evaluación Integral de Competencias Clínico-Quirúrgicas, no solo de forma transversal, sino con un diseño que permita valorar los pros y contras del método, mediante un proceso de investigación-acción, permitiendo su corrección y mejora, adaptándose a las necesidades tanto de los participantes como de la sociedad según el momento y las circunstancias. Para ello es imprescindible contar con un instrumento que permita evaluar de forma integral las APC propias de la especialidad de cirugía general.
Método
Se realizó un estudio de validez y confiabilidad para diseñar un instrumento formado por cinco rúbricas con niveles de desempeño, para evaluar las APC de los residentes de un programa de cirugía general durante la promoción 2020-2021 en una sede hospitalaria pública de segundo nivel de atención, a través de las fases que a continuación se exponen.
Diseño del instrumento
Se elaboraron cinco rúbricas por parte del Departamento de Investigación Educativa de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua, acordes al PUEM en términos de: 1-3) atención clínico-quirúrgica (manejo preoperatorio, transoperatorio y postoperatorio); 4) búsqueda y transferencia de conocimiento, y 5) capacidad de investigación. Cada competencia constó de 6 o 7 ítems, graduados en cuatro niveles de desempeño: a) receptivo; b) resolutivo; c) autónomo, y d) estratégico10.
Juicio de expertos
Para la validez de contenido se empleó la técnica de juicio de expertos11 en base a dos criterios, que fueron univocidad y pertinencia, a través de una escala de estimación de cuatro niveles, desde «univocidad óptima» hasta «univocidad nula» (Tabla 1), con la participación de 12 jueces (seis cirujanos generales, tres investigadores clínicos y tres investigadores en educación médica) a quienes les fueron enviadas las rúbricas por correo electrónico, según su campo de experiencia. Para los criterios de pertinencia se empleó una escala con significados y niveles semejantes a los de univocidad (Tabla 2).
Definición de los niveles de la escala de univocidad | ||
---|---|---|
Niveles de univocidad | Significado | Valor asignado |
Univocidad óptima (UO) | El ítem es susceptible de ser entendido e interpretado inequívocamente de una sola y única manera. | 4 |
Univocidad Alta (UA) | El ítem es susceptible de interpretación pero puede ser entendido mayoritariamente o en general de una sola manera. | 3 |
Univocidad Baja (UB) | El ítem es susceptible de ser entendido en sentidos diversos y se encuentra más cerca de la equivocidad. | 2 |
Univocidad Nula (UN) | El ítem es susceptible de no ser entendido o ser interpretado con sentidos diferentes, cayendo en la equivocidad. | 1 |
Definición de los niveles de la escala de pertinencia | ||
---|---|---|
Niveles de pertinencia | Significado | Valor asignado |
Pertinencia óptima (UO) | El ítem es susceptible de pertenecer inequívocamente al constructo al que va dirigido | 4 |
Pertinencia Alta (UA) | El ítem es susceptible de pertenecer mayoritariamente al constructo al que va dirigido | 3 |
Pertinencia Baja (UB) | El ítem es susceptible de pertenecer a diversos constructos o poco relevante para el constructo al que va dirigido | 2 |
Pertinencia Nula (UN) | El ítem es susceptible de no pertenecer al constructo o no es relevante para el constructo al que va dirigido | 1 |
Para las rúbricas que evalúan la atención clínico-quirúrgica se consideraron expertos a especialistas en cirugía general con experiencia mínima de 5 años. Para la rúbrica que evalúa la capacidad de investigación se convocó a investigadores pertenecientes al Sistema Nacional de Investigadores. Finalmente, para la rúbrica de evaluación de la capacidad educativa, los médicos considerados fueron aquellos con posgrados en educación médica.
El procedimiento definido para obtener los índices de univocidad y pertinencia (Tabla 3) permite ponderar las respuestas de los jueces como describe Carrera12, donde a partir de la fórmula descrita en la Figura 111 fue posible obtener ambos índices con un valor máximo de 4 y un mínimo de 1 para cada ítem del instrumento de validación, estableciendo unos criterios para determinar la conservación (≥ 0.80), modificación (≤ 0.79) o supresión (≤ 0.59) de cada uno de los ítems evaluados (Tabla 4).
Índice de univocidad (iU) | Índice de pertinencia (iP) | ||
---|---|---|---|
nUO | Numero de respuestas obtenidas del nivel de univocidad óptima | nPO | Numero de respuestas obtenidas del nivel de pertinencia óptima |
nUE | Número de respuestas obtenidas del nivel de univocidad elevada | nPE | Número de respuestas obtenidas del nivel de pertinencia elevada |
nUB | Número de respuestas obtenidas del nivel de univocidad baja | nPB | Número de respuestas obtenidas del nivel de pertinencia baja |
nUN | Número de respuestas obtenidas del nivel de univocidad nula | nPN | Número de respuestas obtenidas del nivel de pertinencia nula |
nTU | Número de respuestas totales obtenidas para el nivel de univocidad | nTP | Número de respuestas totales obtenidas para el nivel de pertinencia |
VUO | Valor asignado al nivel de univocidad óptima | VPO | Valor asignado al nivel de pertinencia óptima |
VUE | Valor asignado al nivel de univocidad elevada | VPE | Valor asignado al nivel de pertinencia elevada |
VUB | Valor asignado al nivel de univocidad baja | VPB | Valor asignado al nivel de pertinencia baja |
VUN | Valor asignado al nivel de univocidad nula | VPN | Valor asignado al nivel de pertinencia nula |
VMU | Valor máximo de los niveles de la escala de univocidad | VMP | Valor máximo de los niveles de la escala de pertinencia |
Criterios según iU | Criterios según iP | ||
---|---|---|---|
iU≥0.80 | Los ítems se mantienen en su forma original | iP≥0.80 | Los ítems se mantienen en su forma original. |
iU≤0.79≥0.60 | Los ítems se modifican en su redacción. | iP≤0.79≥0.60 | Los ítems se modifican en su redacción u ubicación. |
iU≤0.59 | Los ítems se eliminan. | iP≤0.59 | Los ítems se eliminan. |
Consistencia interna
Una vez validados los instrumentos, se aplicaron a los médicos residentes del servicio de cirugía con sede en el Hospital General de Chihuahua “Dr. Salvador Zubirán Anchondo” para ser observados y evaluados en su campo de acción cotidiano (consulta externa, salas de cirugía, salas de hospitalización, aula) (Fig. 2) por los profesores del curso (heteroevaluación) con el empleo de rúbricas electrónicas (formularios de Google). Para evaluar la consistencia interna de los instrumentos se empleó el alfa de Cronbach13.
La evaluación del manejo preoperatorio se realizó mediante seis dominios competenciales: 1) interrogatorio clínico estructurado; 2) exploración física; 3) proceso diagnóstico; 4) propuesta de manejo quirúrgico; 5) información al paciente, y 6) relación médico-paciente.
La evaluación del manejo transoperatorio se abordó a través de los siguientes siete dominios: 1) colocación del paciente; 2) preparación del área operatoria; 3) lavado y vestido para el acto quirúrgico; 4) desempeño dentro del equipo quirúrgico; 5) realización de la técnica quirúrgica; 6) cierre de la herida quirúrgica, y 7) conducta durante el acto quirúrgico.
La evaluación del manejo posoperatorio fue a través de seis dominios competenciales: 1) interrogatorio clínico (enfocado a la recuperación); 2) exploración física (evaluando la recuperación); 3) identificación y resolución de complicaciones; 4) propuesta de manejo posoperatorio hasta la recuperación; 5) información al paciente sobre su evolución, y 6) relación médico-paciente en el posoperatorio.
La búsqueda y transferencia del conocimiento se abordó a través de seis dominios competenciales: 1) pensamiento crítico; 2) creatividad; 3) expresión escrita; 4) expresión verbal; 5) lectura de comprensión, y 6) capacidad informática.
La capacidad de investigación se abordó a través de siete dominios competenciales que evalúan: 1) generación de una pregunta de investigación; 2) búsqueda sistemática de información; 3) metodología científica enfocada a contestar la pregunta de investigación; 4) observa el fenómeno médico, lo analiza y lo describe; 5) análisis, discusión y redacción de resultados; 6) genera nuevo conocimiento, y 7) elaboración y presentación de un informe de investigación.
Los procedimientos descritos se adhieren a los estándares éticos del Comité de Ética en Investigación de la Subdirección de Enseñanza e Investigación del Hospital General de Chihuahua “Dr. Salvador Zubirán Anchondo” (CEI-0189-2017) y del Comité de Ética en Investigación de la Secretaría de Investigación y Posgrado de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua (CI-006-21), en consonancia con la Declaración de Helsinki de 1975 y sus revisiones subsecuentes (incluyendo la de la 64.a Asamblea General de Fortaleza, Brasil, en octubre de 2013)14. Ambos comités se encuentran registrados ante la Comisión Nacional de Bioética de la Secretaría de Salud. El proyecto se encuentra registrado en ClinicalTrials.gov (NCT05179980). En todos los casos se obtuvo el consentimiento informado tanto de los residentes como del personal de salud involucrado (enfermería), así como de los pacientes.
Resultados
En cuanto a la validez de contenido de las rúbricas mediante el juicio de expertos, se observó que, en la correspondiente a la capacidad de investigación, los ítems 5) asume una actitud ética al procesar la información y 6) genera nuevo conocimiento que contribuye a la solución de problemas presentaron valores ≤ 0.79 ≥ 0.60, por lo que tuvieron que ser modificados (Tabla 5). Una vez modificada, fue devuelta a los mismos evaluadores después de un periodo de lavado de 1 mes, obteniendo valores > 0.85, por lo que a partir de la corrección se consideraron fiables (Tabla 6).
Clave | Dominio de la competencia a evaluar | Nivel de univocidad | Nivel de pertinencia |
---|---|---|---|
CI1 | Identifica las necesidades del contexto global en congruencia con los retos de la sociedad del conocimiento | 0.9 | 0.95 |
CI2 | Analiza y recupera información pertinente | 0.9 | 0.95 |
CI3 | Aplica procesos metodológicos | 0.85 | 0.95 |
CI4 | Muestra habilidad para la observación | 0.85 | 0.85 |
CI5 | Asume una actitud ética al procesar información | 0.75 | 0.95 |
CI6 | Genera nuevo conocimiento que contribuye a la solución de problemas | 0.75 | 1.0 |
CI7 | Desarrolla diversos tipos de comunicación científica | 0.9 | 1.0 |
Clave | Dominio de la competencia a evaluar | Nivel de univocidad | Nivel de pertinencia |
---|---|---|---|
CI1 | Identifica las necesidades del contexto global en congruencia con los retos de la sociedad del conocimiento | 0.9 | 0.95 |
CI2 | Analiza y recupera información pertinente | 0.9 | 0.95 |
CI3 | Aplica procesos metodológicos | 0.85 | 0.95 |
CI4 | Muestra habilidad para la observación | 0.85 | 0.85 |
CI5 | Asume una actitud ética al procesar información | 0.85 | 0.95 |
CI6 | Genera nuevo conocimiento que contribuye a la solución de problemas | 0.85 | 1.0 |
CI7 | Desarrolla diversos tipos de comunicación científica | 0.9 | 1.0 |
Con respecto a las rúbricas que permiten evaluar las competencias relacionadas a la atención clínico-quirúrgica (preoperatorio, transoperatorio y posoperatorio), y la que permite evaluar la búsqueda y transferencia de conocimiento, se observó que los dominios evaluados conservaron su redacción original por presentar valores de univocidad y relevancia > 0.80 (Tablas 7 a 10).
Clave | Dominio de la competencia a evaluar | Nivel de univocidad | Nivel de pertinencia |
---|---|---|---|
MPrO1 | Aplica el interrogatorio estructurado | 0.94 | 0.88 |
MPrO2 | Examina al paciente en forma completa y sistemática | 0.97 | 0.97 |
MPrO3 | Identifica la presencia o ausencia de patología quirúrgica | 0.97 | 1.0 |
MPrO4 | Propone y explica el tratamiento quirúrgico específico | 0.94 | 0.88 |
MPrO5 | Informa a pacientes y familiares sobre el padecimiento | 0.94 | 0.94 |
MPrO6 | Cuida y promueve la relación médico-paciente | 0.94 | 0.94 |
Clave | Dominio de la competencia a evaluar | Nivel de univocidad | Nivel de pertinencia |
---|---|---|---|
MT1 | Se encarga de que la posición del paciente y las luces sean las adecuadas | 1.0 | 1.0 |
MT2 | Se encarga de que la preparación del área operatoria sea la adecuada, conociendo su fundamentación teórica | 0.9 | 0.93 |
MT3 | Se lava y viste en el momento adecuado y con conocimiento de la técnica | 1.0 | 0.96 |
MT4 | Es capaz de desempeñar todas las posiciones de los miembros del equipo quirúrgico, así como de iniciar el abordaje | 1.0 | 0.93 |
MT5 | Es capaz de realizar las diferentes técnicas de reparación de la afección quirúrgica | 0.96 | 0.9 |
MT6 | Cierra la herida quirúrgica por capas | 0.96 | 0.96 |
MT7 | Su conducta en todo el acto quirúrgico muestra dominio, respeto y liderazgo en torno al bien del paciente | 0.9 | 0.87 |
Clave | Dominio de la competencia a evaluar | Nivel de univocidad | Nivel de pertinencia |
---|---|---|---|
MPOp1 | Aplica el interrogatorio estructurado | 0.94 | 0.94 |
MPOp2 | Examina al paciente en forma completa y sistemática | 1.0 | 1.0 |
MPOp3 | Identifica y resuelve la presencia o ausencia de complicaciones | 0.97 | 0.91 |
MPOp4 | Propone y explica el tratamiento médico y/o quirúrgico específico | 0.97 | 0.97 |
MPOp5 | Informa al paciente y los familiares sobre la recuperación | 1.0 | 1.0 |
MPOp6 | Cuida y promueve la relación médico-paciente | 0.91 | 0.91 |
Clave | Dominio de la competencia a evaluar | Nivel de univocidad | Nivel de pertinencia |
---|---|---|---|
BTC1 | Pensamiento crítico | 0.95 | 0.91 |
BTC2 | Creatividad | 0.83 | 0.91 |
BTC3 | Expresión escrita | 0.91 | 0.91 |
BTC4 | Expresión verbal | 0.83 | 0.83 |
BTC5 | Lectura de comprensión | 0.87 | 0.87 |
BTC6 | Capacidad informática | 0.83 | 0.91 |
La evaluación de la consistencia interna para cada rúbrica obtuvo un valor alfa de Cronbach de 0.97, con un coeficiente de división en mitades de Guttman de 0.86, lo cual se considera altamente aceptable al ser muy cercano a 1.0, lo que indica una alta confiabilidad del instrumento13.
Se realizó una prueba piloto para probar el instrumento con los residentes del programa de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua, distribuidos por grado de la manera siguiente: seis residentes de primer año (R1), cuatro de segundo año (R2), tres de tercer año (R3) y dos de cuarto año (R4). El rango de edad fue de 25 a 31 años (media: 28.26; desviación estándar: 1.9), y 4 (26.6%) fueron de sexo femeninos y 11 (73.4%) masculino; la distribución de las mujeres fue dos R1, una R2 y una R4.
Las evaluaciones fueron realizadas por cuatro médicos adscritos al servicio, el profesor titular del programa y su adjunto, el líder del proyecto de investigación y el jefe del servicio.
En cuanto a las APC relativas a la atención clínico-quirúrgica (manejo preoperatorio, transoperatorio y posoperatorio), se encontraron claras diferencias en el desempeño entre los diferentes grados, tendiendo los R1 a estar entre los niveles receptivo y resolutivo, los R2 entre los niveles resolutivo y autónomo, los R3 ya se mantuvieron en el nivel de autonomía y finalmente los R4 se encontraron en el nivel autónomo y alcanzaron el estratégico.
En las APC de búsqueda y transferencia de conocimiento se nota una tendencia casi homogénea entre los R1 y R2 en los niveles receptivo y resolutivo, mientras que el nivel autónomo se logra a partir de R3, logrando el estratégico solo los R4.
Sin embargo, en las APC correspondientes a la capacidad de investigación, todos los residentes mostraron un nivel receptivo, aunque uno de los R1 lo hizo con mayor calificación y solo una R4 logró el nivel autónomo.
Discusión
El objetivo principal del presente estudio fue diseñar un instrumento para evaluar lo más objetivamente posible las APC asociadas al perfil de la especialidad de cirugía general de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua, definido a partir del PUEM. Con este propósito se diseñaron cinco rúbricas con descriptores para variables complejas que se relacionan con los dominios de las APC a través de la interacción del residente con el paciente, su familia y el equipo de salud en el ámbito de la atención clínica real del paciente, es decir, en la parte superior de la pirámide de Miller. Así, esto contribuye a que la evaluación sea considerada como una estrategia de aprendizaje y reflexión continua para el médico en formación15.
Los instrumentos diseñados permiten, más allá de solo medir la realización o no de una determinada habilidad o destreza, la identificación de niveles de desempeño, lo cual es de enorme valor para la autoconciencia del estudiante con respecto a su situación en un momento dado, y le permite identificar áreas de oportunidad para mejorar, convirtiendo este método en un proceso formativo que potencia el aprendizaje y ayuda a mejorar el desempeño académico y profesional del especialista en formación.
Otra ventaja del instrumento es que, por su diseño, permite su uso en un ambiente de evaluación de 360°, ya que puede ser empleado por los docentes del curso, por el personal de salud de la institución (enfermeras, trabajadoras sociales, etc.) y por otros residentes de la misma u otras especialidades, y también puede ser utilizado para autoevaluación y coevaluación además de heteroevaluación.
Esta evaluación permitió identificar diferencias entre el nivel de competencia de acuerdo al grado académico, demostrando un mejor desempeño en los ciclos más avanzados, y de esta manera demuestran poseer las APC necesarias para tratar a los pacientes con afecciones que requieren una resolución quirúrgica de manera segura, eficiente, con calidad y calidez, lo que coincide con lo encontrado por otros investigadores16,17.
Cabe destacar que las APC en las que demostraron de manera general un mayor nivel de competencia fueron las denominadas por el PUEM como relativas a la actividad asistencial, mostrando tener capacidad suficiente para la atención clínica del enfermo desde el preoperatorio hasta el posoperatorio. Esto permite identificar algunas competencias en las que los residentes se muestran inseguros o faltos de experiencia, obteniendo evaluaciones más bajas, mientras que en algunas se muestran tan seguros y competentes como los residentes de ciclos superiores.
En lo concerniente a las APC relacionadas con la búsqueda y transferencia de conocimiento, se identifica un patrón competencial semejante al de la actividad asistencial en cuanto a que en el último año es evidente una mayor facilidad y eficiencia tanto en la elaboración como en la presentación de clases y temas de revisión. Sin embargo, es en las APC relacionadas a la capacidad de investigación en las que se evidencia una situación de preocupación, ya que la mayoría de los residentes muestran una total carencia de competencia en los temas relacionados con la investigación, lo cual deja un nicho de oportunidad para mejorar, comenzando a partir del primer año de la residencia.
La evaluación de este ciclo permitirá compararla con evaluaciones posteriores (anuales o incluso semestrales), convirtiendo esta práctica en una evaluación formativa integral, ya que cada evaluación se acompaña de una retroalimentación personal a cada residente, para permitir al aprendiz conocer su nivel de desempeño con el fin de identificar fortalezas y debilidades para corregir en el día a día de su actividad clínica habitual.
En conclusión, el diseño de este instrumento ha sido validado con un alto grado de confiabilidad tanto en términos de univocidad y relevancia como de alta consistencia interna. Este proceso de validación nos permite entonces acceder a un método de evaluación completo y objetivo para evaluar las APC de los residentes de cirugía en su proceso de formación de posgrado, lo cual constituye el siguiente paso para que la evaluación de la residencia, lejos de ser solo sumativa, se convierta en un método de formación constructivista, proporcionando a los residentes información valiosa para identificar aquellas competencias en las que necesitan alcanzar un mayor nivel de perfeccionamiento a través de una mayor práctica profesional.