SciELO - Scientific Electronic Library Online

 
vol.90 issue6Cost-minimization analysis of percutaneous ethanol injection treatment of benign solid thyroid nodules: an exploratory pilot studyBreast reduction with implants: case series, operative technique and long-term results author indexsubject indexsearch form
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


Cirugía y cirujanos

On-line version ISSN 2444-054XPrint version ISSN 0009-7411

Cir. cir. vol.90 n.6 Ciudad de México Nov./Dec. 2022  Epub Dec 09, 2022

https://doi.org/10.24875/ciru.22000038 

Artículos originales

Diseño de un instrumento para evaluar las actividades profesionales confiables en cirugía general

Design of an instrument to evaluate entrustable professional activities for general surgery

Carlos R. Cervantes-Sánchez1  2  * 

Haydeé Parra-Acosta2 

Juan C. Cantú-Reyes2 

1Servicio de Cirugía General, Hospital General de Chihuahua Dr. Salvador Zubirán Anchondo

2Departamento de Investigación Educativa, Facultad de Medicina y Ciencias Biomédicas, Universidad Autónoma de Chihuahua. Chihuahua, Chihuahua, México


Resumen

Objetivo:

La educación médica basada en competencias se ha vuelto cada vez más frecuente entre los organismos de acreditación quirúrgica que realizan evaluaciones para asegurar la competencia de los futuros profesionales y juzgar la idoneidad de los programas de formación.

Material y métodos:

Estudio transversal para validar un instrumento para evaluar las actividades profesionales confiables (APC) según el Programa Único de Especialidades Médicas mediante validez de contenido y constructo por juicio de expertos, y consistencia interna con alfa de Cronbach.

Resultados:

Cuatro de las rúbricas obtuvieron nivel alto a óptimo para univocidad y relevancia. Solo una rúbrica debió ser modificada en dos de sus ítems. La consistencia interna fue alta (alfa de Cronbach de 0.97). Al aplicar el instrumento, los residentes mostraron diferencias en el nivel competencial según el año de posgrado, identificando mejor desempeño el último año.

Discusión:

El instrumento fue validado con un alto grado de fiabilidad en univocidad y relevancia, y una alta consistencia interna. Los residentes demostraron poseer las APC necesarias para tratar pacientes quirúrgicos de manera segura, eficiente, con calidad y calidez. La capacidad para alcanzar el nivel estratégico de desempeño es el componente principal de la educación médica basada en competencias a través de las APC.

Palabras clave Educación basada en competencias; Evaluación basada en competencias; Educación quirúrgica; Estudio de validez

Abstract

Aim:

Competency-based medical education has become increasingly prevalent among surgical accreditation bodies that conduct assessments to ensure the competency of future professionals and judge the adequacy of training programs.

Materials and methods:

Cross-sectional study to validate an instrument to evaluate entrustable professional activities (EPA) according to the Single Program of Medical Specialties through content and construct validity by expert judgment, and internal consistency with Cronbach’s alpha.

Results:

Four of the rubrics scored high to optimal for univocity and relevance. Only one rubric had to be modified in two of its items. Internal consistency was high (Cronbach’s alpha of 0.97). When applying the instrument, the residents showed differences in the level of competence according to postgraduate year, identifying better performance in the last year.

Discussion:

The instrument was validated with a high degree of reliability in univocity and relevance, and high internal consistency. The residents demonstrated appropriate EPA to manage surgical patients safely, efficiently, with quality and warmth. The ability to reach the strategic level of performance is the main component of the competency-based medical education through the EPA.

Keywords Competency-based education; Competency-based evaluation; Surgical education; Validity study

Introducción

La educación superior está bajo un escrutinio continuo a medida que los estándares de desempeño aumentan progresivamente. Según las principales asociaciones americanas de educación, como la American Association for Higher Education, la American Education Research Association, la American Psychological Association y el National Council on Measurement in Education, la evaluación del aprendizaje es un proceso científico destinado a determinar qué se puede saber sobre las capacidades de desempeño y cómo se miden mejor, en cuanto a validez, precisión, confiabilidad, análisis e informes1.

Los marcos de educación médica basada en competencias se han vuelto cada vez más frecuentes entre los organismos de acreditación de educación quirúrgica, incluido el Consejo Mexicano de Cirugía General. Los programas tradicionales de formación en residencias médicas utilizan un modelo basado en el tiempo, en que se espera que los estudiantes alcancen la competencia al final del programa por la exposición continua durante los años de formación. En comparación, los alumnos en programas de educación médica basada en competencias deben demostrar competencia en una variedad de actividades y contextos a lo largo de sus programas para completar con éxito su formación. La viabilidad de realizar evaluaciones periódicas de las competencias sigue siendo un desafío, especialmente de las habilidades operatorias debido a las presiones de tiempo en la sala de operaciones, las preocupaciones de seguridad y la renuencia del personal supervisor a permitir que los aprendices operen de forma independiente2.

Sin embargo, no existe una definición de competencia que abarque todos los dominios importantes de la práctica médica profesional y que sea universalmente aceptada. En respuesta, el Acreditation Council for Graduate Medical Education determinó seis áreas que permitieron definir la competencia profesional como el uso habitual y juicioso de la comunicación, el conocimiento, las habilidades técnicas, el razonamiento clínico, las emociones, los valores y la reflexión en el día a día para el beneficio del individuo y la comunidad a la que se sirve3.

Se sabe que el desempeño avanzado en el quirófano depende de la combinación de varios conjuntos de habilidades, para lo que cualquier evaluación objetiva debe ser hecha a medida y probada rigurosamente4.

En México, el plan curricular de las especialidades médicas se diseñó e implementó desde 1994 a través del Plan Único de Especialidades Médicas (PUEM), definiéndolas como una práctica médica de alta calidad que se basa en tres áreas fundamentales de competencia profesional: atención médica, desarrollo de investigación y actividades educativas5.

Es reconocido por el Consejo Mexicano de Cirugía General que por muchos años la certificación y la recertificación se han basado en exámenes escritos y orales, generando la duda de si los cirujanos acreditados tienen las habilidades necesarias para la atención clínica del paciente y si los sistemas de formación del país son aceptablemente adecuados6. Durante las últimas décadas, tanto el Royal College of Physicians and Surgeons of Canada como el American Board of Medical Specialties han implementado programas de certificación para asegurar que los médicos estén comprometidos con un proceso de aprendizaje permanente y de evaluación de competencias. Sin embargo, la relevancia, los requisitos administrativos y la evidencia de efectividad se han cuestionado cada vez más7.

A partir del año 2001, el Acreditation Council for Graduate Medical Education ha implementado varios proyectos, sin éxito (Outcomes, Next), con el propósito de mejorar la calidad de la educación médica de posgrado. El concepto de actividades profesionales confiables (APC) se introdujo en los Países Bajos en 2005 como un constructo práctico para describir el trabajo de un médico en función de sus competencias. Por ello es que, como parte de un mayor enfoque en la educación médica basada en competencias, la especialidad de cirugía ha liderado el camino para incorporarlas a la especialización quirúrgica de posgrado8.

Por esta razón, en 2016, el American Board of Medical Specialties consideró las APC como un modelo potencial para mejorar la evaluación y la retroalimentación de los aprendices quirúrgicos. Sin embargo, se desconoce su eficacia para evaluar el logro de la competencia y la autonomía9.

Actualmente, la evaluación de las competencias quirúrgicas continúa siendo el aspecto más débil de la evaluación, por lo que es imperativo contar con una estrategia de evaluación objetiva de los conocimientos, las habilidades, las destrezas y las actitudes del médico en especialización a través de un Modelo de Evaluación Integral de Competencias Clínico-Quirúrgicas, no solo de forma transversal, sino con un diseño que permita valorar los pros y contras del método, mediante un proceso de investigación-acción, permitiendo su corrección y mejora, adaptándose a las necesidades tanto de los participantes como de la sociedad según el momento y las circunstancias. Para ello es imprescindible contar con un instrumento que permita evaluar de forma integral las APC propias de la especialidad de cirugía general.

Método

Se realizó un estudio de validez y confiabilidad para diseñar un instrumento formado por cinco rúbricas con niveles de desempeño, para evaluar las APC de los residentes de un programa de cirugía general durante la promoción 2020-2021 en una sede hospitalaria pública de segundo nivel de atención, a través de las fases que a continuación se exponen.

Diseño del instrumento

Se elaboraron cinco rúbricas por parte del Departamento de Investigación Educativa de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua, acordes al PUEM en términos de: 1-3) atención clínico-quirúrgica (manejo preoperatorio, transoperatorio y postoperatorio); 4) búsqueda y transferencia de conocimiento, y 5) capacidad de investigación. Cada competencia constó de 6 o 7 ítems, graduados en cuatro niveles de desempeño: a) receptivo; b) resolutivo; c) autónomo, y d) estratégico10.

Juicio de expertos

Para la validez de contenido se empleó la técnica de juicio de expertos11 en base a dos criterios, que fueron univocidad y pertinencia, a través de una escala de estimación de cuatro niveles, desde «univocidad óptima» hasta «univocidad nula» (Tabla 1), con la participación de 12 jueces (seis cirujanos generales, tres investigadores clínicos y tres investigadores en educación médica) a quienes les fueron enviadas las rúbricas por correo electrónico, según su campo de experiencia. Para los criterios de pertinencia se empleó una escala con significados y niveles semejantes a los de univocidad (Tabla 2).

Tabla 1 Definición de niveles de univocidad 

Definición de los niveles de la escala de univocidad

Niveles de univocidad Significado Valor asignado
Univocidad óptima (UO) El ítem es susceptible de ser entendido e interpretado inequívocamente de una sola y única manera. 4
Univocidad Alta (UA) El ítem es susceptible de interpretación pero puede ser entendido mayoritariamente o en general de una sola manera. 3
Univocidad Baja (UB) El ítem es susceptible de ser entendido en sentidos diversos y se encuentra más cerca de la equivocidad. 2
Univocidad Nula (UN) El ítem es susceptible de no ser entendido o ser interpretado con sentidos diferentes, cayendo en la equivocidad. 1

Tabla 2 Definición de niveles de pertinencia 

Definición de los niveles de la escala de pertinencia

Niveles de pertinencia Significado Valor asignado
Pertinencia óptima (UO) El ítem es susceptible de pertenecer inequívocamente al constructo al que va dirigido 4
Pertinencia Alta (UA) El ítem es susceptible de pertenecer mayoritariamente al constructo al que va dirigido 3
Pertinencia Baja (UB) El ítem es susceptible de pertenecer a diversos constructos o poco relevante para el constructo al que va dirigido 2
Pertinencia Nula (UN) El ítem es susceptible de no pertenecer al constructo o no es relevante para el constructo al que va dirigido 1

Para las rúbricas que evalúan la atención clínico-quirúrgica se consideraron expertos a especialistas en cirugía general con experiencia mínima de 5 años. Para la rúbrica que evalúa la capacidad de investigación se convocó a investigadores pertenecientes al Sistema Nacional de Investigadores. Finalmente, para la rúbrica de evaluación de la capacidad educativa, los médicos considerados fueron aquellos con posgrados en educación médica.

El procedimiento definido para obtener los índices de univocidad y pertinencia (Tabla 3) permite ponderar las respuestas de los jueces como describe Carrera12, donde a partir de la fórmula descrita en la Figura 111 fue posible obtener ambos índices con un valor máximo de 4 y un mínimo de 1 para cada ítem del instrumento de validación, estableciendo unos criterios para determinar la conservación (≥ 0.80), modificación (≤ 0.79) o supresión (≤ 0.59) de cada uno de los ítems evaluados (Tabla 4).

Tabla 3 Interpretación de los índices de univocidad y pertinencia 

Índice de univocidad (iU) Índice de pertinencia (iP)
nUO Numero de respuestas obtenidas del nivel de univocidad óptima nPO Numero de respuestas obtenidas del nivel de pertinencia óptima
nUE Número de respuestas obtenidas del nivel de univocidad elevada nPE Número de respuestas obtenidas del nivel de pertinencia elevada
nUB Número de respuestas obtenidas del nivel de univocidad baja nPB Número de respuestas obtenidas del nivel de pertinencia baja
nUN Número de respuestas obtenidas del nivel de univocidad nula nPN Número de respuestas obtenidas del nivel de pertinencia nula
nTU Número de respuestas totales obtenidas para el nivel de univocidad nTP Número de respuestas totales obtenidas para el nivel de pertinencia
VUO Valor asignado al nivel de univocidad óptima VPO Valor asignado al nivel de pertinencia óptima
VUE Valor asignado al nivel de univocidad elevada VPE Valor asignado al nivel de pertinencia elevada
VUB Valor asignado al nivel de univocidad baja VPB Valor asignado al nivel de pertinencia baja
VUN Valor asignado al nivel de univocidad nula VPN Valor asignado al nivel de pertinencia nula
VMU Valor máximo de los niveles de la escala de univocidad VMP Valor máximo de los niveles de la escala de pertinencia

Figura 1 Fórmula para obtener los índices de univocidad y pertinencia. Adaptada de: Carrera FX et al.11 

Tabla 4 Criterios de univocidad y pertinencia 

Criterios según iU Criterios según iP
iU≥0.80 Los ítems se mantienen en su forma original iP≥0.80 Los ítems se mantienen en su forma original.
iU≤0.79≥0.60 Los ítems se modifican en su redacción. iP≤0.79≥0.60 Los ítems se modifican en su redacción u ubicación.
iU≤0.59 Los ítems se eliminan. iP≤0.59 Los ítems se eliminan.

Consistencia interna

Una vez validados los instrumentos, se aplicaron a los médicos residentes del servicio de cirugía con sede en el Hospital General de Chihuahua “Dr. Salvador Zubirán Anchondo” para ser observados y evaluados en su campo de acción cotidiano (consulta externa, salas de cirugía, salas de hospitalización, aula) (Fig. 2) por los profesores del curso (heteroevaluación) con el empleo de rúbricas electrónicas (formularios de Google). Para evaluar la consistencia interna de los instrumentos se empleó el alfa de Cronbach13.

Figura 2 Diagrama de evaluación de las actividades profesionales confiables. (Elaboración propia con imágenes de macrovector_official, pch.vector, katemangostar y storles, obtenidas de https://www.freepik.com.). 

La evaluación del manejo preoperatorio se realizó mediante seis dominios competenciales: 1) interrogatorio clínico estructurado; 2) exploración física; 3) proceso diagnóstico; 4) propuesta de manejo quirúrgico; 5) información al paciente, y 6) relación médico-paciente.

La evaluación del manejo transoperatorio se abordó a través de los siguientes siete dominios: 1) colocación del paciente; 2) preparación del área operatoria; 3) lavado y vestido para el acto quirúrgico; 4) desempeño dentro del equipo quirúrgico; 5) realización de la técnica quirúrgica; 6) cierre de la herida quirúrgica, y 7) conducta durante el acto quirúrgico.

La evaluación del manejo posoperatorio fue a través de seis dominios competenciales: 1) interrogatorio clínico (enfocado a la recuperación); 2) exploración física (evaluando la recuperación); 3) identificación y resolución de complicaciones; 4) propuesta de manejo posoperatorio hasta la recuperación; 5) información al paciente sobre su evolución, y 6) relación médico-paciente en el posoperatorio.

La búsqueda y transferencia del conocimiento se abordó a través de seis dominios competenciales: 1) pensamiento crítico; 2) creatividad; 3) expresión escrita; 4) expresión verbal; 5) lectura de comprensión, y 6) capacidad informática.

La capacidad de investigación se abordó a través de siete dominios competenciales que evalúan: 1) generación de una pregunta de investigación; 2) búsqueda sistemática de información; 3) metodología científica enfocada a contestar la pregunta de investigación; 4) observa el fenómeno médico, lo analiza y lo describe; 5) análisis, discusión y redacción de resultados; 6) genera nuevo conocimiento, y 7) elaboración y presentación de un informe de investigación.

Los procedimientos descritos se adhieren a los estándares éticos del Comité de Ética en Investigación de la Subdirección de Enseñanza e Investigación del Hospital General de Chihuahua “Dr. Salvador Zubirán Anchondo” (CEI-0189-2017) y del Comité de Ética en Investigación de la Secretaría de Investigación y Posgrado de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua (CI-006-21), en consonancia con la Declaración de Helsinki de 1975 y sus revisiones subsecuentes (incluyendo la de la 64.a Asamblea General de Fortaleza, Brasil, en octubre de 2013)14. Ambos comités se encuentran registrados ante la Comisión Nacional de Bioética de la Secretaría de Salud. El proyecto se encuentra registrado en ClinicalTrials.gov (NCT05179980). En todos los casos se obtuvo el consentimiento informado tanto de los residentes como del personal de salud involucrado (enfermería), así como de los pacientes.

Resultados

En cuanto a la validez de contenido de las rúbricas mediante el juicio de expertos, se observó que, en la correspondiente a la capacidad de investigación, los ítems 5) asume una actitud ética al procesar la información y 6) genera nuevo conocimiento que contribuye a la solución de problemas presentaron valores ≤ 0.79 ≥ 0.60, por lo que tuvieron que ser modificados (Tabla 5). Una vez modificada, fue devuelta a los mismos evaluadores después de un periodo de lavado de 1 mes, obteniendo valores > 0.85, por lo que a partir de la corrección se consideraron fiables (Tabla 6).

Tabla 5 Competencia: capacidad de investigación (inicial) 

Clave Dominio de la competencia a evaluar Nivel de univocidad Nivel de pertinencia
CI1 Identifica las necesidades del contexto global en congruencia con los retos de la sociedad del conocimiento 0.9 0.95
CI2 Analiza y recupera información pertinente 0.9 0.95
CI3 Aplica procesos metodológicos 0.85 0.95
CI4 Muestra habilidad para la observación 0.85 0.85
CI5 Asume una actitud ética al procesar información 0.75 0.95
CI6 Genera nuevo conocimiento que contribuye a la solución de problemas 0.75 1.0
CI7 Desarrolla diversos tipos de comunicación científica 0.9 1.0

Tabla 6 Competencia: capacidad de investigación 

Clave Dominio de la competencia a evaluar Nivel de univocidad Nivel de pertinencia
CI1 Identifica las necesidades del contexto global en congruencia con los retos de la sociedad del conocimiento 0.9 0.95
CI2 Analiza y recupera información pertinente 0.9 0.95
CI3 Aplica procesos metodológicos 0.85 0.95
CI4 Muestra habilidad para la observación 0.85 0.85
CI5 Asume una actitud ética al procesar información 0.85 0.95
CI6 Genera nuevo conocimiento que contribuye a la solución de problemas 0.85 1.0
CI7 Desarrolla diversos tipos de comunicación científica 0.9 1.0

Con respecto a las rúbricas que permiten evaluar las competencias relacionadas a la atención clínico-quirúrgica (preoperatorio, transoperatorio y posoperatorio), y la que permite evaluar la búsqueda y transferencia de conocimiento, se observó que los dominios evaluados conservaron su redacción original por presentar valores de univocidad y relevancia > 0.80 (Tablas 7 a 10).

Tabla 7 Competencia: manejo preoperatorio 

Clave Dominio de la competencia a evaluar Nivel de univocidad Nivel de pertinencia
MPrO1 Aplica el interrogatorio estructurado 0.94 0.88
MPrO2 Examina al paciente en forma completa y sistemática 0.97 0.97
MPrO3 Identifica la presencia o ausencia de patología quirúrgica 0.97 1.0
MPrO4 Propone y explica el tratamiento quirúrgico específico 0.94 0.88
MPrO5 Informa a pacientes y familiares sobre el padecimiento 0.94 0.94
MPrO6 Cuida y promueve la relación médico-paciente 0.94 0.94

Tabla 8 Competencia: manejo transoperatorio 

Clave Dominio de la competencia a evaluar Nivel de univocidad Nivel de pertinencia
MT1 Se encarga de que la posición del paciente y las luces sean las adecuadas 1.0 1.0
MT2 Se encarga de que la preparación del área operatoria sea la adecuada, conociendo su fundamentación teórica 0.9 0.93
MT3 Se lava y viste en el momento adecuado y con conocimiento de la técnica 1.0 0.96
MT4 Es capaz de desempeñar todas las posiciones de los miembros del equipo quirúrgico, así como de iniciar el abordaje 1.0 0.93
MT5 Es capaz de realizar las diferentes técnicas de reparación de la afección quirúrgica 0.96 0.9
MT6 Cierra la herida quirúrgica por capas 0.96 0.96
MT7 Su conducta en todo el acto quirúrgico muestra dominio, respeto y liderazgo en torno al bien del paciente 0.9 0.87

Tabla 9 Competencia: manejo posoperatorio 

Clave Dominio de la competencia a evaluar Nivel de univocidad Nivel de pertinencia
MPOp1 Aplica el interrogatorio estructurado 0.94 0.94
MPOp2 Examina al paciente en forma completa y sistemática 1.0 1.0
MPOp3 Identifica y resuelve la presencia o ausencia de complicaciones 0.97 0.91
MPOp4 Propone y explica el tratamiento médico y/o quirúrgico específico 0.97 0.97
MPOp5 Informa al paciente y los familiares sobre la recuperación 1.0 1.0
MPOp6 Cuida y promueve la relación médico-paciente 0.91 0.91

Tabla 10 Competencia: búsqueda y transferencia de conocimiento 

Clave Dominio de la competencia a evaluar Nivel de univocidad Nivel de pertinencia
BTC1 Pensamiento crítico 0.95 0.91
BTC2 Creatividad 0.83 0.91
BTC3 Expresión escrita 0.91 0.91
BTC4 Expresión verbal 0.83 0.83
BTC5 Lectura de comprensión 0.87 0.87
BTC6 Capacidad informática 0.83 0.91

La evaluación de la consistencia interna para cada rúbrica obtuvo un valor alfa de Cronbach de 0.97, con un coeficiente de división en mitades de Guttman de 0.86, lo cual se considera altamente aceptable al ser muy cercano a 1.0, lo que indica una alta confiabilidad del instrumento13.

Se realizó una prueba piloto para probar el instrumento con los residentes del programa de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua, distribuidos por grado de la manera siguiente: seis residentes de primer año (R1), cuatro de segundo año (R2), tres de tercer año (R3) y dos de cuarto año (R4). El rango de edad fue de 25 a 31 años (media: 28.26; desviación estándar: 1.9), y 4 (26.6%) fueron de sexo femeninos y 11 (73.4%) masculino; la distribución de las mujeres fue dos R1, una R2 y una R4.

Las evaluaciones fueron realizadas por cuatro médicos adscritos al servicio, el profesor titular del programa y su adjunto, el líder del proyecto de investigación y el jefe del servicio.

En cuanto a las APC relativas a la atención clínico-quirúrgica (manejo preoperatorio, transoperatorio y posoperatorio), se encontraron claras diferencias en el desempeño entre los diferentes grados, tendiendo los R1 a estar entre los niveles receptivo y resolutivo, los R2 entre los niveles resolutivo y autónomo, los R3 ya se mantuvieron en el nivel de autonomía y finalmente los R4 se encontraron en el nivel autónomo y alcanzaron el estratégico.

En las APC de búsqueda y transferencia de conocimiento se nota una tendencia casi homogénea entre los R1 y R2 en los niveles receptivo y resolutivo, mientras que el nivel autónomo se logra a partir de R3, logrando el estratégico solo los R4.

Sin embargo, en las APC correspondientes a la capacidad de investigación, todos los residentes mostraron un nivel receptivo, aunque uno de los R1 lo hizo con mayor calificación y solo una R4 logró el nivel autónomo.

Discusión

El objetivo principal del presente estudio fue diseñar un instrumento para evaluar lo más objetivamente posible las APC asociadas al perfil de la especialidad de cirugía general de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua, definido a partir del PUEM. Con este propósito se diseñaron cinco rúbricas con descriptores para variables complejas que se relacionan con los dominios de las APC a través de la interacción del residente con el paciente, su familia y el equipo de salud en el ámbito de la atención clínica real del paciente, es decir, en la parte superior de la pirámide de Miller. Así, esto contribuye a que la evaluación sea considerada como una estrategia de aprendizaje y reflexión continua para el médico en formación15.

Los instrumentos diseñados permiten, más allá de solo medir la realización o no de una determinada habilidad o destreza, la identificación de niveles de desempeño, lo cual es de enorme valor para la autoconciencia del estudiante con respecto a su situación en un momento dado, y le permite identificar áreas de oportunidad para mejorar, convirtiendo este método en un proceso formativo que potencia el aprendizaje y ayuda a mejorar el desempeño académico y profesional del especialista en formación.

Otra ventaja del instrumento es que, por su diseño, permite su uso en un ambiente de evaluación de 360°, ya que puede ser empleado por los docentes del curso, por el personal de salud de la institución (enfermeras, trabajadoras sociales, etc.) y por otros residentes de la misma u otras especialidades, y también puede ser utilizado para autoevaluación y coevaluación además de heteroevaluación.

Esta evaluación permitió identificar diferencias entre el nivel de competencia de acuerdo al grado académico, demostrando un mejor desempeño en los ciclos más avanzados, y de esta manera demuestran poseer las APC necesarias para tratar a los pacientes con afecciones que requieren una resolución quirúrgica de manera segura, eficiente, con calidad y calidez, lo que coincide con lo encontrado por otros investigadores16,17.

Cabe destacar que las APC en las que demostraron de manera general un mayor nivel de competencia fueron las denominadas por el PUEM como relativas a la actividad asistencial, mostrando tener capacidad suficiente para la atención clínica del enfermo desde el preoperatorio hasta el posoperatorio. Esto permite identificar algunas competencias en las que los residentes se muestran inseguros o faltos de experiencia, obteniendo evaluaciones más bajas, mientras que en algunas se muestran tan seguros y competentes como los residentes de ciclos superiores.

En lo concerniente a las APC relacionadas con la búsqueda y transferencia de conocimiento, se identifica un patrón competencial semejante al de la actividad asistencial en cuanto a que en el último año es evidente una mayor facilidad y eficiencia tanto en la elaboración como en la presentación de clases y temas de revisión. Sin embargo, es en las APC relacionadas a la capacidad de investigación en las que se evidencia una situación de preocupación, ya que la mayoría de los residentes muestran una total carencia de competencia en los temas relacionados con la investigación, lo cual deja un nicho de oportunidad para mejorar, comenzando a partir del primer año de la residencia.

La evaluación de este ciclo permitirá compararla con evaluaciones posteriores (anuales o incluso semestrales), convirtiendo esta práctica en una evaluación formativa integral, ya que cada evaluación se acompaña de una retroalimentación personal a cada residente, para permitir al aprendiz conocer su nivel de desempeño con el fin de identificar fortalezas y debilidades para corregir en el día a día de su actividad clínica habitual.

En conclusión, el diseño de este instrumento ha sido validado con un alto grado de confiabilidad tanto en términos de univocidad y relevancia como de alta consistencia interna. Este proceso de validación nos permite entonces acceder a un método de evaluación completo y objetivo para evaluar las APC de los residentes de cirugía en su proceso de formación de posgrado, lo cual constituye el siguiente paso para que la evaluación de la residencia, lejos de ser solo sumativa, se convierta en un método de formación constructivista, proporcionando a los residentes información valiosa para identificar aquellas competencias en las que necesitan alcanzar un mayor nivel de perfeccionamiento a través de una mayor práctica profesional.

Agradecimientos

Los autores agradecen la valiosa colaboración de los doctores Mario Humberto Cardiel Ríos, Rubén Burgos Vargas, Abel Jalife Montaño, María de Lourdes de la Torre Díaz, Gloria Eugenia Queipo García, Jesús Arturo Medina Ramírez, Pedro Alexandro Márquez, Laura Elizabeth Piñón Gaytán, Ubaldo García y César Aragón Quintana, quienes desinteresadamente accedieron a fungir como jueces en el proceso de validación del contenido de los instrumentos evaluados.

Bibliografía

1. Parker PE, Fleming PD, Beyerlein S, Apple D, Krumsieg K. Differentiating assessment from evaluation as continuous improvement tools [for engineering education]. 31st Annual Frontiers in Education Conference. Impact on Engineering and Science Education. Conference Proceedings (Cat. No.01CH37193). Disponible en:https://www.semanticscholar.org/paper/Differentiating-assessment-from-evaluation-as-tools-Parker-Fleming/37418c016324131c379337030bab06b29430fea4 [ Links ]

2. Fahim C, Wagner N, Nousiainen MT, Sonnadara R. Assessment of technical skills competence in the operating room:a systematic and scoping review. Acad Med. 2018;93:794-808. [ Links ]

3. Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287:226-35. [ Links ]

4. Azari D, Greenberg C, Pugh C, Wiegmann D, Radwin R. In search of characterizing surgical skill. J Surg Ed. 2019;76:1348-63. [ Links ]

5. Plan Único de Especializaciones Médicas (PUEM) en Cirugía General. Facultad de Medicina, UNAM, División de Estudios de Posgrado, Subdivisión de Especializaciones Médicas, Coordinación de Desarrollo Curricular. México, D.F.;2009. Plan de estudios aprobado por el Consejo Universitario el 21 de abril de 1994. Coordinación editorial del Dr. Bernardo Pintos Aguilar. Ciudad de México;junio de 2016. [ Links ]

6. Anaya-Prado R, Ortega-León LH, Ramírez-Solis ME, Vázquez-García JA, Medina-Portillo JB, Ayala-López EA. Evaluación de competencias quirúrgicas. Estudio piloto mexicano. Cir Cir. 2012;80:261-9. [ Links ]

7. Price D, Campbell C, Van Hoof TJ, ElChamaa R, Jeong D, Chappell K, et al. Definitions of physician certification used in the North American literature:a scoping review. JCEHP. 2020;40:147-57. [ Links ]

8. Brasel KJ, Klingensmith ME, Englander R, Grambau M, Buyske J, Sarosi G, et al. Entrustable professional activities in general surgery:development and implementation. J Surg Educ. 2019;76:1174-86. [ Links ]

9. Albright JB, Meier AH, Ruangvoravat L, VanderMeer TJ. Association between entrustable professional activities and milestones evaluations:real-time assessments correlate with semiannual reviews. J Surg Educ. 2020;77:e220-8. [ Links ]

10. Tobón S. Formación integral y competencias. Pensamiento complejo, currículo, didáctica y evaluación. 4.ªed. Bogotá, Colombia:Ecoe;2013. [ Links ]

11. Carrera FX, Vaquero E, Balsells MA. Instrumento de evaluación de competencias digitales para adolescentes en riesgo social. EDUTEC, Revista Electrónica de Tecnología Educativa. 2011;(35). Disponible en:http://edutec.rediris.es/revelec2/revelec35. [ Links ]

12. Carrera Farran FX. Uso de los diagramas de flujo y sus efectos en la enseñanza aprendizaje de contenidos procedimentales. Área de tecnología (E.S.O.). Revista Interuniversitaria de Formación del Profesorado. 2005;19:223-5. [ Links ]

13. Taber KS. The use of Cronbach's alpha when developing and reporting research instruments in science education. Res Sci Educ. 2018;48:1273-96. [ Links ]

14. World Medical Association Declaration of Helsinki. Ethical principles for medical research involving human subjects. JAMA. 2013;310:2191-4. [ Links ]

15. Champin D. Evaluación por competencias en la educación médica. Revista Peruana de Medicina Experimental y Salud Pública. 2014;31:566-71. [ Links ]

16. Kouzmina E, Mann S, Chaplin T, Zevin B. An evaluation of the surgical foundations curriculum:a national study. J Surg Educ. 2021;78:914-26. [ Links ]

17. Dwyer T, Wadey V, Archibald D, Kraemer W, Slade Shantz J, Townley J, et al. Cognitive and psychomotor entrustable professional activities:can simulators help assess competency in trainees?Clin Orthop Relat Res. 2016;474:926-34. [ Links ]

FinanciamientoLos autores declaran no haber recibido financiamiento.

Responsabilidades éticas

Protección de personas y animales. Los autores declaran que los procedimientos seguidos se conformaron a las normas éticas del comité de experimentación humana responsable y de acuerdo con la Asociación Médica Mundial y la Declaración de Helsinki.

Confidencialidad de los datos. Los autores declaran que han seguido los protocolos de su centro de trabajo sobre la publicación de datos de pacientes.

Derecho a la privacidad y consentimiento informado. Los autores han obtenido el consentimiento informado de los pacientes y/o sujetos referidos en el artículo. Este documento obra en poder del autor de correspondencia.

Recibido: 17 de Enero de 2022; Aprobado: 06 de Abril de 2022

* Correspondencia: Carlos R. Cervantes-Sánchez E-mail: ccervantes@uach.mx

Conflicto de intereses

Los autores declaran no tener conflicto de intereses.

Creative Commons License Instituto Nacional de Cardiología Ignacio Chávez. Published by Permanyer. This is an open access article under the CC BY-NC-ND license