Introducción

La actividad profesional de un cirujano de tórax en nuestro país exige el amplio dominio de conceptos teóricos, habilidades técnicas y actitudes, es decir, de lo que conocemos como competencias profesionales, en donde una de ellas es la realización de broncoscopias, tanto para diagnóstico como para tratamiento en las patologías respiratorias que sean susceptibles de atenderse mediante esta técnica.

La Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) define como competencia lo siguiente: conjunto de conocimientos, habilidades, actitudes, valores y aptitudes que interrelacionados entre sí permiten tener un desempeño profesional eficiente de conformidad con el estado del arte.¹

Desde el punto de vista de la cirugía, las competencias que debe tener un profesional quirúrgico son: pericia técnica, profesionalismo, abogacía en salud, comunicación, trabajo en equipo, gerencia y liderazgo, erudición, enseñanza, juicio y toma de decisiones. Algunas de estas competencias pueden ser evaluadas con una rúbrica, en particular, la pericia técnica, la toma de decisiones y el trabajo en equipo.²

Las competencias se van adquiriendo durante sus cuatro años de entrenamiento al realizar cotidianamente, acorde a su nivel de dominio, estudios broncoscópicos. En la mayoría de los casos, la evaluación de dichas actividades queda en el criterio personal del evaluador, es decir, del cirujano que entra con ellos al procedimiento, sin tener una guía que sea útil, clara, reproducible y, sobre todo, tenga validez para determinar el grado de competencia de esta actividad profesional.

La rúbrica es una evaluación auténtica centrada en el desempeño del alumno, o sea en las competencias del residente de cirugía de tórax y se define como: «Guías o escalas de evaluación en donde se establecen niveles progresivos de dominio o pericia relativos al desempeño que una persona muestra respecto de un proceso o producción determinada. Las rúbricas integran un amplio rango de criterios que cualifican de modo progresivo el tránsito de un desempeño incipiente de novato al grado de experto».³

Es importante destacar que parte de la evaluación en medicina, en particular de cirugía, es el grado de avance en el aprendizaje y es ahí donde la rúbrica juega un papel importante en este proceso ya que permite la evaluación in situ de la práctica y la observación y valoración de la competencia.⁴

En este artículo aplicamos la rúbrica para ver su utilidad en la evaluación de la competencia de broncoscopia en residentes de cirugía de tórax.

Material y métodos

Se aplicó una rúbrica a cuatro residentes de segundo y cuarto año de la residencia de cirugía de tórax del Instituto Nacional de Enfermedades Respiratorias (INER) Ismael Cosío Villegas durante la realización de una broncoscopia en pacientes reales por dos profesores del curso de cirugía de tórax del Instituto. La finalidad fue tener dos visiones del fenómeno a evaluar que es la competencia en broncoscopia de los residentes.

El profesor 1 tiene cinco años de experiencia como adscrito; el profesor 2 tiene 40 años de experiencia como cirujano de tórax y es uno de los fundadores de la escuela quirúrgica del instituto y formador de muchas generaciones de especialistas.

La finalidad de esta metodología es comparar lo observado por los dos profesores, con visiones y experiencias diferentes dentro de la docencia en cirugía de tórax y ver la utilidad de la rúbrica como instrumento de evaluación.

Resultados

Después de un año de realizar broncoscopias por parte de los residentes de segundo año y de tres años por parte de los residentes de cuarto año se aplicó la rúbrica (Tabla 1). Ésta evaluaba seis aspectos, cada uno con una escala de valores de 5, 8 y 10 puntos. De tal manera que la sumatoria da una escala de evaluación de 30-39 puntos no competente; de 40-49 parcialmente competente; y de 50-60 puntos competente.

Para la aplicación de este instrumento, se obtuvieron los datos de dos profesores de la especialidad. El evaluador 1, un profesor con cinco años de experiencia quirúrgica; el evaluador 2, un profesor con 40 años de experiencia.

Los resultados en general fueron competentes para todos los residentes, tanto de cuarto año como de segundo. Los cuatro primeros corresponden a los alumnos de segundo año y los cuatro últimos a los de cuarto (Tabla 2).

En el punto de evaluación de los residentes de segundo año, a pesar de que todos estuvieron en el rango de competentes, tres de ellos fueron calificados por uno o ambos evaluadores con 56 y 58 puntos.

En el residente 1, el evaluador 1 lo calificó con 58 puntos, destacando que la parte deficiente fue en cuanto a la anatomía traqueobronquial. El residente 2 fue calificado con 58 puntos por el evaluador 1 con deficiencia en cuanto a la anatomía traqueobronquial, es decir, en el conocimiento declarativo y procedimental. El evaluador 2 le dio un puntaje de 56 en cuanto a falta de medidas de protección universal, que es un conocimiento básico de cualquier médico y la preparación incompleta del paciente, que también es un conocimiento general. El residente 3 fue calificado con puntaje adecuado por ambos evaluadores con un grado de competente. El residente 4 fue calificado por el evaluador 2 con un puntaje de 58 con deficiencia en el uso de anestésico durante el procedimiento (Figura 1).

Figura 1: Desempeño de residentes de segundo año. 

La Figura 2 muestra el desempeño de los residentes por pregunta por el evaluador 1; y en este caso, el residente 1 y 2 estuvieron de manera no satisfactoria en los rubros de anatomía de la vía aérea. En la Figura 3 vemos como el evaluador 2 calificó de manera no satisfactoria con 8 puntos al segundo residente en los rubros de medidas personales y preparación del paciente, y al residente 4 en cuanto a la aplicación de medicamento previo a la broncoscopia. En el caso de los residentes de cuarto año todos tuvieron el máximo puntaje en el manejo de la broncoscopia con los pacientes (Figura 4), tanto por calificación del evaluador 1 como del evaluador 2.

Figura 2: Evaluador 1 en residentes de segundo año. 

Figura 3: Evaluador 2 en residentes de segundo año. 

Figura 4: Evaluación de residentes de cuarto año. 

Todos cubrieron en su totalidad los conocimientos declarativos y procedimentales de manera adecuada en la realización de broncoscopias. Pero destacando mejores resultados los de tercer año en comparación con los de primer año.

Discusión

La evaluación de la práctica clínica es una gran preocupación por parte de los docentes para tratar de no caer en apreciaciones sin fundamento y sobrevalorar o mal calificar a un alumno. En la evaluación existen instrumentos que nos permiten tener una visión clara de las cosas, dar un puntaje específico a las actividades y poder ser aplicado por varios docentes y tener resultados similares. Este es el caso de la rúbrica que usamos en este estudio.

Estos instrumentos no sólo se han aplicado en el ámbito de la ciencia, sino en la evaluación de procesos y productos de arte, diseño y actividades profesionales. En nuestro caso se aplicó en la realización de la broncoscopia para la evaluación de la práctica clínica.²

Estos instrumentos permiten, además, una evaluación auténtica. Facilitan el proceso de evaluar competencias complejas, están basados en criterios y desempeños objetivos y coherentes, describen lo que se está aprendiendo. Todos estos puntos deben ser tomados en cuenta cuando evaluamos competencias profesionales. En nuestro caso, competencias broncoscópicas que serán usadas en un futuro en la vida profesional del residente.⁵

Es importante destacar que la rúbrica permite un proceso de evaluación más valido y confiable, su valor real reside en poder ver el avance del proceso de enseñanza-aprendizaje. Resulta prioritario destacar que para la elaboración de una rúbrica se aprovecha el grado de experiencia de los profesores y se valora el grado de avance de los alumnos; también permite que el proceso de evaluación no sea dependiente de la personalidad y las variaciones del procesamiento del profesor. Esto lo pudimos aplicar al realizarla por dos profesores con experiencias docentes diferentes y tener resultados semejantes.⁶

Algunos autores también han usado las rúbricas para hacer expectativas de aprendizaje o suposiciones sobre las tareas a desarrollar de los alumnos, esto con la gran ventaja de poder hacer planificaciones de acuerdo con estos resultados. En nuestro caso, el resultado optimó lo que esperábamos en los residentes de cuarto año, y así fue; en cambio los de tercer año todavía tienen áreas de oportunidad para corregir.⁷

En medicina se han utilizado las rúbricas en muchos ámbitos de la práctica educativa debido a que son instrumentos que nos permiten valorar los aprendizajes y los productos realizados. En la enseñanza médica ha permitido al profesor especificar qué espera del alumno y cuáles son los criterios con los que va a calificar un objetivo previamente establecido. En este sentido, la realización de broncoscopia puede ser calificada o evaluada de manera satisfactoria con una rúbrica que nos permita conocer los resultados del aprendizaje de acuerdo con los objetivos de enseñanza del residente y ver de manera directa los resultados al realizar de manera correcta una broncoscopia. Los objetivos en nuestro caso son especialistas capaces de hacer procedimientos útiles y seguros para los pacientes.⁸

La rúbrica es considerada como una parte fundamental de la evaluación auténtica. Es una forma mediante la cual el docente puede evaluar al alumno en situaciones del «mundo real» y con ello ver la forma en que se aplican sus conocimientos y habilidades ante determinadas circunstancias. En la medicina, esta forma de evaluar es de muchísima utilidad en la práctica clínica para ver las competencias que el alumno tiene, desarrolla o refuerza. Puede ser que existan otros métodos que nos permitan evaluar estas situaciones, pero la rúbrica es un excelente método. Para nosotros fue el mejor instrumento en la evaluación del residente ante un paciente real.⁹

La aplicación de esta rúbrica nos permitió corroborar, a partir de la observación de dos profesores, la evolución en la adquisición de competencias, observar cómo el residente de mayor jerarquía realiza las actividades con mayor competencia que los residentes de años inferiores.¹⁰

Por tanto, la rúbrica es para nosotros el instrumento que permite corroborar lo que ya en otro trabajo previo dijimos acerca de la utilidad de la simulación como herramienta de enseñanza. Es un instrumento de evaluación in situ y de la realidad de la realización de procedimientos. Además, es un instrumento útil en la evaluación de un posgrado de medicina, como es la cirugía de tórax, en donde no hay instrumentos que puedan dar claramente resultados objetivos.¹¹,¹²

Es importante destacar que los resultados obtenidos en este estudio aparte de corroborar la utilidad de la rúbrica permiten ver los avances académicos de cada uno de los médicos residentes, conocer su desempeño y sus deficiencias. En resumen, conocer su aprendizaje y ver si el programa académico cumple o no con su objetivo terminal y a la par, en parte, para evaluar el currículo del alumno y de la escuela.¹³,¹⁴

Finalmente, la evaluación de un alumno de manera integral cumple con observar conocimientos, habilidades de pensamiento, habilidades y destrezas psicomotoras, actitudes y aptitudes; todas ellas, el residente las pone de manifiesto al hacer algún procedimiento, como en este caso la broncoscopia. Por ello, el evaluar in situ es útil porque se valoran de manera completa todos estos aspectos. Los aspectos anteriores son los que recomienda el Consejo Mexicano para la acreditación de la Educación Médica.¹⁵

Conclusiones

La rúbrica es un instrumento que permite evaluar los siguientes aspectos: conocimientos, habilidades de pensamiento, habilidades y destrezas psicomotoras, actitudes y aptitudes de manera reproducible y confiable en las residencias médicas.