text new page (beta)
Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
Introducción
La educación en las residencias médicas requiere un sistema de evaluación sólido y multifacético, en el que los procesos sean continuos, frecuentes y basados en criterios objetivos. Conforme surgen cambios en las perspectivas de la educación superior, se ha vuelto indispensable modificar las herramientas de evaluación en congruencia con los nuevos paradigmas educacionales.1,2 Uno de los paradigmas predominantes actualmente en educación médica es el de la educación basada en competencias. Epstein definió la competencia clínica como «el uso juicioso y habitual de la comunicación, conocimientos, habilidades técnicas, razonamiento clínico, valores y la reflexión en la práctica diaria, en beneficio de los individuos y las comunidades que se atienden». Esto implica la necesidad de contar con instrumentos adecuados para la evaluación de los diferentes dominios de la competencia, y poder establecer el nivel de la misma que posee el estudiante evaluado.3
La División de Estudios de Posgrado de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM), recién diseñó rúbricas de evaluación de competencias generales y específicas con el fin de ser más precisos y minimizar la subjetividad de los evaluadores, para hacer el proceso de evaluación más sencillo, transparente y justo,4 ya que las citadas competencias representan las habilidades más frecuentemente utilizadas para enfrentar los retos cotidianos en su labor como residentes. El nivel de competencias adquirido por los residentes puede afectar positiva o negativamente su rendimiento y la atención del paciente, por lo que es importante identificar sus áreas de oportunidad para el desarrollo de estas habilidades.
El portafolio electrónico es una herramienta útil para evaluar las competencias.5 En el caso de la educación en las residencias médicas, esta herramienta permite que el alumno plasme sus logros de aprendizaje y experiencia de manera organizada, más allá del mero registro de hechos; permite al estudiante valorar los logros de aprendizaje alcanzados durante sus cursos, lo que puede facilitar al residente la adopción de una actitud más activa sobre sus necesidades de aprendizaje. El uso del portafolio puede incrementar la participación cognitiva del alumno en su propia formación, facilitando la práctica reflexiva durante el proceso de enseñanza-aprendizaje.6,7
El presente estudio presenta la evaluación de cuatro competencias con un portafolio electrónico en residentes de neumología pediátrica: 1) elaboración de historia clínica, 2) elaboración de nota médica, 3) interpretación de estudios de imagen y 4) desempeño médico con profesionalismo.
Material y métodos
Se realizó un estudio observacional, prospectivo, con diseño de investigación pre-postest de un solo grupo. La muestra fue por conveniencia, con residentes del curso de neumología pediátrica del Instituto Nacional de Pediatría en la Ciudad de México. Los residentes son alumnos de la División de Estudios de Posgrado de la Facultad de Medicina de la UNAM. Previamente se diseñó y desarrolló un portafolio electrónico, personalizado para cada uno de los residentes, en la plataforma de Google Sites (https://sites.google.com/), la que fue elegida por ser gratuita, de fácil acceso y uso intuitivo. Se incluyeron los apartados: datos generales del alumno y las cuatro competencias evaluadas: 1) elaboración de historia clínica, 2) elaboración de nota médica, 3) interpretación de estudios de imagen y 4) desempeño médico con profesionalismo.
En cada uno de los apartados los alumnos incorporaron una historia clínica, una nota médica y un estudio de imagen; la evaluación del profesionalismo se basó en el desempeño mostrado en el trabajo día a día en el servicio. Las competencias fueron evaluadas por el Jefe del Servicio de Neumología basándose en las rúbricas propuestas por el posgrado de la Facultad de Medicina de la UNAM (http://www.fmposgrado.unam.mx/wordpress/?page_id=54), cada una de éstas con una puntuación ad hoc adaptada para las necesidades de la especialidad de neumología pediátrica. El nivel de puntuación de cada competencia específica considerado como mínimo aceptable fue determinado por consenso de expertos, con profesores de la especialidad de las diferentes sedes clínicas de neumología pediátrica, utilizando una escala de evaluación específica para cada competencia (estos niveles mínimos fueron de 20 para historia clínica, 12 para nota médica, 10 para estudio de imagen y 24 para profesionalismo).
Al final de un período de cuatro meses, los alumnos incorporaron nuevamente al portafolio, en sus distintos apartados, lo correspondiente a cada competencia y fueron evaluados otra vez por el mismo juez. Se realizó un análisis pretest-postest, utilizando la prueba de rangos de Wilcoxon, no paramétrica, con el programa Statistical Package for the Social Sciences (SPSS) versión 24, tomando como nivel de significancia estadística un valor de p < 0.05.
El estudio fue aprobado por el Comité de Investigación del Instituto Nacional de Pediatría de la Ciudad de México, con el número de registro 029-2017. Se cuidaron los aspectos éticos del estudio, con consentimiento informado verbal de los participantes y confidencialidad de los datos.
Resultados
Se evaluaron 11 residentes, seis de primer año y cinco de segundo año de la generación 2017-2018, los cuales representaron el 100% de alumnos de la especialidad en la sede hospitalaria. Cuatro mujeres (36%) y siete hombres (64%), con promedio de edad de 34 años. La confiabilidad de las rúbricas medida con alfa de Cronbach fue de 0.71 a 0.91. Al no encontrar diferencias estadísticamente significativas entre los residentes por año de especialidad, se decidió analizar los resultados de manera combinada. De las cuatro competencias evaluadas, en la de elaboración de historia clínica, la evaluación pretest mostró que cinco alumnos (45%) obtuvieron una puntuación < 20, y en la evaluación postest los 11 alumnos lograron puntajes > 20 (Figura 1).
Figura 1: Puntuaciones obtenidas en la elaboración de historia clínica en los estudiantes de neumología pediátrica en el Instituto Nacional de Pediatría (n = 11).
En la evaluación pretest correspondiente a la nota médica, dos alumnos obtuvieron una calificación < 12, y en la evaluación postest todos lograron una puntuación de nivel mayor (Figura 2). En la interpretación de estudios de imagen fue donde se encontraron las menores puntuaciones en la evaluación pretest, ya que seis alumnos (54%) obtuvieron < 10 puntos, nivel superado en la evaluación postest (Figura 3). En la de profesionalismo todos los alumnos obtuvieron desde la evaluación pretest puntuaciones > 24 (Figura 4). Se realizó el análisis pretest-postest con prueba de rangos de Wilcoxon, obteniendo valores de p < 0.05 en las cuatro comparaciones (Tabla 1).
Figura 2: Puntuaciones obtenidas en la elaboración de nota médica en los estudiantes de neumología pediátrica en el Instituto Nacional de Pediatría (n = 11).
Figura 3: Puntuaciones obtenidas en la interpretación de estudios de imagen en los estudiantes de neumología pediátrica en el Instituto Nacional de Pediatría (n = 11).
Figura 4: Puntuaciones obtenidas en el desempeño médico con profesionalismo en los estudiantes de neumología pediátrica en el Instituto Nacional de Pediatría (n = 11).
Tabla 1: Puntuaciones obtenidas en las rúbricas, antes y después del empleo del portafolio electrónico, en estudiantes de neumología pediátrica del Instituto Nacional de Pediatría (n = 11).
| Competencia | Evaluación pretest (mediana) | Evaluación postest (mediana) | Prueba de rangos de Wilcoxon |
|---|---|---|---|
| Elaboración de historia clínica | 20 | 24 | p = 0.003 |
| Elaboración de nota médica | 14 | 17 | p = 0.003 |
| Interpretación de estudios de imagen | 9 | 12 | p = 0.003 |
| Desempeño médico con profesionalismo | 31 | 34 | p = 0.011 |
Discusión
Este estudio presenta una descripción del uso de un portafolio electrónico en la evaluación de competencias clínicas en alumnos de posgrado de la Facultad de Medicina de la UNAM. Las competencias clínicas requieren la aplicación del conocimiento en la realización de tareas auténticas, en lugar de solamente la adquisición de conocimientos y su aplicación en exámenes escritos. Hasta donde tienen conocimiento los autores, se trata del primer estudio de este tipo en residentes de neumología pediátrica. Los portafolios permiten al alumno documentar estos logros en colaboración con sus profesores, al fomentar el aprendizaje reflexivo a través de la realimentación directa.
En algunos países el portafolio es utilizado de manera sistemática como parte de las evaluaciones de estudiantes de medicina, residentes y profesionales en la práctica, ya que logra identificar a médicos con bajo desempeño y garantiza un sistema en el que éstos participan activamente en la identificación y el cumplimiento de sus propias necesidades de aprendizaje. La evaluación del desempeño tiene dos propósitos: mejorar la calidad de la práctica de la medicina y asegurar que se haya cumplido un estándar mínimo de desempeño.8,9 Nuestro estudio mostró resultados interesantes, utilizando la herramienta del portafolio electrónico en conjunto con rúbricas para competencias específicas, con evidencia de validez de contenido y confiabilidad adecuada para una evaluación formativa (alfa de Cronbach > 0.7). Los alumnos obtuvieron mejores puntuaciones en la evaluación a través del portafolio, ya que probablemente identificaron sus errores convirtiéndolos en necesidades de aprendizaje y mejora en su desempeño. Algunos autores como Swallow señalan que el portafolio electrónico estimula al alumno a que se responsabilice en el desarrollo de sus competencias y adopte una actitud más activa sobre su aprendizaje.10 De la misma manera Mathers comprobó que con el uso del portafolio, los alumnos dedican más horas a la reflexión con lo que pueden mejorar la resolución de los problemas clínicos.11
En las rúbricas de elaboración de historia clínica y nota médica encontramos puntuaciones bajas en la primera evaluación, a pesar de tratarse de competencias generales que se enseñan desde la carrera de medicina y de que existe una normatividad nacional del expediente clínico, que establece los lineamientos a cumplir. El nivel de conocimiento de residentes de posgrado sobre la norma oficial del expediente clínico fue reportado por Rillo, con una evaluación numérica del 0-10, en la que el promedio fue 7.8, catalogado como regular.12 Estos autores destacaron la importancia de promover la difusión de la citada norma oficial desde los estudios de licenciatura, ya que la historia clínica y la nota médica convergen en un conjunto de conocimientos, habilidades, actitudes y valores que permiten mejorar la calidad de la atención médica que se proporciona al paciente.13
Con respecto a la evaluación de interpretación de estudios de imagen, la mayoría de ellos basaron su interpretación en radiografías simples de tórax a las cuales se han enfrentado durante su formación como estudiantes de medicina; sin embargo, se considera como uno de los estudios más difíciles de interpretar con certeza, ya que está sujeta a variaciones entre observadores, a la calidad de la radiografía y a la experiencia del lector. Mehrotra evaluó las habilidades de médicos de diferentes grados y especialidades en la lectura de radiografía de tórax demostrando que los médicos que no son radiólogos o neumólogos, como los médicos residentes, cometen errores significativos cuando interpretan una radiografía de tórax con un rango de anormalidades comunes, sugiriendo que la enseñanza sobre la interpretación de radiografías debe ser estructurada y estar disponible para los médicos.14 El obtener puntuaciones aceptables después del uso del portafolio comprueba las ventajas de su uso, como lo publicado por Thomas en su guía para desarrollar portafolios en radiólogos, donde se refiere al instrumento como un excelente medio en el que se puede delinear el crecimiento de los alumnos y transmitir una amplia variedad de oportunidades de enseñanza en radiología.15
En cuanto a la evaluación del profesionalismo a través del portafolio, existen ya publicaciones donde se comprueba su eficacia, como lo señalado por el Consejo de Acreditación de Educación Médica de Graduados (ACGME), quienes a través de evaluaciones de 360 grados en la que participan pacientes, profesores, enfermeras, compañeros, supervisores de residentes y otros miembros del equipo médico, evalúan el desempeño del alumno de acuerdo con los rubros implícitos en profesionalismo. En nuestro estudio participó como evaluador el jefe del Servicio de Neumología Pediátrica del hospital y profesor titular del curso, a través de observación directa del alumno, lo cual podría ser una limitación del estudio. Sin embargo, los resultados obtenidos por nuestros residentes en la competencia de profesionalismo son adecuados, catalogados como competentes desde la primera evaluación, lo cual puede reflejar el efecto de su proceso formativo de pre y posgrado.16,17
En cuanto al uso del portafolio para la evaluación de competencias en médicos residentes, podemos contrastar nuestros resultados con algunos reportes como lo publicado por Miranda, quienes evaluaron competencias en residentes de anestesiología de la Pontificia Universidad Católica de Chile.18 Ellos concluyen, de manera similar a nuestro estudio, que el portafolio electrónico permite un registro de actividades sistemático, así como un análisis del proceso de formación y la capacidad de enfocar el aprendizaje a las áreas en que las evaluaciones arrojan resultados insuficientes. Arnau por otra parte, refiere que a través del uso del portafolio en residentes de medicina interna, se le permite al profesor evidenciar algunos elementos clave en el proceso formativo y en el proceso profesional del residente, estimulando la utilización de estrategias de reflexión y autoaprendizaje con el fin de lograr las competencias evaluadas.19
Algunas limitaciones del estudio son el pequeño tamaño de la muestra, el diseño de pre-pos test con un solo grupo, y el hecho de que se trata sólo de una institución hospitalaria. Estas características podrían contribuir a algunas amenazas, a la validez interna de las conclusiones, así como a su generalidad. Sin embargo, se trata de un primer estudio exploratorio que demostró la factibilidad de utilizar un portafolio electrónico diseñado con sólidos principios educativos, en uno de los principales hospitales pediátricos de Latinoamérica, en la totalidad de residentes de una especialidad. El diseño detallado del portafolio electrónico se reportará en una publicación separada, ya que requiere una descripción rica y técnica de todo el proceso y el instrumento, para servir como ejemplo de diseño e implementación a las demás especialidades de las instituciones hospitalarias y educativas nacionales. Por otra parte, la rúbrica fue diseñada en consenso con algunos de los principales académicos de la especialidad en el país, asesorados por expertos en educación médica, y tiene evidencia de validez de contenido y de estructura interna.
El evaluar competencias a través del portafolio conlleva a un vínculo más cercano con el alumno, que puede mejorar la comunicación y la confianza, y en consecuencia verse reflejado en sus actividades cotidianas y en la atención de los pacientes.
Conclusiones
El empleo del portafolio electrónico como herramienta en el proceso de enseñanza y evaluación de competencias de los médicos residentes, permite dar seguimiento a los avances de los alumnos. También permite que los alumnos visualicen y reflexionen sobre su propio avance en el logro de las competencias.
Es necesario fortalecer las competencias de historia clínica e interpretación de estudios de imagen desde el ingreso a la subespecialidad y no dar por hecho que, aunque se encuentren en niveles de posgrado, su nivel de competencia se haya logrado en la carrera de medicina o en la especialidad troncal.
El portafolios representa una forma amplia y objetiva para evaluar a los médicos residentes, que puede ayudar a determinar si el estudiante posee o no las competencias necesarias para ejercer su profesión.
