Evaluación del aprendizaje en la educación médica
Learning assessment in medical education
Fernando Flores Hernándeza, Nancy Contreras Michelb, Adrián Martínez Gonzáleza
a Departamento de Evaluación. Secretaría de Educación Médica. Facultad de Medicina. Universidad Nacional Autónoma de México. México, DF. Correo electrónico: fernando.evaluacion@gmail.com
]]> b Dirección General de Evaluación Educativa. Universidad Nacional Autónoma de México. México, DF.
Resumen
El propósito de este artículo es proporcionar un panorama general de la evaluación educativa en el contexto de las ciencias de la salud, específicamente en el campo de la Medicina. Para ello, se realizó una revisión del estado del arte de la evaluación, enfatizando los conceptos fundamentales en el desarrollo teórico y metodológico, así como los alcances de la evaluación educativa en la educación superior. Se enfatiza la necesidad de desarrollar instrumentos de evaluación congruentes con los perfiles de egreso de los planes y programas de estudio de la carrera de medicina y se pone en perspectiva la evaluación de la competencia médica a través de instrumentos como el Examen Clínico Objetivo Estructurado (ECOE), que por sus características es considerado como una herramienta útil en el ámbito de la evaluación de la competencia medica a nivel internacional.
Palabras clave: Evaluación, aprendizaje, competencias.
Abstract
The purpose of this article is to provide an overview of educational evaluation in the context of health sciences, specifically in the field of medicine. To do this, a review of the state of the art of evaluation was performed, emphasizing the fundamental concepts in theoretical and methodological development and the scope of educational evaluation in higher education. The need to develop evaluation instruments consistent with the graduate profiles according to the syllabus of medicine is highlighted, and the evaluation of medical competence through instruments such as the Objective Structured Clinical Examination (OSCE), which by its characteristics is considered as a useful tool in the field of assessment of medical competency in the international context, is also assessed.
Key words: Evaluation, learning, competencies.
]]> EVALUACIÓN DEL APRENDIZAJE EN LA EDUCACIÓN MÉDICA
En la formación de profesionistas en cualquier campo del conocimiento se busca una sólida preparación disciplinaria, teórica, práctica y de investigación aplicada que le permita, en el ejercicio profesional, utilizar los conocimientos, habilidades, aptitudes y actitudes en beneficio del ser humano conforme al perfil del egresado de un programa de estudios.
La evaluación educativa es uno de los ejes rectores del proceso enseñanza–aprendizaje, que permite en diferentes momentos y desde distintas perspectivas coadyuvar en la formación y valorar en qué medida los estudiantes han adquirido las competencias definidas en los planes y programas de estudio, acorde con su perfil de egreso.
Pero, ¿cómo evaluar el aprendizaje de los estudiantes de medicina en lo particular, y de los estudiantes de las ciencias de la salud, en general, cuando el campo profesional de sus egresados involucra esencialmente el trabajo clínico con pacientes, y adicionalmente, el trabajo académico, la investigación, la gestión y un proceso continuo de autoformación, actualización y dominio de nuevas tecnologías? Este artículo tiene como propósito brindar un panorama general de la evaluación en el contexto educativo de la carrera de medicina y exponer algunos conceptos base para el desarrollo de la evaluación del aprendizaje en las ciencias de la salud.
FUNDAMENTOS Y ENCUADRE CONCEPTUAL
La evaluación como campo disciplinario de reciente desarrollo, se encuentra en evolución, por ello sus exponentes principales continúan contribuyendo con aportaciones a la consolidación de la misma y es posible ubicar a la fecha 4 generaciones de evaluación.
• Primera generación. Se caracteriza por su tendencia al uso y desarrollo de test dirigidos a valorar diferencias individuales; los términos de evaluación y medición se emplean de manera indistinta y la finalidad es construir instrumentos de medición que garanticen la recolección de información en forma válida y objetiva.
• Segunda generación. A partir de Tyler se arriba a la evaluación formal, éste acuña el término evaluación educativa y plantea el uso de un método sistemático de evaluación para determinar en qué medida se han alcanzado los objetivos del currículo, así como la valoración de las actividades por medio de las cuales se pueden alcanzar y se incorpora la emisión de juicios de valor1.
]]> • Tercera generación. Se considera el valor intrínseco de la evaluación como un elemento de mejora, ligado a la emisión de juicios para la toma de decisiones.• Cuarta generación. Se plantea la investigación evaluativa que permite profundizar en planteamientos teórico–prácticos; surgen modelos que develan el desarrollo de cada proceso mediante el tránsito por varias fases como: el establecimiento de un contrato, la organización y planeación del proceso, la identificación de las audiencias, la realización, recopilación y contraste de la información, la atención de las demandas de los interesados, la recopilación de información, generación de informes adecuados a las audiencias y la metaevaluación (figura 1) 23.
A partir de las diferentes concepciones que se tienen de la evaluación, nosotros podemos conceptualizarla como el proceso reflexivo y sistemático empleado para determinar el mérito o valor de un objeto, con base en la recopilación y análisis de información para realimentar y emitir juicios que orienten la toma decisiones con fines de mejora continua.
Es necesario tener claro un concepto que es fundamental para el desarrollo de la evaluación: la medición4, piedra angular de la investigación evaluativa, por considerar que cualquier valoración ya sea cualitativa o cuantitativa implica valorar en qué medida un objeto, suceso, evento o individuo, alcanza un valor determinado al ser contrastado con un estándar predeterminado para una situación particular.
Cuando se recopilan datos en algún proceso de evaluación e investigación, la medición puede ser definida como la asignación de valores numéricos a objetos o eventos bajo ciertas reglas.
En la evaluación educativa, es importante considerar algunos de los planteamientos de los principales teóricos en el campo (tabla 1).
Los autores mencionados así como los modelos propuestos enriquecieron conceptual y metodológicamente la evaluación educativa.
En términos generales, en la evaluación educativa se pueden ubicar 4 grandes ámbitos que engloban todos los procesos a desarrollar.
• Evaluación de Instituciones. Evalúa aspectos como la misión, visión, organización, estructura, políticas, planeación, gestión, programas, sujetos e infraestructura, objetivos, funcionamiento y resultados.
• Evaluación de planes y programas. Evalúa su infraestructura, objetivos, gestión, estudiantes y profesores, contenidos, herramientas educativas y recursos, implementación, operación e impacto, utilidad, viabilidad, claridad, satisfacción y funcionamiento.
]]> • Evaluación del aprendizaje. Evalúa elementos como los conocimientos, resultados de aprendizaje, desempeño, habilidades, actitudes y valores del estudiante.• Evaluación de la docencia. Evalúa las competencias del profesor en relación con el conocimiento de la disciplina, su campo de acción, la formación andragógica, pedagógica, psicológica y ética, las habilidades de comunicación, instrucción, facilitación de aprendizaje, planeación, conocimiento de las características del entorno, entre otras.
Con respecto a la evaluación del aprendizaje, en el ámbito educativo de manera funcional se pueden ubicar 3 tipos básicos de la evaluación: diagnóstica, formativa y sumativa5,6.
• La evaluación diagnóstica se desarrolla al inicio de cada ciclo; su objetivo es identificar si el agente cuenta con los conocimientos, habilidades y actitudes que conforman las competencias necesarias para emprender de manera satisfactoria una actividad, o en su defecto identificar aquellas deficiencias a fortalecer y adecuar el proceso educativo.
• La evaluación formativa es parte del proceso de enseñanza en sus diferentes etapas, de acuerdo con Stufflebeam, es una evaluación permanente que va monitoreando los objetivos del curso y resultados de aprendizaje esperados, proporciona información que brinda elementos para valorar los avances del grupo; permite la realización de ajustes para la mejora de los cursos y para realimentar al estudiante sobre sus progresos5.
• La evaluación sumativa permite valorar el conjunto de conocimientos, habilidades y actitudes alcanzados por el estudiante al término de un ciclo de formación, perfil intermedio, objetivos del curso, acreditación y perfil de egreso de los estudiantes.
Los resultados de la evaluación diagnóstica, formativa y sumativa como procesos de evaluación del aprendizaje se valoran a partir de 2 perspectivas básicas: con referencia a la norma o con referencia a criterio. En el ámbito de la evaluación educativa es más convencional y acentuado el uso de la evaluación referida a la norma7,8, ya que permite calificar y realizar la emisión de los resultados ubicando el desempeño de cada alumno en función de su grupo de referencia, el principal problema de este tipo de evaluación, es que pueden existir sesgos importantes en ella, dependiendo del desempeño del grupo.
La evaluación referida a criterio emplea un estándar o punto de corte preestablecido, el cual es independiente del comportamiento del grupo examinado y principalmente es hacia este tipo de perspectiva que las IES deben de dirigirse en los procesos de evaluación.
LA EVALUACIÓN DEL APRENDIZAJE EN LA EDUCACIÓN MÉDICA: HACIA LA EVALUACIÓN DE COMPETENCIAS
]]> La evaluación en el contexto de la educación médica considera las actividades inherentes a cada asignatura o ciclo de formación, y es ahí donde el abanico de posibilidades para el desarrollo de diversos instrumentos de evaluación se amplía sustancialmente.No obstante, se puede partir de algún punto en común como elemento base para el desarrollo de diversos instrumentos de evaluación. En primera instancia resulta útil definir el objetivo del instrumento de manera clara y sencilla, el ¿qué? (objeto a evaluar), que será la base para la toma decisiones a partir de los criterios o indicadores establecidos.
Y, por otra parte, el propósito de la evaluación establece el ¿para qué? se va a evaluar, y estará asociada a contenidos, funciones o finalidades de la evaluación; ésta puede ser diagnóstica, formativa o sumativa. La definición del qué y para qué, permite ubicar los posibles datos cuantitativos y cualitativos que se requieren para juzgar el mérito o valor del objeto evaluado (aprendizaje o desempeño) de los estudiantes y definir el ¿cómo evaluar? (instrumento de evaluación empleado) partiendo de su pertinencia, objetividad, alcance y viabilidad.
Lo anterior parte de la delimitación de un constructo, tema o contenido en el cual están inmersos ciertos objetivos o atributos subyacentes que permitirán obtener un referente del aprendizaje o desarrollo de ciertas habilidades por parte de los estudiantes.
Con el fin de clasificar dichos contenidos o referentes, así como algunos de los instrumentos de evaluación del aprendizaje aplicables a la licenciatura nos referiremos a un punto en común propuesto por el Consejo Mexicano para la Acreditación de las Escuelas de Medicina (COMAEM). Indicadores de la evaluación del aprendizaje, donde la evaluación se asocia a 5 aspectos básicos9 que en su conjunto permiten ubicar el nivel de competencia del estudiante:
1. Conocimientos.
2. Habilidades de pensamiento.
3. Habilidades y destrezas psicomotoras.
4. Actitudes.
]]> 5. Aptitudes.
En la figura 2 se especifican algunos de los instrumentos que pueden ser pertinentes a cada uno de los 5 tipos de contenidos a evaluar declarados por el COMAEM. Las características de los instrumentos mencionados se pueden consultar en10
El uso de una u otra estrategia depende del propósito y contenido del curso, de las estrategias de aprendizaje, la habilidad del docente y las características propias del grupo. Situación que en términos ideales debe reflejarse en la planeación del curso y en las adecuaciones realizadas durante el mismo de manera congruente (figura 3).
Hoy en día la tendencia tanto de la planeación didáctica como de distintas organizaciones internacionales es aplicar un enfoque en la educación médica basada en competencias, entendiendo éstas como la capacidad para dominar un área determinada, que se desarrolla en un campo particular al aprender a tratar con tareas bien definidas y brindando respuestas efectivas para la resolución de problemas en su ámbito profesional y de acuerdo con el estado del arte11–14. En la Facultad de Medicina el plan de estudios está articulado por competencias, las cuales se conceptualizan como el conjunto de conocimientos, habilidades, aptitudes, actitudes y valores que interrelacionados entre sí permiten un desempeño profesional eficiente de acuerdo con el estado del arte15.
Considerando la importancia de este hecho, sobre todo en la carrera de Medicina, que cuenta con un perfil de competencias intermedias y de egreso, es imprescindible tender a una visión holística de la evaluación que permita valorar y retroalimentar a los estudiantes sobre su nivel de competencia, lo que requiere el uso de diversas estrategias de evaluación diseñadas por los docentes de la carrera, y no quedarse en el uso reiterado o predominante de una misma estrategia de evaluación durante su formación, lo que ocurre frecuentemente con la utilización casi única de preguntas de opción múltiple (figura 4).
Las modificaciones en el plan de estudios 2010 de la Facultad de Medicina de la UNAM15, muestra en sus perfiles intermedios y de egreso las competencias de:
]]>1. Pensamiento crítico, juicio clínico, toma de decisiones y manejo de información.
2. Aprendizaje autorregulado y permanente.
3. Comunicación efectiva.
4. Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas en el ejercicio de la medicina.
5. Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación.
6. Profesionalismo, aspectos éticos y responsabilidades legales.
7. Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad.
8. Desarrollo y crecimiento personal.
Si bien en todas las disciplinas es esencial y relevante un dominio del lenguaje y del sustento teórico propio del campo profesional, en la carrera de medicina también tiene un papel esencial el dominio de la competencia clínica propia del ámbito médico como el interrogatorio, la exploración física, la interpretación de exámenes de laboratorio y gabinete, el razonamiento clínico, entre otros, de ahí las particularidades del perfil profesional en el cual se evidencia una mayor exigencia y correlato teórico–práctico durante la formación y ejercicio profesional de sus egresados.
]]> Un elemento que ejemplifica y pretende cubrir esta visión de la evaluación para el ámbito de la salud remite a la Facultad de Medicina de la UNAM, donde el examen profesional se constituye como una evaluación sumativa de altas consecuencias aplicada al final de la carrera, cuyo objetivo es valorar, en conjunto, los conocimientos generales de cada sustentante, en un proceso orientando a tratar de que cada estudiante demuestre su capacidad para aplicar los conocimientos adquiridos y el criterio profesional para el ejercicio de la profesión como médico general.Para lograrlo, en el contexto de la educación médica, una de las estrategias más usadas que permite evaluar el nivel de competencia clínica de los estudiantes es el Examen Clínico Objetivo Estructurado (ECOE), empleado por múltiples instituciones de enseñanza de la medicina en el mundo, ya que es un mecanismo que introduce al estudiante en un contexto con condiciones muy similares y controladas de la práctica médica, sin poner en juego la integridad de los pacientes. Algunas instituciones lo han utilizado para evaluar residentes como la Universidad de Toronto, la Universidad de McMaster en Canadá, la Universidad de Maastrich en Holanda, el Instituto de Estudios de la Salud de la Generalitat de Cataluña, en Quebec y en países como Reino Unido, Estados Unidos, Holanda, Ucrania, Australia y Nueva Zelanda17–19.
Según Battles, la Agencia de Investigación y Calidad de Salud, el Centro para la Mejora de la Calidad y la Seguridad del Paciente, en Rockville, Estados Unidos, el Centro Médico de la Universidad de Cincinnati y el Centro Sanguíneo del Sureste de Wisconsin, señalan que este tipo de evaluación con pacientes estandarizados o donde se emplean pacientes con o sin enfermedad real, que han sido entrenados previamente para simular un caso clínico de una manera coherente, son una poderosa forma de simulación que se ha convertido en una estrategia sustancial de la evaluación en la educación médica en todo el mundo, permitiendo evaluar la competencia de los médicos y otros profesionales de la salud y la calidad de su práctica20.
El ECOE es utilizado para evaluar la competencia clínica tanto en el nivel de pregrado como en el de posgrado21,22, y en la Facultad de Medicina de la UNAM se ha empleado desde 199623,24. Es el método de evaluación de la competencia clínica de los estudiantes con mayor grado de objetividad25–27.
A manera de síntesis, podemos decir que en la actualidad la evaluación del aprendizaje demanda un compromiso renovado para desarrollar otras estrategias de evaluación objetivas (como el ECOE) por parte de los profesionales de la salud: médicos–docentes, para ser partícipes de los nuevos enfoques educativos de la educación superior en general y de la educación médica en particular del país, con el fin de perfeccionar la formación de los médicos y elevar así la calidad de la atención de los pacientes.
REFERENCIAS BIBLIOGRÁFICAS
1. Tyler R. Principios básicos del currículo. Buenos Aires: Troquel; 1977. [ Links ]
2. Escudero T. Desde los tests hasta la investigación evaluativa actual: un siglo, el XX, de intenso desarrollo de la evaluación en educación. RELIEVE. 2003;10(1):11–43. [ Links ]
3. Fernandez J. Valoración de la calidad docente: el profesorado: un modelo de evaluación circular. Madrid: Complutense; 2008. [ Links ]
4. Kerlinger F, Lee H. Investigación del comportamiento: métodos de investigación en ciencias sociales. México: Mc Graw Hill; 2004. [ Links ]
5. Stufflebeam D, Shinkfield A. Evaluación sistemática: guía teórica y práctica. Barcelona: Paidos; 1987. [ Links ]
6. Scriven M. The logic & methodology of evaluation. Claremont Graduate University. 2002. [Consultado 26 Ago 2008] Disponible en: www.lm.gov.lv/.../tiny_mce/plugins/filemanager/files/equal/dokumenti/equal_pashnovertejuma_metod.doc [ Links ]
7. Martínez R. Psicometría: teoría de los test psicológicos y educativos. España: Síntesis; 2005. [ Links ]
]]>8. Muñiz J. Introducción a la teoría de respuesta a los ítems. Madrid: Pirámide; 1997. [ Links ]
9. Consejo Mexicano para la Acreditación de la Educación Médica. Instrumento de evaluación. México: COMAEM; 2008. [ Links ]
10. Durante M, Lozano J, Martínez A, Morales S, Sánchez M. Evaluación de competencias en ciencias de la salud. México: Panamericana; 2012. [ Links ]
11. Royal College of Physicians and Surgeons of Canada. The CANMEDS assesssment tolos handbook; en introductory guide to assessment methods for tehe CandMEDS competencies. Canada: CANMEDS; 2006. [ Links ]
12. OCDE. Definition and selection of competencies (DeSeCo) 2007. [Consultado 28 Nov 2009] Disponible en: http://www.oecd.org/document/17/0,2340,en_2649_34515_2669073_1_1_1_1,00.html [ Links ]
13. Tuning. Proyecto Tuning America Latina. [consultado 10 Abr 2010] Disponible en: http://tuning.unideusto.org/tuningal/index.php?option=content&task=view&id=173&Itemid=201 [ Links ]
14. Indiana University. School of Medicine. Dean's office for medical education and curricular affairs. [Consultado 23 Abr 2010] Disponible en: http://meca.iusm.iu.edu/body.cfm?id=80 http://medicine.iu.edu/ [ Links ]
15. Facultad de Medicina de la UNAM. Plan de estudios y programas académicos de la licenciatura de médico cirujano. México: Facultad de Medicina UNAM; 2009. [ Links ]
16. Facultad de Medicina. UNAM. Secretaría de Educación Médica. Evaluación Educativa: Examen Profesional. [Consultado 23 Abr 2010] Disponible en: http://www.facmed.unam.mx/sem/profesional.php [ Links ]
17. Broquet K. Using an objective structured clinical examination in a psychiatry residency. Academic Psychiatry 2002; 26(3):197–201. [Consultado 23 Abr 2010] Disponible en: http://ap.psychiatryonline.org/cgi/reprint/26/3/197 [ Links ]
18. Salinas A, Hernández I, Virseda J, Segura M, Lorenzo G, Giménez J, et al. El aprendizaje basado en problemas en la enseñanza de la urología: modelo de la Facultad de Medicina de la Universidad de Castilla–La Mancha. Actas Urol Españolas. 2005;29(1):8–15. [Consultado 17 Noviembre 2009] Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S021048062005000100003&lng=es&nrm=iso. [ Links ]
19. OSCE home what is objective structured clinical examination (OSCEs) 2008. [Consultado 17 Sep 2008] Disponible en: http://www.oscehome.com/What_is_Objective-Structured-Clinical-Examination_OSCE.html [ Links ]
20. Battles J, Wilkinson S, Lee S. Using standardised patients in an objective structured clinical examination as a patient safety tool. Qual Saf Health Care. 2004;13:46–50. [ Links ]
]]>21. Rolfe I, Andren J, Pearson S, Hensley M, Gordon J. Clinical competence of interns. Medical Education. 1995;29(3):225–30. [ Links ]
22. Sloan D, Donnelly M, Schwarts R, Strodel W The objective structured clinical examination: the new gold standard for evaluating postgraduate clinical performance. Ann Surg. 1995;222(6):735–42. [ Links ]
23. Larios H, Trejo J, Cortéz M. Evaluación de la competencia clínica. Revista Médica del IMSS. 1998;36(1):77–82. [ Links ]
24. Larios H, Trejo J, Martínez N, Cortés M, Velasco T, Hernández A. Desarrollo de la competencia clínica durante el internado médico. Revista de Educación Superior. 2000;29(3):115–28. [ Links ]
25. Collins J. Educational techniques for lifelong learning: writing multiple–Choice questions for continuing medical education activities ans self–assessment modules. Radiographics. 2006;26. [ Links ]
]]>26. Eva K, Neville A, Norman G. Exploring the etiology of content specificity: factors influencing analogic transfer and problem solving. Academic Medicine. 1998;73(10):S1–S5. [ Links ]
27. Newble D, Swanson D. Psychometric characteristics of the Objective Structured Clinical Examination. Medical Education. 1988;22:325–34. [ Links ]
]]>