text new page (beta)
Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
INTRODUCCIÓN
La enseñanza de la medicina es una de las actividades en educación médica que ha tenido cambios vertiginosos e importantes en las últimas décadas1. Esta actividad no solo implica el manejo de un solo proceso y de un apoyo constante disciplinal como fue en un inicio2,3,4. El repertorio de actividades de enseñanza-aprendizaje y responsabilidades se transforman día a día5. En la actualidad hablamos de roles y competencias que un profesor desempeña al tener práctica docente6,7,8.
El docente requiere de competencias disciplinarias, psicopedagógicas, de comunicación, investigación, humanísticas y administrativas9. Estas deben ser evaluadas con la finalidad de tomar decisiones sobre las áreas de mejora laboral y de su actividad educativa en el aula.
En este sentido, la evaluación es un proceso que intenta determinar sistemática y objetivamente la pertinencia, eficacia y puede estar relacionada con la estructura, proceso, resultado y decisiones que se toman a través de ella10.
La evaluación de competencias docentes integra la evaluación en escenarios similares al real. En la literatura existen modelos referidos a la evaluación de las mismas. Además, existen pautas para la creación de instrumentos de evaluación del desempeño docente con evidencia de validez pero no de alta fidelidad en México.
La validez es un concepto ligado a la evaluación, consiste en el grado en el que la evidencia y la teoría apoyan las interpretaciones de los resultados de una prueba para los usos propuestos de una evaluación11. Se mencionan 5 diferentes fuentes de evidencia de validez12 relacionadas con: el contenido del examen, el proceso de respuesta, la estructura interna, su relación con otras variables y las consecuencias para la persona que es objeto de la evaluación.
Hay pocos estudios sobre la construcción de instrumentos de alta fidelidad para el desempeño docente con pautas específicas de evidencia de validez. Uno de los modelos de alta fidelidad es el Examen Docente Objetivo Estructurado (EDOE)13.
Este fue descrito a principios de los años noventa al evaluar el desempeño docente de manera semejante a la competencia clínica, con base en el Examen Clínico Objetivo Estructurado (ECOE)14. Posteriormente Dunnington y DaRosa15 aplicaron un examen con múltiples estaciones para evaluar a médicos residentes sobre diversos objetivos de un programa de “Residentes como maestros”. Además se propuso el uso de estudiantes estandarizados para evaluar el desempeño docente16,17 y se realizaron revisiones sobre la validez y confiabilidad del EDOE concluyendo que se trata de un método de evaluación con validez y confiabilidad para evaluar competencias docentes18.
En la actualidad el EDOE es un modelo de evaluación integral, objetivo, válido, confiable y aceptable. Es un formato de evaluación que incorpora diversos instrumentos evaluativos y se desarrolla a lo largo de varias estaciones que simulan situaciones contextualizadas de enseñanza estandarizada19. En el EDOE participan profesores que interactúan con estudiantes estandarizados y el evaluador. Permite valorar el logro de competencias específicas docentes, que se espera, debe alcanzar el profesor. Además, facilita evaluar las habilidades de enseñanza, mejora las destrezas docentes y valora la eficacia de los planes de estudio para potenciar las habilidades de enseñanza que se utilizan. Metodológicamente requiere de una planeación cuidadosa, diseño de estaciones, entrenamiento específico de los evaluadores y espacios físicos para efectuarlo20.
Se requieren más herramientas de evaluación sistemática, metódica e integral, además de los modelos en evaluación que existen actualmente. En escuelas de medicina mexicanas existe poca evidencia publicada del uso de este tipo de evaluaciones. El objetivo de este estudio es obtener fuentes de evidencia de validez de un instrumento para evaluar el desempeño docente.
La pregunta de investigación que guió el trabajo es ¿cuáles son las fuentes de evidencia de validez del Examen Docente Objetivo Estructurado (EDOE), para evaluar el grado de desempeño de los profesores de Informática Biomédica, de la Facultad de Medicina de la UNAM?
MÉTODO
Se realizó un estudio no experimental de tipo descriptivo para la elaboración de los instrumentos de las estaciones y el proceso de evaluación a través del EDOE21,22. Se determinó la validez del EDOE en cada una de las fuentes de evidencia.
Se establecieron 3 fases: preparación, piloto y final, que tienen una secuencia metodológica y cronológica, para así poder maximizar la validez en cada una de sus fuentes.
Se utilizaron herramientas cualitativas para la fuente de validez de contenido. Para las fuentes de validez de proceso de respuesta y consecuencias se utilizaron herramientas cuantitativas. El contenido se basó en análisis de los escenarios educativos por parte de expertos en educación médica y alumnos que fueron reclutados con base en el criterio de tener al menos 3 años de experiencia en educación médica; el proceso de respuesta se integró con capacitaciones para familiarizarse con la forma de respuesta y la integridad de los datos tanto en papel como con el uso de un sistema informático; la estructura interna se definió por la valoración interjueces por parte los evaluadores aplicando χ 2 P de Pearson y la validación y estructura interna de las estaciones del examen (análisis de discriminación, alpha de Cronbach, medias y desviación estándar); para la relación entre variables se detectó evidencia confirmatoria con exámenes similares utilizados en la Facultad de Medicina. Por último, las consecuencias se definieron con estadística descriptiva del resultado global de la competencia docente como parte de la realimentación formativa a los profesores.
ACTIVIDADES
Las actividades se desarrollaron en 3 fases de acuerdo a las 5 fuentes de evidencia de validez: a) preparación del EDOE, b) Prueba piloto y c) EDOE final. Para maximizar la validez del EDOE en cada una de sus fuentes, la preparación del EDOE incluyó diversas características (tabla 1).
Tabla 1 Fases para el desarrollo de un Examen Docente Objetivo Estructurado
Origen: Tabla de construcción propia. Adaptada al contenido del artículo Cook DA, Beckman TJ. Current concepts in validity and reliability for psychometric instruments: Theory and application. Am J Med. 2006;119:165-6.
a) Preparación del EDOE
Esta fase inició con un consenso de expertos donde se seleccionaron 49 de 79 actividades del Modelo de Competencia Docente del profesor de medicina que sustenta las competencias docentes del Plan de Estudios 2010 de la Facultad de Medicina9. Posteriormente, a través de metodología Delphi se realizaron 2 rondas a través de Foogle Forms preguntando sobre las 49 actividades específicas por competencia. Participaron 11 expertos en cada una de ellas. La participación en ambas rondas fue del 100%. La primera ronda mostró porcentajes de acuerdo menores a 50% en algunos reactivos, por lo que se realizó una ronda más. En la segunda ronda el porcentaje aumentó al menos a 80% de acuerdo interjueces para establecer las actividades a considerar, con lo que se obtuvieron 12 competencias finales, de las cuales solo 8 eran observables y cuantificables para este tipo de evaluación23,24,25. Se realizó un taller sobre "Evaluación de la competencia docente con el Examen Docente Objetivo Estructurado” y una sesión de validación de contenido con alumnos instructores del Departamento de Informática Biomédica. Como resultado de estas sesiones se crearon 8 estaciones con los siguientes elementos:
Libreto para los estudiantes.
Instrumento de evaluación: Escala global para las estaciones dinámicas y lista de cotejo para las estáticas.
Instrucciones para los profesores.
Escenario de cada una de las competencias elegidas por los expertos (5 dinámicas y 3 estáticas), una duración de 8 minutos en cada una de ellas y que fueron denominadas:
Manejo de fuentes información.
Orientar la discusión.
Evaluación.
Estrategias educativas.
Realimentar el aprendizaje.
Estrategias de aprendizaje.
Motivar a los alumnos.
Conducir la dinámica del grupo.
Para atender la validez de la estructura interna, se crearon 2 tipos de instrumentos: guías de observación para las estaciones dinámicas y listas de cotejo para las estáticas. Las guías de observación incluyeron de 5 a 7 atributos de la competencia docente a evaluar con la siguiente escala: A. Insuficiente, B. Suficiente, C. Bueno, D. Excelente y E. No Aplica. Siguiendo la sugerencia de Hodges et al.26, Las listas de cotejo tenían 2 opciones (SÍ/NO) (anexo).
La metodología de diseño de estos documentos corresponde a una integración de las propuestas del ECOE27, EDOE17, de los pasos de NYU School of Medicine tanto para los formatos para la creación de las estaciones28 como la integración del instrumento en general con 12 tips para el uso del EDOE de Bolliat29.
El proceso de respuesta se consideró de 3 maneras:
Capacitación del uso de los instrumentos de evaluación por parte de los evaluadores.
Tener 2 instructores por estación dinámica para evaluar a cada profesor.
Uso de tabletas Android para la captura de resultados.
Por último, sobre la validez asociada con las consecuencias de los sujetos evaluados, los profesores fueron informados de que el propósito de la prueba era formativo y de investigación educativa para la mejora continua del desempeño docente. Se contó con la ayuda del grupo de teatro de la Facultad de Medicina para la conformación de los escenarios de las estaciones.
b) Prueba piloto
Se realizó una prueba piloto con el fin de mejorar la claridad y relevancia de las estaciones. Los participantes fueron 8 profesores de la Facultad de Medicina de la UNAM de diferentes departamentos. Se realizó en marzo del 2017 en el Departamento de Informática Biomédica. Se utilizaron hojas de lector óptico y de incidencias por estación. Posterior a la aplicación a través del análisis del registro de incidencias se realizaron modificaciones en las estaciones número 2 (orientar la discusión) y número 8 (conducir la dinámica del grupo) y en los instrumentos de las estaciones número 3 (evaluación educativa) y número 7 (motivar a los alumnos). La experiencia permitió que se ajustara el contenido de los casos y la actuación de los alumnos actores para la fase final.
c) EDOE final
La muestra estuvo conformada por 20 profesores del Departamento de Informática Biomédica de acuerdo a un muestreo por conveniencia. Los docentes representaron 30% de los profesores del Departamento de Informática Biomédica. La evaluación tuvo una duración 1 hora con 20 minutos. Cada estación tuvo una duración de 8 minutos. Se utilizaron tabletas Android cuya información fue capturada de manera instantánea al sistema Moodle. Posterior a la aplicación se realizó la extracción de los resultados de las tabletas y el registro y análisis del registro de incidencias. Las tabletas de la estación 4 no se registraron debido a una falla en el sistema quedando solo 7 estaciones para el análisis de resultados.
RESULTADOS
Las características sociodemográficas de la muestra de 20 profesores del EDOE fueron las siguientes: 68% fueron hombres y 32% mujeres, la edad promedio fue de 39 años con una media de impartición de clases de 8 años.
Preparación del EDOE
La validez de contenido se determinó por la elección de las competencias para cada una de las estaciones con metodología Delphi, el diseño de los casos y la prueba piloto para la preparación de documentos que dan sustento al contenido temático del examen y a la representatividad de dominios del área a evaluar y la calidad de las estaciones.
Del Modelo de Competencia Docente se seleccionaron 12 competencias, de acuerdo con su pertinencia, relevancia y claridad. De estas, se eligieron 8 por consenso de expertos, las cuales son observables y cuantificables en este tipo de evaluación.
Piloto del EDOE
El proceso de respuesta resultó del proceso de validación de las estaciones, las guías de observación y las listas de cotejo. El instrumento resultado fue un Examen Docente Objetivo Estructurado conformado de 8 estaciones de las cuales 5 fueron dinámicas y 3 estáticas con guías de observación y listas de cotejo. Para el control de errores e integridad de los datos la administración de la prueba se realizó al 100% por los evaluadores a través de tabletas Android.
Para la estructura interna como parte de la estadística descriptiva, se indica que la media de la competencia docente fue de 73.0 en escala de 100 con una desviación estándar de 8.4.
Se realizó un análisis de discriminación de reactivos de las 8 estaciones con sus respectivas escalas, se observa que de las 8 estaciones, 2 de estas tienen 5 reactivos que discriminan .05. Las restantes no presentan datos concluyentes en el análisis. Con respecto a la estructura de la prueba de las 8 estaciones propuestas solo 7 obtuvieron cargas factoriales aceptables, explicando un 88.3% de la varianza. Finalmente para la consistencia interna de la prueba se obtiene un alpha de Cronbach de .68
Además se calculó para cada estación el índice de acuerdo entre evaluadores con la prueba χ 2 P de Pearson por reactivo y estación.
La tabla 2 muestra la concordancia por estación en la fase piloto entre ambos evaluadores del Examen Docente Objetivo Estructurado a través de la correlación de Pearson. En general las puntuaciones van de moderadas a altas. A través de esta etapa se realizaron las correcciones a cada una de las estaciones en cuanto al contenido, el guión de los alumnos actores y los instrumentos de evaluación.
Tabla 2 Concordancia por estación de la fase piloto entre evaluadores del Examen Docente Objetivo Estructurado
| Estación | N | Evaluador 1 | Evaluador 2 | Correlación de Pearson |
|---|---|---|---|---|
| 1 | 8 | 96.25 | 93.75 | .96 |
| 2 | 8 | 63.33 | 69.16 | .40 |
| 3 | 8 | 73.75 | 79.16 | .45 |
| 5 | 8 | 65.00 | 54.16 | .60 |
| 6 | 8 | 61.25 | 72.50 | .72 |
| 7 | 8 | 77.08 | 67.50 | -.34 |
| 8 | 8 | 56.14 | 29.47 | .77 |
La tabla 2 muestra la concordancia por estación en la fase piloto entre ambos evaluadores del Examen Docente Objetivo Estructurado a través de la correlación de Pearson. En general las puntuaciones van de moderadas a altas. A través de esta etapa se realizaron las correcciones a cada una de las estaciones en cuanto al contenido, el guión de los alumnos actores y los instrumentos de evaluación.
Final del EDOE
La tabla 3 muestra la concordancia por estación en la fase final entre ambos evaluadores del Examen Docente Objetivo Estructurado. En general van las puntuaciones van de moderados a altos. Las estaciones que presentan mayor número de acuerdo en las observaciones realizadas por los evaluadores son las estáticas (2 y 3) como son: manejo de fuentes de información y evaluación. En tanto que la estación 8 de motivación tiene menor acuerdo.
Tabla 3 Concordancia por estación de la fase final entre evaluadores del Examen Docente Objetivo Estructurado
| Estación | Final N | Eva 1 | Eva 2 | Correlación de Pearson |
|---|---|---|---|---|
| 1 | - | - | - | - |
| 2 | 17 | 57.64 | 77.58 | .69 |
| 3 | 19 | 84.73 | 80.00 | .57 |
| 5 | 17 | 49.21 | 69.21 | .41 |
| 6 | - | - | - | - |
| 7 | 20 | 84.66 | 66.66 | .40 |
| 8 | 20 | 81.00 | 76.50 | .-15 |
*La estación 4 no está en el análisis.
La tabla 3 muestra la concordancia por estación en la fase final entre ambos evaluadores del Examen Docente Objetivo Estructurado. En general van las puntuaciones van de moderados a altos. Las estaciones que presentan mayor número de acuerdo en las observaciones realizadas por los evaluadores son las estáticas (2 y 3) como son: Manejo de fuentes de información y evaluación. En tanto que la estación 8 de motivación tiene menor acuerdo.
La tabla 4 muestra los resultados obtenidos por los profesores tanto del piloto como de la fase final del Examen Docente Objetivo Estructurado por estación y sus límites inferior y superior. La estaciones con mayor puntuación fueron: Estrategias de aprendizaje, evaluación, manejo de fuentes de información y motivar a los alumnos. Las estaciones con menor puntaje fueron realimentar, conducir la dinámica de grupo y orientar la discusión.
Tabla 4 Resultados obtenidos por los profesores del Examen Docente Objetivo Estructurado
| Estación | Final N | Eva 1 | Eva 2 | Correlación de Pearson |
|---|---|---|---|---|
| 1 Manejo de fuentes información | 27 | 75.18 | 67.37 | 82.99 |
| 2 Orientar la discusión | 28 | 67.48 | 61.42 | 73.53 |
| 3 Evaluación | 28 | 81.30 | 73.95 | 88.66 |
| 5 Realimentar el aprendizaje | 28 | 60.47 | 53.28 | 67.66 |
| 6 Estrategias de aprendizaje | 27 | 85.00 | 78.28 | 91.71 |
| 7 Motivar a los alumnos | 28 | 74.70 | 69.32 | 80.08 |
| 8 Conducir la dinámica del grupo | 28 | 68.48 | 60.49 | 76.46 |
| Total | 28 | 73.23 | 63.30 | 80.15 |
*Del intervalo de confianza al de 95%.
La tabla 4 muestra los resultados obtenidos por los profesores tanto del piloto y final del Examen Docente Objetivo Estructurado por estación y sus límites inferior y superior. La estaciones con mayor puntuación fueron: Estrategias de aprendizaje, evaluación, manejo de fuentes de información y motivar a los alumnos. Las estaciones con menor puntaje fueron realimentar, conducir la dinámica de grupo y orientar la discusión.
Para la relación con otras variables se encontró evidencia confirmatoria con exámenes similares en otras publicaciones. La media pre EDOE fue similar a la de otros estudios30,31.
Las consecuencias de la prueba se dieron a conocer con la entrega de los resultados al 100% de los profesores que participaron en el EDOE, realimentando así su desempeño exclusivamente para fines formativos.
DISCUSIÓN
Por primera vez en México se evaluó la competencia docente con un instrumento de alta fidelidad con fuentes de evidencia de validez suficientes para la aplicación de un Examen Docente Objetivo Estructurado. Las fuentes de evidencia de validez corresponden a las mencionadas con los estándares de la American Educational Research Association, Downing, los parámetros de NYU SOM en cuanto a los formatos para la creación de las estaciones y los 12 tips para el uso del EDOE de Bolliat. El estudio aporta evidencia de validez en relación al contenido, proceso de respuesta, estructura interna, relación con otras variables y consecuencias.
La representatividad del contenido en comparación con otros estudios32,33,34 tomó en cuenta diversas fuentes tanto de expertos como estudiantes de medicina con metodología cualitativa como la metodología Delphi.
Para el proceso de respuesta se realizó, como en otros estudios17,35,36,37,38,39, el entrenamiento para el uso de los instrumentos y del sistema informático para que la recolección fuera inmediata.
En cuanto a la estructura interna, diversos estudios examinan la fiabilidad de los componentes específicos del EDOE como medio para evaluar el rendimiento de la enseñanza, incluido el instrumento de calificación y el tipo de evaluador utilizado15,16,18,30. La mayoría de los trabajos cuantitativos que se han centrado en determinar la fiabilidad y validez del EDOE sugieren que es un instrumento fiable para evaluar las habilidades de enseñanza19. Las confiabilidades que se han reportado en los estudios con EDOE van de .63 a .98. Con correlaciones intraclase de .75 para cada una de las estaciones con el uso de varios observadores y con un descenso de la confiabilidad (0.61) al ser solo un evaluador40,41. Asimismo, se nota un descenso (.88) en la confiabilidad cuando se analizan las estaciones por separado42. En nuestro estudio se reporta un alpha de Cronbach de 0.68. con una media de desempeño docente de 73.2 semejante a lo que se ha reportado en la literatura.
Se han hecho estudios de seguimiento de un EDOE mostrando resultados comparables (alfa de Cronbach 0.82-0.90 para cada estación y 0.79 para toda la prueba)31. Asimismo, se han reportado instrumentos menos fiables15,16,43,44. La fiabilidad no varió en función del tipo de evaluador utilizado16,45. Otro estudio demostró que la fiabilidad del evaluador fue influenciada más por la formación de EDOE que por la experiencia del evaluador44. Los estudiantes estandarizados eran más confiables que los evaluadores entrenados cuando se utilizó un medio de evaluación basado en la lista de verificación45. En nuestro caso utilizamos 2 tipos de instrumentos de evaluación, guías de observación, listas de cotejo y alumnos entrenados en el uso de estos instrumentos.
Para la relación con otras variables se encontró evidencia confirmatoria como medias y resultados con exámenes similares en otras publicaciones46,47. Es importante señalar que el uso del EDOE en nuestro medio no tiene aún ninguna utilidad para el desarrollo de un programa integral de evaluación docente.
Por último, las consecuencias de la prueba se dieron a conocer con la entrega de los resultados, realimentando así su desempeño exclusivamente para fines formativos48,49.
En términos generales, con respecto a la confiabilidad hay concordancia con resultados de la creación de estaciones para evaluar la competencia docente30,31. En cuanto a los estudios de validez realizados con el EDOE, estos han sido enfocados de manera individual en la validez de contenido en específico en relación con la opinión de los participantes sobre la aceptabilidad, el realismo de los escenarios de la enseñanza clínica con el EDOE14,16,36,50. Todos estos estudios señalaron que los participantes encontraron las situaciones EDOE realistas y sirvieron como una aproximación razonable de un encuentro de enseñanza. En una investigación de validez contenido se sugirió el uso de grupos focales y se encontró un 92% de acuerdo entre los participantes18. La validez predictiva se evaluó a través de la capacidad del instrumento para detectar mejoras en el desempeño docente en comparación con los no expuestos.
Las fortalezas más importantes de nuestro estudio son la obtención de fuentes de evidencia validez suficiente para la aplicación del EDOE en nuestro medio y la evaluación de competencias docentes con un instrumento de alta fidelidad que evalúa el constructo sobre el desempeño docente con la participación tanto de expertos como de alumnos de la facultad; relaciona el constructo a medir con los participantes tanto en las estaciones como en los usuarios de los instrumentos; selecciona y realiza un análisis de acuerdo al rango de fiabilidad; logra la evaluación de competencias docentes y realimenta de manera individual a los profesores que participaron en el estudio.
De acuerdo a los puntajes en los índices de concordancia con χ 2 de Pearson estos son mejorables: el proceso de respuesta entre alumnos evaluadores y la relación entre la percepción de profesores y actores. Esto indica que se requiere reforzar la capacitación y entrenamiento de los evaluadores alumnos para evaluar las actividades de cada una de las competencias51 con el propósito de fortalecer la fuente sobre el proceso de respuesta, ya que es indispensable para fortalecer el objetivo particular de medición y ejemplos de cómo realizar un estudio de validación para obtener tales evidencias de validez.
Una de las limitaciones de nuestro estudio es que faltó evaluar la satisfacción de los profesores en su experiencia con el EDOE y la estrategia de realimentación por estación por parte de los evaluadores. Existen nuevas competencias que se están evaluando con el EDOE52, por lo que un nuevo estudio podría abarcar estas deficiencias.
Es cuanto a la estructura interna, nuestra alpha se encuentra dentro de los rangos inferiores de las que se han reportado en la literatura. Por lo que es necesario seguir realizando estudios en esta línea para evaluar de manera efectiva la dimensionalidad, invarianza de la medida y fiabilidad de un test educativo u otro tipo de evaluación como es nuestro caso51,53.
Esta línea de investigación marca el inicio de la creación de instrumentos de alta fidelidad en la evaluación del desempeño docente en ciencias de la salud.
CONCLUSIONES
Los resultados descritos en el presente artículo permitieron evaluar la competencia docente con un instrumento de alta fidelidad, de acuerdo a las recomendaciones que se proponen en la literatura, obteniendo evidencias de validez y confiabilidad relacionadas con el contenido del instrumento, el proceso de respuesta, estructura interna, relación con otras variables y consecuencias. Es importante realizar este tipo de instrumentos para la formación y evaluación de competencias en áreas de trabajo docente.
CONTRIBUCIÓN INDIVIDUAL
MLV: Revisión de la información y articulación del manuscrito, operatividad de la aplicación del instrumento, análisis estadístico, correcciones y traducción en inglés.
AAH: Revisión de la información, articulación del manuscrito y apoyo en análisis estadístico.
JATM: Revisión de la información y articulación del manuscrito.
AMG: Revisión de la información y articulación del manuscrito.
