nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
En el proceso formativo de los estudiantes, la evaluación de la competencia clínica en el área de la salud es esencial para dar cuenta del nivel que han alcanzado en diversas etapas de su formación profesional. La Asociación Europea de Educación Odontológica y de la Asociación Dental Americana establecieron los dominios de la competencia clínica que deben ser evaluados en dicho proceso de instrucción, los cuales son: profesionalismo, diagnóstico, interpretación radiográfica, plan de tratamiento, promoción de la salud y habilidades técnicas1,2. Para lograr su valoración en odontología así como en otras áreas de la salud, se han desarrollado diversas herramientas de evaluación para los distintos niveles que se buscan evaluar en un proceso formativo.3
Para este estudio se utilizó El Examen Clínico Objetivo Estructurado (ECOE), que evalúa el desempeño de los estudiantes en contextos simulados, situados acorde con los escenarios reales que se presentan en la práctica profesional habitual. Esta herramienta fue introducida por primera vez en el campo de la educación médica en 1975 por Harden y cols.4; consiste en que los examinados rotan alrededor de un circuito de estaciones, en las que deben desarrollar una tarea clínica relacionada con la disciplina o área por evaluar, con un tiempo determinado en cada una. Cada estación debe establecer un objetivo, un lugar donde desarrollarse, el material para el estudiante, una hoja para el evaluador y otra para la captura de la información.5,6,7
El ECOE en odontología tiene la posibilidad de implementarse de distintas maneras, ya que en esta profesión son diversas las habilidades que debe desarrollar un estudiante y debido al uso de modelos, maniquíes y simuladores en el entrenamiento y en la formación profesional, en las estaciones existe la posibilidad de generar diversos escenarios que contemplen estas herramientas, pero también el uso de pacientes reales y estandarizados para la parte de la entrevista y del abordaje de la conducta, en el caso de los niños. En relación con esto último, el área especializada de odontología que se enfoca en la prevención, promoción y atención de la salud bucodental de niños y adolescentes es la Odontopediatría; esta especialidad como asignatura en el plan de estudios de la licenciatura de Cirujano Dentista en la Facultad de Odontología (FO) de la Universidad Nacional Autónoma de México (UNAM) es impartida en el cuarto año, pues se considera trascendental que un estudiante tenga dominio no sólo de las técnicas operatorias, sino de los conocimientos necesarios para una atención adecuada de pacientes pediátricos.
En revisiones sistemáticas relacionadas con el ECOE9, se reporta que ha sido utilizada con diversos propósitos: estudios que examinan el ECOE en sí, aquellos que lo estudian a través de una perspectiva teórica y otros en los que fue utilizado para evaluar. En relación con este último aspecto, hay una carencia en determinar cuáles de los dominios de la competencia clínica se desarrollan principalmente, y de qué manera podrían ser potenciados aquellos que poco se desarrollan.
En este estudio, la pregunta a investigar fue ¿qué dominios de la competencia clínica en odontología se desarrollan principalmente en los estudiantes que cursan la asignatura de Odontopediatría impartida en el cuarto año de la licenciatura de Cirujano Dentista, evaluados a través del Examen Clínico Objetivo Estructurado?
Método
a. Descripción general del estudio, contexto y población
Se realizó un estudio pre-post en la FO de la UNAM en la Ciudad de México, con estudiantes que cursaban las asignaturas correspondientes al cuarto año de la licenciatura de Cirujano Dentista (que tiene una duración de cinco años). Se seleccionaron cuatro grupos de estudiantes de los 15 que conformaban la generación estudiada. Esta selección se hizo con base en la disposición que los profesores de estos grupos tuvieron para participar en el proyecto y para que representaran a los dos turnos en los que se imparte la asignatura.
b. Mediciones (instrumentos y escalas)
Se llevaron a cabo dos mediciones: una al inicio y otra al término del ciclo escolar; el periodo entre estas mediciones fue de nueve meses. Los instrumentos consistieron en dos versiones del ECOE equivalentes en cuanto a su estructura y contenido, conformados por 18 estaciones con duración de 6 minutos cada una. Se incluyeron nueve estaciones estáticas y nueve dinámicas; de éstas, cuatro se desarrollaron con simuladores y cinco con pacientes estandarizados (niños y adultos quienes tenían experiencias previas dentales y el ambiente les era familiar).
Para elaborar las estaciones, se tomó en cuenta la metodología para la elaboración de un examen propuesta por Haladyna y Downing10 fundamentada en los estándares para pruebas psicológicas y educativas emitidos por la American Educational Research Association (AERA por sus siglas); asimismo se construyó una matriz de competencias que describía los siete dominios de la competencia clínica que fueron evaluados en los estudiantes, así como los temas que abarca el programa de la asignatura. Tales dominios fueron: (1) comunicación y profesionalismo, (2) entrevista, (3) exploración física y diagnóstico, (4) diagnóstico e interpretación radiográfica, (5) plan de tratamiento, (6) prevención y promoción de la salud bucodental y (7) habilidades técnicas. Se eligieron con base en una búsqueda de la literatura11,12,13,14,15,16, y en la opinión de docentes especialistas en odontopediatría, quienes además fueron capacitados en un taller para diseñar las estaciones y desempeñar su papel como evaluadores en el examen.
Las estaciones fueron evaluadas en una prueba piloto que se realizó con 40 estudiantes y 22 profesores en la que se evaluaron aspectos tales como: relevancia del contenido, rol del examinador, realidad de los escenarios, claridad de las instrucciones, calidad de los materiales empleados y desempeño de los pacientes estandarizados; la información se recopiló por medio de grupos focales con estudiantes, formatos para obtener la información por parte de los examinadores, y a partir de un análisis estadístico descriptivo simple; con ello se modificaron algunos ítems, se corrigieron instrucciones de algunas estaciones y se optimizó el material utilizado (principalmente radiografías y fotografías impresas). En la Tabla 1 se presenta la descripción de las características principales de cada estación.
Tabla 1 Estaciones del ECOE en la asignatura de Odontopediatría en el cuarto año de la licenciatura de Cirujano Dentista; Facultad de Odontología, UNAM.
| Número | Tipo | Atributo evaluado principalmente | Tema | Núm. de ítems |
|---|---|---|---|---|
| 1 | D | Habilidades técnicas | Aislamiento absoluto | 15 |
| 2 | D | Habilidades técnicas | Anestesia | 20 |
| 3 | D | Habilidades técnicas | Operatoria dental | 13 |
| 4 | D | Habilidades técnicas | Selladores de fosetas y fisuras | 10 |
| 5 | E | Interpretación y diagnóstico radiográfico | Patología oral | 5 |
| 6 | E | Exploración física y diagnóstico | Desarrollo de la oclusión | 13 |
| 7 | E | Interpretación y diagnóstico radiográfico | Cronología y secuencia de erupción | 7 |
| 8 | E | Exploración física y diagnóstico | Caries por alimentación infantil | 5 |
| 9 | E | Plan de tratamiento | Prescripción farmacológica | 7 |
| 10 | D (PE) | Prevención y promoción de la salud | Métodos de prevención para caries y enfermedad periodontal | 16 |
| 11 | D (PE) | Comunicación y profesionalismo | Abordaje de la conducta | 9 |
| 12 | D (PE) | Exploración física y diagnóstico | Patología oral | 18 |
| 13 | E | Plan de tratamiento | Anestesia | 4 |
| 14 | E | Interpretación y diagnóstico radiográfico | Caries 3er grado | 11 |
| 15 | D (PE) | Prevención y promoción de la salud | Métodos de prevención para caries y enfermedad periodontal | 4 |
| 16 | E | Comunicación y profesionalismo | Abordaje de la conducta | 6 |
| 17 | E | Entrevista | Lesiones traumáticas | 8 |
| 18 | D (PE) | Plan de tratamiento | Lesiones traumáticas | 6 |
D: Dinámica, E: Estática, PE: Paciente Estandarizado; ECOE-O: Examen Clínico Objetivo Estructurado en Odontopediatría.
c. Procedimiento
Los estudiantes se presentaron a los exámenes (antes y después del curso) distribuidos en seis turnos durante dos días. La dinámica se les explicó días previos y minutos antes de presentarlos. La duración de cada examen fue de 120 minutos. Se contó con la participación de 45 y 37 evaluadores respectivamente, quienes fueron asignados a las estaciones con base en su desempeño en el taller de capacitación y en la experiencia que tenían en los temas de la asignatura. Debido a que se contó con menos evaluadores en el postest, la estación 17 de esta prueba no se desarrolló. El evaluador de cada estación emitió un juicio sobre el desempeño del estudiante por medio de una rúbrica con una serie de ítems (entre 4 y 20, dependiendo de la estación) que explicitaban criterios objetivo de los dominios de la competencia clínica (Tabla 2); para cada uno se eligió entre dos a cuatro niveles de desempeño (deficiente, regular, bueno, excelente). En el caso de las estaciones dinámicas con paciente estandarizado, se realizaron dos juicios adicionales: (a) una valoración global (en una escala de 1 a 9) de las habilidades de comunicación interpersonal (HCI), donde 1 representó un desempeño insatisfactorio respecto de la atención personal que brindaba al paciente (saludo, respeto, atención, lenguaje adecuado), y 9 caracterizó un desempeño impecable en los aspectos señalados; y (b) un juicio sobre el trato recibido del estudiante al paciente estandarizado (PE) evaluado con una escala de 5 a 10, donde 5 era deficiente y 10 excelente.
Tabla 2 Dominios de la competencia evaluados en el ECOE-O pre y postest.
| Dominios de la competencia clínica | Estaciones | |||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | |
| 1. Comunicación y profesionalismo | x | x | x | x | x | x | x | x | x | |||||||||
| 2. Entrevista | x | x | x | x | x | x | ||||||||||||
| 3. Exploración física y diagnóstico | x | x | x | x | x | x | x | x | x | x | ||||||||
| 4. Diagnóstico e interpretación radiográfica | x | x | x | x | x | x | x | |||||||||||
| 5. Plan de tratamiento | x | x | x | x | x | x | x | x | x | x | x | x | x | x | ||||
| 6. Prevención y promoción de la salud bucodental | x | x | ||||||||||||||||
| 7. Habilidades técnicas | x | x | x | x | x | |||||||||||||
d. Análisis estadístico
Puntajes por estación
En cada estación dinámica con paciente estandarizado se obtuvo una calificación que contemplaba el 85% del resultado de los ítems de la rúbrica, el 10% de la calificación de la escala HCI y el 5% de la calificación otorgada por el PE. Cuando fueron estaciones dinámicas con simuladores o estáticas, el 100% de la calificación fue para el resultado de la rúbrica. Estos porcentajes fueron determinados por los profesores especialistas ya mencionados, al considerar que los ítems de la rúbrica tenían un mayor significado en cuanto a su contenido para evaluar los dominios.
Análisis estadístico t de Student
Para evaluar las diferencias de medias entre las pruebas pre y post, utilizamos una variante de la prueba t de Student, que permite utilizar la información de todos los sustentantes en el análisis, incluyendo los que participaron en solo uno de los dos momentos (técnicamente, significa que se replanteó el análisis en el marco de los modelos lineales jerárquicos). Con base en este análisis, se obtuvo, para cada una de las estaciones y para la puntuación global, el valor p asociado con las pruebas de hipótesis de que no hay diferencia entre las medias de los dos momentos.
e. Consideraciones éticas
La participación de los profesores, estudiantes y pacientes estandarizados fue voluntaria y el estudio no consideraba ningún riesgo para los participantes. En el caso de los estudiantes, se solicitó su consentimiento informado por escrito; asimismo se les informó que el resultado obtenido en estas pruebas no repercutiría en su calificación final del curso, y les sería reportado de manera individual y confidencial.
Resultados
La planeación y el diseño del ECOE siguieron los pasos propuestos por Haladyna y Downing10 lo que permite hacer inferencias de los resultados obtenidos en ambas pruebas en las que se obtuvieron suficientes evidencias de validez.
a. Calificaciones globales
Los estudiantes que se presentaron a los exámenes pre y post fueron 120 y 110, respectivamente; 75% (n=90) de quienes participaron en el pre, también lo hicieron en el post; 30 estudiantes que participaron en el pre no lo hicieron en el post y 20 de los que asistieron al post, no hicieron el pre, por lo que participaron un total de 140 estudiantes en todo el estudio; 75% del sexo femenino y 25% del masculino. Su rango de edad fue de 20 a 31 años, con una media de 23.
Las medias globales de los exámenes reflejan un desarrollo de la competencia clínica (Pre-x= 43.7%, Post-x=53.5%; p< .0001) y diferencias significativas estadísticamente.
b. Calificaciones por estación
Por estación, las medias varían; en el pretest oscilan entre 23 y 66%, y en el postest van de 42 a 71%. (Figura 1)
c. Calificaciones por dominio
Al analizar los datos por dominios, se observa que aquellos que se desarrollaron principalmente fueron plan de tratamiento (Pre-x= 39.9, Pos-x=53.2), y habilidades técnicas (Pre-x=49.4, Post-x=65.4). Entrevista fue el dominio que no se desarrolló (Tabla 3).
Tabla 3 Medias de los dominios en los exámenes pre y postest.
| Atributo evaluado | Pretest | Postest | |
|---|---|---|---|
| X (S) | X(S) | ||
| Comunicación y Profesionalismo | 56.1 (11) | Curso de OP | 65.6 (12.9) |
| Entrevista | 70.9 (12.3) | 63.1 (14.9) | |
| Exploración Física y Diagnóstico | 41.5 (10.1) | 50.8 (11.1) | |
| Diagnóstico e Interpretación Radiográficos | 44.6 (14.2) | 47.5 (14.2) | |
| Plan de Tratamiento | 39.9 (9.9) | 53.2 (11.8) | |
| Prevención y promoción para la salud bucodental | 38.8 (14.7) | 44.7 (23.5) | |
| Habilidades técnicas | 49.4 (11.4) | 65.4 (9.1) |
X= media por atributo, S= desviación estándar, OP= Odontopediatría
n pretest: 120 estudiantes
n postest: 110 estudiantes
Discusión
El Examen Clínico Objetivo Estructurado (ECOE) se considera el estándar de oro de la competencia clínica en medicina a nivel internacional17,18y existía la necesidad de adoptarlo y probarlo en la FO de la UNAM, referente nacional en México en la formación de profesionales de la salud bucodental.
Las estaciones construidas para las pruebas pre y postest son el resultado de aplicar adecuadamente el método para el ECOE; es importante enfatizar que el desarrollo de casos para las estaciones es el elemento principal de este sistema de evaluación19, lo que permite hacer inferencias de los resultados obtenidos en ambas pruebas en las que se obtuvieron suficientes evidencias de validez10,21, incluida la confiabilidad analizada en el pretest por medio de la teoría de la generalizabilidad22. La creación de las estaciones obedeció a los dominios y temas que se buscaron evaluar, pero también a las necesidades y al contexto en el que se desarrolló el examen. En el caso particular para Odontopediatría, hubiera sido muy complicado estructurar las estaciones sólo con pacientes estandarizados, por la falta de recursos humanos, o por la dificultad de controlar a tantos niños al momento de las pruebas, además de las implicaciones éticas de incluir a niños de edades no recomendables por el control de la conducta y el riesgo que esto representa para lograr el propósito del ECOE.
El resultado de las medias de las pruebas pre y postest se reportan más bajas que estudios similares12,16. En el estudio de Schoonheim-Klein et al16 se buscó aclarar qué método y criterio era óptimo para prevenir que los estudiantes incompetentes aprobaran y que los estudiantes competentes fallen en un ECOE; se reportaron clústers que agruparon a las estaciones en cuatro: profesionalismo, comunicación, diagnóstico, y mantenimiento de la salud, componentes que se asemejan a los dominios evaluados en este estudio. En el estudio mencionado, la media global del ECOE fue de 60% y las medias por estación variaban de 42.6% hasta 76.4%.
Los resultados de nuestra investigación pueden relacionarse con diversos factores: la falta de familiaridad de los estudiantes con el formato, ya que como se ha señalado, es la primera ocasión, hasta donde los autores pudieron revisar, que el ECOE se implementa en odontología en México. El tipo de examinaciones a los que han estado expuestos los estudiantes dista mucho de las características que ofrece el ECOE, y como lo señalaron en los datos obtenidos por otras técnicas de investigación aplicadas, tales como los grupos focales23, esta forma de evaluación no guarda relación con las formas de enseñanza que emplean los profesores en odontología20. Otra razón por la cual las medias reportadas fueron bajas es, en el caso del pretest, que los estudiantes aún no habían sido expuestos al curso anual de Odontopediatría. Es importante destacar que, a pesar de que son medias bajas comparadas con otros estudios, se contaba con al menos un nivel de desarrollo de competencia clínica adquirido en los años previos de estudio.
La media de las calificaciones en la prueba pretest fue de 44% y en el postest, de 54% que representan una diferencia de diez puntos porcentuales. Era esperado un aumento de las medias después del curso de Odontopediatría, pero se podría esperar que fuera aún mayor. Al hacer el análisis por estación, también se observa, en la mayoría, un aumento de las medias de las estaciones, pero existen variaciones entre unas y otras.
En algunas estaciones se observa un aumento en la calificación por estación de hasta casi 30 puntos porcentuales (estación 6 y 16); en otras como la estación 14, la diferencia entre medias es de 20 puntos porcentuales, y aunque menor, sigue siendo una diferencia relevante. En el pretest las medias oscilan entre 23 y 66%, y en el postest van de 42 a 71%.
Al analizar detenidamente las estaciones en las que se registraron estas diferencias porcentuales entre medias, nos damos cuenta que la estación 6 evaluaba el dominio de exploración física y diagnóstico; el objetivo de esta estación era evaluar, por medio del análisis de modelos de estudio (de yeso), las características del desarrollo de la oclusión en la dentición primaria. Los estudiantes debían realizar algunas medidas milimétricas para la obtención de datos que les permitieran realizar un diagnóstico adecuado. El formato empleado para el registro de las mediciones les era desconocido en el pretest ya que es un formato propio de la historia clínica que se emplea con los pacientes pediátricos. Indudablemente este factor influyó en el bajo puntaje reportado para el pretest (23.6%). Aunado a ello, los estudiantes señalaron que este tipo de tarea no era común en la enseñanza del tema, lo que provocó desconocimiento de la actividad por desarrollar y en consecuencia, una falta de habilidad para realizar la mediciones, situación que llama la atención ya que esta tarea se debería realizar habitualmente como una práctica en el laboratorio de la asignatura, y también es una tarea que se desarrolla cotidianamente en el ámbito profesional.
La estación 5, por su parte, tuvo una disminución de cinco puntos porcentuales en la media del pos test (x pre: 50.3%, x pos: 44.7%). Al parecer, el grado de dificultad de la patología contemplada era ligeramente más compleja en el pre que en el pos test. Similar al comportamiento de esta estación, la 7 tuvo una disminución en la media de tan sólo tres puntos porcentuales; esto puede relacionarse con que, de manera global, el dominio de Interpretación y diagnóstico radiográfico fue de los que menos se desarrollaron al evaluarse con el ECOE. La interpretación radiográfica es una de las habilidades complejas para los estudiantes de odontología en formación, ya que el conocimiento previo que requieren de anatomía, así como los principios básicos necesarios de radiología y su aplicación en enfermedades orales son fundamentales para el desarrollo de este dominio. A pesar de que los estudiantes, en el segundo año de la licenciatura, practican la toma correcta de radiografías (más que su interpretación), la práctica de la interpretación muchas veces corre por cuenta del profesor y en esta vorágine de obtener, a la brevedad, un diagnóstico y un plan de tratamiento para proceder a la parte operatoria del tratamiento, queda poca responsabilidad en los estudiantes en reflexionar y analizar este auxiliar de diagnóstico fundamental en odontología.
Por último, una estación en la que hubo una disminución porcentual considerable fue la 10 que valoraba principalmente el dominio de Prevención y promoción de la salud (pre-x: 66.3%, post-x: 41.9%). Al revisar esta estación en las dos versiones, identificamos que, a pesar de que la estación postest era homóloga a la del pretest, hubo ajustes en el instrumento de evaluación empleado por el examinador, como resultado del análisis estadístico del pretest; se eliminaron ítems dicotómicos que eran muy fáciles de responder y que no solicitaban más que el reconocimiento de cierta información vaga por parte del estudiante. Al ajustar el instrumento de evaluación de la estación, los ítems se redujeron a poco más de la mitad (16 a 6) y por lo tanto, lo que se evaluaba era más objetivo, y esto se reflejó en los resultados al disminuir la media de la muestra evaluada.
Existen entonces, muchas variaciones en cuanto a los resultados reportados por estación; esto puede asociarse con: (1) el desarrollo predominante de algunos dominios sobre otros, (2) la dificultad de ciertos temas de la asignatura, (3) la variabilidad en la cantidad de ítems, o (4) la falta de familiaridad de algunas tareas demandadas en determinadas estaciones. En el análisis de la confiabilidad se profundiza en este aspecto22. Como se describió en la sección de Resultados, al obtener los datos por dominio de la competencia clínica, se observa que aquellos que se desarrollaron principalmente fueron Plan de tratamiento y Habilidades técnicas, y los que menos se desarrollaron fueron Entrevista y Diagnóstico e Interpretación radiográfica.
El énfasis curativo que la licenciatura de Cirujano Dentista ha tenido históricamente a nivel nacional e internacional se refleja en los resultados de esta investigación. Los estudiantes son formados profesionalmente, más que para diagnosticar o prevenir, para tratar y curar. La FO tiene una característica muy peculiar que enriquece la formación de los estudiantes: funciona como una escuela hospital pues aquellos aprenden de la atención real con los pacientes que acuden a la facultad. Debido a la demanda de atención bucal que existe por parte de la población mexicana y potenciado por la ausencia de dicho servicio por parte del sistema de salud nacional en México, en la FO se vuelve primordial la atención rápida y eficaz de los pacientes en un contexto de formación en el que el proceso de aprendizaje requiere de tiempo para su asimilación y para la reflexión de lo que se hace, proceso que ha pasado a segundo término en la formación de los estudiantes. Además, como se ha reportado en la literatura20, en la FO los profesores evalúan aspectos prácticos con cuotas de trabajos clínicos lo que explica, en cierto modo, el desarrollo predominante del dominio de Habilidades técnicas, sobre todo, en los últimos años de los estudios profesionales.
En el caso del dominio Plan de tratamiento, la situación es similar; al formar al estudiante con un énfasis en el tratamiento y en lo curativo, los estudiantes desarrollan la habilidad de brindar planes de tratamiento, aunque desconocemos si dichos planes se fundamentan en un proceso de razonamiento clínico, terapéutico y pensamiento crítico ejercido por los estudiantes. Además, es interesante analizar en los resultados que el desarrollo de un dominio como lo fue Exploración física y diagnóstico, no se comportó de manera notable como lo ocurrido con el desarrollo del dominio Plan de tratamiento, mucho menos lo fue el de Entrevista en el que los estudiantes debían indagar todo lo posible respecto de los signos y síntomas que se presentaban en diversos casos de distintas estaciones.
Conclusiones
El desarrollo de la competencia clínica puede valorarse mediante el ECOE para identificar los dominios que la describen, y de este modo detectar áreas de oportunidad para la formación de los estudiantes de odontología.
El Plan de tratamiento y las Habilidades técnicas fueron los dos dominios principalmente desarrollados en los estudiantes que cursaron el cuarto año de la licenciatura en Cirujano Dentista en la FO; esto concuerda con el énfasis que tienen los estudios profesionales en odontología en los que prevalecen el tratamiento técnico operatorio de las enfermedades bucodentales.
De los dominios menos desarrollados destacan la entrevista y diagnóstico e interpretación radiográfica, para los cuales se requieren de habilidades complejas del pensamiento y que son las primeras fases en la atención de un paciente para aplicar los procesos de razonamiento clínico y de pensamiento crítico.
Este trabajo es un parteaguas en la investigación educativa en odontología en México, pues existe una necesidad urgente de modificar la formación profesional de los odontólogos encaminada, actualmente, al cumplimiento y a la ejecución de proceso técnicos operatorios con énfasis en lo curativo, por una educación centrada en el desarrollo de competencias profesionales basadas en una comunicación y profesionalismo adecuados, en la promoción del pensamiento crítico y razonamiento clínico, así como en la solución de problemas de los diversos contextos que existen en México en torno a las problemáticas de salud bucodental.
