SciELO - Scientific Electronic Library Online

 
vol.8 número29Desarrollo de evidencias de validez de una prueba de desempeño sobre competencias docentes: EDOEComunidades virtuales en el curso de Fisiopatología Renal: percepción de la experiencia de los estudiantes índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Investigación en educación médica

versión On-line ISSN 2007-5057

Investigación educ. médica vol.8 no.29 Ciudad de México ene./mar. 2019

https://doi.org/10.22201/facmed.20075057e.2019.29.1767 

Artículos originales

Calidad de los problemas de ABP. Evidencia de validez de un instrumento

Quality of Problems in PBL. Validity evidence of an instrument

Rocío Carolina García Riveraa 

Adrián Martínez Gonzáleza  * 

aFacultad de Medicina, Universidad Nacional Autónoma de México, Cd. Mx., México.


Resumen

Introducción:

En el aprendizaje basado en problemas (ABP) la calidad de estos es crucial para la adquisición e integración de conocimientos. Sin embargo, existen pocos instrumentos con evidencias de validez para medirla.

Objetivo:

Desarrollar un instrumento para evaluar la calidad de los problemas de ABP, obteniendo las fuentes de evidencia de validez del uso del mismo.

Método:

El instrumento fue desarrollado sobre la base de la revisión de la literatura. Se obtuvieron evidencias de validez de acuerdo con los Standards for Educational and Psychological Testing, específicamente fuentes de evidencia de validez de contenido, proceso de respuesta, estructura interna y consecuencias de la prueba. El instrumento se sometió a evaluación por jueces y se calculó el nivel de acuerdo con la prueba Kappa de Fleiss. Para conocer las características psicométricas del instrumento, se realizó análisis de discriminación de los reactivos empleado la prueba t de Student; para identificar la estructura interna de la prueba se empleó un análisis factorial exploratorio y se calculó el alfa de Cronbach como estadístico de consistencia interna.

Resultados:

El índice Kappa obtenido para los 24 reactivos fue de 0.45 hasta 1. La t de Student obtuvo valores de significación bilateral de 0.000. El análisis de factorial exploratorio con rotación Varimax extrajo 6 factores que aportan una varianza explicada de 83.08%. La versión final del instrumento quedó constituida por 20 reactivos con alfa de Cronbach total de la escala de 0.97.

Conclusiones:

Este instrumento cuenta con suficientes evidencias de validez para ser aplicado para evaluar la calidad de los problemas de ABP. Además, los 6 factores descritos amplían el alcance de la medición de los instrumentos existentes. Y permite detectar las fortalezas, debilidades y aportar sugerencias desde la perspectiva de los alumnos y profesores.

Palabras clave: Calidad; Problemas; Aprendizaje basado en problemas; Evidencias de validez

Abstract

Introduction:

In Problem Based Learning (PBL), the quality of the problems is essential for the acquisition and integration of knowledge. Nevertheless, there is a lack of instruments with validity evidence to measure it.

Objective:

To develop a questionnaire to evaluate the quality of the problems of the PBL, obtaining its evidence of validity.

Methods:

The questionnaire was developed upon revising literature. Validity evidences were obtained according to the Standards for Educational and Psychological Testing, specifically sources of content validity evidence, response process, internal structure and assessment consequences.

The questionnaire was submitted to evaluation by a jury and it was calculated according to the level of agreement related to the Fleiss’ Kappa Test. In order to know the psychometric characteristics of the questionnaire, discrimination analysis of items was performed using Student's t test; looking to identify the internal structure of the test, an exploratory factorial analysis was performed and the Cronbach’s Alpha was calculated as statistic of internal consistency.

Results:

The obtained Kappa index for the 24 items was of 0.45 to 1. The Student's t test got values of bilateral significance of 0.000. The exploratory factorial analysis with a Varimax rotation extracted six factors that showed an explained variance of 83.08%. The instrument final version was constituted by 20 items with a total Cronbach’s Alpha in the scale of 0.97.

Conclusions:

This questionnaire has enough validity evidence as to be used to assess the quality of the problems in PBL. Besides, the six factors described amplify the measuring extent of the existing instruments and allowing us to detect the strengths and weaknesses and provide suggestions from the perspective of learners and professors.

Keywords: Quality; Problems; Problem-based learning; Validity evidence

INTRODUCCIÓN

El aprendizaje basado en problemas (ABP) es un método que se fundamenta en utilizar problemas como punto de partida para la adquisición e integración de conocimientos1. Actualmente, está integrado como método educativo de un gran número de escuelas de medicina, así como en otras carreras profesionales2. La Facultad de Medicina de la UNAM incluyó en el Plan de Estudios 2010 las asignaturas de Integración Básico-Clínica I y II que utilizan formalmente esta metodología3.

Con la creciente popularidad del ABP, comenzó la investigación en torno a los elementos que influyen directamente en el aprendizaje de los estudiantes. El estudio realizado por Schmidt y Gijselears (1990), reportó que los tres principales elementos que se asocian con el aprendizaje del estudiante con este método son: el desempeño del tutor, el conocimiento previo del alumno y la calidad de los problemas utilizados4. Otros estudios ampliaron estos hallazgos, mostrando que la calidad de los problemas es de hecho un elemento fundamental para este propósito5.

Usualmente los problemas se diseñan desde el conocimiento experiencial, apoyado por los principios teóricos de aprendizaje y cognición6. Múltiples autores han descrito los principios básicos para el diseño de problemas. Por ejemplo, Dolmans et al. (1997) mencionan siete: el problema se debe adaptar al conocimiento previo de los estudiantes, debe ser relevante para la profesión futura, presentar conceptos de ciencias básicas en el contexto de un problema clínico, estimular el aprendizaje autodirigido, aumentar el interés en el tema, contener pistas que estimular la discusión y dirigir a los objetivos de aprendizaje establecidos por el programa. Otros autores, además, sugieren que un problema debe promover la motivación, estimular el pensamiento análisis y razonamiento, llevar al estudiante a la toma de decisiones y promover el trabajo en equipo6,7,8,9.

A partir de estos principios, es posible establecer criterios para determinar la calidad de los problemas de ABP, entendiéndose por calidad de los problemas el grado en el que se adecuan a los criterios preestablecidos de formato y de función para conducir a los alumnos a actividades de aprendizaje6,7,10,11.

A pesar de la importancia atribuida a la calidad de los problemas de ABP, en la enseñanza de la medicina existen pocos instrumentos con evidencias de validez para medirla12. A continuación, se incluye una breve descripción de algunos de ellos.

Marín et al. (2004)13 desarrollaron una escala para medir tres características de los problemas de ABP: la medida en que el problema conduce a actividades de aprendizaje, la estructura del problema para conducir a los estudiantes al contenido deseado y, tiempo y recursos necesarios para abordar el problema. La consistencia interna reportada a través del alfa de Cronbach fue de 0.9; sin embargo, los datos se obtuvieron de una población de 28 estudiantes y se limitó únicamente a la opinión de los mismos.

Sockalingam et al. (2012)14 elaboraron un instrumento para medir las siguientes características: conduce a la formulación de los objetivos de aprendizaje, el problema es familiar para los estudiantes, interesa a los estudiantes, promueve el aprendizaje colaborativo y estimula el razonamiento crítico. Se determinó la confiabilidad mediante el coeficiente H de Hancock15, los valores oscilaron entre .66 y .78, los cuales son indicativos de una confiabilidad de moderada a buena de la escala. Además, realizaron un análisis factorial confirmatorio que reveló un buen ajuste de los datos con el modelo hipotético de cinco factores. Estas características indicaron la adecuación para medir la calidad de los problemas en el ABP.

Munshi et al. (2008)16 desarrollaron un cuestionario constituido por los siguientes seis factores: estimula el pensamiento, análisis y el razonamiento, estimula el aprendizaje autodirigido, conduce a estudiar el contenido deseado, aumenta el interés en el tema, es relevante para la profesión con contexto realista y coincide con el nivel de conocimientos previos. Además, contiene un reactivo para evaluar la calificación global del problema ABP y tres preguntas abiertas para conocer las fortalezas debilidades y sugerencias para cada problema. Sin embargo, por el tamaño de la muestra del estudio, no cuentan con suficientes evidencias de validez.

Aunque existen algunos estudios que abordan varios aspectos sobre problemas, hay una serie de deficiencias en las investigaciones existentes12. Entre ellas están: tomar en cuenta la percepción de los estudiantes y de los tutores en la evaluación de los casos, considerar otros aspectos que están presentes en los probolemas como el estímulo para la toma de decisiones en la clarificación del problema y algunos criterios de formato como la longitud o claridad del problema. Asimismo, existen pocas evidencias de validez que permitan demostrar la aplicabilidad de los instrumentos.

La validez es un proceso fundamental en el desarrollo de instrumentos de evaluación17. Actualmente, se define como el grado en que la evidencia y la teoría apoyan las interpretaciones de las puntuaciones obtenidas en una prueba. Existen cinco fuentes de evidencia de validez de una prueba: contenido de la prueba, el proceso de respuesta, la estructura interna, relación con otras variables y las consecuencias o impacto para los sustentantes18. Sin embargo, cada tipo de evidencia no se requiere en todos los escenarios17.

La evidencia de validez de contenido es la relación entre las partes de la prueba y el constructo que se pretende medir. Puede obtenerse a través del juicio de expertos, el contenido temático definido, la representatividad de las preguntas de los diferentes dominios del área a explorar, la congruencia del contenido, entre otras17.

El proceso de respuesta se define como la evidencia de la integridad de los datos de manera que todas las fuentes de error asociadas se controlan o eliminan en la medida posible17. Entre las fuentes de evidencia se encuentran aspectos de evaluación tales como asegurar la exactitud de todas las respuestas a las preguntas de evaluación, la familiaridad del sustentante con el formato de evaluación, el tiempo de respuesta utilizado en relación con la complejidad de los procesos involucrados en el desarrollo de la tarea19.

En la evidencia de validez de estructura interna se describen las características psicométricas y estadísticas de los enunciados de la prueba. Entre estos análisis se encuentra el índice de discriminación de los reactivos, la consistencia interna de la prueba, el análisis factorial exploratorio. Involucra una aproximación científica a la interpretación específica de los resultados obtenidos con la prueba20.

La relación con otras variables es la evidencia de correlación estadística entre los puntajes obtenidos a través de un instrumento y de puntuaciones derivadas en una medición anterior de características conocidas, buscando así evidencia confirmatoria.

La evidencia de validez de consecuencias se refiere al impacto de la evaluación, puntuaciones, decisiones y resultados en el proceso de enseñanza y aprendizaje. Las consecuencias pueden ser positivas o negativas sobre los examinandos, los profesores, los pacientes, entre otras17.

Tomando en cuenta que la calidad de los problemas desempeña un papel significativo en el aprendizaje de los estudiantes, es imprescindible proporcionar un instrumento para valorarla que cuente con dichas evidencias de validez.

El propósito de este estudio fue desarrollar un instrumento con evidencias de validez para evaluar la calidad de los problemas de ABP.

MÉTODO

Se realizó un estudio no experimental de tipo descriptivo para el diseño del instrumento, obteniendo las diferentes fuentes de evidencias de validez 18.

Procedimiento

Como punto de partida para desarrollar el instrumento, se realizó el análisis de la literatura sobre los fundamentos teóricos y los procedimientos que se han empleado para diseñar los problemas de ABP.

Se utilizaron como marco de referencia los instrumentos para evaluar la calidad de los casos de ABP de Marín et al. (2004)13, Munshi et al. (2008)16 y Sockalingam et al. (2012)14, seleccionando algunos de los enunciados que se incluirían en el cuestionario.

Una vez integradas las traducciones y tras la adaptación al contexto, se generaron ex profeso dos factores adicionales compuestos por tres reactivos cada uno, que exploran la toma de decisiones21,22 y el formato del problema12. Asimismo, se incluyeron tres preguntas abiertas para darle la oportunidad a los participantes de describir las fortalezas, debilidades y sugerencias.

La escala de calificación desarrollada para evaluar los problemas de ABP fue tipo Likert de cinco opciones: 1 (completamente en desacuerdo), 2 (en desacuerdo), 3 (ni de acuerdo, ni en desacuerdo), 4 (de acuerdo), 5 (completamente de acuerdo).

El instrumento se sometió a un proceso de validación por diez jueces expertos en ABP, con estudios de posgrado en educación. Se solicitó a través de los formularios en línea valorar la utilidad del instrumento, la pertinencia de los reactivos, su grado de relevancia, claridad y sugerencias para mejorarlo. Para medir el grado de acuerdo entre jueces se decidió utilizar el estadístico de kappa de Fleiss.

Posteriormente el instrumento se aplicó a una muestra no probabilística por cuota de 1055 participantes (56% mujeres y 44% hombres) con una edad media de 19.4 años. Inscritos en la asignatura de integración básico-clínica de la Facultad de Medicina de la Universidad Nacional Autónoma de México. La participaron se solicitó de manera voluntaria vía electrónica.

Con los resultados obtenidos se realizaron análisis descriptivos e inferenciales23,24. Para conocer las características psicométricas del instrumento, se realizaron análisis de discriminación de cada uno de los reactivos empleando la prueba t de Student25; la consistencia interna de la prueba se utilizó el alfa de Cronbach y para identificar la estructura interna de la prueba se empleó un análisis factorial exploratorio.

Los datos se analizaron con el paquete estadístico SPSS Statistics v24.0.

Con base en las descripciones encontradas en la literatura21,26,27 se elaboró un árbol de categorías, para formular opciones de respuesta para las preguntas abiertas. Se procedió a codificar las respuestas obtenidas por los alumnos y profesores, las cuales posteriormente fueron incorporarlas a las categorías, de acuerdo con el contenido. Además, se incorporaron las categorías emergentes que surgieron. Para finalmente convertirlas en opciones de respuesta para las fortalezas, debilidades y sugerencias.

Consideraciones éticas

La participación en este estudio se realizó de forma anónima y voluntaria. Se solicitó el consentimiento libre e informado de los participantes acorde con el artículo 21 del reglamento de la Ley General de Salud en materia de investigación.

Este proyecto fue aprobado por el Comité de Ética e Investigación del Programa de Maestría y Doctorado en Ciencias Médicas, Odontológicas y de la Salud, de la UNAM (Nº de oficio PMDCMOS/CEI/SEI/007/2017).

RESULTADOS

Con las aportaciones del grupo de expertos, se generó un instrumento conformado inicialmente por 27 enunciados, constituido por 24 reactivos que exploran las ocho dimensiones con opción de respuesta de tipo Likert y tres preguntas abiertas para explorar las fortalezas, debilidades y sugerencias.

Los resultados obtenidos de los análisis descriptivos e inferenciales de los 24 reactivos con opción de respuesta tipo Likert se describen a continuación. Los valores de Kappa de Fleiss obtenidos fueron de 0.45 hasta 1 (tabla 1). La discriminación se realizó a través de la prueba t de Student25 reflejó para todos los reactivos valores de significación bilateral de 0.000. El análisis de la consistencia interna de la prueba se observó un alfa de Cronbach de 0.94. La media de adecuación muestral de Kaiser-Meyer-Olkin fue de 0.97 y la prueba de esfericidad de Bartlett arrojó valores significativos al .000. El análisis de factorial exploratorio con rotación Varimax, extrajo seis factores, los cuales aportan una varianza explicada de 83.08% con 7 iteraciones (tabla 2). Los ítems que no contribuyeron significativamente al factor (< 0.5) fueron eliminados (tabla 3). Sobre la base de su contenido, los factores fueron designados como: estimula aprendizaje autodirigido, corresponde al nivel de conocimientos previos, conduce a la toma de decisiones para aclarar el problema, estimula el pensamiento, razonamiento y análisis, aumenta el interés en el tema y formato. Los coeficientes de confiabilidad de Cronbach por factor fueron 0.93, 0.90, 0.93, 0.91, 0.84 y 0.88, respectivamente.

Tabla 1 Concordancia interjueces 

Reactivo Kappa de Fleiss
Relevancia Claridad Coherencia
1. El problema es lo suficientemente abierto (permite múltiples soluciones) para mantener una discusión 0.96 0.83 1
2. El problema proporciona pistas que propician la discusión 1 1 1
3. El problema contiene pistas que estimulan el razonamiento 0.96 0.86 1
4. El problema estimula a los alumnos a formular sus objetivos de aprendizaje 1 0.96 1
5. El problema fomenta en los alumnos a revisar la literatura 1 0.96 1
6. El problema dirige a los alumnos hacia una discusión efectiva (permite contrastar diferentes puntos de vista) 0.96 0.83 0.94
7. El problema está formulado de manera que conduzca hacia uno o más de los objetivos del problema 0.96 0.94 1
8. El problema favorece la integración de varias disciplinas 1 1 0.89
9. El problema estimula la consulta de literatura relacionada a los objetivos del curso 0.96 1 0.96
10. La formulación del problema incrementa el interés de los alumnos por el tema 0.96 0.96 0.96
11. El problema concuerda con el entorno y cultura de los alumnos 0.45 0.79 0.96
12. El problema es atractivo para los alumnos 1 0.96 1
13. El problema muestra una relación clara con la profesión médica 0.89 0.96 0.89
14. Los conceptos de las ciencias básicas se presentan en un contexto clínico 0.89 0.89 0.89
15. El problema está relacionado con el paciente, no sólo con la enfermedad 0.89 0.47 0.89
16. El problema se adapta al nivel del conocimiento previo de los alumnos 1 1 1
17. El problema está alineado con los contenidos previamente cubiertos 0.96 0.96 1
18. El problema tiene información con la que los estudiantes están familiarizados 1 1 1
19. El problema promueve la participación de los estudiantes en la toma de decisiones 1 0.94 1
20. El problema permite proponer alternativas para la aclaración/solución del problema 0.96 0.86 0.96
21. El problema favorece la toma de decisiones en forma grupal 0.96 0.94 1
22. La redacción del problema es clara 1 1 1
23. El problema es coherente 1 0.96 0.96
24. El problema tiene la longitud adecuada para orientar a los alumnos en el logro de los objetivos 1 0.74 0.96

Tabla 2 Indicadores del análisis de la estructura interna como fuente de evidencia de validez 

Supuestos del modelo Valor de referencia
Esperado Obtenido
1. Prueba de esfericidad de Bartlett p < 0.01 p = 0.000
2. Adecuación del muestreo (Kaiser-Meyer-Olkin) > 0.70 0.97
3. Componentes principales y factores por obtener o confirmar (dimensiones del constructo) ≤ 8 6
4. Varianza explicada por el modelo > 60.0% 83.08%
5. Cargas mínimas de los reactivos para ser retenidos en los factores > 0.50 0.42 a 0.81
6. Coeficiente de confiabilidad alfa de Cronbach > 0.70 0.97

Tabla 3 Matriz de estructura de análisis factorial exploratorio 

Factor Carga Alfa
1 Reactivo 4 .628 0.93
Reactivo 5 .816
Reactivo 6 .584
Reactivo 7 .649
Reactivo 8 .576
Reactivo 9 .649
Reactivo 13 .455
Reactivo 15 .488
2 Reactivo 11 .423 0.90
Reactivo 16 .781
Reactivo 17 .812
Reactivo 18 .799
3 Reactivo 19 .656 0.93
Reactivo 20 .670
Reactivo 21 .683
4 Reactivo 1 .737 0.91
Reactivo 2 .549
Reactivo 3 .532
Reactivo 14 .470
5 Reactivo 10 .680 0.84
Reactivo 12 .667
6 Reactivo 22 .749 0.88
Reactivo 23 .697
Reactivo 24 .567

El análisis factorial tuvo un índice KMO de 0.904, sig Bartlett 0.000. El α de Cronbach para el total del instrumento fue de 0.94.

La versión final del instrumento quedó constituida por 20 reactivos, los cuales a su vez conforman 6 factores con alfa de Cronbach total de la escala de 0.97 y tres preguntas de selección múltiple que exploran fortalezas, debilidades y sugerencias para mejorar el problema.

Para las fortalezas del problema se obtuvieron las siguientes opciones de respuesta: tema frecuente en la práctica clínica, nivel adecuado para los conocimientos de los estudiantes, estimula la integración de ciencias básicas, lleva a la mayoría de los temas de aprendizaje, permiten seguir los pasos del método científico y del método clínico, congruente, estimula la búsqueda de información y ninguna.

Las debilidades expresadas fueron: no lleva a todos los objetivos de aprendizaje, falta de congruencia, no proporciona suficientes datos, lleva a demasiados temas de aprendizaje, redacción poco clara, extensión (muy corto o muy largo), dificultad (muy fácil o muy difícil) y ninguna.

Las propuestas para enriquecer los problemas fueron: proporcionar más datos, eliminar algunos objetivos de aprendizaje, agregar imágenes, incluir estudios de laboratorio y gabinete, mejorar la redacción, aumentar el nivel de dificultad, realizar conclusiones del problema más resolutivas, incluir prevención, manejo farmacológico y no farmacológico (apéndice 1).

DISCUSIÓN

El instrumento elaborado en esta investigación para evaluar la calidad de los problemas de ABP muestra fuentes de evidencia de validez de contenido, proceso de respuesta, estructura interna y consecuencias de la prueba, que corresponden a las establecidas por la American Educational Research Association y Downing17,18.

Evidencia basada en el contenido de la prueba se obtuvo a partir de la relación que existe entre el constructo de calidad de los problemas de ABP y el contenido del instrumento. Requirió múltiples fuentes de evidencia en tres fases. En la primera fase y con base en la literatura, se efectuó la selección del contenido basado en los principios básicos y fundamentos teóricos utilizados para el diseño de problemas. Y consecutivamente, la redacción de los enunciados que representarán dicho contenido.

La segunda fase consistió en la validación por jueces, en la cual evaluaron el contenido de la prueba a través de un cuidadoso análisis, para asegurar que el instrumento representa el dominio del contenido, la relevancia del dominio, las características de un enunciado correctamente elaborado tomando en cuenta la redacción, nivel de lenguaje y longitud, y por último el formato del instrumento.

Tomando en consideración las recomendaciones de los jueces, se eliminaron las fuentes potenciales de dificultad irrelevante y las posibles distorsiones en el significado de los enunciados, que pudieran haber afectado el resultado de la prueba. Lo que permitió crear un instrumento que representara correctamente el constructo de Calidad de los problemas de ABP y que se encuentra acorde con la demanda cognitiva correspondiente al nivel de los alumnos de licenciatura.

Por último, el resultado obtenido en el índice de Kappa de Fleiss, permite afirmar que la concordancia entre jueces respecto a la relevancia, claridad y coherencia de cada enunciado tiene una fuerza de moderada a perfecta, no atribuible al azar28. Lo cual permite identificar que la versión final del instrumento es claro y coherente, por lo tanto, puede aplicarse para valorar la calidad de los problemas en el ABP.

La evidencia del proceso de respuesta se adquirió a través de la familiaridad de los alumnos con el formato de respuesta de los ítems utilizados en este instrumento, ya que han participado en múltiples eventos vinculados con la evaluación de la satisfacción escolar, evaluación docente, entre otros, donde se utilizó una escala tipo Likert29.

La escala tipo Likert de 5 opciones se consideró por los jueces apropiada para su uso en la prueba, ya que permite que los participantes acepten o rechacen gradualmente los enunciados propuestos. Además, señalaron que el desempeño en los ítems no depende de alguna habilidad extra por parte de los participantes que influyera en los resultados obtenidos.

Por último, se acordó que la extensión del instrumento permite que se cuente con el tiempo suficiente para responderlo seriamente19.

La evidencia basada en la estructura interna, a través del análisis psicométrico permitió encontrar las evidencias de validez para los 24 reactivos en formato tipo Likert. La discriminación de los reactivos obtenido a través de la prueba t de Student, indicó que los 24 reactivos permiten discriminar entre altos y bajos puntajes. El test de esfericidad de Barlett indicó que los reactivos poseen factores en común (gl = 210; p = .000), y la medida de adecuación muestral de Kaiser-Mayer-Olkin fue satisfactorio (0.979), apoyando la utilización de los datos en el análisis30.

El análisis factorial exploratorio permitió obtener seis factores que explican el máximo de información contenida en los datos obtenidos por los 24 reactivos. Los ítems que no contribuyeron significativamente al factor (< 0.5) fueron los reactivos 13, 14 y 15, que exploraban la relevancia del caso para la profesión dentro de un contexto realista, y junto con el reactivo 11 fueron eliminados del instrumento final.

Los seis factores obtenidos cumplen con el criterio de conservar como mínimo dos elementos por dimensión31, y en conjunto explican 83.08% de la varianza total.

El primer factor explica 69% de la varianza total. Está definido por los enunciados 4-9 e indaga en aspectos vinculados al aprendizaje autodirigido hacia los objetivos de aprendizaje preestablecidos. Este factor se relaciona con los factores desarrollados por Marín (2004)13 y por Sockalingam (2012)14 donde se evalúa el grado en que el problema permite a los estudiantes llevar a cabo las actividades de aprendizaje y conduce a la formulación de los objetivos de aprendizaje previstos. Sin embargo, debe considerarse que este factor depende además de otros elementos como los años de experiencia con ABP, características personales de los alumnos, entre otras32.

El segundo factor explica el 3.92% de la varianza total. Está constituido por los enunciados 19-21, que exploran que el problema promueve la toma de decisiones para solucionarlo. Ya que al simular situaciones del mundo real, estimulan el ejercicio de tomar de decisiones con base en los conocimientos previos, hechos e información lógica y fundamentada9,22. Este factor amplía el alcance de la medición de los instrumentos existentes, puesto que es el único que explora esta área descrita en los problemas de ABP.

El tercer factor explica el 2.97% de la varianza total. Está integrado por los enunciados 16-18 que evalúan que el problema coincida con el nivel de conocimientos de los estudiantes. Puesto que la reactivación del conocimiento existente es considerada una ventaja importante del proceso de resolución de problemas6,7,21. Incluso existen múltiples investigaciones que sugieren que el conocimiento previo es una de las variables que más influye en el aprendizaje33,34,35.

El cuarto factor explica 2.50% de la varianza total. Está integrado por los enunciados 1-3 e indaga el estímulo del pensamiento, análisis y razonamiento, cuya intención es desarrollar actividades cognitivas para lograr una comprensión más profunda de los temas discutidos6,7,10,21. La exploración de este factor es de suma importancia puesto que constituye una de las facetas más promisorias del ABP36. Sin embargo, se necesita un estudio más profundo para obtener evidencias entre la calidad de los problemas de ABP y el desarrollo del pensamiento, análisis y razonamiento.

El quinto factor explica 2.06% de la varianza total. Está constituido por los enunciados 10 y 12, que examinan el aumento de interés en el tema. Se espera que sea atractivo e interesante para lograr captar la atención de los alumnos21.

El sexto factor explica 2.13% de la varianza total. Compuesto por los enunciados 22-24, valora el formato del problema, que incluye aspectos como la claridad y coherencia de la redacción37.

Con los resultados obtenidos en el análisis psicométrico, podemos afirmar que la consistencia interna resulta satisfactoria con un alfa de Cronbach 0.97, reflejando que los ítems se correlacionan entre sí y, por lo tanto, producen resultados similares en el supuesto general.

Como evidencia de las consecuencias del uso de la prueba, los datos obtenidos permiten identificar y mejorar los problemas de ABP utilizados en el currículo formal de la Facultad de Medicina. Se espera que, mejorando la calidad de los problemas, los estudiantes obtengan el mayor beneficio en la aplicación del ABP, y por lo tanto, la adquisición de un mayor aprendizaje significativo.

Aunque estos indicadores no son tan exhaustivos como el enfoque fenomenológico, permiten realizar una evaluación de los problemas de ABP en poblaciones grandes de manera más práctica. Además, este instrumento proporciona información sobre las fortalezas, debilidades y permite aportar sugerencias desde la perspectiva de los alumnos y profesores.

Dentro de las limitaciones de este estudio se encuentra la poca participación de profesores en el juicio de expertos. Sin embargo, se logró cumplir con los supuestos necesarios para su realización38. Además, dentro de la validación en el proceso de respuesta, no se consideraron los procesos psicológicos o las operaciones cognitivas de los participantes al responder el instrumento39. Por último, por el proceso metodológico no se exploraron las percepciones, los sentimientos y pensamientos de los alumnos en la resolución del problema.

CONCLUSIONES

Este estudio proporciona un instrumento para valorar la calidad de los problemas de ABP con suficientes evidencias de validez. Además, los seis factores descritos anteriormente amplían el alcance de la medición de los instrumentos existentes.

Asimismo, sienta las bases para futuras investigaciones en la aplicación del ABP y la calidad de los problemas utilizados, con el objetivo de que los estudiantes obtengan el máximo beneficio en la aplicación de esta estrategia.

CONTRIBUCIÓN INDIVIDUAL

CGR, AMG: Adaptación y elaboración del instrumento. Ambos autores participaron en la discusión, elaboración y revisión del manuscrito.

AGRADECIMIENTOS

Los autores agradecen al doctor Amilcar Alpuche Hernández por el apoyo en el análisis estadístico, al Departamento de Integración de Ciencias Médicas por su apoyo y participación en el proceso de validación del instrumento.

Al Programa de Maestría y Doctorado en Ciencias Médicas, Odontológicas y de la Salud.

PRESENTACIONES PREVIAS

Ninguna.

FINANCIAMIENTO

Conacyt, número de registro 779564.

REFERENCIAS

1. Barrows HS. A taxonomy of problem-based learning methods. Med Educ. 1986 Nov;20(6):481-6. doi:10.1111/j.1365-2923.1986.tb01386.x. [ Links ]

2. Morales S, Muñoz A, Fortoul T. Evaluación del tutor en la aplicación de la estrategia de aprendizaje basado en problemas en las asignaturas de Integración Básico Clínica I y II. Investig en Educ Médica. 2016 Jan;5(17):40-8. doi:10.1016/j.riem.2015.10.002. [ Links ]

3. Sánchez-Mendiola M, Durante-Montiel I, Morales-López S, Lozano-Sánchez R, Martínez-González A, Graue-Wiechers E. Plan de estudios 2010 de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Gac Med Mex. 2011;147(2):152-8. [ Links ]

4. Gijselaers WH, Schmidt HG. Development and evaluation of a causal model of problem-based learning. In: Innovation in Medical Education: An Evaluation of Its Present Status. New York: Springer Publishing Co.; 1990. p. 95-113. [ Links ]

5. Van Berkel HJM, Dolmans DHJM. The influence of tutoring competencies on problems, group functioning and student achievement in problem-based learning. Med Educ. 2006 Aug;40(8):730-6. doi:10.1111/j.1365-2929.2006.02530.x. [ Links ]

6. Dolmans, Diana HJM; Snellen-Balendong, H; Wolfhage, Ineke HAP; Van Der Vleuten CPM. Seven principles of effective case design for a problem based curriculum. Med Teach. 1997;19(3):185-9. [ Links ]

7. Major, Gerard D; Schmidt, Henk G; Snellen-Balendong, Herry AM; Moust, Jos HC; Stalenhoef-Halling B. Construction of problems for problem-based learning. In: Current Issues in Problem-Based Learning. 1990 p. 114-22. [ Links ]

8. Des Marchais JE. A Delphi technique to identify and evaluate criteria for construction of PBL problems. Med Educ. 1999 Jul;33(7):504-8. doi:10.1046/j.1365-2923.1999.00377.x. [ Links ]

9. Poot-Delgado CA. Retos del aprendizaje basado en problemas. Enseñanza e Investig en Psicol. 2013 Jul;18(2):307-314. [ Links ]

10. Mpofu DJS, Das M, Murdoch JC, Lanphear JH. Effectiveness of problems used in problem-based learning. Med Educ. 1997 Sep;31(5):330-4. doi:10.1046/j.1365-2923.1997.00672.x. [ Links ]

11. Escudero Muñoz JM. La calidad de la educación : controversias y retos para la Educación Pública. Educatio. 2003 Dec;20-21:21-38. [ Links ]

12. O’Grady, Glen; Yew, Elaine HJ; Goh, Karen PL; Schmidt HG. One-Day, One-Problem: An Approach to Problem-Based Learning. Singapore: Springer; 2012. doi:10.1007/978-981-4021-75-3. [ Links ]

13. Marin-Campos Y, Mendoza-Morales L, Navarro-Hernández JA. Students’ assessment of problems in a problem-based learning pharmacology course. Adv Heal Sci Educ. 2004;9(4):299-307. doi:10.1007/s10459-004-0883-2. [ Links ]

14. Sockalingam N, Rotgans J, Schmidt H. Assessing the quality of problems in problem-based learning. Int J Teach Learn High Educ. 2012;24(1):43-51. [ Links ]

15. Mueller, Ralph O; Hancock GR. Best practices in structural equation modeling. In: Best Advanced Practices in Quantitative Methods. 2001. p. 488-508. [ Links ]

16. Munshi FM, El Sayed El Zayat A, Dolmans DH. Development and Utility of a Questionnaire to Evaluate the Quality of PBL Problems. South East Asian JMed Educ. 2008 Jan;2(2):32-40. [ Links ]

17. American Educatio nal Research Association; American Psychological Association; National Council on Measurement in Educatio n. Standards for Educatio nal and Psychological Testing. Washington, DC; 2014. [ Links ]

18. Downing SM. Validity: On the meaningful interpretation of assessment data. Med Educ. 2003 Sep;37(9):830-7. doi:10.1046/j.1365-2923.2003.01594.x. [ Links ]

19. Padilla JL, Benítez I. Validity evidence based on response processes. Psicothema. 2014;26(1):136-44. doi:10.7334/psicothema2013.259. [ Links ]

20. Sánchez Mendiola M, Lifshitz Guinzberg A, Vilar Piug P, Martínez Gónzalez A, Varela Ruiz M, Graue Wiechers E. Educación médica. Teoría y práctica. México: Elsevier; 2015. [ Links ]

21. Kim S, Phillips WR, Pinsky L, Brock D, Phillips K, Keary J. A conceptual framework for developing teaching cases: A review and synthesis of the literature across disciplines. Med Educ. 2006 Sep;40(9):867-76. doi:10.1111/j.1365-2929.2006.02544.x. [ Links ]

22. Gutiérrez J, de la Puente G, Martínez A, Piña E. Aprendizaje basado en problemas: un camino para aprender a aprender. 3a ed. Universidad Nacional Autónoma de México; 2012. [ Links ]

23. Adams KA, Lawrence EK. Research Methods, Statistics, and Applications. Sage Publications; 2014. [ Links ]

24. Brown TA. Confirmatory Factor Analysis for Applied Research. Guilford Publications; 2014. [ Links ]

25. Reyes I, García L. Procedimiento de validación psicométrica culturalmente relevante: un ejemplo. En: La psicología social en México, XII. 2008: p. 625-30. [ Links ]

26. Keshk LI, El-Azim SA, Qalawa SA. Quality of Problem Based Learning Scenarios at College of Nursing in Egypt and KSA: C‌omparative Study. Am J Educ Res. 2016;4(9):701-10. doi:10.12691/education-4-9-10. [ Links ]

27. Sockalingam NSHG. Characteristics of Problems for Problem-Based Learning : The Students ’ Perspective. Interdiscip J Probl Learn. 2011;5(1):3-16. doi: 10.7771/1541-5015.1135. [ Links ]

28. Cerda Lorca J, Villarroel Del PL. Evaluación de la concordancia inter-observador en investigación pediátrica: Coeficiente de Kappa. Rev Chil Pediatr. 2008;79(1):54-8. doi:10.4067/S0370-41062008000100008. [ Links ]

29. Osorio-Alvarez MC, Parra Gámez L. La satisfacción escolar en los estudiantes del primer año de la carrera de Médico Cirujano. Investig en Educ Médica. 2016;5(17):3-10. doi:10.1016/j.riem.2015.08.002. [ Links ]

30. De la Fuentes Fernandez S. Análisis Factorial. Univ Auton Madrid. 2011:1-34. [ Links ]

31. De la Rubia JM, Bermúdez JÁ. Validación del child abuse potencial inventory en México. Psicothema. 2005;17(1):128-33. [ Links ]

32. Hmelo-Silver CE, Duncan RG, Chinn CA. Scaffolding and achievement in problem-based and inquiry learning: A response to Kirschner, Sweller, and Clark (2006). Educ Psychol. 2007;42(2):99-107. doi:10.1080/00461520701263368. [ Links ]

33. Anderson JR. Meaning-based knowledge representations. Cogn Psychol its Implic. 1990. [ Links ]

34. Moreira MA. Aprendizaje significativo crítico (Critical meaningful learning). Indivisa Boletín Estud e Investig. 2005;(6):83-101. [ Links ]

35. Soppe M, Schmidt HG, Bruysten RJMP. Influence of problem familiarity on learning in a problem-based course. Instr Sci. 2005 May;33(3):271-81. doi:10.1007/s11251-004-7688-9. [ Links ]

36. Antequera Gallego G. La promoción del pensamiento crítico en el Aprendizaje Basado en Problemas (ABP). Un análisis a partir de los instrumentos de medición. Obs Rev electrònica l’Observatori sobre la Didàctica les Arts. 2011;5:68-94. [ Links ]

37. Sockalingam N, Rotgans J, Schmidt HG. Student and tutor perceptions on attributes of effective problems in problem-based learning. High Educ. 2011 Jul;62(1):1-16. doi:10.1007/s10734-010-9361-3. [ Links ]

38. Escobar-Pérez J, Cuervo-Martínez Á. Validez de contenido y juicio de expertos: una aproximación a su utilización. Av en Medición. 2008;6:27-36. [ Links ]

39. Cepeda NJ, Blackwell KA, Munakata Y. Speed isn’t everything: Complex processing speed measures mask individual differences and developmental changes in executive control. Dev Sci. 2013 Mar;16(2):269-86. doi:10.1111/desc.12024.Speed. [ Links ]

Apéndice 1

Cuestionario para evaluar la calidad de los problemas en ABP.

(5) completamente de acuerdo, (4) de acuerdo, (3) ni de acuerdo, ni en desacuerdo, (2) en desacuerdo, (1) completamente en desacuerdo

Factor 1: Estimula aprendizaje autodirigido 5 4 3 2 1
1 El problema estimula a los alumnos a formular sus objetivos de aprendizaje
2 El problema fomenta en los alumnos a revisar la literatura
3 El problema dirige a los alumnos hacia una discusión efectiva (permite contrastar diferentes puntos de vista)
4 El problema está formulado de manera que conduzca hacia uno o más de los objetivos del problema
5 El problema favorece la integración de varias disciplinas
6 El problema estimula la consulta de literatura relacionada a los objetivos del curso
Factor 2: Corresponde al nivel de conocimientos previos 5 4 3 2 1
7 El problema se adapta al nivel del conocimiento previo de los alumnos
8 El problema está alineado con los contenidos previamente cubiertos
9 El problema tiene información con la que los estudiantes están familiarizados
Factor 3: Conduce a la toma de decisiones para solucionar el problema 5 4 3 2 1
10 El problema promueve la participación de los estudiantes en la toma de decisiones
11 El problema permite proponer alternativas para la aclaración / solución del problema
12 El problema favorece la toma de decisiones en forma grupal
Factor 4: Estimula el pensamiento, razonamiento y análisis 5 4 3 2 1
13 El problema proporciona pistas que propician la discusión
14 El problema contiene pistas que estimulan el razonamiento
15 El problema es lo suficientemente abierto (permite múltiples soluciones) para mantener una discusión
Factor 5: Aumenta el interés en el tema 5 4 3 2 1
16 La formulación del problema incrementa el interés de los alumnos por el tema
17 El problema es atractivo para los alumnos
Factor 6: Formato 5 4 3 2 1
18 El problema tiene la longitud adecuada para orientar a los alumnos en el logro de los objetivos
19 El problema es coherente
20 La redacción del problema es clara
21 ¿Cuáles son las fortalezas de este problema? Puede seleccionar más de una opción
  • ____Tema frecuente en la práctica clínica

  • ____Nivel adecuado para los conocimientos de los estudiantes

  • ____Estimula la integración de ciencias básicas

  • ____Lleva a la mayoría de los temas de aprendizaje

  • ____Permiten seguir los pasos del método clínico

  • ____Congruente

  • ____Estimula la búsqueda de información

  • ____Ninguna

22 ¿Cuáles son las debilidades de este problema? Puede seleccionar más de una opción
  • ____No lleva a todos los objetivos de aprendizaje

  • ____Falta de congruencia

  • ____No proporciona suficientes datos

  • ____Lleva a demasiados temas de aprendizaje

  • ____Muy corto (extensión)

  • ____Muy largo (extensión)

  • ____Muy fácil

  • ____Muy difícil

  • ____Redacción poco clara

  • ____Ninguna

23 ¿Qué se puede hacer para mejorar este problema? Puede seleccionar más de una opción
  • ____Proporcionar más datos

  • ____Eliminar algunos objetivos de aprendizaje

  • ____Agregar imágenes

  • ____Incluir estudios de laboratorio y gabinete

  • ____Mejorar la redacción

  • ____Aumentar el nivel de dificultad

  • ____Realizar conclusiones del problema más resolutivas

  • ____Incluir prevención, manejo farmacológico y no farmacológico

Recibido: 13 de Septiembre de 2017; Aprobado: 27 de Enero de 2018

*Autor para correspondencia: Adrián Martínez González. Edificio de los Consejos Académicos de Área, Planta alta. Ciudad Universitaria. Ciudad de México, Coyoacán, CP 04510. Teléfono: 5622-0406. Correo electrónico: adrianmartinez38@gmail.com

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons