nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
Las evaluaciones de alto impacto como los exámenes de admisión a las escuelas de medicina, tienen consecuencias importantes sobre instituciones y personas1. Los procesos de admisión son muy diversos y suelen incluir información de varios tipos, como exámenes, entrevistas, juicio situacional y promedio del bachillerato. Dadas las altas consecuencias de estas evaluaciones, es importante demostrar que los resultados reflejan el nivel real de los constructos evaluados y que las decisiones son justas2,3.
En estos contextos se recomienda realizar un análisis integral con un marco de referencia sólido para aportar evidencias de validez2; sin embargo, es común que las publicaciones sobre validez de los exámenes de admisión se enfoquen en solo uno de los aspectos a evaluar, como la validez predictiva, y no suelen especificar el marco de referencia utilizado4-13. En México estos análisis son escasos y estudian un solo tipo de prueba14-17. Los procesos de admisión y los instrumentos utilizados en las escuelas de medicina latinoamericanas en general han sido poco estudiados, por lo que es importante identificar y evaluar sus fuentes de evidencias de validez, así como los marcos conceptuales utilizados para interpretar los resultados de los exámenes. Debido a la alta demanda de espacios educativos y la responsabilidad de formar profesionales de la salud competentes para atender las necesidades de la población, el proceso de admisión requiere demostrar que cumple sus objetivos a través de la validación.
El marco de referencia de validez tradicional, que incluía la validez de contenido, de constructo y de criterio18, ha sido reemplazado por marcos de referencia contemporáneos, como los de Messick y Kane. El marco de Messick unificó los tres tipos de validez del marco tradicional y estipula cinco fuentes de evidencia de validez19,20, mientras que el de Kane implica dos pasos generales con inferencias para desarrollar el argumento de validez21-23. Los autores propusieron un nuevo modelo24, que integra ambos marcos e incluye aportaciones de otros autores como Russell25. En el presente trabajo aplicamos este modelo con el objetivo de obtener y evaluar las evidencias de validez del proceso de admisión en una escuela de medicina mexicana. La pregunta de investigación que orientó el trabajo fue: ¿cómo utilizar el concepto actual de validez para recoger y analizar fuentes de evidencia del proceso de admisión en una escuela de medicina?
MÉTODO
Contexto e instrumentos
El estudio se realizó con los datos de los aspirantes que presentaron el proceso de admisión en los años 2013 y 2014 para ingresar a la Facultad de Medicina de la Universidad Autónoma de San Luis Potosí (UASLP) en México. Este proceso incluyó tres componentes: examen psicométrico (EP), elaborado por el Centro de Salud Universitario de la UASLP; examen de conocimientos (EC), elaborado por una comisión interna de la Facultad de Medicina de la UASLP; y el Examen Nacional de Ingreso a la Educación Superior (EXANI-II, elaborado por el Centro Nacional de Evaluación para la Educación Superior, A.C.)26. Cada prueba estuvo conformada por preguntas de opción múltiple (POM) diferentes en cada ocasión, e incluyó a su vez varias secciones a las que nos referimos como subcomponentes (Tabla 1).
Tabla 1 Dominios del conocimiento evaluados mediante los procesos de admisión de las generaciones 2013 y 2014
| 2013 | |||
| Examen | Total de ítems | Subcomponente | # de ítems |
| Psicométrico | 154 POM de 5 opciones | Razonamiento verbal | 30 |
| Lectura | 20 | ||
| Razonamiento abstracto 1 | 60 | ||
| Razonamiento abstracto 2 | 44 | ||
| Conocimientos | 160 POM de 5 opciones | Biología | 35 |
| Química | 35 | ||
| Español | 25 | ||
| Inglés | 35 | ||
| Físico-matemático | 30 | ||
| EXANI-II | 100 POM de 4 opciones | Razonamiento verbal | 25 |
| Razonamiento numérico | 25 | ||
| Razonamiento matemático | 25 | ||
| Español | 25 | ||
| 2014 | |||
| Examen | Total de ítems | Subcomponente | # de ítems |
| Psicométrico | 163 POM de 5 opciones | Razonamiento verbal | 50 |
| Lectura | 26 | ||
| Razonamiento abstracto 1 | 60 | ||
| Razonamiento abstracto 2 | 27 | ||
| Conocimientos | 160 POM de 5 opciones | Biología | 35 |
| Química | 35 | ||
| Español | 25 | ||
| Inglés | 35 | ||
| Físico-matemático | 30 | ||
| EXANI-II | 100 POM de 4 opciones | Pensamiento matemático | 25 |
| Pensamiento analítico | 25 | ||
| Estructura de la lengua | 25 | ||
| Comprensión lectora | 25 | ||
POM: preguntas de opción múltiple.
Modelo de validez
Alineado al marco de Kane, el enfoque utilizado implica dos pasos generales: (1) argumento de usos e interpretaciones y (2) argumento de validez. El segundo paso se conforma de tres etapas en las que se establecen hipótesis en el marco de las inferencias de Kane, para ser comprobadas por medio de las fuentes de evidencia estipuladas por Messick.
Argumento de usos e interpretaciones. Se especifican objetivo del instrumento, usuarios propuestos, usos que se darán a las puntuaciones, constructo que se pretende medir e interpretación de las puntuaciones (con referencia a norma o a criterio). Después de que se ha aplicado el instrumento, se describen las características generales de la población de sustentantes.
Argumento de validez. En este paso se establecen las hipótesis basadas en las inferencias de Kane. El análisis de la evidencia para demostrar las hipótesis con base en las fuentes de evidencia de Messick se lleva a cabo a través de un argumento de validez que consta de las tres etapas de Russell:
Validez instrumental. Esta etapa se debe realizar antes de utilizar el instrumento. El responsable de proveer evidencias es el desarrollador de la prueba. Se verifica si el instrumento cumple el objetivo del constructo medido, por medio de evidencia sobre las características psicométricas de las puntuaciones, representación del constructo y las amenazas a la validez27. Las inferencias de Kane, sus hipótesis correspondientes, las fuentes de evidencia de Messick para comprobarlas, y el plan de recolección de evidencia se señalan en la Tabla 2.
Verificación de la interpretación y la decisión. En esta etapa se verifica si la interpretación de los resultados de la prueba es apropiada y si puede informar la toma de decisiones acerca de las acciones subsecuentes. El responsable de aportar la información es quien realiza la prueba, y se lleva a cabo una vez que se ha aplicado esta (Tabla 2).
Utilidad de las acciones. Esta etapa implica evaluar las consecuencias de las acciones, ya sean voluntarias o involuntarias, y el grado en que las positivas superan a las negativas (Tabla 2).
Tabla 2 Plan de recolección de evidencias para las tres etapas de validación
| I. Validez instrumental | II. Verificación de la interpretación y la decisión | III. Utilidad de las acciones | ||||||||||||
| A. Puntuación | B. Generalizabilidad | C. Extrapolación | A. Puntuación | B. Generalizabilidad | C. Extrapolación. | D. Implicaciones | ||||||||
| Inferencias de Kane e hipótesis | La regla de puntuación es apropiada La calidad de redacción y del formato de los ítems es buena. | Los ítems son una muestra adecuada del dominio. | La puntuación observada se relaciona con un criterio relevante. | La puntuación refleja el proceso cognitivo apropiado. El instrumento midió la(s) dimensión(es) planeada(s). | El tamaño de la muestra fue adecuado. No existen/sí existen diferencias entre grupos. Confiabilidad. La puntuación observada se relaciona con la de instrumentos que miden el mismo constructo/no se relaciona con la de instrumentos que miden un constructo diferente. | El proceso de admisión predice el primer año de la carrera. La relación con otras variables se puede generalizar a un dominio más amplio del conocimiento. | La interpretación de los resultados es adecuada. Los alumnos tienen éxito académico en la carrera. Es razonable y justificable el tipo de escala de la prueba | |||||||
| Fuente de evidencia de Messick | 1. Contenido | 2. Procesos de respuesta | 3. Estructura interna | 4. Relación con otras variables | 5. Consecuencias | |||||||||
| Elemento | a. Definición del dominio | b. Proceso de desarrollo del instrumento | c. Relevancia del dominio | d. Representación del dominio | d. Representación del dominio | No aplica | a. Dimensionalidad | b. Invarianza de la medida | c. Confiabilidad | a. Relación prueba-criterio | b. Generalización de la validez | No aplica | ||
| Evidencia para un Instrumento con POM | Ofrece detalles con respecto de lo que la prueba mide. Transforma el constructo teórico en un dominio de contenido concreto. | Propiedades de los ítems. | Grado en que cada ítem en una prueba es relevante para el dominio que se evalúa. | Expertos. Alineación con currículo. | Alineación de complejidad moderada: contenido y nivel cognitivo evaluado. | Demuestra que se están llevando a cabo los procesos cognitivos esperados al contestar la prueba. | Identificar dimensiones de los ítems. | Análisis del ítem: dificultad y discriminación. Ausencia de sesgo sistemático: demuestra que las puntuaciones serán las mismas cuando se comparen entre grupos con diferentes características como raza, edad o sexo, de acuerdo con la taxonomía de equivalencia. | En cada ocasión que se aplica el instrumento se obtendrán resultados semejantes. | Las puntuaciones predicen el desempeño en un criterio relevante, de manera predictiva o concurrente. | Metaanálisis de los estudios de validación anteriores en condiciones semejantes. | Los usuarios están de acuerdo con la interpretación de los resultados. | Establecer la trayectoria académica de los alumnos y de la generación en conjunto. | Utilidad de las escalas con referencia a la norma. |
| Lista de cotejo para demostrar las hipótesis | La tabla de especificaciones de la prueba:
• Describe detalladamente las áreas del contenido y las habilidades cognitivas para cuya medición se ha diseñado el instrumento. • Enlista las subáreas y los niveles cognitivos que se miden. • Muestra los estándares específicos de contenido, objetivos curriculares, o habilidades contenidas dentro de los diferentes niveles cognitivos. |
Revisión de los ítems por expertos que aseguren su exactitud técnica.
Revisión de los ítems por expertos de medición para determinar qué tan bien se adhieren a los estándares de principios de escritura de ítems de calidad. Revisión de sensibilidad para evitar varianza irrelevante al constructo. Piloteo de los ítems con análisis estadístico para seleccionar los ítems más apropiados para uso operativo. |
Revisión de ítems por expertos que evalúen:
• Que todos los aspectos importantes del dominio sean medidos por la prueba. • Si la prueba presenta contenido trivial o irrelevante. |
Expertos externos e independientes califican cada ítem para determinar si:
• Representa completa y suficientemente al dominio. • Concuerda con el estándar de contenido o un elemento de la tabla de especificaciones de la prueba. • Concuerda con el nivel cognitivo que se pretende alcanzar durante las clases. |
Explicación de los dominios del conocimiento que deben ser evaluados para el ingreso a la licenciatura en Medicina y los porcentajes necesarios para cada campo.
Demostrar la combinación de constructos que deben ser evaluados en los aspirantes a ingresar a la licenciatura en Medicina. |
Entrevistas cognitivas, pensar en voz alta.
Tiempos de respuesta. |
Análisis factorial confirmatorio | Índice de dificultad por ítem y general de la prueba.
Funcionamiento diferencial del ítem. |
Alfa de Cronbach o KR20-21. | Análisis de senderos. | Metaanálisis de los estudios de validación anteriores en condiciones semejantes | Encuesta a los usuarios: alumnos, profesores y administrativos de la facultad. | Calificaciones de cada alumno para cada asignatura de 1º a 5º año. | Bibliografía en donde se demuestre la utilidad del uso de la escala con referencia a la norma en este tipo de evaluaciones. |
POM: preguntas de opción múltiple.
Datos recopilados y análisis estadísticos
Se obtuvieron los resultados de los procesos de admisión de 2013 y 2014 para la licenciatura de médico cirujano, así como las calificaciones durante la carrera de los 145 alumnos que ingresaron en cada generación. Los criterios de inclusión para los sustentantes fueron haber presentado todas las pruebas que conformaron el proceso de admisión correspondiente. Para el análisis de regresión logística se incluyeron las calificaciones de todos los alumnos inscritos por primera vez en el primer año de la carrera de médico cirujano en la Facultad de Medicina de la UASLP durante los años 2013 y 2014. Se excluyeron los datos de los sustentantes que presentaron solo una o dos de las pruebas, así como de los estudiantes que se inscribieron, pero estaban recursando alguna asignatura o se inscribieron y no cursaron las asignaturas.
Con estos datos se realizó estadística descriptiva para el argumento de usos e interpretaciones. Se realizó análisis de regresión logística para conocer la relación de las evaluaciones de admisión con el desempeño académico, tomando como variable dependiente a las calificaciones del primer año de la carrera y como variable independiente a las evaluaciones del proceso de admisión. También se desarolló un modelo a través de un análisis factorial confirmatorio (AFC) para identificar las dimensiones que causan la variabilidad de las puntuaciones de los componentes del proceso de admisión. Además, se elaboró un modelo para predecir la calificación en los distintos años a partir de los resultados de los años anteriores y el examen inicial a través de análisis de senderos. Estos se realizaron con el software SAS (versión 9.4), y se consideró p < 0.05 como significativa.
RESULTADOS
1. Argumento de usos e interpretaciones
El objetivo de la prueba.
Proceso en general: “…asegurar que los aspirantes que ingresen a la universidad cuenten con las competencias requeridas para la realización de sus estudios, utilizando procesos confiables, rigurosos, certificados, transparentes y en constante modernización”28.
EP: son “…evaluaciones psicológicas estandarizadas que miden las aptitudes básicas para el estudio”29.
EC: “Evalúa los conocimientos, las destrezas y las habilidades requeridas de los aspirantes a ingresar de acuerdo con el perfil del alumno pretendido en las licenciaturas...”28.
EXANI-II: “…establecer el nivel de potencialidad de un individuo para lograr nuevos aprendizajes…“30.
Usuarios propuestos: la Facultad de Medicina de la UASLP.
Usos: seleccionar a “los aspirantes que cuentan con las competencias requeridas para la realización de sus estudios de licenciatura en médico cirujano”28.
Constructo medido.
EP: “1. Razonamiento verbal: evalúa la capacidad de utilizar sinónimos y antónimos, paráfrasis incompletas, y definiciones de palabras. 2. Retención y comprensión: mide la habilidad para comprender y retener por medio de lectura de comprensión. 3. Razonamiento abstracto: valora la capacidad de razonamiento lógico e inmediato ante problemas cotidianos por medio de figuras y búsqueda de semejanzas y diferencias”29.
EC: “Explora la capacidad de comprensión y razonamiento en 5 diferentes áreas del conocimiento: Físico-Matemático, Biología, Química, Inglés y Español”31.
EXANI-II: “…evalúa la habilidad para analizar y resolver problemas con base en principios elementales de las matemáticas… [y] …la capacidad de comunicación del sustentante”32.
Las interpretaciones de los resultados. Se realiza con referencia a norma, se calcula un puntaje ponderado a partir de los resultados en las distintas pruebas (EP 15%, EC 45%, EXANI-II 40%)26 y los 145 aspirantes con mayor puntaje agregado son admitidos.
En la Tabla 3 se observa la proporción entre hombres y mujeres de aspirantes y alumnos admitidos de ambas generaciones.
2. Argumento de validez
I. Validez instrumental
Puntuación - Contenido - Proceso de desarrollo del instrumento. El EC de la Facultad de Medicina26, fue elaborado en 2013 y en 2014 por una comisión interna que verifica que cada ítem se adhiera a los estándares de principios de escritura de ítems de calidad. La guía del EXANI-II en ambos años30,32 menciona que incluye preguntas de prueba y de control.
Puntuación - Contenido - Relevancia del dominio. El EC es elaborado por una comisión especial que se asegura de la pertinencia de los ítems, mientras que en la guía del EXANI-II de 2013 y de 201430,32 se aclara que son los expertos en evaluación del aprendizaje quienes se encargan de verificar la relevancia del dominio.
Generalizabilidad - Contenido - Representación del dominio. En la Guia del Examen Nacional de Ingreso a la Educacion Superior de 2013 indica que se elaboraron “más de 60 versiones del EXANI-II de selección… todas equivalentes en contenido y grado de dificultad. Cada cuadernillo contiene una mezcla distinta de reactivos y opciones de respuesta…”30, mientras que en 2014 fueron más de 70 versiones32.
También menciona que “El EXANI-II incluye únicamente preguntas del tipo opción múltiple, con cuatro opciones de respuesta”, y que cada respuesta correcta equivale a un punto. Tambien menciona que quienes elaboran los ítems son expertos en evaluación educativa32.
II. Verificación de la interpretación y la decisión
Puntuación - Estructura interna -Dimensionalidad. Se realizó AFC para cada generación por separado. Se identificó un factor general, al que se llamó factor común de inteligencia g, que causa gran parte de la varianza de cada subcomponente y que explica las calificaciones y las correlaciones entre las calificaciones de los 13 subcomponentes. También se identificó la influencia de cuatro subfactores: Verbal, Matemático, Día 1 y Día 2.
2013: La mayor parte de las correlaciones entre subcomponentes son moderadas (+0.4 a +0.6), las más altas (≥0.7) son Química (EC) con Biología (EC) y con Fisico-Matemático (EC), y de Matemáticas (EXANI-II) con Fisico-Matemático (EC) y con Razonamiento Numérico (EXANI-II). Las relaciones más débiles (≤0.3) fueron de Lectura y Razonamiento Abstracto 1 (EP) con el resto de los subcomponentes (Tabla 4).
2014: Razonamiento Verbal, Razonamiento Abstracto 1 y Razonamiento Abstracto 2 (EP) correlacionan débilmente con todos los subcomponentes. El resto de correlaciones son moderadas, excepto por Físico-Matemático (EC) con Química (EC) y con Pensamiento Matemático (EXANIII), Química con Biología (EC), y Pensamiento Matemático con Pensamiento Analítico (EXANI-II), que son fuertes (Tabla 4).
Tabla 4 Matriz de correlaciones entre los subcomponentes del proceso de admisión de 2013 (sombreado en gris) y 2014
| Psicométrico | Conocimientos | EXANI-II | |||||||||||||
| 2013 | RV | L | RA1 | RA2 | F-M | E | Q | B | I | RV | RN | M | E | ||
| 2014 | RV | L | RA1 | RA2 | F-M | E | Q | B | I | PM | PA | EL | CL | ||
| Psicométrico | RV | RV | 0.38 | 0.49 | 0.38 | 0.5 | 0.46 | 0.34 | 0.46 | 0.46 | 0.53 | 0.45 | 0.43 | 0.41 | |
| L | L | 0.28 | 0.29 | 0.42 | 0.39 | 0.37 | 0.28 | 0.37 | 0.36 | 0.42 | 0.31 | 0.33 | 0.35 | ||
| RA1 | RA1 | 0.10 | 0.34 | 0.51 | 0.38 | 0.38 | 0.24 | 0.35 | 0.39 | 0.39 | 0.5 | 0.42 | 0.35 | ||
| RA2 | RA2 | 0.20 | 0.36 | 0.43 | 0.43 | 0.43 | 0.28 | 0.39 | 0.45 | 0.41 | 0.53 | 0.52 | 0.33 | ||
| Conocimientos | F-M | F-M | 0.27 | 0.44 | 0.24 | 0.25 | 0.65 | 0.47 | 0.59 | 0.64 | 0.56 | 0.52 | 0.57 | 0.45 | |
| E | E | 0.28 | 0.38 | 0.18 | 0.21 | 0.49 | 0.47 | 0.56 | 0.68 | 0.5 | 0.53 | 0.61 | 0.43 | ||
| Q | Q | 0.31 | 0.46 | 0.26 | 0.25 | 0.74 | 0.49 | 0.5 | 0.51 | 0.45 | 0.39 | 0.45 | 0.39 | ||
| B | B | 0.30 | 0.46 | 0.26 | 0.24 | 0.67 | 0.49 | 0.74 | 0.6 | 0.57 | 0.49 | 0.54 | 0.47 | ||
| I | I | 0.32 | 0.49 | 0.24 | 0.26 | 0.06 | 0.51 | 0.63 | 0.61 | 0.58 | 0.63 | 0.69 | 0.48 | ||
| EXANI-II | RV | PM | 0.32 | 0.44 | 0.28 | 0.03 | 0.73 | 0.43 | 0.67 | 0.56 | 0.56 | 0.58 | 0.56 | 0.57 | |
| RN | PA | 0.31 | 0.42 | 0.03 | 0.34 | 0.65 | 0.45 | 0.60 | 0.53 | 0.52 | 0.74 | 0.67 | 0.49 | ||
| M | EL | 0.35 | 0.49 | 0.23 | 0.27 | 0.61 | 0.49 | 0.58 | 0.55 | 0.59 | 0.62 | 0.58 | 0.50 | ||
| E | CL | 0.36 | 0.51 | 0.23 | 0.27 | 0.55 | 0.42 | 0.50 | 0.47 | 0.54 | 0.58 | 0.56 | 0.64 | - | |
RV: razonamiento verbal, L: lectura, RA1: razonamiento abstracto 1, RA2: razonamiento abstracto 2, B: biología, Q: química, E: español, I: inglés, FM: físico-matemático, RN: razonamiento numérico, M: matemáticas, PM: pensamiento matemático, PA: pensamiento analítico, EL: estructura de la lengua, CL: comprensión lectora.
Todos los valores tienen p < 0.0001.
A través del AFC se obtuvo el peso de cada subfactor y del factor común sobre cada subcomponente y para cada generación (Figura 1).
EP: examen psicométrico, EC: examen de conocimientos.
Los índices de bondad para el modelo final en 2013 fueron χ2 = 74.3 y gL = 37 con p < 0.001; SRMR = 0.012, RMSEA = 0.026, y AGFI = 0.98. Para 2014 fueron χ2 = 61.7 y gL = 37 con p < 0.01; SRMR = 0.010, RMSEA = 0.020, y AGFI = 0.985.
Figura 1 Pesos del factor de inteligencia y los subfactores en los subcomponentes del proceso de admisión de 2013 y 2014
Generalizabilidad - Estructura interna - Invarianza de la medida. La prueba de la diferencia de parámetros entre hombres y mujeres en cada subcomponente y para cada generación mostró diferencias importantes entre hombres y mujeres en el EP, sobre todo con respecto de las cargas del subfactor Día 1 para ambas generaciones (Figura 1). Además, en el caso de Biología en 2014, el efecto de inteligencia global sí tiene diferencia entre hombres y mujeres (p = 0.014).
Generalizabilidad - Estructura interna - Confiabilidad. Se reportó índice de confiabilidad de Kuder Richardson de 0.78 en 2014. No hay información para 2013.
Extrapolación - Relación con otras variables - Relación prueba-criterio. Para la generación 2013, el resultado del proceso de admisión explica 4% de la varianza de las calificaciones de todos los alumnos de primer año (p = 0.01), y 7% de la varianza de solo los aprobados (n = 126, p = 0.0024). Las calificaciones del proceso de admisión de la generación 2014 explican 24% de la varianza de las calificaciones de todos los alumnos de primer año (p < 0.001), y 31% de la varianza en el caso de solo los aprobados (n = 115, p < 0.001).
Los resultados del análisis de regresión logística para 2013 y 2014 por componente y subcomponente se registran en la Tabla 5.
Tabla 5 Resultados del análisis de regresión logística para 2013 y 2014, por componente y subcomponente
| 2013 | 2014 | ||||
| Parámetro | p | Parámetro | p | ||
| Psicométrico | -0.011 | 0.04 | 0.010 | 0.02 | |
| EXANI-II | 0.009 | 0.53 | 0.053 | <0.001 | |
| Conocimientos | 0.025 | <0.001 | 0.030 | <0.001 | |
| Psicométrico | Razonamiento verbal | -0.014 | 0.38 | -0.003 | 0.72 |
| Lectura | -0.018 | 0.35 | -0.018 | 0.40 | |
| Razonamiento Abstracto 1 | -0.007 | 0.48 | 0.018 | 0.01 | |
| Razonamiento Abstracto 2 | -0.022 | 0.17 | 0.026 | 0.16 | |
| Conocimientos | Biología | 0.027 | 0.13 | 0.040 | 0.002 |
| Química | 0.037 | 0.02 | 0.019 | 0.38 | |
| Español | 0.001 | 0.93 | 0.012 | 0.60 | |
| Inglés | 0.017 | 0.21 | 0.025 | 0.06 | |
| Físico-matemático | 0.028 | 0.14 | 0.046 | 0.01 | |
| EXANI-II | Razonamiento verbal | -0.032 | 0.40 | ||
| Razonamiento lógico-matemático | 0.035 | 0.30 | |||
| Matemáticas | 0.018 | 0.65 | |||
| Español | 0.0004 | 0.98 | |||
| Pensamiento matemático | 0.052 | 0.05 | |||
| Pensamiento analítico | 0.047 | 0.76 | |||
| Estructura de la lengua | 0.010 | 0.005 | |||
| Comprensión lectora | 0.084 | 0.002 | |||
Para conocer la relación del resultado del proceso de admisión con el criterio (calificaciones de primer año) se realizó análisis de senderos, que mostró que el puntaje del primer año sí predice fuertemente el puntaje en el segundo año; sin embargo, incluir los puntajes del examen de admisión no añade fuerza de predicción significativa a la basada únicamente en el puntaje del primer año.
III. Utilidad de las acciones
Para comprobar que la interpretación de los resultados es adecuada como fuente de evidencia de la utilidad de las acciones, se aplicó una encuesta en septiembre y octubre de 2021 (Anexo) a los alumnos aceptados en los años 2013 y 201433. Sus objetivos fueron: conocer el nivel de aceptabilidad con el que los sustentantes perciben el cumplimiento de los instructivos, y medir la satisfacción con las etapas del proceso de admisión.
Los encuestados de ambas generaciones tenían entre 16 y 21 años cuando presentaron el examen de admisión, y entre 25 y 29 años edad cuando contestaron la encuesta. Respondieron 78 personas, 40 mujeres y 38 hombres. El instrumento se divide en tres momentos: antes del proceso de admisión, durante la aplicación de los exámenes, y posterior a la evaluación. Con respecto al primer momento, entre 68 y 93% de los encuestados está satisfecho o muy satisfecho con los aspectos relacionados con la convocatoria y la utilidad del Instructivo para Aspirantes de Nuevo Ingreso; el grado de satisfacción más bajo fue con la utilidad de la Guía temática del Examen de Conocimientos de la Facultad de Medicina, para conocer qué se va a evaluar (48.7%) y la relación de la guía de estudios y la bibliografía con el contenido de los exámenes (52.5%). Entre 78 y 97% de los encuestados está satisfecho o muy satisfecho con los aspectos del momento de la aplicación de los exámenes de admisión, excepto por la comodidad del mobiliario (65.3%). En el momento posterior a la evaluación, entre 61.5 y 67.9% conocían el número de espacios disponibles, cómo se califican los exámenes y cómo se conforman las listas de aceptados antes de presentar las evaluaciones. No se aplicó una encuesta semejante a los académicos o administrativos a cargo, en virtud de que muchos de ellos ya no laboran en la institución.
Para saber si los alumnos tienen éxito académico en la carrera se hizo un seguimiento de la trayectoria académica por generación. De los 145 alumnos que ingresaron en 2013, 89 terminaron hasta el internado; de ellos 77 aprobaron el EGEL de Medicina General (Examen de Egreso de Licenciatura del CENEVAL - primera parte del examen profesional), y 72 aprobaron el ECOE (Examen Clínico Objetivo Estructurado - segunda parte del examen profesional) y se titularon a tiempo. De los 145 alumnos que ingresaron en 2014, 80 terminaron hasta el internado, 77 aprobaron el EGEL y 72 aprobaron el ECOE y se titularon a tiempo.
Evaluar la evidencia y formular un juicio
Finalmente, los resultados se analizan para producir un juicio acerca del grado de validez de los usos e interpretaciones de las puntuaciones al determinar la aceptación o rechazo de las hipótesis34. Las fuentes de evidencia de validez proporcionaron información relevante para informar y mejorar el proceso de admisión de 2013 y 2014, aunque hay amplias áreas de oportunidad en el proceso, mismas que se anotan al final de la discusión.
DISCUSIÓN
La validez de los procesos de admisión es un área poco estudiada en México, este estudio de validación identificó datos e información de diversas fuentes de evidencia de validez en el proceso de admisión de una escuela de medicina de una universidad pública, encontrando evidencias de soporte para las inferencias que se realizan como resultado del proceso, pero también áreas de oportunidad. Para conocer el grado de validez de los usos e interpretaciones de las puntuaciones se analizaron los datos de los procesos de admisión de 2013 y 2014 por medio de un modelo que integra tres marcos de referencia. Se dividió el proceso en tres etapas y en cada una se establecieron hipótesis con base en las inferencias descritas por Kane, las que se probaron por medio de las fuentes de evidencia de Messick. En esta sección se comenta la evidencia a favor y en contra de la validez de la interpretación de los resultados del proceso de admisión, así como las evidencias faltantes.
La evidencia de validez a favor del proceso de admisión estudiado es principalmente la basada en la estructura interna (correlaciones entre componentes y el AFC), la relación entre el examen de conocimientos y los resultados en el primer año, así como la satisfacción de los usuarios. Solo se encontraron correlaciones fuertes (+0.7 a +0.9, -0.7 a -0.9)35,36 entre subcomponentes de EP y de EXANI-II (matemáticas) en 2014. Existe relación moderada (+0.4 a +0.6, -0.4 a -0.6) entre los subcomponentes de ciencias naturales del EC y entre los subcomponentes de matemáticas del EXANI-II, y débil (+0.1 a +0.3) o moderada entre los subcomponentes que evalúan constructos semejantes dentro del EP. Sobre todo en 2014, el factor g tuvo una fuerte influencia en la varianza de las calificaciones de los subcomponentes orientados a las ciencias naturales y el de inglés. La influencia de este factor sobre el subcomponente de Inglés puede deberse a que en este se evalúa el dominio de la lengua y también se hacen preguntas sobre otros subcomponentes en inglés. Además, la influencia de este factor sobre los subcomponentes del EP fue moderada (2013) o baja (2014), y sobre los del EXANI-II moderada (2013) o alta (2014). En contraste, en un estudio en que se compararon dos versiones del MCAT (Medical College Admission Test) de EUA, encontraron correlaciones moderadas entre componentes que miden constructos semejantes y además identificaron cuatro factores que nombraron conocimiento biomédico, conceptos de ciencia básica, razonamiento cognitivo y desempeño general4.
La diferencia de coeficientes entre hombres y mujeres con respecto a Biología, en 2014, es interesante, ya que en otras publicaciones se han reportado con respecto a ciencias naturales en general o a Física. Además, en estos análisis se ha observado que entre los aspirantes hay más mujeres que hombres, pero son admitidos más hombres que mujeres (lo que se observa en la generación de 2014). Puede tratarse de varianza irrelevante al constructo, tal vez producida por ansiedad u otras variables que, aunque impactan en el desempeño de las mujeres en evaluaciones de alto impacto, no implican un mal desempeño académico posterior37-42.
En cuanto a la relación con otras variables, el dominio de relación de la prueba con el criterio se examinó a través de regresión logística. El componente de conocimientos produce gran varianza en las calificaciones del primer año (por cada punto en el EC, el promedio sube 0.025 en primer año en 2013 y 0.030 en 2014), mientras que el EP tiene influencia negativa; y el EXANI-II, nula. En la literatura se encuentran resultados variables que incluyen mayor impacto del razonamiento verbal sobre el desempeño académico durante y hasta el final de la carrera43, o mayor importancia de los conocimientos científicos (semejante al EC) sobre el desempeño académico durante la carrera44. Si bien cada institución educativa decide los elementos que toma en cuenta en sus procesos de admisión, resultados como el encontrado en este estudio sobre los instrumentos EP y EXANI-II (o herramientas similares), motiva a reflexionar sobre su pertinencia y aplicación, así como la interpretación y ponderación de sus resultados.
La satisfacción de los estudiantes con respecto del proceso de admisión fue buena en general; el bajo resultado en nivel de satisfacción con la guía del examen es motivo de reflexión sobre su elaboración y la información que contiene. El acceso a materiales de ayuda puede ser motivo de inequidad entre los aspirantes, favoreciendo a quienes tienen mejor situación económica45. Desde el punto de vista de aceptabilidad del examen de conocimientos como prueba de admisión, hay reportes con resultados mixtos; es más frecuente que les parezca irrelevante el examen de razonamiento no verbal46. La verificación de la calidad de los ítems debe hacerse para probar que no hay varianza irrelevante al constructo, por medios como poner ítems a prueba2. Solo el EXANI-II utiliza ítems a prueba, pero el EC, que sí causa varianza en las calificaciones del primer año, no aporta información al respecto. Otra fuente débil de evidencia es la de confiabilidad, ya que solo contamos con el reporte de la UASLP en 2014, pero no tenemos datos de 2013. Esto muestra la importancia de contar con archivos históricos y documentación formal objetiva de este tipo de procesos en las instituciones educativas de nuestro país, con el objetivo de proveer información organizada que permita realizar consultas e investigación.
En cuanto a la representación del dominio para extrapolación, aunque en Estados Unidos se ha enfatizado la importancia de evaluar los campos del conocimiento de ciencias naturales y la capacidad de razonamiento verbal y matemático para el proceso de admisión a medicina47, no se cuenta con este tipo de análisis en nuestras instituciones. Otros estudios sugieren llevar a cabo pruebas de juicio de situaciones para aportar escenarios más auténticos de la vida real48,49.
Se observó en este estudio que el EXANI-II tiene un efecto nulo en las calificaciones del primer año y el EP lo tiene negativo en 2013; esto podría significar que altas puntuaciones en el EP predicen menor desempeño en el primer año, lo que podría confirmarse o descartarse con otras investigaciones. Diferentes estudios de validez predictiva con respecto de pruebas de admisión han mostrado que la relación entre el proceso de admisión y las calificaciones se va perdiendo después del primer año, pues existen muchas variables que tienen impacto sobre las calificaciones de la carrera39,50. Sin embargo, en la literatura existe evidencia del poder predictivo del examen de razonamiento verbal y de pruebas semejantes al EC7, así como de la prueba de razonamiento verbal por sí sola43.
Si se cumplieran los objetivos del EP y del EXANI-II, se estarían admitiendo estudiantes aptos para estudiar y con gran potencial para aprender cosas nuevas, que idealmente los llevaría a tener un buen desempeño académico. Nuestros resultados no demuestran esta predictibilidad, por lo que sugerimos reevaluar el desarrollo del EP, así como proporcionar más información a los sustentantes acerca de su estructura y de la modalidad de las preguntas. En cuanto al EXANI-II, su diseño ha cambiado por completo recientemente, por lo que sería necesario llevar a cabo un análisis similar con la nueva versión.
Faltó evidencia documental que demostrara la definición del dominio, su revisión por expertos, así como demostración de que la combinación de constructos evaluados es la apropiada. Además faltaron datos para evaluar confiabilidad, discriminación y funcionamiento diferencial de los ítems, entrevistas cognitivas.
En el caso estudiado, el proceso de admisión es con propósitos de selección, por lo que se aplica la evaluación con referencia a norma; sin embargo, sería deseable demostrar que las tres pruebas discriminan entre aspirantes de alto y bajo desempeño. El ingreso a las escuelas y facultades de medicina en México y países similares es un asunto complejo de discutir y analizar, ya que no es factible aplicar la evidencia académica publicada sobre evaluación sumativa de alto impacto en organizaciones que tienen múltiples factores que inciden en el proceso, como presupuesto, espacios físicos, número y competencia de los profesores, entre otros muchos. Estos factores son determinantes de la cantidad máxima de estudiantes que se pueden recibir51-54.
Limitaciones
Los procesos de admisión que se evaluaron ocurrieron hace 9 y 10 años, por lo que parte de la información ya no se encuentra disponible o podría presentar diversos sesgos como el de tiempo (por ejemplo, las respuestas de la encuesta de satisfacción). La muestra para el análisis de regresión es pequeña, y va disminuyendo conforme se avanza en la carrera. Al mismo tiempo, el efecto de la restricción de rango (solo analizamos los resultados de los alumnos admitidos, los 145 sustentantes con mayor calificación del proceso) implica que los resultados del análisis de regresión, por ejemplo, puedan parecer no significativos, aunque para el tamaño de la muestra sean adecuados. En instituciones educativas existen situaciones de normatividad y manejo de datos personales que dificultan el acceso a los datos crudos y a los procesos de validación. El estudio se realizó en una sola institución pública, por lo que los resultados no necesariamente son extrapolables a otras universidades públicas o privadas, nacionales o extranjeras.
CONCLUSIONES
Los exámenes de alto impacto para las profesiones de la salud tienen consecuencias sobre varios sectores de la población, por lo que es responsabilidad de las y los líderes institucionales garantizar que estos sean justos y equitativos, así como que la interpretación de sus resultados sea válida. La validación a través de la aplicación de un modelo que integra los marcos de referencia modernos permite identificar áreas de oportunidad para análisis futuros, al demostrar cuáles datos deben recuperarse de inmediato y las medidas a tomar durante el desarrollo y la aplicación de las pruebas. Se requiere de un equipo interdisciplinario, con planeación adecuada.
La validación con el modelo propuesto es un proceso sistemático que permite identificar claramente las áreas de oportunidad, por medio de la recolección de evidencias en el orden con que se generan. El uso de marcos de referencia como el utilizado aporta bases más sólidas a las conclusiones a las que se llegan y permite aportar sugerencias útiles a las autoridades correspondientes, tales como mejorar las guías para los aspirantes, revisar la pertinencia y el desarrollo de los componentes del proceso de admisión, llevar a cabo estudios de validación y compartir los resultados, así como asegurar la recolección de datos para obtener evidencia de calidad.
