2.1. Estudios recientes sobre Saber Pro

^{Bahamón & Reyes (2014)} caracterizan estudiantes con alto y bajo rendimiento en las pruebas Saber Pro, a la luz de capacidad intelectual, elementos sociodemográficos y académicos. La muestra fue de 68 estudiantes de psicología que presentaron pruebas en el año 2012. Usaron T-Student. Concluyen que aquellos estudiantes de mayor capacidad intelectual suelen lograr puntajes más altos en las pruebas. El estrato no resultó ser un elemento diferenciador. Aquellos estudiantes provenientes de colegios privados presentaron mejor rendimiento en las pruebas. Los estudiantes con puntajes más altos suelen tener orientación profesional hacia actividades lingüísticas, humanitarias y de artes plásticas. Los estudiantes con mejor desempeño mostraron tener preferencia por técnicas de estudio progresivas y ordenadas (tomar notas, repasar diariamente, hacer esquemas…).

^{León, Amaya & Orozco (2012)} estudian si existe relación entre la habilidad de comprensión lectora, la inteligencia y el desempeño de estudiantes de Psicología en las pruebas Saber Pro 2011. La muestra fue de 45 estudiantes. Se usó correlación de Spearman. Se observó una correlación positiva-fuerte entre el desempeño en las pruebas y los siguientes índices: de memoria general y de inteligencia general. El desarrollo estratégico de la comprensión lectora a través del fortalecimiento de la memoria y retentiva es un aspecto clave que influye en la calidad de los resultados obtenidos.

^{Caicedo, Guerrero & López, (2016)} construyen un índice para la medición del nivel socioeconómico de los estudiantes de educación superior en Colombia, con el fin generar un insumo que apoye los procesos de evaluación y caracterización de los estudiantes. Tomaron la población de estudiantes que presentaron el examen Saber Pro durante el año 2012 (245461 estudiantes). Se hizo uso del cuestionario sociodemográfico de Saber Pro, así como el Análisis de Competentes Principales. El índice socioeconómico estuvo compuesto por: potencial económico del hogar (ingreso familiar, valor de la matrícula y nivel sisbén), capital cultural (nivel de educación de la madre y el padre, y ocupación de la madre y el padre) y dotación de la vivienda (servicio de internet, televisión,…). Señalan que entre mayores los puntajes logrados en las dimensiones del índice socioeconómico, mejores fueron los resultados obtenidos en Saber Pro.

^{Cortés & Piñeros (2015)} buscan identificar las variables que más influyen en el desempeño académico de los estudiantes universitarios de instrumentación quirúrgica en las pruebas Saber Pro 2010 y 2011. La muestra fue de 1116 estudiantes. Técnicas: Estadísticas descriptivas y ANOVA para estudiar diferencias en los resultados de las pruebas, según: edad, género, matricula pagada por padres, tenencia de computador, estrato, entre otros. Concluyen que en lectura crítica solo fue significativa la edad (relación positiva). En comunicación escrita, los mejores resultados se presentaron para género (mujeres), matricula pagada por los padres y tenencia de computador.

En inglés: estrato alto, acceso a internet desde casa y alto nivel de educación de padre y madre. En razonamiento cuantitativo solo fue significativa la matrícula pagada por padres.

^{Romero, Villarreal & Velandia (2015)} estudian si existe diferencias en el desempeño en las pruebas Saber Pro entre dos universidades colombianas, una de modalidad virtual y otra presencial.

La muestra fue de 194 estudiantes de administración de empresas (136 en presencial y 58 en virtual) que presentaron las pruebas en el año 2012. Técnicas: estadística descriptiva, correlación de Spearman, prueba no paramétrica U de Mann-Whitney, ANOVA y Kruskall-Wallis. Concluyen que el desempeño en las pruebas Saber Pro en estudiantes de modalidad virtual tienden a ser más bajas en razonamiento cuantitativo, aunque la diferencia no fue significativa. Para lectura crítica y competencia ciudadana no se encontraron diferencias significativas. En conclusión, la modalidad no parece ser un factor diferenciador del desempeño.

2.1. Estudios sobre árbol de clasificación vs. regresión logística

Con base en literatura de referencia (ver Tabla 13) puede concluirse:

1) La mayoría de aplicaciones se han llevado en contextos de la salud (7 de 15).

2) Los tamaños de muestra son relativamente pequeños (mín.: 205, mediana: 460, Q3: 1245; con un valor aparentemente atípico de 39710).

3) Prácticamente la mitad de los estudios ha incorporado, dentro de la comparativa, al menos otro método, adicional a Árboles de Clasificación y Regresión Logística (7 de 15).

4) En la mayoría de casos Árboles de Clasificación han mostrado mejor desempeño que Regresión logística (en 10 casos fue superior y en otro más se consideró empate), pero es de anotar que los problemas de prueba y contextos no necesariamente son comparables.

Tabla 12 Resumen de las principales conclusiones y hallazgos de Anova para TSA y diversas variables de la matriz de confusión 

Var	Normal	Homocedast.	Transf.	Normal	Homoced	Conclusión	Gráficos
TSA	Sí (0,207)	Sí (Método: 0,59; Tipo.predic: 0,57; Competencia: 0,26	No	NA	NA	Interacción método*tipo.predic. Árbol con Constructos es inferior a los demás
TAG	Sí (0,297)	No (Método: 0,15; Tipo,predic: 0,005; Competencia: 0,78)	Arcsin (y)	Sí (0,106)	No (Método: 0,59; Tipo,predic: 0,021; Competencia: 0,78)	Método y tipo.predic. Reg. superior a Árbol. Indicad superior a Constructos. Árbol.Indicad vs Árbol.Const valor-p de 0,0504.
TAP	No (0,0001)	No (Método: 0.325; Tipo.predic: 0.027; Competencia: 0.36)	arcsin(y)	No (0.006)	Sí (Método: 0,61; Tipo.predic: 0,72; Competencia: 0,54)	Método* tipo.predic. Árbol con Constructos es superior a Árbol sin constructos
TAN	No (0.0000)	Sí (Método: 0,23; Tipo,predic: 0,84; Competencia: 0,36	arcsin(y)	No (0,004)	Sí (Método: 0,09; Tipo.predic: 0,21; Competencia: 0,35)	Método*tipo.predic y tipo.predic*competencia. Árbol con Constructos es inferior a los demás
TAP/ TFP	No (0.0000)	No (Método: 0,028; Tipo,predic: 0,001; Competencia: 0,59	log(y)	No (0,038)	No (Método: 0,20; Tipo.predic: 0,0003; Competencia: 0,47)	Método*tipo.predic. Árbol con Constructos es inferior a los demás.

3.1. Depuración de la base de datos

La selección de observaciones partió de un marco de 534.575 estudiantes que presentaron las pruebas Saber Pro en dos cohortes: 2014-3 (209.726) y 2015-3 (324.849). Los nombres, tal cual como provienen de la fuente ftp del ICFES, son: “SBPRO-20143-RGSTRO-CLFCCN-U_GEN” y SBPRO-20153-RGSTRO-CLFCCN-U_GEN, respectivamente. Se controlaron diversas características en el conjunto de datos (Ej.: municipio de residencia del estudiante, programas de ingeniería).

Estas se precisan en el campo “criterio” del Tabla 14. Siguiendo el paso a paso allí expuesto, es posible reproducir la preparación de la base de datos de instancias de prueba. En total se seleccionaron 7395 estudiantes, que equivale al 1,38 % del total alojado en las bases de datos de Saber Pro del ICFES (20143, 20153).

Esta cantidad de instancias no solo supera considerablemente el tercer cuartil del tamaño de muestra que han empleado estudios previos (Q3: 1.245; véase Tabla 13), sino que además fue seleccionada usando 11 criterios de filtro (depuración), de modo que ofrezca mejor validez a la fase de experimentación.

3.2. Depuración de la base de datos

En la tabla 1 se describe los 24 indicadores a considerar en el marco de los modelos a obtener y contrastar. Además, las dos últimas filas exponen las dos variables dependientes, por predecir.

3.3. Propuesta EPE: entrenamiento predicción experimentación

La figura 1 presenta la metodología propuesta. Nótese, en dicha figura, la articulación de conocimientos de aprendizaje estadístico, inteligencia artificial, diseño de experimentos y estadística multivariada.

Fig. 1. Metodología EPE: Entrenamiento - Predicción - Experimentación 

La fase de entrenamiento constó del 70 % (5176) de la muestra y consistió en la generación de los modelos.

En la fase de predicción se probó los modelos sobre las instancias restantes (30 %; 2219), las cuales fueron divididas en 22 subgrupos (c/u con 100 observaciones). Así, por cada combinación método - competencia - tipo de predictor se obtuvo 22 observaciones de Tasa de Aciertos Global (TAG), Tasa de Aciertos Positivos (TAP) y Tasa de Aciertos Negativos (TAN), para un total de 176 observaciones.

La fase de experimentación partió de la construcción de la matriz experimental, en la cual se consolidaron dichas tasas y los factores de interés.

Además, desde una óptica multivariada, se combinaron TAG, TAN, TAP bajo ACP, para representar un nuevo índice: Tasa Subyacente de Aciertos (TSA).

La estrategia de experimentación se basó en un diseño factorial de tres factores. La tabla 2 resume la variable respuesta, los factores y niveles. Acorde con el diseño previo, el modelo de efectos del Análisis de Varianza se plasma en la ecuación 1:

μ como la media global, común a todos los tratamientos; τi el efecto del i-ésimo método; βj el efecto del j-ésimo tipo de predictor; γk el efecto de la k-ésima competencia; (τβ)ij el efecto de la interacción método-tipo de predictor; (τγ)ik el efecto de la interacción método-competencia; (βγ)jk el efecto de la interacción tipo de predictor-competencia; εijk el error aleatorio en las condiciones i, j, k; TSAijk como la respuesta obtenida bajo las condiciones i, j, k.

Dentro de la fase de experimentación, a modo de referencia de validez de criterio, se tomaron como criterios la Curva ROC y el Área Bajo la Curva (AUC, en inglés), los cuales son clásicos en la comparación de métodos de clasificación.Todos los análisis se ejecutaron en lenguaje R, por medio del entorno de RStudio.

Adicionalmente, se ha hecho uso de los siguientes paquetes:"MASS" (^{Venables, & Ripley, 2002}), “car" (^{Fox, & Weisberg, 2011}), "rpart" (^{Therneau, Atkinson & Ripley, 2017}), “rpart.plot" (^{Milborrow, 2017}), "gplots" (^{Warnes et al., 2016}), "stargazer" (^{Hlavac, 2015}) y "pROC" (^{Robin et al., 2011}).

4.1. Resumen estadístico de matriz de diseño

En la tabla 3 se resume los 24 indicadores y las dos variables dependientes, enfatizando sobre la proporción de ocurrencia de cada característica específica.

4.2. Regresión logística solo con indicadores

En la tabla 4, los modelos de regresión se presentan para ambas competencias. Se destaca que la mayoría de los predictores coinciden en ambos modelos, a excepción de soltero (solo en comprensión lectora resultó significativo), “Notrabajo.estu” (evento de que el estudiante no trabaje) y presencia de servicio de “internet” en el hogar. También, nótese que los signos de los coeficientes son idénticos en ambos modelos.

4.3. Árbol de clasificación solo con indicadores

Las figuras 2-3 ofrecen los árboles obtenidos por medio de la función rpart, siguiendo el método de partición recursiva con base en el índice de ganancia de información.

Fig. 2. Árbol de clasificación (solo con indicadores) para comprensión lectora 

Fig. 3. Árbol de clasificación (solo con indicadores) para razonamiento cuantitativo 

En la figura 2 puede verse que de los 24 indicadores en ensayo, solo 4 resultaron relevantes para discriminar las instancias respecto al alto/bajo desarrollo en comprensión lectora.

Este árbol está compuesto por un nodo raíz (institución pública/privada) y tres nodos intermedios (profes.posg.padre, edadmaxQ3, NOtrabaja.estu). En ambos árboles (figuras 2-3), considerando el coeficiente de penalización (cp), a medida que se incluyen nodos, el error desciende.

Es decir, no hay razones para podar la estructura de los árboles actuales.

4.4. Regresión logística solo con constructos

La tabla 5 presenta los modelos de regresión que incorporan como predictores solamente constructos derivados de ACP. Estos son teóricamente independientes, lo que mitiga problemas colinealidad. De los 15 predictores aglomerados entre los dos modelos finales, solo tres no coinciden: componentes 5, 6 y 8.

4.5. Composición de los constructos

En la tabla 6 se plasma la estructura interna de los componentes 1 y 4. Una interpretación cualitativa a los constructos no es objeto de este estudio, pero, a modo de ejercicio, el componente 1 puede entenderse como un tipo de condición del estudiante para afrontar la formación universitaria, donde valores positivos representan facilitadores y, valores negativos, limitadores.

Véase, en la figura 4, la lógica del continuo bipolar “condiciones del estudiante”. Considerando esta figura y la tabla 6, una posible interpretación para el coeficiente del componente 1 (0,302) en razonamiento cuantitativo es: aplicando el antilogaritmo a dicho coeficiente, se tiene que si la puntuación de las condiciones del estudiante (comp. 1) aumenta en una unidad, este es 1,35 veces más propenso a ubicarse en el grupo de alto desarrollo de competencias que en el bajo (asumiendo los demás constante).

Fig. 4 Metodología EPE: Entrenamiento-Predicción - Experimentación 

Otra forma de entender los cambios en el alto/bajo desarrollo de competencias es mediante una tabla de frecuencias de dos vías (tabla 7). Entre los estudiantes con condiciones de vida limitadoras (puntajes menores de cero), el 42,2 % se ubica en alto desempeño (en razonamiento cuantitativo).

En cambio, entre los de condiciones facilitadoras (puntaje mayor de cero), esta proporción asciende al 60,3 %. Lo mismo en competencia lectora, donde se pasa de 44,3 % a 57,3 %.

En ambos casos, el test de independencia Chi-2 fue rechazado, lo cual favorece la creencia de una relación entre las variables (valores-p casi nulos). Nótese el valor interpretativo y la síntesis que propicia el enfoque de constructos en lugar de solamente indicadores observables.

Pasando al componente 4 (véase tabla 4), este podría interpretarse como otro tipo de condiciones del estudiante, que difieren de las del componente 1. En este caso, el estudiante cabeza de familia suma al indicador latente, así como: provenir de universidad pública, internet y que no trabaja. En cambio, género femenino, institución privada, más de 4 personas en el hogar, no es cabeza de familia, sí trabaja, entre otros, tiende a restar puntos al indicador latente.

Así, a través de los diferentes componentes y mediante un trabajo interdisciplinario que complemente el enfoque cuantitativo con interpretaciones desde las ciencias sociales y humanas, podría encontrarse diferentes perfiles de estudiantes. Para la asociación entre este constructo (4) y el alto/bajo desarrollo de competencias, se halló que, entre los estudiantes con condiciones limitadoras (puntajes negativos), el 41 % se ubicó en alto desarrollo en comprensión lectora; en cambio, para los de condiciones facilitadoras (puntajes positivos) este porcentaje aumentó a 64,6 %. Lo mismo sucedió en razonamiento cuantitativo, pues se pasó de 39,6 % a 67,7 %. De nuevo, tómese en cuenta la síntesis y el valor interpretativo del usar constructos, en vez de solo indicadores.

4.6. Árbol de clasificación solo con constructos

Las figuras 5-6 ofrecen los árboles para comprensión lectora y razonamiento cuantitativo.

Fig. 5. Árbol de clasificación (solo constructos) para comprensión lectora 

Fig. 6. Árbol de clasificación (solo constructos) para razonamiento cuantitativo 

Ningunos de estos árboles merece podarse, pues los errores tendieron a la baja a medida que aumentaron los nodos presentes.

A diferencia del árbol con constructos para competencia lectora, el árbol para razonamiento cuantitativo solo emplea los componentes 4 y 2 (excluye el 1). Vale decir que el componente 4 es suficiente para llegar a un nodo puro (hoja/terminal) de bajo desarrollo de competencias (0); estas representan el 37 % de la muestra de entrenamiento.

4.7 Comparativa experimental

En la fase experimental, primero fue necesario crear la TSA (Tasa Subyacente de Aciertos), la cual se forma por medio del ACP con indicadores TAG, TAN y TAP. En la tabla 8 se presentan las cargas de los indicadores de la matriz de confusión en cada componente.

Por motivos de análisis de los signos y considerando que una situación favorable deduce que los TAG, TAP y TAN incrementan y, a su vez, una situación desfavorable equivale a que estos disminuyan, se eligió el componente 2, en el que todas las cargas presentan el mismo signo (+).

La correlación entre la TAG y la TSA es de 0,7668, que si bien es positiva y resultó significativa, la TSA considera también información de los otros dos indicadores de desempeño. Vale anotar que la TSA fue normalizada como proporción 0 - 1.

Análisis de varianza para TSA:

Luego de depurar el modelo Anova completo, según la significancia de los factores e interacciones, se llega al modelo expuesto en la tabla 9, que reporta como significativos (p-valores < 0,05) únicamente el método (Regresión Logística, Árbol de Clasificación), el tipo de predictor (indicadores, constructos) y la interacción. Este modelo resulta válido siempre y cuando se satisfagan los siguientes supuestos: error normal e independiente con media cero y varianza constante.

En la figura 7 se presentan diferentes gráficos de los residuales (estimaciones del error) que permiten explorar los supuestos de normalidad e independencia. En dicha figura se observa que no hay evidencia suficiente para rechazar normalidad e independencia de residuales. Además, bajo el test de Shapiro-Wilks, el valor p es muy superior a 0,1. Respecto a la homocedasticidad, tampoco se observa patrones en los residuales (estudentizados). Por consiguiente, los resultados obtenidos con Anova pueden considerarse razonables.

Fig. 7. Gráficos de residuales del Anova para TSA: normalidad, orden de corridas y predichos 

Contraste de medias para TSA:

En la figura 8 se aporta las gráficas de medias según los factores individuales. Esta figura es un reflejo fiel de lo que dicta la tabla Anova para TSA. Para el factor competencia (comprensión lectora y razonamiento cuantitativo) los intervalos de confianza al 95 % para la media se solapan, lo que deduce que no hay evidencia suficiente para rechazar la hipótesis nula.

Fig. 8. Gráficos de medias de TSA según factores experimentales 

Contrario sucede para método y tipo de predictor, tal como lo reflejó la tabla 9. No obstante, recuérdese que se encontró presencia de una interacción entre método y tipo de predictor, y, de hecho, esta cobra más importancia que los efectos individuales, a la hora de concluir.

En la figura 9 se aporta el gráfico de interacción. Allí, se observa que la principal diferencia radica en el método árbol de clasificación cuando es usado con y sin constructos. Adicionalmente, en la tabla 10 se presenta los resultados del test de Tukey para comparar analíticamente la diferencia de medias entre pares de niveles de los factores. Entre Árboles de Clasificación y Regresión Logística la evidencia se inclina a favor de Regresión Logística respecto al desempeño (diferencia de -0,05084 y un valor p de 0,0000).

Fig. 9. Gráfico de interacción método-tipo de predictor 

No obstante, las conclusiones sobre los efectos individuales pasan a nivel secundario cuando hay interacción, como ocurre con la combinación método - tipo de predictor. Dichas diferencias ocurren en (véase tabla 10): Árboles de Clasificación con constructos contra Regresión con constructos (valor-p: 0,0000); Regresión Logística con indicadores contra Árboles de Clasificación con constructos (valor-p: 0,0000); y Árboles con indicadores contra.

Árboles de Clasificación con constructos (valor-p: 0.0007).

Las demás no presentan diferencias estadísticamente significativas. En la figura 10 se percibe mejor las diferencias en TSA. Para Regresión Logística (con indicadores o constructos), los intervalos de confianza para la diferencia de medias se solapan, lo mismo que entre estos y Árboles de Clasificación con indicadores. Sin embargo, Árbol de Clasificación con constructos difiere notablemente de las demás combinaciones.

Fig. 10. Gráfico de medias de los niveles método-tipo_indicador para la TSA 

Es decir, el uso de constructos en Árboles de Clasificación, en este contexto específico, deterioró considerablemente la TSA, lo que no ocurrió en Regresión Logística.

Comparación de modelos bajo curva ROC y AUC:

La curva ROC con AUC es el criterio más común para comparar clasificadores. En la medida en que un método más se aleje de la diagonal (AUC: 0.5), hacia arriba e izquierda, se considera de mejor desempeño. En la figura 11 se muestra las curvas ROC con AUC para ambas competencias. Para explorar la significancia de las diferencias percibidas en la figura 11, la tabla 11 presenta el test DeLong para parejas de curvas ROC. La Regresión Logística muestra mejor desempeño que Árboles de Clasificación, tanto con indicadores como con constructos.

Fig. 11. ROC con AUC para comprensión lectora y razonamiento cuantitativo 

Entre Regresión logística con indicadores y con constructos no existe diferencia significativa. En cambio, Árboles de Clasificación muestra mejor desempeño con indicadores que con constructos, lo cual es consistente con lo obtenido bajo Anova para TSA. Cuando se compara Regresión Logística (indicadores o constructos) contra Árboles de Clasificación con indicadores, los resultados de ambos criterios difieren. Bajo Anova para TSA no se encuentran diferencias significativas, en cambio, bajo Curvas ROC con AUC se mostró superior Regresión Logística. Estas discrepancias motivan explorar otras métricas de la matriz de confusión.

La tabla 12 expone el resumen de lo obtenido con Anova para TSA, pero además para TAG, TAP, TAN y la razón entre TAP/TFP. Estas nuevas comparaciones de factores e interacciones bajo Anova es una labor meramente exploratoria, a excepción de lo expuesto para TSA, pues en la mayoría de los casos no se cumplió al menos uno de los supuestos de los residuales. De hecho, a diferencia de TSA, para las demás variables fue necesario transformarlas, a fin de mitigar en cierta medida la violación de supuestos. Lo importante con este ejercicio es notar hacia dónde apuntan los nuevos hallazgos.

Entonces, con base en la tabla 12 y las gráficas de medias, los resultados para TAG, TAN y TAP/TFP son consistentes con lo que reflejó Anova para TSA: Regresión Logística (indicadores o constructos) y Árboles de Clasificación (con indicadores) presentan un desempeño semejante, que además es superior al de Árboles de Clasificación con constructos.

En cambio, en la variable TAP el uso de constructos en los Árboles de Clasificación mejoró sustancialmente el desempeño, siendo superior al de Árbol con indicadores. Todo esto refleja lo complejo y subjetivo que puede ser concluir sobre el desempeño de clasificadores con base en un solo criterio.