1. Marco conceptual

El primer desafío del presente estudio consiste en esbozar un marco conceptual que nos permita analizar y organizar la información de los logros y sus posibles determinantes. La revisión de la bibliografía proporciona elementos que nos permiten conjeturar cómo se desarrolla el proceso de aprendizaje y por tanto qué elementos pueden incidir en éste. El Diagrama 1 muestra de manera simplificada los factores que inciden en el proceso de aprendizaje. El aprendizaje es resultado de la interacción entre estudiantes -con determinadas características- y escuelas -con ciertos recursos-. La interacción entre alumnos y escuelas se desarrolla dentro de un sistema educativo, asimismo, esta relación es influida por la política educativa. Todas estas interacciones se dan dentro de un contexto institucional determinado por el desarrollo económico, político y cultural.

FUENTE: Elaboración propia a partir de ^{Vegas y Petrow (2008)}.

Diagrama 1 Factores que inciden en el aprendizaje 

La prueba ENLACE, junto con los cuestionarios de contexto, nos permiten identificar parte de las interacciones ilustradas en el Diagrama 1. Los cuestionarios ENLACE contienen información de las características de los alumnos, antecedentes familiares y del hogar. Estos cuestionarios contienen también información de las escuelas que nos permiten conocer la relación entre los recursos escolares y el logro cognitivo. Por último, con información adicional por región, entidad federativa o municipio, es posible identificar el contexto institucional dentro del cual se da la relación entre alumnos y escuelas y por tanto estimar la importancia de éste en el proceso de aprendizaje. Identificar empíricamente los elementos esbozados en el Diagrama 1 y su importancia relativa nos permite elaborar políticas educativas basadas en pruebas que pueden tener un efecto significativo en el logro escolar.

2. Metodología

Defínase Yi como el logro escolar del estudiante i medido por el puntaje de matemáticas en la prueba ENLACE.⁷ En términos muy generales podemos definir Yi como resultado de i) las características personales del estudiante Pi; ii) los antecedentes familiares del estudiante FI; iii) los recursos escolares a los que tiene acceso el estudiante i medido como las características del plantel al que asiste y los docentes que le imparten cátedra Ri, y iv) finalmente, el logro del estudiante i pudiera estar influido por el desarrollo institucional de la región, el estado o municipio en donde está ubicado el plantel Ii. Si definimos como una función que transforma los insumos educativos Pi, Fi, Ri e It en logro escolar:⁸

1

en la que, al menos desde el punto de vista teórico,

es decir, un incremento en cualquier insumo (ceteris paribus), tiene un efecto positivo pero decreciente en el logro cognitivo. Sabemos tan poco de A(∙)que no podemos decir si es homotética de grado 1 en todos sus elementos; en otras palabras, no sabemos si hay economías a escala en el sistema educativo en México. Con base en los estudios revisados en la sección I, sabemos que no hay una sola forma funcional para la ecuación (1); por otra parte, la bibliografía identifica a una serie de factores asociados al logro, los cuales pueden ser clasificados dentro de nuestros cuatro grandes componentes P _i, F _i, R _i e I _i. Por tanto definimos P _i,F _t,R _i e I _i como vectores de tamaño K ₁, K ₂, K ₃ y K ₄, respectivamente, y suponemos una relación lineal entre estos insumos y el logro cognitivo:

2

en la que α, κ, γ, β,θ son parámetros a estimar por ε _i denota un término aleatorio con distribución normal, media igual a 0 y varianza conocida. En ausencia de un modelo estructural que determine la forma funcional y las variables que deben ser incluidas en el modelo (2), frecuentemente el número de variables incluidas en los vectores P _i, F _i, R _i e I _i es muy alto, violándose el criterio de la parsimonia con lo cual el análisis tiende a perderse entre tanta información. El modelo ideal debe identificar un subconjunto de variables pertinentes, es decir, que estén altamente correlacionadas con Y_t y que no tengan una alta correlación entre sí.

Existen varias técnicas estadísticas para identificar las variables pertinentes y en el presente estudio utilizamos el análisis discriminante (^{Fisher, 1936}; ^{Tatsouka y Tiedeman, 1953}). Para entender la mecánica del análisis discriminante, supóngase que separamos a toda la población de alumnos en dos grupos de acuerdo con su puntuación en la prueba ENLACE: sobresalientes y no sobresalientes. El análisis discriminante identifica un vector de variables x ₁, x ₂,...,x_m cuya combinación lineal permite maximizar la probabilidad de que los individuos sean clasificados en la categoría a la que pertenecen. En otras palabras, las variables pertinentes identificadas por el análisis discriminante contienen información que permite clasificar a los individuos en dos (o más) categorías sin necesidad de consultar los resultados de la prueba estandarizada.

La prueba ENLACE establece no dos sino cuatro grados de logro: insuficiente, regular, bueno y excelente. Utilizando el análisis discriminante podemos identificar las variables pertinentes dentro de cada uno de los cuatro componentes ya señalados (P _i, F _i, R _i e I _i). El análisis discriminante aplicado a cada componente tiene como resultado un subconjunto de variables que forman los vectores reducidos (parsimoniosos) Zi´∈Zi en que Z = (P, F, R, I) de tamaño k_j en que k_j ≤ K_j para j = (1, 2, 3, 4). Esta estrategia reduce el número de variables independientes y facilita el análisis en torno de los determinantes del logro cognitivo:

3

El modelo (3) puede utilizarse para medir la importancia de cada uno de los cuatro componentes en el resultado. Un modo sencillo de obtener esto es calculando la contribución en el coeficiente de determinación R ² que tiene cada uno de los cuatro componentes en el marco de una estimación de mínimos cuadrados. Sin embargo, no hay una solución analítica para calcular dicha contribución (dR2/dxk) y por tanto es necesario estimar este efecto de manera empírica o numérica. La solución consiste en estimar y comparar la R ² entre dos modelos distintos en la que la única diferencia entre ambos es la presencia o ausencia del componente que se intenta evaluar. Formalmente, definimos X como un vector que contiene todos los argumentos de A(∙) y φ como el conjunto vacío. La contribución del factor (o grupo de factores) X_k en el coeficiente de determinación (o cualquier otro estadístico de interés) puede ser definido como:

4

en el que R ²(Y│X) es simplemente el coeficiente de determinación en la especificación (3) y R ²(Y│X,X_K ∈φ) es el coeficiente de determinación en otro modelo en el que uno de los componentes, X_k , es eliminado. Otra opción es definir la contribución de X_k como el incremento en R ² haciendo la siguiente comparación:

5

La ecuación (5) mide la contribución de X _k como la R ² en un modelo en el que sólo se incluye este componente.⁹ El problema con las descomposiciones (4) y (5) es que no es exacta, es decir, Σk=1KCk≠R2(Y│X) Una solución a este problema es eliminar todas las variables del modelo de manera secuencial hasta llegar al conjunto vacío. Sin embargo, el orden que sigamos en la secuencia de eliminación tendrá un efecto en la estimación de la contribución de cada variable o grupo de variables (componente). La descomposición de Shapley establecida por Shorrocks (1999) resuelve este problema de "dependencia secuencial" eliminando los elementos en X, siguiendo todas las secuencias de eliminación posibles, estimando la contribución (C_k ) en cada ronda y, finalmente, promediando todas las contribuciones:

6

en que M! es el número de posibles secuencias de eliminación y C_k,m representa -en nuestro caso- el cambio en R² que se le atribuye a Xk en la secuencia de eliminación m. Esta descomposición asegura que Σk=1KCk≠R2(Y│X) y considera los diferentes grados de multicolinealidad en el modelo (3). Las contribuciones obtenidas utilizando la ecuación (6) nos dan el valor esperado del poder explicativo de cada uno de los componentes de la ecuación (3), que considera todos los escenarios o combinaciones posibles.¹⁰

1. Análisis discriminante

Los resultados del análisis discriminante para los cuatro componentes (P_i, F_i, R_i e I_i ), tomados de manera independiente, aparecen en la segunda columna del Cuadro A1 del ^Apéndice. Todas las variables incluidas en el Cuadro A1 son significativas de acuerdo con el discriminante el cual utiliza el valor de la lambda de Wilks (Λ) como criterio para discriminar y ordenar las variables de mayor a menor relevancia.¹¹ A mayor valor de Λ, mayor el poder explicativo de determinada variable, lo cual implica que, para cada uno de los cuatro componentes, la primera variable en el Cuadro A1 es la que tiene mayor poder discriminatorio seguida por la segunda en importancia y así sucesivamente.¹²

De la tercera a la quinta columna del Cuadro 1 del ^Apéndice se presentan distintos estadísticos R ². La tercera columna muestra la R ² que se obtendría en un modelo de mínimos cuadrados ordinarios si las variables explicativas (columna 1) fueran ingresadas de manera secuencial y acumulativa en una regresión en la que el resultado de matemáticas en ENLACE 2008 es la variable dependiente. Naturalmente, al agregar más variables en un modelo de regresión, la R ² aumenta, sin embargo, como se muestra en la cuarta columna del Cuadro A1, el incremento en R ² atribuido a la variable adicional es decreciente.

La quinta y última columna del Cuadro A1 muestra la proporción de la R ² presentada en la tercera columna y la R ² en el modelo "completo", es decir aquel que toma en cuenta todas las variables no descartadas por el análisis discriminante. Esta última columna muestra que, en el caso de las características de los alumnos, la gran mayoría de las variables, aunque tienen un poder discriminatorio significativo, su contribución adicional para explicar la variación en los resultados ENLACE es modesta. Con el fin de descartar variables con escaso poder explicativo y, con ello, mejorar la parsimonia del modelo, se tomó la decisión de enfocar el análisis sólo en el número de variables suficientes para explicar el 95% de la variación atribuible al modelo "completo". Este límite, si bien es arbitrario, permite que los investigadores y los responsables de las políticas públicas enfoquen su atención en un número reducido de variables. Este límite está marcado con una placa en el Cuadro A1.

Así, al interior de las características individuales del alumno, las variables que resumen su trayectoria académica -promedio de matemáticas de secundaria, promedio general de primaria, tipo de primaria y secundaria- resultan ser las variables más importantes en la determinación del logro escolar. Ello se explica porque la producción del logro tiene una naturaleza acumulativa; es decir, el logro en educación media superior es resultado de todos los insumos que han incidido en los alumnos durante toda su vida y no sólo de los insumos que están incidiendo en el último grado escolar. En nuestro modelo, el tipo de primaria y secundaria son variables que condensan información de los insumos escolares pasados que incidieron en los alumnos. Asimismo, la introducción de las variables del promedio de matemáticas de secundaria y el promedio general de primaria están plenamente justificadas en la bibliografía del tema. De acuerdo con ^{Todd y Wolpin (2007)}, la bibliografía de la función de producción educativa comúnmente adopta especificaciones de valor agregado cuando no existen o están incompletos los datos de los insumos pasados (por ejemplo, ^{Tamura, 2001}).

En su forma más básica, la especificación de valor agregado relaciona una medida de logro escolar con los insumos contemporáneos más una variable rezagada de la medición del logro, que funciona como línea base. En nuestro modelo, el promedio de matemáticas de secundaria y el promedio general de primaria son variables proxie del logro escolar rezagado. Al introducir variables que miden los insumos escolares pasados y el logro escolar rezagado en nuestro modelo estamos dándole su justa dimensión a los insumos actuales. Si no se introdujeran esas variables el modelo tendría el problema de variables omitidas y se estaría sobredimensionando la importancia de los insumos actuales en la función de producción educativa. Ahora bien, estas variables se introducen como parte de las características individuales de los alumnos, porque son elementos que trae consigo cada alumno al momento de ingresar a la educación media superior, por lo que los recursos escolares actuales ya no pueden incidir en ellas.

El hecho de ser mujer también es importante para explicar las diferencias en el desempeño. Este resultado es compatible con la evidencia empírica internacional, que muestra que las mujeres tienen mejor resultado que los hombres en las pruebas que evalúan las capacidades de comprensión lectora, mientras que los hombres obtienen un puntaje más alto en capacidad matemática (^{OCDE, 2009}). Las expectativas de nivel máximo de estudios están incidiendo positivamente en el desempeño, aunque se reconoce que esta variable podría tener un componente de endogeneidad importante, es decir, el buen desempeño escolar estaría también moldeando las expectativas y no sólo las expectativas estarían incidiendo en el desempeño. En cualquier caso, este problema no está resuelto en la bibliografía ni teórica ni empíricamente.

En cuanto al grupo de insumos escolares, se observa que variables que están relacionadas con la infraestructura, la escolaridad de los docentes, el ambiente escolar y el programa de estudios están incidiendo de manera relevante en el desempeño escolar. Ello implica que existen diversos ámbitos en los cuales puede incidir favorablemente la política pública educativa en el nivel medio superior, con el objetivo de mejorar el logro educativo. Por lo que se refiere al entorno institucional, las tres variables incluidas: el grado de marginación de la localidad donde se ubica la escuela, los diferentes subsistemas de educación media superior que existen en el país y las entidades federativas son importantes para explicar las diferencias en el desempeño de los alumnos.

Finalmente, en los insumos que conforman los antecedentes familiares, la escolaridad del padre, la marginación del hogar y el número de libros disponibles en el hogar explican 93.2% de la varianza dada por ese factor. Contrario a la bibliografía del tema, los años de escolaridad de la madre es la variable que menos afecta el logro escolar de los estudiantes de bachillerato. Una hipótesis que podría explicar este hecho es que la escolaridad de la madre es mucho más significativa en la infancia de los individuos, por lo que el efecto de dicho insumo estaría plenamente incorporado en las variables proxie del logro previo, que son el promedio general de primaria y el promedio de matemáticas de secundaria.

2. Función de producción educativa

El modelo de la función de producción educativa fue estimado suponiendo que los estados constituyen un estrato. Asimismo, dado que los estudiantes de una misma escuela comparten características que pueden tener un efecto en su desempeño en la prueba, la estimación considera que los individuos están agrupados (clustering) en escuelas. Esta estrategia permitirá obtener errores estándar eficientes.

El coeficiente de determinación R ² muestra que los factores individuales son los que explican un mayor porcentaje de la varianza de la función de producción educativa, seguido de los recursos escolares, el entorno institucional y, finalmente, los antecedentes familiares. El escaso efecto de los antecedentes familiares podría explicarse con el mismo argumento utilizado en el párrafo anterior para el caso de la escolaridad de la madre: el efecto de los insumos del hogar es mucho mayor en la infancia, lo cual queda incorporado en las variables proxie del logro escolar rezagado, mientras que para los jóvenes de 17 o más años de edad, que están por concluir su bachillerato, los antecedentes familiares son menos relevantes para explicar su logro en capacidad matemática.

En el Cuadro A2 del ^Apéndice se presenta los resultados de la estimación de cuatro modelos por mínimos cuadrados ordinarios (MCO). La metodología consistió en estimar las funciones de producción introduciendo de manera sucesiva el conjunto de insumos que conforman cada factor, omitiendo los insumos que aportaban poco a la explicación del logro, de acuerdo con la metodología establecida líneas arriba. Ello permite contar con un modelo que se caracteriza por su parsimonia, sin perder significativamente su poder explicativo. El orden en que se fueron introduciendo los factores en el modelo va de aquellos que aportan un mayor incremento en el coeficiente de determinación R ² a los que aportan menos. Así, el modelo 1 corresponde a la estimación del logro escolar en capacidad matemática como variable endógena y los factores asociados a las características individuales como variables exógenas. El modelo 2 agrega los recursos escolares como variables exógenas. En el modelo 3 se añade el entorno institucional a los dos factores anteriores. Finalmente, en el modelo 4 se estima un modelo completo, en el que se incluye todos los insumos. La mayoría de las variables introducidas en el modelo resultaron significativas. Cabe señalar que se obtiene un R ² de 0.42, que es relativamente alto en la bibliografía del tema.

Una posible crítica a los resultados presentados hasta ahora es que la variable dependiente utilizada por el análisis discriminante y la utilizada en la estimación de la función de producción educativa no es la misma. En la primera utilizamos una variable dependiente de manera discreta con cuatro grados de logro (insuficiente, elemental, bueno y excelente) para identificar los factores relevantes mientras que en la segunda explotamos la variación en la variable continua (puntaje en ENLACE). Para incrementar la confiabilidad y solidez del modelo, en el Cuadro A3 del ^Apéndice se presenta el resultado de estimar el modelo completo por medio de un modelo logístico multinomial ordenado (ordered multinomial logit), comparando los resultados con el modelo estimado por MCO. En el modelo logístico, la variable dependiente son los niveles de logro en capacidad matemática en la prueba ENLACE.¹³ En general, el signo de los coeficientes y el nivel de significación son compatibles con el modelo de MCO, lo cual muestra la congruencia del modelo estimado.

3. Importancia relativa de los cuatro componentes: Descomposición de Shapley

La estimación de las funciones de producción educativa no dirime la cuestión de cuál de los cuatro componentes -individuales, escolares, institucionales, familiares- tienen mayor relevancia para explicar el logro escolar. Ello porque el incremento en R ² presentado en el Cuadro A2 está influido por el orden en que cada componente fue agregándose en el modelo. Por lo anterior, recurrimos al cálculo de la descomposición de Shapley (ecuación 6), lo cual nos permite establecer la contribución de cada componente al R ² observado en el modelo completo.

En la primera columna del Cuadro A3 del ^Apéndice se presenta el cálculo de la R2 si se estima el logro escolar, medido como el puntaje de la prueba de capacidad matemática, como una función de cada uno de los factores o componentes. En la segunda columna se presenta el incremento en R ² como resultado de agregar cada componente al modelo completo. Ninguno de estos dos estadísticos mide la contribución real de cada componente al logro, puesto que, en el primer caso, se sobreestima el efecto de cada componente, al no controlar por el resto de los componentes. En el segundo caso, el incremento en el R ² está influido por el orden en que se incorporó a la estimación cada componente, subestimándose el efecto. El resultado de la descomposición de Shapley se presenta en la tercera columna y, en la cuarta se muestra la contribución porcentual de cada componente al logro cognitivo. Así, el componente de características individuales es el más importante para explicar el logro educativo, puesto que contribuye con 61.1% del valor del coeficiente de determinación en el modelo que incluye a los cuatro componentes, seguido por los recursos escolares (18.2%), el entorno institucional (14.5%) y, finalmente, los antecedentes familiares (6.2%).