nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
Uno de los principales desafíos de la educación en los diferentes niveles en México consiste en lograr una efectiva mejora de los resultados de los aprendizajes de niñas, niños y jóvenes. Para llamar la atención acerca de la profundidad del problema educativo en México, un conocido investigador afirmó, por ejemplo, que en el nivel medio superior “los jóvenes que terminan el bachillerato tienen, cuando más, nivel de tercero de secundaria”.1 Uno puede preguntarse de inmediato si efectivamente esta afirmación tiene sustento empírico suficiente.
Para atender este tipo de preocupaciones, surgió la noción de ganancia educativa, la cual está relacionada directamente al concepto de valor añadido y eficacia escolar (Cervini y Dari, 2008), y alude al progreso en los aprendizajes durante periodos de tiempo determinados (generalmente niveles escolares sucesivos) debido a la acción escolar (Chudowsky et al., 2010; Kane, 2017; Simkrovic, 2017; Amrein-Beardsley et al., 2013).2
Los modelos de ganancia educativa se basan en la medición de resultados de una misma persona en el tiempo (Yeow Meng Thum, 2009), lo que en parte implica contar con una medida de aislamiento de los componentes que se refieren directamente a los factores educativos (que influyen en los resultados escolares), separándolos de otros factores intervinientes, inherentes al sujeto o que se refieren a aspectos socioeconómicos presentes en cada estudiante (Miranda, 2008).
De acuerdo con Gaviria (2006), la ganancia educativa de los alumnos se puede valorar a través de expresiones empíricas de la distancia que existe entre el nivel actual de conocimientos y un nivel previo. Para lograr la medición de valor agregado se pueden utilizar métodos como el escalamiento o equiparación vertical, que se emplea para vincular puntuaciones de instrumentos que evalúan el mismo constructo, pero que difieren en el nivel de dificultad (y están destinados a distinto grado o año escolar). Además, se siguen diseños de aplicación de los instrumentos de forma longitudinal y de modelos estadísticos para identificar los indicadores que dan información de los resultados atribuibles al sistema de enseñanza.
Gaviria y Castro (2010) señalan que los modelos de ganancia educativa tienen las siguientes características comunes:
Utilizan como variables dependientes las respuestas de los estudiantes en diferentes instrumentos de evaluación de logro académico.
Suelen incluir características contextuales de los alumnos y las escuelas como covariables.
Son modelos cuantitativos que incluyen dos o más medidas de rendimiento.
La relación funcional del crecimiento depende del número de mediciones.
Suelen tratarse estadísticamente a través de modelos mixtos de crecimiento.3
Para realizar el escalamiento, es necesario vincular instrumentos que evalúen el mismo constructo en diferentes niveles. Además, para realizar inferencias validas a partir de un escalamiento o equiparación vertical, una condición que se debe asegurar es la adecuación de las escalas entre las medidas de rendimiento académico de los niveles que se están comparando.
Es indiscutible que en México se vienen realizando importantes esfuerzos para incrementar la cobertura, mejorar la infraestructura, diseñar nuevos currículos y formar a los docentes, entre otros aspectos. Sin embargo, aún persisten problemas de calidad de la educación que afectan en mayor medida a los jóvenes en situación de vulnerabilidad. En este sentido, es preciso asignar prioridad al desarrollo de políticas educativas que tengan como propósito potenciar el papel de la acción escolar en cada nivel educativo.
Existe evidencia que muestra que la acción escolar que se despliega en cada nivel educativo puede marcar la diferencia en el desempeño de los estudiantes. El propósito esencial de este artículo es aportar evidencia acerca de la influencia de la escuela en el desempeño de los alumnos y medir la ganancia educativa que significa cursar la Educación Media Superior (EMS) en el país.
Métodos y fuentes de datos
Una de las áreas que se consideraron en el desarrollo de ENLACE-MS (Evaluación Nacional del Logro Académico en Centros Escolares de Educación Media Superior) consistió en proveer información que permitiera conocer la ganancia que representa cursar la educación media superior (EMS) en México. ENLACE-MS se aplicaba a los estudiantes del tercer grado de bachillerato. Para atender este propósito, se buscó desarrollar y alinear las puntuaciones de las pruebas ENLACE-MS con el instrumento aplicado a los alumnos que terminaban su secundaria tres años antes (ENLACE-tercero de Secundaria).
El ENLACE MS se abocó a la medición del nivel de dominio de los alumnos del último ciclo de bachillerato en Comunicación y Matemáticas, las cuales se consideran estructuradoras fundamentales de los aprendizajes.
En la medición del desempeño se utiliza, en el caso de Matemáticas, un modelo que combina distintos contenidos temáticos; y en el caso de Comunicación se emplean tipos de texto que sirven de contexto para plantear situaciones al alumno que le exigen la puesta en práctica de grupos de procesos cognitivos y tareas de menor a mayor complejidad. Esto permite emitir los resultados de la prueba en cuatro diferentes niveles de dominio que sirven para caracterizar las fortalezas y debilidades de los sustentantes que participan anualmente en la aplicación.
Además de ofrecer una prueba diagnóstica para los alumnos del último ciclo de bachillerato, ENLACE-MS se propuso para conocer la ganancia educativa obtenida por los estudiantes después de haber cursado la EMS, por medio de una escala común para las pruebas ENLACE tanto de cierre de trayecto escolar de secundaria, como de bachillerato, para dar progresión a los esfuerzos de evaluación de ambos niveles.
Durante la aplicación de ENLACE-MS entre 2008 y 2010, se hicieron diversos ejercicios y experimentos para consolidar paulatinamente el diseño que se utilizaría en el estudio de ganancia educativa para los años posteriores.
A partir de 2011, la prueba ENLACE-MS se sometió a algunas modificaciones para brindar un diagnóstico acerca del grado de avance de los estudiantes en la implementación del Marco Curricular Común en la EMS. Por ello, la nueva estructura de la prueba mide indicios de competencias básicas asociadas a dos de los cuatro campos disciplinares establecidos en dicho Marco Curricular Común.4 De esta manera, la evaluación del área de Comunicación se adaptó para corresponder con el enfoque pedagógico tanto del campo de Comunicación (comprensión lectora) como del campo disciplinar de Matemáticas.
Posteriormente, a partir de 2015, el examen se incorporó al Plan Nacional para la Evaluación de los Aprendizajes (PLANEA) del Instituto Nacional para la Evaluación de la Educación (INEE), conservando las fortalezas conceptuales y operacionales de ENLACE-MS y transformándose en PLANEA-MS con un nuevo modelo de análisis y estimación, una nueva escala de calificación y nuevos niveles numéricos de dominio para clasificar a los sustentantes.
ENLACE/PLANEA-MS siguió una estrategia de recolección de datos que contempló la elaboración y aplicación anual de diferentes instrumentos de medición y la implementación de un diseño muestral de alumnos a los que se aplicaron los instrumentos que, en conjunto, permiten obtener los parámetros estadísticos para realizar el proceso de calificación y otros procesos con fines de investigación. Estos instrumentos fueron:
Prueba Operativa: se aplicó de manera censal a los alumnos del último año de bachillerato y sus reactivos cada año se hacían públicos después de la aplicación. Con ella se generó información para cada alumno acerca de su nivel de desempeño en las áreas evaluadas.
Versión Pretest: es un instrumento que se ensambla de manera matricial5 y se aplicaba a una muestra representativa de los alumnos que respondían la prueba operativa. Se utilizó para equiparar las pruebas ENLACE/PLANEA MS cada año. La aplicación de esta prueba sirve para el piloteo de reactivos y el ensamble de la siguiente prueba operativa. De manera adicional, se utiliza para estudios especiales.
Pruebas para el proceso de equiparación: son instrumentos de ensamble matricial y se aplicaron de forma contrabalanceada6 con el Pretest. Estas pruebas también denominadas Vínculo se utilizaron para colocar en la misma escala la prueba operativa año con año.
Pruebas para el estudio de ganancia educativa: se ensamblaron de forma matricial y se aplicaron de forma contrabalanceada con el Pretest. Se aplicaron tanto a los alumnos de tercero de secundaria como de tercer grado de bachillerato, y se utilizaron como ancla para equiparar la prueba de ingreso (ENLACE) y egreso (ENLACE/PLANEA MS) con el propósito de obtener una medida que representara la ganancia que resulta de haber cursado la educación media superior. Estas pruebas incluyeron reactivos sobre dos asignaturas o áreas de evaluación: Comunicación y Matemáticas. Los reactivos incluidos en estas pruebas evalúan contenidos tanto de secundaria como de bachillerato. Con el fin de cumplir con los objetivos de tener una escala común entre los dos niveles educativos y para realizar el estudio de ganancia educativa, se retomaron los parámetros de los reactivos y las puntuaciones de los alumnos en las áreas de Comunicación y Matemáticas de la prueba ENLACE tercero de Secundaria.
Cuestionarios de contexto: se administraron a muestras de alumnos y docentes. Los directivos de las escuelas que participaron en la aplicación de la prueba ENLACE/PLANEA-MS también respondían a un cuestionario. Su propósito es contar con información relacionada con variables de contexto que permitan analizar y contextualizar los resultados de los aprendizajes.
Tanto las pruebas de equiparación como las de contexto se aplicaron, año con año, entre 2009 y 2015, a una muestra de alumnos del último ciclo de bachillerato inscritos en aquellos planteles que manifestaron interés en participar.
Todos los instrumentos se desarrollaron con base en la Metodología del Centro Nacional de Evaluación para la Educación Superior (CENEVAL), la cual sistematizó los procesos, las normas y estándares de calidad a los que debían ajustarse los planteles. El modelo consta de diez fases o etapas: diseño de evaluación, delimitación del objeto de medida, construcción del banco de reactivos, verificación cuantitativa, ensamble, aplicación, calificación, emisión de resultados, mantenimiento del examen y elaboración de material complementario. En cada una participaron especialistas organizados en cuerpos colegiados denominados comités académicos. Un Consejo Técnico se encargó de guiar, revisar y autorizar todas las decisiones que afectan a estos instrumentos y su aplicación.
El diseño muestral que se utiliza en la aplicación de ENLACE/PLANEA-MS permitió contar con los datos de un subconjunto representativo de la población a la que se aplicó las pruebas. La aplicación de la prueba ENLACE fue de carácter censal en cada año y se usaron muestras para los procesos de equiparación y para recabar los datos de contexto de los estudiantes. Los datos de la muestra se utilizaron para realizar la indagación sobre las variables de contexto, llevar a cabo los análisis estadísticos necesarios en la equiparación de las pruebas de un año a otro y concretar el estudio de ganancia educativa.
Cada año se realizó la selección de escuelas y de alumnos que conforman la muestra de acuerdo con los planteles que solicitan participar en la evaluación, razón por la cual el tamaño de la muestra varía en cada aplicación. El diseño muestral y las posteriores interpretaciones de los resultados consideran diferentes niveles de desagregación para los que se reportaron los resultados de ENLACE/PLANEA-MS, como el tipo de bachillerato, tipo de sostenimiento o entidad federativa.
¿Cómo se analiza la ganancia educativa?
Para realizar el estudio de ganancia educativa, se buscó que las pruebas ENLACE de secundaria y ENLACE/PLANEA MS midieran constructos7 semejantes. Se optó por tomar como medida de ingreso los resultados de ENLACE de tercero de secundaria y para la medida de egreso los correspondientes a ENLACE/PLANEA MS. Con el fin de establecer una escala común entre estos instrumentos, el proceso se apoyó con el diseño de pruebas ancla que primero, como parte de ejercicios previos, y después como instrumento consolidado se aplicaron de forma controlada y se distribuyeron de manera matricial a una muestra representativa de estudiantes, tanto de tercero de secundaria como del último ciclo de bachillerato (Esquema 1).
Fuente: elaboración propia con base en datos de pruebas Enlace 3º secundaria y Enlace/Planea 3º de educación media superior para estudio de ganancia educativa.
Esquema 1: Diseño de recolección de datos de las pruebas ENLACE 3° de Secundaria y ENLACE/PLANEA-MS.
En 2008 se aplicó la primera prueba y se denominó Alfa. Esta prueba estaba estructurada considerando los contenidos de la prueba ENLACE tercero de Secundaria. En 2009, derivado de la Reforma Integral de la Educación Básica, se modificó la prueba Alfa y se incorporó al diseño una prueba denominada Gamma, que mantenía la estructura de ENLACE MS. En 2010 se conformó una sola prueba integrada por reactivos de las pruebas Alfa y Gamma que únicamente evaluaban contenidos comunes para secundaria y bachillerato; dicha prueba se denominó Delta. Ese año quedó consolidada la prueba para realizar la equiparación en el estudio de ganancia educativa; su aplicación continuó en 2011, después de realizar un ajuste de contenido a una fracción de sus reactivos.
En 2012 se realizó, de manera preliminar y meramente experimental, la primera comparación de desempeño entre una misma generación de estudiantes (2009-2012), con el objetivo de establecer el mejor método de equiparación entre las pruebas. Lo anterior permitió que, en 2013, después de probar la eficacia de la prueba ancla y de identificar el método de transformación lineal media-sigma como el más adecuado para equiparar las pruebas de secundaria y media superior, se realizara el primer estudio formal para conocer la medida de ganancia educativa que obtuvieron los alumnos de la cohorte 2010-2013 en las áreas de Comprensión Lectora y Matemáticas tras cursar la EMS. Los siguientes dos años se continuó la realización del estudio para los alumnos de las generaciones 2011-2014 y 2012-2015.9
La población objeto de estudio fue la generación de alumnos de los centros de EMS de la República Mexicana que inició sus cursos de bachillerato en cada una de las tres generaciones consideradas, restringiéndose el análisis a aquellos alumnos de los que se cuenta con sus resultados en las pruebas ENLACE de tercero de Secundaria y ENLACE/PLANEA-MS. Otro criterio de inclusión al estudio fue que los alumnos hubieran respondido al menos 50 por ciento de los reactivos que integran cada una de las áreas de las pruebas.
La cantidad de alumnos contemplados para realizar el estudio de ganancia educativa en cada generación se presenta en la Tabla 1.
Tabla 1: Total de estudiantes que aplicaron la prueba ENLACE/PLANEA y los que se consideran en el estudio
| Generación | Comunicación | Matemáticas | ||
|---|---|---|---|---|
| Total | En el estudio | Total | En el estudio | |
| 2010-2013 | 994,882 | 633,142 | 1’002,734 | 638,256 |
| 2011-2014 | 1’004,747 | 670,906 | 1’017,352 | 679,055 |
| 2012-2015 | 1’016,375 | 657,062 | 1’027,016 | 665,315 |
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de Secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
En congruencia con las necesidades y características del proyecto de evaluación nacional, el análisis de reactivos, la estimación de habilidad y el procedimiento de equiparación de los instrumentos se trabajaron con base en la Teoría de Respuesta al Ítem (TRI). Para el estudio de ganancia educativa, los parámetros que se obtienen a partir de los análisis estadísticos son:
Discriminación (a). Es proporcional a la pendiente de la Curva Característica del Ítem (CCI) en el punto de inflexión. Puede interpretarse como la cualidad que tiene el reactivo de diferenciar a los sustentantes cuya habilidad está por encima o por debajo de la dificultad del reactivo. Cuanto mayor es el valor de (a), mayor será la diferencia en la probabilidad de responder correctamente al reactivo de aquellos sustentantes que se encuentran por debajo y por encima del punto (b) (la dificultad del reactivo).
Dificultad (b). Es el valor de la variable (θ) sobre el que la CCI tiene su punto de inflexión. Se considera como un parámetro de posición del reactivo. Cuanto mayor sea el valor de (b), mayor será la habilidad necesaria para que la probabilidad de responder correctamente al reactivo sea superior a la probabilidad de responderlo incorrectamente.
Pseudo-adivinación (c). Es la asíntota inferior de la CCI. Determina la probabilidad de responder correctamente al reactivo cuando la habilidad (θ) tiende a menos infinito. Puede interpretarse como la probabilidad de que el reactivo sea contestado correctamente por un alumno cuya habilidad latente tiende a menos infinito. No es estrictamente la probabilidad de una respuesta al azar, puesto que es posible que un distractor bien construido atraiga a los alumnos con menor habilidad latente, y por tano su probabilidad de responder correctamente pude ser menor que si respondiese al azar.
Habilidad (θ). Se considera como la capacidad latente que se desea medir. Se asume que tiene una estructura cuantitativa, y aunque no directamente observable, es la causa que explica las diferencias en las respuestas a los ítems de la prueba. Mientras tanto, (θ) y (b) son valores de una misma escala, por lo que son directamente comparables. Por eso no se habla de una dificultad absoluta del reactivo, sino que esta dificultad viene dada por la diferencia entre (θ) y (b), es decir, (θ - b). Si esta diferencia es positiva, el reactivo es relativamente fácil para el sujeto. Si es negativa, el reactivo es relativamente difícil para el mismo.
La estimación de los parámetros y de la habilidad de los alumnos se llevó cabo mediante el programa BILOG-MG 3.0.10
Para igualar las puntuaciones entre las pruebas de ingreso y egreso (ENLACE tercero de Secundaria y ENLACE/PLANEA MS) se utilizó el método de transformación lineal media-sigma (Fórmula 1) que implicó ajustar la escala cambiando la media y la desviación estándar de las puntuaciones, pero manteniendo la distribución (Hambleton et al., 1991).
Las constantes m y n se obtienen mediante:
Donde:
θb = Habilidad de los alumnos de bachillerato estimada de manera libre.
σs = Desviación estándar de los reactivos de Delta (aplicados en secundaria) que son iguales a Delta EMS.
σb = Desviación estándar de los reactivos de Delta (aplicados en bachillerato) que son iguales a Delta secundaria.
Las tareas de igualación o equiparación de las puntuaciones se enfocaron, en primer lugar, en las constantes de transformación lineal y, en segundo lugar, en las puntuaciones de los alumnos para colocarlas en la misma escala.
El incremento o decremento que se observó al comparar las medias del año de terminación de secundaria y de terminación de EMS representa, para este estudio, la medida de ganancia educativa. Finalmente, se realizaron cálculos para obtener la ganancia absoluta que representa haber cursado el bachillerato, a través de la diferencia entre los resultados de la medida al ingreso (ENLACE tercero de Secundaria) y los resultados de la medida al egreso (ENLACE/Planea MS). En otras palabras y de acuerdo con Castro-Morera (2009), es la distancia que hay entre el nivel final de conocimientos y el nivel inicial (Thum, 2003), y se puede calcular a partir de la siguiente expresión:
Donde: Gi es la ganancia educativa que obtuvo el alumno i por cursar la EMS
Yi1 es el nivel actual de conocimientos del alumno i
Yi0 es el nivel inicial de conocimientos del alumno i
Resultados
Los resultados de este estudio permiten conocer sí la ganancia educativa de los subsistemas de educación media superior en México se mantuvo a través del tiempo y el paso de las generaciones. A continuación, se presenta esta medida considerando diversas características de los planteles y algunos atributos de los jóvenes que cursan la EMS.
Ganancia educativa en tres generaciones de EMS
En las Figuras 1 y 2 se presentan las tendencias de las medias de habilidad al ingreso y al egreso del nivel medio superior, a nivel nacional, para las tres generaciones que participaron en los estudios de ganancia educativa.
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
Figura 1: Área de Comunicación. Comparativo de las medias de habilidad en los dos momentos de evaluación para las tres generaciones a nivel nacional
Figura 2: Área de Matemáticas. Comparativo de las medias de habilidad en los dos momentos de evaluación para las tres generaciones a nivel nacional
El resultado principal que hay que resaltar es que la media de habilidad a nivel nacional experimentó un incremento, hecho que representó una ganancia educativa por haber cursado el nivel medio superior, sin importar la generación a la que hayan pertenecido en las dos áreas de conocimiento evaluadas.
Al comparar gráficamente las medias a nivel nacional, se observa que en el área de Comunicación (Figura 1), los alumnos de las tres generaciones tenían, al momento de ingresar a la educación media superior, un nivel de habilidad similar. Sin embargo, se aprecian diferencias en la distancia entre las medias de habilidad al egresar del tramo educativo, siendo más pronunciada la de la generación 2010-2013. En el área de Matemáticas (Figura 2), los alumnos de las generaciones 2010-2013 y 2011-2014 obtienen una media de habilidad al ingreso muy similar y se separan al egreso, siendo mayor la distancia entre los puntos al final para la generación 2010-2013. Las medias de habilidad de la generación 2012-2015 se encuentra por encima de las otras dos cohortes en ambos momentos de evaluación.
Una vez que se calculó la medida de ganancia, el análisis de varianza (ANOVA) de las medias de ganancia absoluta a nivel nacional permite demostrar que existe una diferencia estadísticamente significativa (p < 0.05) entre las tres generaciones en ambas áreas de la prueba (Tabla 2).
Tabla 2: Resultados de ANOVA de ambas áreas de la prueba, a nivel nacional
| Área | Fuente de variación | Suma de cuadrados | Gl | Media cuadrática | F | Nivel de significancia |
|---|---|---|---|---|---|---|
| Comunicación | Inter-grupos | 20,130.473 | 2 | 10,065.237 | 11,359.580 | 0.000 |
| Intra-grupos | 1’737,652.830 | 1,961,107 | 0.886 | |||
| Matemáticas | Inter-grupos | 35,683.531 | 2 | 17,841.766 | 14,750.268 | 0.000 |
| Intra-grupos | 2’398,159.511 | 1’982,623 | 1.210 |
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de Secundaria y Enlace/Planea 3º de educación media superior
Con la prueba T2 de Tamhane se encontró que las medias de ganancia de las tres generaciones son estadísticamente diferentes entre sí (Tabla 3) en ambas áreas de la prueba.
Tabla 3: Resultados de los comparativos múltiples de la prueba T2 Tamhane, a nivel nacional
| Área | (I) generación comparada | (J) generación comparativa | Diferencia de medias (I-J) | Sig. (valor p) |
|---|---|---|---|---|
| Comunicación | 2010-2013 | 2011-2014 | 0.2432* | 0.000 |
| 2012-2015 | 0.1695* | 0.000 | ||
| 2011-2014 | 2010-2013 | -0.2432* | 0.000 | |
| 2012-2015 | -0.0738* | 0.000 | ||
| 2012-2015 | 2010-2013 | -0.1695* | 0.000 | |
| 2011-2014 | 0.0738* | 0.000 | ||
| Matemáticas | 2010-2013 | 2011-2014 | 0.3293* | 0.000 |
| 2012-2015 | 0.1716* | 0.000 | ||
| 2011-2014 | 2010-2013 | -0.3293* | 0.000 | |
| 2012-2015 | -0.1578* | 0.000 | ||
| 2012-2015 | 2010-2013 | -0.1716* | 0.000 | |
| 2011-2014 | 0.1578* | 0.000 |
* La diferencia de medias es significativa al nivel 0.05.
Fuente: elaboración propia con base en datos de pruebas Enlace 3º secundaria y Enlace/Planea 3º de educación media superior para estudio de ganancia educativa.
Ganancia educativa en alumnos de distintos subsistemas de EMS
En este nivel educativo existe una gran diversidad de arreglos institucionales que ofrecen servicios educativos a los jóvenes en los grados 10 a 12 de su educación. Por eso, a continuación, en la Tabla 4 se presentan los resultados de ganancia educativa para distintos subsistemas de la EMS en las tres generaciones consideradas.
Tabla 4: Comparativo de las medias de habilidad en los dos momentos de evaluación para las tres generaciones de Bachillerato
| Comunicación | Matemáticas | ||||
|---|---|---|---|---|---|
| Ingreso | Egreso | Ingreso | Egreso | ||
| Bachillerato Autónomo | 2010-2013 | 0.48 | 1.23 | 0.54 | 1.36 |
| 2011-2014 | 0.38 | 0.90 | 0.58 | 1.08 | |
| 2012-2015 | 0.57 | 1.19 | 0.90 | 1.64 | |
| Bachillerato Estatal DGE-CGE | 2010-2013 | 0.16 | 1.03 | 0.27 | 1.12 |
| 2011-2014 | 0.07 | 0.70 | 0.26 | 0.82 | |
| 2012-2015 | 0.14 | 0.84 | 0.54 | 1.26 | |
| CECYTE | 2010-2013 | 0.08 | 0.94 | 0.23 | 1.26 |
| 2011-2014 | 0.04 | 0.63 | 0.26 | 0.89 | |
| 2012-2015 | 0.14 | 0.83 | 0.57 | 1.34 | |
| COBACH | 2010-2013 | 0.13 | 0.98 | 0.25 | 1.16 |
| 2011-2014 | 0.11 | 0.65 | 0.33 | 0.83 | |
| 2012-2015 | 0.19 | 0.80 | 0.60 | 1.27 | |
| COLBACH ZM-CDMX | 2010-2013 | 0.27 | 1.01 | 0.24 | 1.02 |
| 2011-2014 | 0.10 | 0.62 | 0.19 | 0.60 | |
| 2012-2015 | 0.26 | 0.49 | 0.45 | 1.01 | |
| CONALEP | 2010-2013 | 0.06 | 0.88 | 0.20 | 1.05 |
| 2011-2014 | 0.00 | 0.55 | 0.19 | 0.64 | |
| 2012-2015 | 0.09 | 0.70 | 0.47 | 1.14 | |
| CONALEP DF-OAX | 2010-2013 | -0.19 | 0.34 | -0.06 | 0.56 |
| 2011-2014 | -0.22 | 0.15 | -0.07 | 0.11 | |
| 2012-2015 | -0.17 | 0.05 | 0.16 | 0.63 | |
| DGB | 2010-2013 | 0.46 | 1.29 | 0.51 | 1.46 |
| 2011-2014 | 0.37 | 1.00 | 0.56 | 1.21 | |
| 2012-2015 | 0.56 | 1.17 | 0.87 | 1.64 | |
| DGECyTM | 2010-2013 | 0.14 | 0.89 | 0.25 | 1.23 |
| 2011-2014 | 0.03 | 0.53 | 0.15 | 0.73 | |
| 2012-2015 | 0.10 | 0.74 | 0.44 | 1.18 | |
| DGETA | 2010-2013 | 0.01 | 0.95 | 0.24 | 1.24 |
| 2011-2014 | 0.06 | 0.63 | 0.31 | 0.97 | |
| 2012-2015 | 0.08 | 0.78 | 0.61 | 1.31 | |
| DGETI | 2010-2013 | 0.33 | 1.20 | 0.42 | 1.51 |
| 2011-2014 | 0.21 | 0.95 | 0.39 | 1.31 | |
| 2012-2015 | 0.36 | 1.17 | 0.70 | 1.73 | |
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
En general, los alumnos de bachillerato de todos los subsistemas analizados obtienen una ganancia educativa por haber cursado este nivel, sin importar la generación a la que hayan pertenecido o el área de conocimiento evaluada.
Al comparar las medias de habilidad, se tiene que en el área de Comunicación, los alumnos de las tres generaciones tenían un nivel de habilidad semejante en los diferentes subsistemas al momento de ingresar a la educación media superior. Por supuesto, también se advierten diferencias en los niveles de habilidad al terminar la secundaria de los alumnos que cursaron la EMS en los distintos subsistemas.
Se registran diferencias en la distancia entre las medias de habilidad al egresar del trayecto educativo, siendo ligeramente la más pronunciada la de la generación 2010-2013. Asimismo, las medias de habilidad en Comunicación de la generación 2011-2014, tanto al ingreso como al egreso, se ubicaron por debajo de las otras dos generaciones.11
En el área de Matemáticas, los alumnos de las generaciones 2010-2013 y 2011-2014 obtienen una media de habilidad similar al ingreso y se separan al egreso de la EMS, siendo mayor la distancia entre los puntos al final para la generación 2010-2013. En tanto, las medias de habilidad de la generación 2012-2015 se encuentra por encima de las otras dos cohortes en ambos momentos de evaluación. Como se advirtió en el caso de Comunicación, también hay marcadas diferencias en las medias de logros de estos jóvenes al terminar su secundaria.12
Cambio en el porcentaje de estudiantes por debajo de la media de logro de aprendizajes
Adicional a lo realizado con los datos de la ganancia educativa de los alumnos, se complementó el estudio con un análisis de dos grupos: el grupo de referencia, esto es, el grupo del que se está reportando su evolución o medida de ganancia educativa, y otro que se denominó resto de la población, que son todos los alumnos que no pertenecen al grupo de referencia y que participaron en el estudio. Por ejemplo, si se analiza al subsistema DGETI, éste será el grupo de referencia, mientras que el resto de los subsistemas, en conjunto, son el grupo resto de la población. Se calcularon las medias de desempeño al ingreso y al egreso de la EMS para cada uno de los grupos; además se obtuvieron los porcentajes de alumnos del grupo de referencia que se encontraban por debajo de la media del resto de la población (Tabla 5). Estos porcentajes, que se reportan para las cohortes 2010-2013 y 2012-2015, permiten dar cuenta del avance en el desempeño de los alumnos por haber cursado el nivel educativo. Por ejemplo, si al comenzar el bachillerato, 50 por ciento de los alumnos de un determinado grupo de referencia estaban por debajo de la media del resto de la población, pero al finalizarlo este porcentaje se reduce a 45 por ciento, se puede suponer que los años cursados en el bachillerato contribuyeron a un cambio de cinco puntos porcentuales. Algunos de los alumnos que previamente estaban rezagados, mejoraron su desempeño con relación a lo que se observa en el resto de la población en su conjunto.
Tabla 5: Porcentaje de alumnos por debajo de la media del resto de la población en las generaciones 2010-2013 y 2012-2015
| Subsistema | Comunicación | Matemáticas | ||||||
|---|---|---|---|---|---|---|---|---|
| Ingreso 2010 | Egreso 2013 | Ingreso 2012 | Egreso 2015 | Ingreso 2010 | Egreso 2013 | Ingreso 2012 | Egreso 2015 | |
| Universidades Autónomas | 38.8 | 43.9 | 37.1 | 40 | 41.2 | 45.8 | 40.8 | 40.6 |
| Bachilleratos estatales | 54.4 | 51.7 | 56.9 | 53.9 | 54.1 | 56.7 | 55.3 | 56.1 |
| CECyTE | 58.3 | 54.9 | 56.3 | 54.1 | 55.7 | 50 | 53.8 | 52.3 |
| EMSAD | 66.1 | 62.4 | 59.8 | 64.1 | 55.2 | 61.4 | 46.2 | 62 |
| COLBACH | 55.8 | 53.5 | 53.9 | 55.3 | 55.1 | 55.2 | 52.7 | 55.2 |
| COLBACH ZM CDMX | 44.6 | 52.9 | 50.6 | 68.1 | 53.9 | 63.9 | 59.9 | 69.5 |
| CONALEP | 58.9 | 57.4 | 58.4 | 59 | 57.3 | 59.7 | 58 | 61.3 |
| CONALEP (DF-Oax) | 71.4 | 77.2 | 70.1 | 81.7 | 69.8 | 82.8 | 71.2 | 82.8 |
| DGB | 40 | 41.8 | 38.2 | 41.2 | 43 | 41.6 | 42.3 | 41.1 |
| DGECyTM | 54.8 | 56.3 | 57.3 | 56.9 | 54.5 | 50.8 | 58.6 | 58.4 |
| DGETA | 60.6 | 54.6 | 58.2 | 55.5 | 55 | 50.8 | 51.8 | 53.3 |
| DGETI | 45 | 44.3 | 45.7 | 39.7 | 46.5 | 38 | 48.5 | 36.1 |
| Particulares | 36.6 | 41.8 | 37 | 39.4 | 42.9 | 43.8 | 43.7 | 41.8 |
| Telebachillerato | 65 | 61 | 60.2 | 61 | 52.1 | 62.4 | 45.6 | 60.6 |
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
Tanto los alumnos de la DGETI y de los CECYTE son los que presentan para las dos cohortes consideradas, y en las dos áreas de conocimiento, disminuciones en la proporción que se encontraba por debajo de la media respecto del resto de la población. Estos cambios son más marcados para la DGETI; la proporción de sus alumnos de la generación 2012-2015 que se encontraban por debajo del valor medio de logro del resto de la población pasó de 45.7 a 39.7 por ciento en Comunicación y de 48.5 a 36.1 por ciento en el área de Matemáticas (Tabla 5).
También los alumnos de la DGETA presentan en general este tipo de resultados, aunque en la última generación ya no se observa una reducción en la proporción de alumnos con logro por debajo de la media del resto de la población en Matemáticas.
Tanto los alumnos de los bachilleratos de las universidades públicas estatales, como de los planteles de DGB y particulares, no presentan avances en este indicador, pero debe apuntarse que se trata de alumnos que mayoritariamente (alrededor de 60 por ciento) ya se encontraban por encima del valor medio de logro de aprendizajes del resto de la población.
En la Tabla 4 se observa también que en algunos subsistemas existe cierta disminución de la proporción de alumnos con resultados por debajo de la media de logro del resto de la población en alguno de los dos periodos presentados y para una de las dos áreas disciplinarias analizadas, aunque no son sostenidos ni marcados.
Análisis con otras variables
Considerando solamente la generación 2012-2015, se abordan a continuación otros aspectos relacionados con la ganancia educativa estimada. El primero de éstos es el relativo al turno del plantel (matutino o vespertino) en que se estudió la EMS. Los resultados que se presentan en las Figuras 3 y 4 muestran que, tanto para Comunicación como para Matemáticas, los turnos vespertinos concentran alumnos con menores niveles de logro que los alumnos que cursaron la EMS en el turno matutino, de manera que las brechas entre los dos grupos se sostienen.
Figura 3: Área de Comunicación. Medias de logro en secundaria y media superior por tipo de turnocursado en EMS
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
Figura 4: Área de Matemáticas. Medias de logro en secundaria y media superior por tipo de turno cursado en EMS
Otro aspecto analizado en este estudio de ganancia educativa es el relativo al tipo de secundaria en la que estudiaron los alumnos. Se consideran cuatro tipos de secundarias: general pública, técnica pública, telesecundaria y secundarias particulares.
En el área de Comunicación, los alumnos de las secundarias particulares presentan una mayor ganancia educativa, aunque relativamente pequeña; en comparación a los otros tres tipos de secundarias. Entre las secundarias técnicas y las generales, los estudiantes provenientes de las primeras presentan también una ligera mayor ganancia educativa durante sus estudios de EMS. Las menores ganancia se observan en los estudiantes que cursaron la telesecundaria (Figura 5 y Tabla 6).
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
Figura 5: Área de Comunicación. Medias de logro en secundaria y media superior por tipo de secundaria
Tabla 6: Diferencia de medias de ganancia educativa por tipo de secundaria
| Tipo de Secundaria | Comunicación | Matemáticas | ||||
|---|---|---|---|---|---|---|
| General | Particular | Telesecundaria | General | Particular | Telesecundaria | |
| Particular | 0.051764 | 0.078203 | ||||
| Telesecundaria | -0.132377 | -0.184141 | -0.590994 | -0.669197 | ||
| Técnica | 0.046995 | -0.00477 | 0.179371 | 0.053227 | -0.024975 | 0.644222 |
Todos los parámetros son significantes con p < 0.000
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de Secundaria y Enlace/Planea tercero de educación media superior.
La Tabla 6 presenta las diferencias en las medias de ganancia educativa de acuerdo a la secundaria en la que estudiaron los alumnos de EMS. En cada celda se presenta la diferencia de las medias de ganancia. Si el signo es positivo, indica que la ganancia fue mayor para los jóvenes que cursaron la secundaria en la categoría del renglón respecto a la categoría en la columna.
En Matemáticas se destaca que el nivel de logro de los alumnos de secundarias técnicas y generales, que era menor que el de las telesecundarias, presentaba mayores niveles de ganancia y al concluir la EMS ya se encontraba por arriba del nivel de logro de los alumnos que provenían de las telesecundarias (Figura 6 y Tabla 6).
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
Figura 6: Área de Matemáticas. Medias de logro en secundaria y media superior por tipo de secundaria
Un tercer factor analizado es el sexo de los estudiantes. Los alumnos hombres en el área de Comunicación y de Matemáticas tienden a presentar una mayor ganancia educativa que las mujeres, siendo significante estadísticamente esta diferencia (Figura 7 y Figura 8; Tabla 7). Esta situación hace que se cierre la brecha por sexo en el área de Comunicación, aunque sigue siendo mayor el nivel de logro de las mujeres.
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
Figura 7: Área de Comunicación. Medias de logro en secundaria y media superior por sexo
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de secundaria y Enlace/Planea tercero de educación media superior para estudio de ganancia educativa.
Figura 8: Área de Matemáticas. Medias de logro en secundaria y media superior por sexo
Tabla 7: Ganancia educativa por sexo 2012-2015
| Sexo | Comunicación | Matemáticas |
|---|---|---|
| Mujer | 0.6014126 | 0.811831 |
| Hombre | 0.7193645 | 0.6689919 |
Todos los parámetros son significantes con p < 0.000
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de Secundaria y Enlace/Planea tercero de educación media superior.
En el área de Matemáticas, se parte de niveles de logro muy similares al concluir la secundaria, pero al finalizar la EMS se amplía la brecha en favor de los hombres.13
Una aproximación multivariada a los elementos asociados a la ganancia educativa
Para evaluar la relación entre las diferentes variables hasta ahora presentadas y la ganancia educativa, se realizó un análisis de regresión a través del método de mínimos cuadrados ordinarios. Los datos utilizados consideran, además de la información sobre ganancia educativa, información del Formato 911 de inicio del ciclo escolar 2015-2016 y de la prueba ENLACE 2012 aplicada a alumnos de tercero de secundaria.
Para medir el efecto de ser hombre o mujer en la variable de interés, se utilizó una variable dicotómica en la cual 1 significa hombre y 0 mujer. Con respecto al tipo de secundaria a la que asistió el alumno, se consideraron cuatro tipos: secundaria general, técnica, telesecundaria y particular. Dichas variables toman el valor de 1 cuando el alumno asistió a los tres primeros tipos de institución y 0 cuando asistió a una secundaria particular, que es la categoría de referencia para los parámetros de esta variable. Los deciles de logro se dicotomizaron para ser incluidos en el análisis. En esta variable, la categoría de referencia es el primer decil en los resultados más bajos en secundaria. Además, se incluyó en el modelo si el alumno asistió o no a un plantel de EMS perteneciente a alguna de las siguientes categorías construidas a partir de la matrícula que atiende: menos de 300 alumnos, entre 301-600 alumnos, entre 601-900 alumnos y más de 900 alumnos. Se tomó la primera categoría como referencia para las otras tres. También se consideró el tipo de sostenimiento del plantel de EMS al que asistió el alumno. Para ello, se construyeron cuatro variables categorías: autónomo, estatal, federal y particular. Los subsistemas considerados en el sostenimiento federal son DGB, DGETA, DGETI, DGECyTM, Colbach ZMCM y CONALEP Oaxaca y Ciudad de México. La categoría de planteles particulares es la de referencia. Finalmente, para estimar el efecto en la ganancia educativa de asistir al turno matutino o vespertino, se construyó una variable dicotómica que asigna el valor de 1 cuando el alumno asiste a la escuela en la mañana y 0 cuando asiste por la tarde.
En el análisis, ganancia educativa es la variable dependiente. La estadística descriptiva de la variable se presenta en la Tabla 8, tanto para Comunicación como para Matemáticas.
Tabla 8: Estadística descriptiva de la variable ganancia
| Área | Media | Desviación estándar | Mínimo | Máximo |
|---|---|---|---|---|
| Comunicación | 0.6565494 | 0.9727417 | -5.249828 | 5.754768 |
| Matemáticas | 0.7357717 | 1.09842 | -5.635805 | 6.659812 |
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de Secundaria y Enlace/Planea tercero de educación media superior.
En la Tabla 9, los resultados de los modelos de regresión indican que:
Tabla 9: Parámetros de regresión de la ganancia educativa 2012-2015
| Variable | Comunicación | Matemáticas |
|---|---|---|
| Sexo | 0.0233*** | 0.177*** |
| Secundaria general | -0.290*** | -0.413*** |
| Telesecundaria | -0.456*** | -0.727*** |
| Secundaria Técnica | -0.254*** | -0.379*** |
| Decil de logro 2 | -0.442*** | -0.391*** |
| Decil de logro 3 | -0.759*** | -0.738*** |
| Decil de logro 4 | -1.021*** | -1.030*** |
| Decil de logro 5 | -1.240*** | -1.285*** |
| Decil de logro 6 | -1.416*** | -1.557*** |
| Decil de logro 7 | -1.591*** | -1.858*** |
| Decil de logro 8 | -1.843*** | -2.183*** |
| Decil de logro 9 | -2.233*** | -2.546*** |
| Decil decil de 10 | -2.715*** | -2.996*** |
| De 300 a 600 alumnos | -0.0437*** | 0.0489*** |
| De 601 a 900 alumnos | -0.0157*** | 0.117*** |
| Más de 900 alumnos | 0.0203*** | 0.210*** |
| Autónomo | 0.187*** | 0.154*** |
| Estatal | 0.118*** | 0.0666*** |
| Federal | 0.196*** | 0.215*** |
| Turno matutino | 0.124*** | 0.126*** |
| Constante | 1.965*** | 2.074*** |
| Observaciones | 572,804 | 580,192 |
| R-cuadrada | 0.123 | 0.292 |
*** p < 0.01, ** p < 0.05, * p <0.1
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de Secundaria y Enlace/Planea tercero de educación media superior.
La ganancia educativa es mayor en los hombres que en las mujeres (parámetros positivos para la categoría respecto a las mujeres), con efectos más grandes en el área de Matemáticas.
En el área de Comunicación, los alumnos de EMS en planteles más pequeños o con más de 900 estudiantes presentan ganancias significativamente mayores que los de planteles entre 300 y 899 alumnos. En el caso de la ganancia educativa para Matemáticas, mientras más alumnos tiene el plantel, mayor es la ganancia educativa en esta área disciplinar.
Los alumnos de los turnos matutinos tienen mayor ganancia educativa que los de los turnos vespertinos.
Alcances y limitaciones
Los resultados aquí presentados indican una mejora en el rendimiento de los alumnos después de haber cursado la educación media superior. Éstos pueden considerarse como indicios relevantes de que los años cursados en el bachillerato ofrecen una ganancia en lo referente a la educación, independientemente de la institución, sus características y el lugar donde ésta se ubique.
Aunque se tiene un referente empírico acerca del cambio en el nivel de logro de aprendizajes de los estudiantes después de tres ciclos escolares en el bachillerato, es importante considerar que este análisis se centra únicamente en dos áreas de aprendizaje.
Además, para el cálculo del indicador de ganancia educativa sólo se contó con aproximadamente 65 por ciento de los datos de los alumnos de las generaciones que presentaron la prueba de media superior y la de ENLACE tercero de secundaria. El 35 por ciento restante corresponde a:
Estudiantes que resolvieron menos de 50 por ciento de alguna de las áreas de la prueba.
Estudiantes que respondieron solo a una de las pruebas (Secundaria o Media Superior).
Estudiantes que no contaban con la CURP completa o ésta fue incorrectamente codificada.
Estudiantes que abandonaron sus estudios (por diferentes razones) o repitieron grado.
Para explorar qué tipo de efecto podría introducir esta característica, a continuación se presentan los datos sobre los niveles de logro en ENLACE/PLANEA-MS, considerando los datos totales de los alumnos que presentaron la prueba y los correspondientes a los estudiantes en este estudio (para los que se pudieron vincular los datos individuales de logro en tercero de secundaria con los de tercero de EMS). En las Tablas 10 y 11 se observa que la población en este estudio tiene una menor proporción de alumnos en el grupo con menor nivel de logro tanto en el área de comunicación como de matemáticas1 (Nivel I).
Tabla 10: Distribución porcentual de alumnos de EMS de acuerdo con el nivel de logro de aprendizajes: población que realizó el examen y considerada en el estudio de ganancia educativa. Área de Comunicación
| Nivel de logro | 2015 | 2014 | 2013 | |||
|---|---|---|---|---|---|---|
| PLANEA | Estudio | ENLACE | Estudio | ENLACE | Estudio | |
| I | 21.8 | 19.5 | 19.1 | 17.7 | 16.4 | 15.0 |
| II | 34.8 | 33.9 | 36.3 | 35.3 | 33.6 | 32.6 |
| III | 37.9 | 40.3 | 40.1 | 41.9 | 43.9 | 45.6 |
| IV | 5.5 | 6.3 | 4.6 | 5.2 | 6.1 | 6.8 |
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de Secundaria y Enlace/Planea tercero de educación media superior.
Tabla 11: Distribución porcentual de alumnos de EMS de acuerdo con el nivel de logro de aprendizajes: población que realizó el examen y considerada en el estudio de ganancia educativa. Área de Matemáticas
| Nivel de logro | 2015 | 2014 | 2013 | |||
|---|---|---|---|---|---|---|
| PLANEA | Estudio | ENLACE | Estudio | ENLACE | Estudio | |
| I | 26.1 | 23.4 | 26.6 | 24.6 | 28.3 | 26.6 |
| II | 35.4 | 34.9 | 34.1 | 33.5 | 35.4 | 34.9 |
| III | 18.0 | 18.9 | 20.0 | 20.7 | 20.2 | 21.0 |
| IV | 20.5 | 22.8 | 19.4 | 21.2 | 16.1 | 17.5 |
Fuente: elaboración propia con base en datos de pruebas Enlace tercero de Secundaria y Enlace/Planea tercero de educación media superior.
Esta evidencia sugiere que algunos alumnos de menor rendimiento académico en secundaria probablemente no lograron transitar en esos años a la EMS o no alcanzaron avanzar hacia el tercer grado de bachillerato (que es cuando se realiza la prueba ENLACE/PLANEA), al haber reprobado o abandonado sus estudios en los dos primeros años de este nivel educativo. En consecuencia, esto podría implicar un posible efecto de sobre-estimación de la ganancia educativa.
Consideraciones finales
Los resultados del análisis indican que los estudiantes presentan ganancia educativa en las áreas de Comunicación y Matemáticas con el tránsito por la EMS.
Sin embargo, este efecto no es homogéneo para todos los estudiantes de la EMS y las brechas no desaparecen por completo al concluir este nivel educativo. Existen diferencias de género en la ganancia educativa, de manera que las mujeres no sólo tienen desempeños de logro de aprendizajes más bajos en matemáticas. Esto se asocia al hecho de que tienden a ser las que presentan menores ganancias. Asimismo, los estudiantes que provienen de telesecundarias tampoco presentan altos niveles de ganancia educativa.
Es necesario indagar más acerca de qué están haciendo los subsistemas en los que más avanzan los estudiantes y cuáles son las características de los aprendizajes en esos planteles. Y también desarrollar medidas de afirmación positiva en la EMS para favorecer mayores aprendizajes para las mujeres y los estudiantes que provienen de secundarias a las que asisten adolescentes del medio rural o urbano marginado.
Este trabajo muestra también la importancia de contar con instrumentos de evaluación de los aprendizajes que cuenten con elementos comparables en el tiempo y que puedan ser vinculados entre niveles educativos a lo largo de la trayectoria de los estudiantes, con el fin de hacer posible la medición de la ganancia educativa y la exploración de sus determinantes.
