Comprensión lectora y habilidades matemáticas de estudiantes de educación básica en México: 2000–2005
Reading Comprehension and Math Skills of Students in Basic Education in Mexico: 2000–2005
Eduardo Backhoff Escudero,1 Andrés Sánchez Moguel,2 * Margarita Peón Zapata,2 ** Edgar Andrade Muñoz2 ***
1 Instituto de Investigación y Desarrollo Educativo Universidad Autónoma de Baja California. Km. 103 Carretera Tijuana–Ensenada 22830 Ensenada, Baja California, México. backhoff@uabc.edu.mx
2 Instituto Nacional para la Evaluación de la Educación. José María Velasco 101, Col. San José Insurgentes, 03900, México, D.F. México. *asanchez@inee.edu.mx, **margarita.peon@inee.edu.mx, ***eandrade@inee.edu.mx
]]>Recibido: 25 de septiembre de 2006
Aceptado para su publicación: 21 de julio de 2008
Resumen
Desde la creación del Instituto Nacional para la Evaluación de la Educación (INEE) en 2002, la sociedad demandó conocer si el sistema educativo había progresado en los últimos cinco años. Para dar respuesta, el INEE utilizó las Pruebas de Estándares Nacionales de Matemáticas y de Comprensión Lectora, aplicadas por la Dirección General de Evaluación de la Secretaría de Educación Pública (SEP) en el año 2000 y replicó el estudio en 2005. Los resultados mostraron que en sexto de primaria las escuelas privadas, públicas, rurales tuvieron un avance significativo en Matemáticas y en Comprensión Lectora, agregando a esta última Educación Indígena. En secundaria sólo las escuelas generales tuvieron un avance significativo en ambas pruebas. Por lo que se refiere al género, las mujeres obtuvieron mejores resultados que los hombres en Comprensión lectora, caso contrario con Matemáticas. En cuanto a la edad, se encontró que los alumnos de edad normativa tienen un rendimiento superior a los alumnos con extra–edad. Las explicaciones encontradas a los resultados destacan las diferencias que existen entre las oportunidades de aprendizaje y el capital cultural de las familias de los distintos estratos y modalidades.
Palabras clave: Evaluación del aprendizaje, educación primaria, educación secundaria, comprensión lectora, matemáticas, México.
Abstract
After the establishment of the National Institute for Educational Evaluation (INEE) in 2002, society demanded to know whether the educational system had progressed during the last five years. In response, the INEE used the National Standards Tests for Mathematics and Reading Comprehension, applied by the Department of Evaluation of the Secretariat of Public Education (SEP) in 2000, and again in 2005. The results showed that sixth graders in private, public, rural schools had made a significant advance in mathematics and reading comprehension. Indigenous Education had also advanced considerably in the latter subject. Among junior high schools, only those of the general category showed significant improvement on both tests. Regarding gender, women scored higher than men in reading comprehension, as contrasted with math. In terms of age, it was found that students of an age normal for their scholastic level performed better than those older. The explanations found in the results highlight the differences between the learning opportunities and cultural capital of the families of the different strata and modalities.
]]> Key words: Performance based assessment, elementary education, secondary education, reading comprehension, mathematics, Mexico.
Introducción
Poco después de la creación del Instituto Nacional para la Evaluación de la Educación (INEE) (Poder Ejecutivo, 2002), diversos grupos sociales y medios de comunicación solicitaron a este organismo difundir información sobre los avances o retrocesos de la educación en México. Tal petición fue motivada, en gran parte, por la publicación de los resultados de estudios internacionales, como el de PISA1 en el año 2000, que situaban a México en los últimos lugares de los países participantes en dichos estudios (Martínez–Rizo, 2004).
Cabe recordar que, con base en los resultados de evaluaciones internacionales, el INEE había realizado dos esfuerzos para conocer las tendencias educativas del país. El primero se llevó a cabo comparando los puntajes mexicanos obtenidos en el estudio de 1995 en el Trends in International Mathematics and Science Study (TIMSS)2, con la réplica del mismo examen en 2000, que realizó la Dirección General de Evaluación (DGE). Los resultados de esa comparación fueron publicados en el documento Tercer Estudio Internacional de Matemáticas y Ciencias (TIMSS): resultados de México en 1995 y 2000 (Backhoff y Solano–Flores, 2003), en el cual se señala que los estudiantes de 9 y 13 años de edad sólo muestran ganancias marginales en sus aprendizajes en dicho lapso de tiempo.
Un segundo esfuerzo realizado por el INEE para conocer las tendencias educativas de México fue la comparación de los resultados de las evaluaciones de PISA. Ese estudio denominado Resultados de las Pruebas PISA 2000 y 2003 en México (Vidal y Díaz, 2004) mostró que los niveles de aprendizaje de los estudiantes de 15 años fueron menores en 2003 que en 2000, o en el mejor de los casos, fueron iguales.
Sin embargo, es importante señalar que ambos estudios fueron realizados con información proveniente de pruebas internacionales que, aunque de gran calidad, no representan necesariamente lo que los estudiantes aprenden en las aulas mexicanas del currículum nacional:
PISA no está diseñado para evaluar el aprendizaje de los contenidos específicos fijados en los programas de las escuelas o de los distritos o regiones correspondientes. Tampoco está pensado para evaluar el desempeño de los docentes ni los programas vigentes. PISA se centra en el reconocimiento y valoración de las destrezas y conocimientos adquiridos por los alumnos al llegar a sus quince años. (Organización para la Cooperación y el Desarrollo Económico [OCDE], 2006, p. 7).
Por lo anterior y con el ánimo de poder informar al público sobre los niveles nacionales de aprendizaje en los últimos años, el INEE realizó un estudio comparativo en 2005 —utilizando los mismos instrumentos, procedimientos y muestras de estudiantes que había utilizado la DGE de la Secretaría de Educación Pública (SEP) en el año 2000—, para evaluar a estudiantes de sexto de primaria y tercero de secundaria. Para este efecto se decidió utilizar las Pruebas de Estándares Nacionales de Comprensión Lectora y Matemáticas.
]]> Bajo la consideración de que uno de los propósitos más relevantes del INEE es proporcionar un conocimiento de los aprendizajes de los estudiantes con distintos grados de desagregación (INEE, 2004), en dicho estudio se consideraron de especial interés los estratos y modalidades educativos de las escuelas primarias y secundarias que se muestran en la Tabla I. Cabe señalar que las abreviaturas se utilizan a lo largo de este trabajo en lugar de las categorías con su nombre extenso.Los resultados de este estudio fueron publicados por el INEE en el informe Estudio comparativo de la educación básica en México: 2000–2005 (Backhoff, et al, 2005).
– El propósito de este artículo es hacer una síntesis del estudio referido, centrándose en el dominio de la Comprensión lectora y los conocimientos y habilidades en Matemáticas de los estudiantes que terminan la primaria y la secundaria. En particular, interesa saber si el sistema educativo ha progresado en el lapso de los últimos cinco años y si este cambio ha ocurrido en forma homogénea en las diversas poblaciones estudiantiles del país. Para ello se formularon las siguientes preguntas: ¿Es el cambio igual en los dos niveles educativos?, ¿lo es para los diversos estratos y modalidades escolares?, ¿para hombres y para mujeres?, ¿para los alumnos, independientemente de su edad?
Muestras de estudiantes
La Tabla II presenta —para las evaluaciones de 2000 y 2005—, las muestras estudiantiles utilizadas, desagregadas a nivel de estrato educativo y modalidad escolar. Se puede apreciar que la muestra de estudiantes de 2000 fue considerablemente mayor a la de 2005, debido a que en el primer caso tuvo una representatividad estatal, mientras en 2005 sólo tuvo representatividad nacional, por lo que la comparación de resultados entre los dos años sólo puede hacerse a nivel nacional, entre los diferentes estratos educativos y entre las otras subpoblaciones desglosadas (sexo y edad).
Debe destacarse el reducido número de estudiantes de escuelas indígenas en 2005 (157), los cuales provenían de 14 escuelas del territorio nacional, por lo que la información que se proporciona en la sección de resultados se debe interpretar con reserva. No es el caso para los demás estratos y modalidades educativos.
Dominios de las Pruebas de Estándares Nacionales
Las Pruebas de Estándares Nacionales, que miden el dominio de Comprensión lectora, utilizan reactivos —43 para sexto de primaria y 62 para tercero de secundaria— de opción múltiple, con cuatro posibles respuestas. Estas pruebas se diseñaron con el objetivo de evaluar las habilidades de lectura para:
]]> 1) Reconocer las diferencias entre diversos tipos de texto. Los reactivos están orientados principalmente a explorar los textos y a hacer predicciones con base en dicha exploración.2) Construir el sentido del texto que se está leyendo. Los reactivos están orientados a construir la esencia del texto.
3) Valorar críticamente un texto. Se presupone que ya existe una integración global de la lectura y el alumno puede formar una opinión o reflexionar sobre aspectos de forma y contenido.
Por su parte, las Pruebas de Estándares Nacionales que miden el dominio de Matemáticas utilizan reactivos de opción múltiple con cuatro posibles respuestas: 48 reactivos para sexto de primaria y 39 para tercero de secundaria. Estas pruebas se enfocaron en evaluar las habilidades matemáticas del estudiante para la solución de problemas, tanto similares a los vistos en clase, como novedosos, que implicaran una generalización o transferencia de dichas habilidades, y no se centran en la comprensión de conceptos matemáticos.
En el caso de la prueba de sexto de primaria, se evaluaron los seis ejes temáticos correspondientes al currículo, agrupados en cuatro bloques: 1) Los números, sus relaciones y sus operaciones; 2) Geometría; 3) Medición; y 4) Tratamiento de la información, procesos de cambio, y predicción y azar.
Para tercero de secundaria, las grandes áreas temáticas en que se agrupa la prueba son: Aritmética; Geometría; Álgebra; Presentación y tratamiento de la información, y Probabilidad. Los contenidos de la prueba corresponden a contenidos curriculares, aunque no cubren de manera suficiente los diferentes ejes o áreas temáticas.
En el reporte en extenso se detallan un poco más los dominios que evalúan las pruebas de estándares nacionales. Sin embargo, este apartado es breve debido a que el énfasis del trabajo no está en el análisis curricular o de las disciplinas evaluadas. Lo que interesa es la comparación de la ejecución de estudiantes de un mismo grado escolar, diferida cinco años en el tiempo, en condiciones similares, ante una misma prueba que tiene cercanía con el currículo nacional.
A manera de ejemplo, al final de este trabajo se presentan cuatro reactivos: dos de Comprensión lectora y dos de Matemáticas, para sexto de primaria y tercero de secundaria (ver Anexo 1).
Las dos pruebas de Comprensión lectora y las dos de Matemáticas se calibraron con el modelo de Rasch (Linacre, 2005), estableciendo un rango de puntuaciones de 200 a 800, una media de 500 puntos y una desviación estándar de 100 unidades. Sin embargo, hay que aclarar que las puntuaciones entre las diferentes pruebas no son comparables, debido a que evalúan dominios escolares distintos.
]]> Resultados de aprendizaje
Los resultados se analizaron tanto en forma agregada como desagregada: por estrato y modalidad educativos; por género y por edad en dos categorías (edad normativa y extra–edad). Las edades iguales o menores a 12 años se consideraron normativas para sexto de primaria, así como las no mayores de 15 años para tercero de secundaria. Se consideró extra–edad, para ambos casos, cuando los estudiantes excedían los límites de la edad normativa.
Para facilitar la interpretación de resultados, se establecieron cuatro niveles de logro —señalados como I, II, III y IV— utilizando las propiedades de la distribución normal de las puntuaciones. Cada nivel quedó definido por 25% de la población total de estudiantes. Así, en el nivel I se ubica 25% de los estudiantes con las calificaciones más bajas, mientras que en el nivel IV se encuentra 25% de los estudiantes con las puntuaciones más altas.
Los resultados obtenidos en este estudio comparativo se presentan de manera sintética en las tablas III, IV, V y VI, las cuales muestran para los dos ciclos evaluados un resumen que permite comparar los cambios en cuanto a:
• Las puntuaciones medias. Es decir, los promedios de las calificaciones que obtuvieron los distintos grupos de estudiantes.
• Los porcentajes de estudiantes ubicados en los niveles de logro I y IV. Es decir, los alumnos con las habilidades más bajas y más altas, respectivamente.
]]>
En la Tabla III, que se refiere a los estudiantes de sexto de primaria entre 2000 y 2005, puede verse a partir de las puntuaciones medias que el nivel de aprendizaje de Comprensión lectora aumentó en la mayoría de las escuelas, con excepción de los cursos comunitarios.
]]> Se debe resaltar que los servicios educativos con mayores incrementos en el nivel de aprendizaje fueron las escuelas privadas y las indígenas. En las primeras el cambio se aprecia sobre todo por el aumento en la proporción de alumnos con niveles más altos de Comprensión lectora, y en las segundas, por la disminución de la proporción de alumnos con niveles más bajos de rendimiento.La Tabla IV muestra que en secundaria, en Comprensión lectora, pareciera haber diferencias significativas en el total de la muestra. Sin embargo, al observar las diferentes modalidades sólo se encontró un cambio significativo, positivo, en las secundarias generales que por el tamaño de su muestra afecta la puntuación media del total. En las demás modalidades no se registraron cambios significativos.
En la Tabla VI puede observarse que el nivel de aprendizaje de Matemáticas de los estudiantes de sexto de primaria aumentó, en general, en los diferentes estratos educativos de 2000 a 2005, aunque no en escuelas rurales públicas ni en cursos comunitarios.
Debe notarse que en Educación Indígena, si bien la puntuación media aumentó y el porcentaje de alumnos en nivel I disminuyó, el porcentaje de alumnos en nivel IV no sólo no aumentó sino que disminuyó ligeramente. Algo similar ocurrió con los Cursos comunitarios, en los que la puntuación media aumentó, así como el porcentaje de estudiantes en nivel IV, pero el número de estudiantes en el nivel I incrementó ligeramente.
En secundaria, en Matemáticas, al igual que en Comprensión lectora, sólo se identificó un cambio significativo, positivo, en las secundarias generales. En las demás modalidades no se registraron cambios significativos.
Diferencias de los alumnos por género y edad
A partir del análisis de las tablas III, IV, V y VI, puede observarse que en relación con el género, las mujeres estuvieron siempre por encima de los hombres en Comprensión lectora, en ambos estudios, aunque el incremento observado de 2000 a 2005 fue proporcional para ambos géneros; es decir, aunque ambos mejoraron, las mujeres mantuvieron la misma distancia respecto a los hombres en el lapso de cinco años.
En Matemáticas los hombres obtuvieron puntuaciones siempre ligeramente superiores a las de las mujeres en ambos estudios. Además, el incremento significativo observado de 2000 a 2005 para sexto de primaria es ligeramente superior para los hombres (de 20.1) que para las mujeres (de 15.7), mientras que en secundaria hay un decremento no significativo que es muy similar para hombres y para mujeres.
Por lo que se refiere a la edad de los estudiantes, los resultados en Comprensión lectora y Matemáticas de primaria muestran que los alumnos de la edad correspondiente al grado en que se encuentran —edad normativa— tienen un rendimiento superior a quienes rebasan esa edad. Más aún, las diferencias de aprendizaje entre ambas edades aumentaron en el lapso de cinco años.
]]> En Matemáticas en secundaria el rendimiento de los alumnos en edad normativa también es superior al de quienes rebasan esa edad, pero estas diferencias permanecen relativamente estables en el transcurso de 2000 a 2005.
Distancia entre los estratos educativos y las modalidades escolares
Un último aspecto es el relacionado con las brechas o distancias entre los puntajes de los alumnos que asisten a planteles de los distintos tipos de servicio educativo. Para ilustrar lo anterior se presentan las figuras 1, 2, 3 y 4, con los cambios ocurridos en el lapso de cinco años en el aprendizaje de los estudiantes, de acuerdo con los niveles de logro alcanzados.
En síntesis, según los datos obtenidos en primaria, las tendencias tanto para Comprensión lectora como para Matemáticas señalan que:
]]> Respecto a las brechas en el nivel de secundaria, se encontró lo siguiente:• Las escuelas privadas aumentaron sus brechas respecto a las demás.
• Las escuelas urbanas aumentaron su distancia respecto a las rurales y a los cursos comunitarios.
• Las escuelas rurales aumentaron sus brechas respecto a los cursos comunitarios.
• Las escuelas indígenas se acercaron a las demás escuelas —más aún, en 2005 sus resultados fueron mejores que los de los cursos comunitarios— con excepción de las privadas.
• La distancia entre las secundarias privadas y las públicas generales disminuyó ligeramente.
• La distancia entre las secundarias privadas y las técnicas disminuyó ligeramente, pero se mantuvo frente a las telesecundarias.
• Las secundarias generales aumentaron sus distancias respecto a las escuelas técnicas y telesecundarias.
• Las escuelas técnicas aumentaron sus brechas frente a las telesecundarias.
• Para el caso de Matemáticas, las diferencias entre años son muy pequeñas.
Conclusiones
El estudio realizado permitió evaluar los cambios en los niveles de aprendizaje en Comprensión lectora y en Matemáticas en el período 2000–2005, en relación con el tipo de escuela, así como con el género y la edad de los estudiantes, y respondió a dos grandes tipos de preguntas.
]]> Por un lado, las que se relacionan con las diferencias en los niveles de aprendizaje alcanzados entre las poblaciones estudiadas independientemente del año evaluado. A este respecto, se encontró que en el año 2000 las modalidades y los estratos educativos se comportaron como en estudios anteriores reportados por el INEE (2003; 2004b): las escuelas privadas obtuvieron las mayores puntuaciones y las indígenas las menores, con una distancia mayor a una desviación estándar entre unas y otras, para las dos asignaturas en primaria. En el caso de secundaria, se encontraron distancias similares entre las escuelas privadas y las telesecundarias, a favor de las primeras. Las diferencias son un poco mayores en Comprensión lectora que en Matemáticas, en ambos niveles educativos.Para el año 2005 las distancias entre algunos grupos cambiaron, pero en general el orden se mantuvo, excepto entre los cursos comunitarios y la educación indígena; sin embargo, ya se señaló que la muestra de este último estrato es muy pequeña, y sus resultados, por lo tanto, limitados en su representatividad. Algunas posibles explicaciones de estas diferencias de resultados entre modalidades y entre estratos, deberían tomar en cuenta las características de la población estudiantil, incluyendo las condiciones materiales y sociales de las escuelas y las familias de los estudiantes, así como las diferencias en las oportunidades de aprendizaje.
Por su parte, los resultados en Comprensión lectora siempre fueron un poco mejores para las mujeres como grupo, y los de Matemáticas, en los hombres; mientras que los alumnos en edad normativa siempre tuvieron mejores resultados que los alumnos con extra–edad. En el caso de las diferencias de género, éstas se han encontrado frecuentemente en estudios similares. Existe una serie de explicaciones que aún no están del todo consolidadas respecto a las diferencias entre edad normativa y extra–edad, parece sensato aventurar que la repetición de cursos o reprobación no está logrando nivelar a los estudiantes que pasan por ella.
Por otro lado, el estudio también respondió a las preguntas que se relacionan con los cambios en los niveles de aprendizaje de distintos subgrupos de estudiantes con el paso del tiempo. Se puede observar que en primaria hubo cambios favorables en casi todos los estratos educativos en Comprensión lectora, y en tres de cinco en Matemáticas. Por el contrario, en secundaria sólo se ve un cambio favorable significativo en las escuelas generales, en ambas asignaturas.
Respecto a cambios en el tiempo por género y por edad, en primaria se encontró que tanto las poblaciones de hombres como de mujeres y de alumnos en edad normativa, tienen cambios significativos entre 2000 y 2005.
En el caso de los estudiantes con extra–edad, hay cambios significativos en Comprensión lectora pero no los hay en Matemáticas de primaria. En secundaria ninguno de estos grupos tuvo diferencias significativas entre 2000 y 2005.
Todos los cambios significativos, tanto entre estratos y modalidades escolares como entre grupos de género y edad, pueden ser considerados como avances del sistema educativo para algunos grupos de estudiantes. Sin embargo, determinar sus causas no es una tarea fácil, y en todo caso no es claro si los cambios se deben o no a méritos del sistema educativo. Harían falta más elementos para poder determinarlo con claridad.
Finalmente, debe resaltarse la importancia de realizar estudios que aporten información sobre las tendencias de la educación en México, los cuales permitan definir mejores políticas educativas. Para ello, es indispensable contar con instrumentos robustos, con los cuales se obtenga información válida y confiable sobre las tendencias en el logro educativo.
Si bien este trabajo, basado en dos aplicaciones de las Pruebas de Estándares Nacionales, ya toma en cuenta las dificultades y especificidades con que se enfrenta un estudio para hacer comparaciones válidas en el tiempo, es necesario comentar que actualmente, una nueva generación de pruebas del INEE ha sustituido a las Pruebas de Estándares Nacionales (Backhoff, Sánchez, Peón, Monroy y Tanamachi, 2006). Una de las razones principales de esto es que estas nuevas pruebas permiten analizar con mayor detalle qué contenidos curriculares dominan o no los estudiantes, ya que están alineadas totalmente al currículo nacional.
]]> Referencias
Backhoff, E., Andrade, E., Monroy, L., Tanamachi, M. L., Bouzas, A., Sánchez, A. et al. (2005). Estudio comparativo de la educación básica en México: 2000–2005. México: Instituto Nacional para la Evaluación de la Educación. [ Links ]
Backhoff, E., Sánchez, A., Peón, M., E. Monroy y Tanamachi, M. L. (2006). Diseño y desarrollo de los Exámenes de la Calidad y el Logro Educativos. Revista Mexicana de Investigación Educativa, 11 (29), 617–638. [ Links ]
Backhoff, E. y Solano–Flores, G. (2003). Tercer Estudio Internacional de Matemáticas y Ciencias (TIMSS): resultados de México en 1995 y 2000 (Colección de Cuadernos de Investigación, No. 4). México: Instituto Nacional para la Evaluación de la Educación. [ Links ]
Instituto Nacional para la Evaluación de la Educación. (2003). La calidad de la educación básica en México. Primer informe anual 2003. México: Instituto Nacional para la Evaluación de la Educación. [ Links ]
Instituto Nacional para la Evaluación de la Educación (2004b). La calidad de la educación básica en México, Informe anual 2004. México: Instituto Nacional para la Evaluación de la Educación. [ Links ]
Instituto Nacional para la Evaluación de la Educación (2004). Plan maestro de desarrollo 2004–2012. México: Instituto Nacional para la Evaluación de la Educación. [ Links ]
Linacre, J. M. (2005). WINSTEPS Rasch measurement computer program. Chicago, IL: Winsteps.com [ Links ]
Martínez–Rizo, F. (2004). La comparabilidad de los resultados de las Pruebas Nacionales: 1998–2003 (Colección de Cuadernos de Investigación, No. 10). México: Instituto Nacional para la Evaluación de la Educación. [ Links ]
Organización para la Cooperación y el Desarrollo Económicos (OCDE) (2006). El programa PISA de la OCDE. Qué es y para qué sirve. París: OCDE. [ Links ]
Poder Ejecutivo (2002). Decreto de creación del Instituto Nacional para la Evaluación de la Educación, publicado en el Diario Oficial de la Federación el día 8 de agosto de 2002. [ Links ]
Vidal, R. y Díaz, M. A. (2004). Resultados de las Pruebas PISA 2000 y 2003 en México. México: Instituto Nacional para la Evaluación de la Educación. [ Links ]
1 Programa para la Evaluación Internacional de Estudiantes, por sus siglas en inglés, que coordina la Organización para la Cooperación y Desarrollo Económico (OCDE).
2 Disponible en Internet en la página del INEE: http://www.inee.edu.mx. [ Links ] ]]>
