Artículos arbitrados

 

¿Cuál es la aportación de la escuela secundaria mexicana en el rendimiento de los alumnos en Matemáticas y Español?

 

What is the Contribution of the Mexican Junior High School to Student Achievement in Mathematics and Spanish?

 

Margarita Zorrilla Fierro

 

Instituto Nacional para la Evaluación de la Educación, José María Velasco 101, Col. San José Insurgentes, 03900, México, D. F., México. Correo electrónico: margarita.zorrilla@gmail.com

 

Recibido: 21 de agosto de 2009
Aceptado: 2 de octubre de 2009

 

Resumen

Esta investigación se ubica en el enfoque investigativo de la eficacia escolar. Éste postula la existencia de ciertas características de las escuelas que tienen un efecto propio y significativo sobre el rendimiento escolar de sus alumnos. En particular, el trabajo se sitúa en la categoría de estudios sobre los efectos escolares. El efecto de la escuela se define como la proporción de la varianza de los resultados de rendimiento escolar que es atribuible a las políticas y prácticas escolares. El propósito de la investigación es la estimación de la magnitud del efecto de la escuela, es decir, de la aportación relativa de la escuela en la variación total del rendimiento académico en Español y Matemáticas en los tres grados de la escuela secundaria mexicana. Los datos utilizados provienen de las pruebas de Estándares Nacionales de los años 2002 y 2003 que fueron aplicadas a una muestra nacional de escuelas de educación secundaria en México. El análisis se realizó a través de Modelos Multinivel con el programa HLM. Se trabajó con modelos de dos niveles (alumno y escuela). La investigación, de base descriptiva y correlacional, aporta elementos explicativos en función de los análisis realizados. Los principales hallazgos son: a) la estimación del efecto de la escuela a través del índice de correlación intraclase (ICC) resultó de 12% para Español y 9% para Matemáticas, lo que significa, que las escuelas secundarias mexicanas son más semejantes entre sí. No obstante que parezca paradójico, podemos afirmar que este efecto, numéricamente hablando, es suficiente para decir que la escuela a la que asisten los alumnos hace la diferencia; b) al comparar los efectos escolares entre modalidades de operación de las escuelas secundarias se encontró que en el caso de Matemáticas, las escuelas de telesecundaria tienen un efecto mayor en el rendimiento de sus alumnos que las generales y técnicas y las escuelas privadas respecto de las públicas, tanto en Español como en Matemáticas.

Palabras clave: Efectividad escolar, eficacia escolar, educación secundaria, enseñanza de las matemáticas, enseñanza de la lengua.

 

Abstract

This study focuses on the research area of scholastic efficacy. It postulates the existence of certain characteristics of schools which have a personal and significant effect on the scholastic achievement of their students. In particular, the work falls into the category of studies on school effects. The effect of the school is defined as the proportion of the variance of the scholastic achievement results attributable to school policies and practices. The purpose of the study is to estimate the magnitude of the school's effect, i.e. the relative contribution of the school in the total variation of academic achievement in Spanish and Mathematics in the three grades of the Mexican junior high school. The data employed come from the National Standard Tests for 2002 and 2003, applied to a national sample of junior high schools in Mexico. The analysis was performed with the HLM program, using Multilevel Models. The work was done with a model of two levels (student and school). The research, which is descriptive and correlational, contributes explanatory elements based on the analyses made. The key findings are these: a) The estimated effect of the school through the intraclass correlation index (ICI) was 12% for Spanish and 9% for Mathematics, which means that the Mexican junior high schools are quite similar to each other. Although it may seem paradoxical, we have confirmed that this effect, numerically speaking, is sufficient for us to say that the school which students attend makes the difference. b) In comparing scholastic effects between the junior high schools' modalities of operation, it was found that in the case of Mathematics, the telesecundarias (junior high schools conducted by Internet) have a greater effect on student performance than do general and technical public schools, or private schools, in both Spanish and Mathematics.

Key words: School effectiveness, secondary education, mathematics instruction, language Instruction.

 

Introducción

En esta contribución se presentan algunos de los resultados más relevantes de un estudio más amplio sobre la estimación de los efectos escolares y el análisis de dos propiedades científicas: la consistencia de los efectos y la eficacia diferencial. En particular, el artículo se centra en la estimación de la magnitud del efecto de la escuela secundaria en dos asignaturas: Español y Matemáticas. El texto se estructura en cuatro partes: Fundamentación, metodología, resultados, discusión y conclusiones.

 

I. Fundamentación

Por su importancia para los seres humanos y las sociedades, la educación se establece como un derecho fundamental de todo individuo y el Estado nacional debe garantizarlo sin discriminación alguna. Por ello, la escuela y los sistemas educativos, como hoy los conocemos, fueron desarrollándose en cada país con el fin de preservar y transformar la cultura, así como para garantizar el derecho de todos a ser educados. No obstante esta aspiración y el arduo camino recorrido, por pensar sólo en el siglo XX, la distancia entre los anhelos y los logros obtenidos parece insalvable.

La escuela, además de sus funciones estrictamente educativas orientadas a promover el desarrollo y el aprendizaje de sus alumnos, es una institución social, cultural y política multifuncional. Así, se la asigna una función de control ideológico que ahora expresamos en términos de la democracia y la tolerancia; una función política en el sentido de formar ciudadanos competentes, y una función económica orientada a la formación de competencias llamadas genéricas, que tengan la bondad de ser intercambiables para una mejor inserción en el mercado laboral. Si bien, existen otras agencias de formación de los individuos, la escuela tiene una peculiaridad que está dada por su carácter de control, es decir, es un ambiente pautado, con propósitos y del que se espera que se obtengan ciertos resultados.

Desde la perspectiva de la función social educativa, la misión de la escuela puede ser expresada en términos de que es la institución social responsable de la realización del derecho a la educación, mediante la distribución social de conocimientos y saberes. En otras palabras, la escuela tiene la misión de promover y asegurar, hasta donde lleguen sus posibilidades, que todos sus alumnos logren aprendizajes relevantes para su vida presente y futura.

A pesar de que parece que la escuela no cambia su formato original de funcionamiento, en realidad han ido ocurriendo cambios en algunos de los procesos que en ella acontecen. Hoy día pocos educadores sostienen que "la letra con sangre entra" y muchos comprenden que la meta de su trabajo es el desarrollo y el aprendizaje. Asimismo, ahora se sabe que el niño llega a la escuela con experiencias previas que condicionan, determinan o, tal vez sea mejor decir, contextualizan su proceso de aprendizaje; lo que significa que una buena cantidad de los educadores ya no parten del principio de la tabula rasa. Estos cambios no son menores y se deben en gran medida a los avances en la investigación sobre el desarrollo humano y la educación.

Sin embargo, existe una gran dificultad, y es que la mayoría de las escuelas no han sido concebidas para transformar la sociedad, sino para reproducirla. El sistema escolar siempre ha estado en función del tipo de organización de la vida social dominante. Esta afirmación hace evocar los estudios de Bourdieu y Passeron (1979) sobre el fenómeno de reproducción social en las escuelas, que en sociedades como la mexicana no es más que la reproducción de las condiciones de desigualdad social existentes. Asimismo, se hacen presentes los resultados del Informe Coleman (Coleman et al., 1966), en Estados Unidos, y el Informe Plowden (Plowden, 1967), en Reino Unido, que cuestionaron con severidad y evidencias el papel que la escuela estaba teniendo respecto al aprendizaje de sus alumnos, hasta llegar a decir, en palabras de Jencks et al. (1972), que "la escuela no importa".

Hoy día, frente a las transformaciones vertiginosas, debidas al avance científico y tecnológico, así como aquellas originadas por la globalización de los mercados, las sociedades, prácticamente en todo el mundo, viven cambios profundos de diversa índole. Todo ello significa nuevas exigencias para los sistemas educativos y la escuela.

Tanto el desarrollo científico y tecnológico, como la perspectiva del mercado no son los únicos motores del cambio en educación. Frente a las visiones y requerimientos de la ciencia, la tecnología y la globalización, resalta la importancia de atender otros fines de la educación, los cuales colocan el desarrollo humano de todos los individuos en el foco de atención, junto con la consecución de objetivos sociales como son la justicia, la libertad y la democracia. En este tenor, los asuntos referidos a la calidad de la educación, como la pertinencia, la eficacia, la eficiencia, el impacto y la equidad, aunque en distinto grado se encuentran en el centro de las preocupaciones de docentes, investigadores, políticos, padres de familia y de la sociedad en general.

Cambiar la educación para lograr un mundo humano más justo y fraterno continúa siendo un ideal vigente en nuestros días. De momento, parecería sencillo preguntarse por la razones que apoyan este ideal que heredamos de la Ilustración; sin embargo, no lo es. Esto, debido a que la educación es un proceso de doble hélice, ya que hace referencia al desarrollo de cada persona en lo individual, así como en lo colectivo o social. Sin desconocer la existencia de otros espacios, se sigue pensando que la familia y la escuela son ámbitos de experiencia formativa esenciales para atender ambas dimensiones.

¿Importa la escuela?, ¿para quiénes importa? Si tomamos como referencia la cantidad de recursos que en México se destinan al sector educativo, observamos que en 2008, 22.7% del gasto programable del gobierno federal¹ se destinó a la educación, esto es, casi la cuarta parte. La población escolar que se encuentra en el sistema educativo mexicano asciende a casi 32 millones de estudiantes, aproximadamente, la tercera parte de la población del país.

Ahora bien, si consideramos la cantidad de horas que un individuo pasa en la escuela mexicana, tomando como punto de referencia de la enseñanza básica obligatoria un grado de educación preescolar, seis de primaria y tres de secundaria, se estima que al término de 10 años, en horas–escuela se han acumulado 9,600 horas, a las que habría que añadir el tiempo destinado a las tareas escolares en casa. Expresado así, podemos pensar que la escuela importa para los gobiernos y para los individuos. Sin embargo, la polémica acerca de sus beneficios personales y sociales es tan vigente ahora como antes.

Desde el Informe Coleman (Coleman et al., 1966) el tiempo ha transcurrido inexorablemente, esto hace recordar una anécdota: Al conversar dos educadores sobre la situación de la enseñanza en su país en la década de los años noventa del siglo XX, le decía uno de ellos al otro: "en la época de oro de la enseñanza", pero fue interrumpido por la expresión de asombro de su colega quien exclamó: "¡cómo!, ¿ya pasó?".

Con esta breve anécdota se ilustra que la educación y los sistemas educativos, responsables de una buena parte de ella, periódicamente se encuentran bajo examen. Con más frecuencia que la que nos gustaría, la educación y sus instituciones experimentan crisis que suelen ser recurrentes y parece que no conseguimos superarlas del todo, por lo que se van sedimentando unas sobre otras, dejando asuntos con soluciones inconclusas y que en algún momento vuelven a presentarse con nuevas dimensiones.

A pesar de los avances que ha experimentado la educación escolar, las críticas a la escuela son diversas y parecen multiplicarse. Por ello, el papel que la escuela tiene en el desarrollo y aprendizaje de los individuos, es objeto de estudios sistemáticos desde distintos enfoques teóricos y acercamientos metodológicos.

En particular, el enfoque investigativo de la eficacia escolar, que surge como una reacción a las conclusiones del Informe Coleman (1966), ha mostrado, a través de numerosas investigaciones en casi todo el mundo, que la escuela sí importa. El centro escolar en su conjunto es clave para el mejoramiento de la calidad y equidad educativas. Esta tradición investigativa aporta conocimiento acerca de la magnitud del efecto escolar y de los factores que contribuyen a mejorar los resultados escolares entendidos como el desarrollo integral de todos los alumnos. Entre dichos factores se encuentra el clima educativo de la escuela y el aula, el trabajo en equipo de los docentes, la participación de la comunidad educativa en su conjunto, la labor y liderazgo de los directivos, el seguimiento y monitoreo de acciones y proyectos de trabajo, la pertinencia y calidad del currículo, el tener altas expectativas acerca de la capacidad y logro de cada uno de los estudiantes, pero también los recursos económicos y materiales disponibles y la formación inicial y permanente de los docentes así como sus condiciones de trabajo (Schmelkes, Martínez y Noriega, 1997; Sammons et al., 1995; Murillo, 2005a).

Por otra parte, los estudios sobre gestión y política escolar alertan sobre las dificultades que atraviesan los maestros y directivos escolares para responder a las exigencias y demandas de su entorno social y del propio sistema educativo. En este sentido, advierten sobre la urgencia de que los gobiernos asuman su responsabilidad en la creación de condiciones institucionales para que los maestros y directivos realicen, de la mejor manera, la función de educar que les ha sido encomendada (Ezpeleta, 2004a, 2004b).

Ya que hoy se dispone de conocimiento para afirmar que la escuela sí importa, es relevante ocuparse de identificar sus logros, así como los factores que hacen que una escuela sea eficaz y de igual manera, las dificultades que enfrenta para lograr sus metas formativas en las nuevas generaciones de niños y niñas.

Precisar las metas respecto a la calidad de la educación, así como de equidad en la distribución de oportunidades para aprender, requiere identificar el peso atribuible a la escuela, así como a los factores sociales y escolares que contribuyen a la obtención de niveles diferenciales de logro educativo, en estudiantes que provienen de poblaciones diversas y viven en contextos distintos. Esto significa ir más allá de la preocupación por la cobertura del servicio educativo y del problema que ha representado el acceso a la escuela.

El propósito de reformar los sistemas educativos significa cambiar la educación escolar para que sea de mejor calidad y esté orientada de manera decisiva a la equidad en la distribución de las oportunidades para aprender. Esta nueva manera de comprender el papel de la educación ha colocado a los sistemas educativos y a la escuela en una dinámica de cambio, no exenta de dificultades y contradicciones.

La escuela se ha convertido en la unidad del cambio en educación. Esta afirmación se sustenta en el argumento de que el mejoramiento de la calidad es un fenómeno que ocurre en las aulas y en las escuelas. El total de la experiencia escolar es mayor que la simple suma de las experiencias que cada alumno tiene en lo individual en las aulas consideradas de manera aislada. Esto es así, porque es la escuela la que proporciona consistencia a la experiencia que sucede a través de las aulas, lo que sería impensable sin la existencia del nivel organizacional que significa la institución escolar.

Para que la educación contribuya a la construcción de una mejor sociedad es necesario que cada escuela incremente las posibilidades de conseguir que los logros de aprendizaje sean similares en todos sus alumnos. Para ello, ha de ofrecer a quienes más lo necesitan oportunidades que les permitan compensar sus desventajas socioeconómicas, culturales y educativas previas.

La transformación de los sistemas educativos y de la escuela es una exigencia y, a la vez, un deber moral hacia las nuevas generaciones. Para diseñar y conducir los cambios, se requiere de la complementariedad de distintos tipos de conocimientos. Entre ellos destacan: el conocimiento científico sobre procesos, actores e instituciones educacionales; el saber técnico profesional acerca de los elementos que requiere el funcionamiento del sistema educativo; el saber burocrático administrativo de las tramas institucionales; el saber político como factor clave para las negociaciones y el establecimiento de acuerdos y consensos para darle viabilidad a las decisiones; el conocimiento pedagógico acerca de las características y tiempos de aprendizaje que requieren los distintos actores para comprender y apropiarse de los procesos de cambio, y el saber que deriva de la práctica de los educadores.

En particular, el conocimiento científico tiene como propósito aportar elementos de conocimiento, organizados y sistemáticos que mejoren la comprensión que tenemos de los fenómenos que acontecen en el amplio y complejo campo que estudian las ciencias de la educación.

La investigación que se reporta se ubica en el enfoque de la eficacia escolar. El argumento eje de la eficacia escolar sostiene que las escuelas sí influyen en el logro educativo de sus alumnos. En otras palabras, se postula la existencia de ciertas características de las escuelas que tienen un efecto propio y significativo sobre el rendimiento de sus alumnos.

En la investigación sobre la eficacia escolar se identifican cuatro grandes categorías de estudios:

a) Sobre efectos escolares que incluye los estudios que tienen como propósito la estimación de la magnitud de los efectos de la escuela en el rendimiento de los alumnos, así como también estudiar las propiedades científicas (Teddlie, Reynolds y Sammons, 2000) de los efectos escolares.

b) Sobre escuelas eficaces que se refiere a los estudios acerca de los factores de contexto, insumo, proceso y producto que contribuyen a una escolarización eficaz en distintos niveles de análisis como son el aula, la escuela, el municipio o región o incluso el país.

c) Sobre mejora de la escuela en la que se agrupan los estudios que indagan acerca de los procesos de cambio en las instituciones escolares.

d) Sobre mejora de la eficacia escolar, una cuarta categoría que surge recientemente de la fusión de los movimientos de eficacia escolar y de mejora de la escuela.

Esta investigación se ubica en la categoría de los estudios sobre los efectos escolares, tanto por lo que se refiere a la estimación de su magnitud, como al análisis de algunas de sus propiedades científicas. Dos fueron los propósitos: identificar, a través de un análisis multinivel, con un modelo de dos niveles (alumno y escuela), la aportación relativa de la escuela en la variación total del logro académico en Español y Matemáticas en los tres grados de la escuela secundaria mexicana, con base en los resultados de la aplicación de las pruebas de Estándares Nacionales (EN) de los años 2002 y 2003 a una muestra nacional de escuelas; y estudiar dos propiedades científicas de los efectos escolares: la consistencia de los efectos entre Español y Matemáticas y la eficacia diferencial según algunas características de los alumnos, como: género, grado escolar, asistencia a preescolar y nivel socioeconómico de las familias. En este artículo, como se ha mencionado sólo se reportan los resultados relativos a la estimación de la magnitud del efecto de la escuela secundaria mexicana.

¿Por qué realizar un estudio de los efectos escolares y sus propiedades científicas en escuelas secundarias mexicanas? La condición previa a la indagación acerca de los factores de eficacia (ineficacia) de la escuela, es la estimación de la magnitud del efecto escolar. El propósito de ello es aislar la proporción de la varianza de los resultados de rendimiento escolar que es atribuible a las políticas y prácticas de la escuela, frente aquella variación que se debe a las características de los alumnos, a sus condiciones socioeconómicas derivadas de su origen familiar y a sus antecedentes escolares. Asimismo, es pertinente estudiar las propiedades científicas de dichos efectos de la escuela, es decir, conocer si los efectos son consistentes entre distintas medidas de rendimiento; también averiguar si la escuela tiene el mismo efecto para distintos grupos de alumnos (por género, clase social, etnia, preescolarización, grado escolar, entre otras clasificaciones). Además, es relevante identificar la eficacia de la escuela a través de varios ciclos escolares e incluso más allá de la escuela, cuando los alumnos hayan concluido su escolarización básica.

La preocupación científica acerca de cuánto importa la escuela es también pertinente para la toma de decisiones de política educativa. Como se ha mencionado, a partir de la publicación del Informe Coleman (Coleman et al., 1966) se originó una amplia polémica entre investigadores, educadores y políticos, debido a que en el citado informe se afirmaba que las diferencias socioeconómicas entre los alumnos son responsables de las variaciones en su desempeño escolar y que, por tanto, la esperanza de combatir las desigualdades sociales mediante una mejor distribución del financiamiento a la educación, era una quimera. A pesar del conocimiento producido acerca de la importancia de la escuela al identificar su influencia en el aprendizaje de sus alumnos, y el esfuerzo social y político por construir su sentido educador, la polémica acerca de la relevancia social de esta institución es aún vigente. Nuestra postura es que la escuela importa para los individuos, la sociedad y los gobiernos.

En este estudio se asume la definición sobre escuela eficaz propuesta por Stoll y Fink (1999). Estos investigadores sostienen que una escuela es:

Eficaz si promueve el progreso del aprendizaje de todos sus alumnos más allá de lo que cabría esperar por los conocimientos que poseen [rendimiento previo] y por los factores ambientales [historia previa]; asegura que cada alumno alcanza el máximo nivel posible; mejora todos los aspectos relativos al conocimiento y desarrollo de los alumnos y sigue mejorando año con año (p. 68).

Me permito hacer una combinación de propuestas de definición de lo que es una escuela eficaz (Blanco, 2007; Murillo, 2005a; Stoll y Fink, 1999): Una escuela es eficaz cuando consigue que el aprendizaje y desarrollo integral de todos y cada uno de sus alumnos sea significativamente mayor de lo que sería esperable al tener en cuenta su rendimiento escolar previo y la situación social, económica y cultural de las familias y además, logra mantenerlo e incluso mejorarlo a lo largo del tiempo.

Como se observa, se enfatiza el progreso de todos los alumnos y su desarrollo integral más allá de lo esperado, así como el continuo mejoramiento a lo largo del tiempo. Los avances metodológicos de la línea de investigación sobre la eficacia de las escuelas posibilitan la identificación de aquellas características que hacen que unas escuelas sean mejores que otras, independientemente del origen social, la etnia, el nivel cultural o los conocimientos previos de sus estudiantes.

Estos planteamientos fundamentan numerosos estudios sobre la eficacia de las escuelas de educación primaria, algunos ejemplos de ellos en Iberoamérica son: Blanco, 2007, 2008; Fernández, 2004, 2008; Ferrão, 2006; Ferrão y Fernandes, 2003; Lastra, 2001; Murillo, 2004, 2007, Murillo et al., 2007; Soares, 2004; Soares y Collares, 2004; Soares, Alves y Oliveira., 2001; Alves, 2007). Y de educación secundaria como los de Backhoff, Bouzas, Contreras, Hernández y García, 2007; Cervini, 2003, 2004, 2005, 2006a, 2006b, 2007; Instituto Nacional para la Evaluación de la Educación [INEE], 2007.

Para el caso de México, los estudios de eficacia de las escuelas son escasos. De los pocos que se han realizado, se refieren a la educación primaria y son menos sobre la educación secundaria. Esto tiene una explicación, la educación primaria fue el único nivel obligatorio durante prácticamente todo el siglo XX, y este hecho favoreció que la comunidad de investigadores dirigiera de manera primordial su atención a este nivel.

Con base en esta manera de entender lo que es una escuela eficaz, regreso al objeto específico de la investigación. La discusión científica derivada del Informe Coleman (Coleman et al., 1966) se produce en distintos niveles y con diferentes énfasis. Por un lado, la discusión teórica en la que participan distintas disciplinas de las ciencias del hombre como la sociología, la economía y la psicología. Y por otro, el debate metodológico acerca de la medición de variables y los métodos de análisis para contrastar las hipótesis. Tanto la discusión teórica como la metodológica abordan cuestiones relativas a la eficacia de la escuela, la estimación de los efectos escolares, así como el análisis de sus propiedades científicas, y el estudio de los factores que hacen que una escuela sea eficaz.

En esta investigación, el eje conceptual sobre los efectos escolares se basa en la distinción que plantean Willms y Raudenbush (1989) y Willms (1992) sobre el efecto Tipo A y el efecto Tipo B. El efecto Tipo A se refiere a los efectos de la escuela, considerando tanto las características de los alumnos, sus antecedentes escolares y su procedencia familiar, social, económica y cultural; así como las políticas y prácticas escolares. El efecto Tipo B permite aislar los efectos escolares atribuibles sólo a las políticas y prácticas de la escuela. Es este tipo de efecto el que interesa en este estudio.

La motivación práctica que subyace en esta investigación se relaciona con la escuela secundaria mexicana. La educación secundaria en México se define como el último tramo de la educación obligatoria y está dirigida a alumnos de 12 a 14 años. Se puede afirmar que en México aún no hemos otorgado a la escuela secundaria la importancia educativa que debería tener.

Al establecerse la obligatoriedad de la educación secundaria en 1993, ésta se hizo visible, se manifestó su problemática, así como la urgencia de producir conocimiento sobre este nivel educativo. La educación escolar de los adolescentes es una gran responsabilidad que enfrenta desafíos diversos para los docentes, los investigadores y los políticos. Uno de los retos más importantes es la producción de conocimiento sobre la realidad de la escuela secundaria en distintas dimensiones.

Interesa conocer la capacidad de las escuelas para influir en el rendimiento de sus alumnos y profundizar en ello. Es importante identificar las especificidades institucionales de este nivel educativo frente a las de la educación primaria. Los problemas de pertinencia, eficacia y equidad de la formación o instrucción que se oferta a los estudiantes, no son menores. Producir conocimiento sobre la escuela secundaria mexicana es necesario hacerlo desde distintos enfoques teóricos y mediante la utilización de diferentes acercamientos metodológicos. El estudio que se reporta es un tipo de acercamiento.

 

II. Metodología

Se trata de un estudio empírico, de carácter correlacional, de base descriptiva y con aportaciones analíticas de carácter explicativo.

La indagación empírica de esta investigación consistió en una explotación secundaria de datos que provienen de la aplicación de las Pruebas Nacionales² en los años 2002 y 2003, en el nivel de educación secundaria. En este trabajo nos referiremos a estas pruebas como de estándares nacionales (EN).

Las pruebas de EN se utilizaron en México en el periodo de 1998 hasta 2005, y tuvieron como objetivo indagar sobre el nivel de logro de habilidades de comprensión lectora (para abreviar se referirá como Español) y de habilidades de resolución de problemas matemáticos (para abreviar Matemáticas), que alcanzan los alumnos de primaria y secundaria. Estas pruebas fueron diseñadas por la Dirección General de Evaluación de la Secretaría de Educación Pública (SEP), como parte de un ambicioso programa de evaluación de la educación primaria y la educación secundaria.

La secretaría federal, junto con el organismo equivalente en los estados, aplicaron estas pruebas hasta el fin del ciclo escolar 2001–2002. Las aplicaciones de los años 2003, 2004 y 2005 fueron realizadas por el Instituto Nacional para la Evaluación de la Educación (INEE), creado en agosto de 2002.

La muestra para la aplicación de las pruebas de en deriva de un diseño muestral realizado en el año 2000. Se utilizó la misma muestra de escuelas para los años de 2001 a 2004. El diseño de la muestra original se llevó a cabo en dos etapas. En la primera se realizó una selección de escuelas y en la segunda se eligieron los alumnos a evaluar dentro de cada una de estas instituciones.

De acuerdo con los informes de la Dirección General de Evaluación (DGE) de la sep (DGE–SEP, 2002) y del INEE (2003), la selección de las escuelas se realizó mediante un muestreo estratificado de probabilidad proporcional al tamaño de la escuela (PPT). En cuanto a la selección de los alumnos de secundaria, se eligieron aleatoriamente 35 alumnos por cada grado evaluado en cada escuela (INEE, 2004a). En resumen, se trató de un muestreo probabilístico, estratificado, bietápico, con dominios de estudio (o subpoblaciones con representación estadística).

El proceso antes descrito permitió contar con una muestra representativa a nivel nacional de todas las escuelas de educación secundaria del país, pero además permitió que las escuelas y los alumnos seleccionados fueron representativos de la modalidad de operación a la que pertenecía el plantel escolar. En el caso de la educación secundaria, se consideró lo que se denominó estratos y fueron definidos desde que se inició el programa de Evaluación de Estándares Nacionales, como (INEE, 2004b):

• Escuelas secundarias generales (GRAL): escuelas públicas enfocadas en proporcionar una formación general a los alumnos que permita el tránsito a estudios pos–secundarios.

• Escuelas secundarias técnicas (TEC): escuelas públicas que ofrecen, además de la formación proporcionada por las secundarias generales, formación técnica en un área específica.

• Telesecundarias (TV): se caracterizan principalmente por contar con un sistema que utiliza como guía el seguimiento de la transmisión televisiva. El enfoque es también de una formación general.

• Escuelas secundarias privadas (PRIV): escuelas que se sostienen de recursos provenientes de particulares. Predominan las escuelas de modalidad general aunque en mucho menor medida las hay también técnicas.

Esta definición de estratos representa una combinación que no es explícita; esto es, de titularidad de las escuelas (pública y privada) con modalidad de operación (general, técnica y telesecundaria). Esta aclaración es pertinente, pues en el caso de las escuelas privadas, éstas pueden ser de modalidad general (la gran mayoría) o técnica. Escuelas privadas de este nivel en la modalidad de telesecundaria (TV) prácticamente no existen.

En nuestro caso, el criterio utilizado para definir la muestra con la que se trabajaría fue incluir en la base de datos sólo a las escuelas que fueron evaluadas en los dos ciclos escolares considerados, 2002 y 2003 (Ver Tabla I).

La decisión de considar estos ciclosi obedece a dos razones. La primera tiene que ver con el hecho de que fueron los dos últimos levantamientos en los que se aplicó la prueba de EN de secundaria a estudiantes de los tres grados de este nivel. La segunda razón se refiere a una inquietud, ¿realmente es posible esperar cambios en la estimación de la magnitud del efecto de la escuela de un año a otro?

Las variables dependientes se definieron como el nivel de logro obtenido en las pruebas de en de Español o de Español y Matemáticas para los ciclos 2002 y 2003. La definición de las variables de ajuste consideró:

Del alumno: las características personales (sexo), escolares (grado escolar que cursa) y familiares (escolaridad del padre y la madre, bienes), así como su historial escolar (asistencia a preescolar). De la escuela: la composición socioeconómica del alumnado y variables clasificatorias de características de las escuelas (modalidad de operación, titularidad, sostenimiento). Además, se incluyó como variable de ajuste el año de aplicación de las pruebas, con el fin de controlar su efecto.

Willms (1992) sostiene que la precisión de la estimación del efecto escuela depende de la relevancia de los factores que se incluyan en el análisis; la confiabilidad y validez de las medidas de las variables de entrada, de procesos y de resultados; así como el número de escuelas y alumnos en la muestra. En el caso de la estimación del efecto escuela, éste es válido para el conjunto de escuelas que se utilicen en un estudio determinado.

Se utilizó la metodología de los Modelos Multinivel o Modelos Jerárquico Lineales, porque se ajusta a la estructura de los datos disponibles, y porque ha mostrado su potencia como alternativa metodológica para el análisis cuantitativo en los estudios de eficacia escolar.

La idea que sustentan los Modelos Multinivel es que los datos obtenidos en investigaciones de las ciencias de la educación tienen una particularidad: su estructura es jerárquica (anidada o también anillada) o en niveles. De esta manera, los alumnos se encuentran en aulas, éstas en escuelas, las escuelas en sistemas educativos y estos últimos en regiones, provincias, estados o países. En cada uno de estos niveles se identifican variables que, bajo distintos argumentos teóricos y empíricos, explican el rendimiento escolar de los alumnos. Este planteamiento busca superar las limitaciones del análisis de regresión múltiple que se sustenta en el supuesto de independencia de las observaciones.

La naturaleza jerárquica de los datos educacionales comparte el mismo contexto, por lo que esta situación causa su dependencia. Los Modelos Multinivel, por mencionar dos niveles, trabajan con datos del alumno y de la escuela sin necesidad de suprimir o fusionar ambos.

Para atender los objetivos planteados en esta investigación, se utilizaron procedimientos de modelamiento específicos en cada caso.

Objetivo a. Estimar la magnitud de los efectos escolares de la escuela de educación secundaria mexicana en el logro académico de sus alumnos en Español y Matemáticas.

Para calcular los efectos de la escuela es necesario controlar, por un lado, los antecedentes escolares de los alumnos y sus características personales, sociales y económicas, y por otro, tomar en cuenta el efecto que ejerce el nivel socioeconómico de los alumnos que atiende cada escuela. De esta forma, se busca impedir que los efectos de la escuela sean sobreestimados. Se trabajó con modelos de dos niveles: nivel 1, alumno, y nivel 2, escuela.

Los pasos a seguir para realizar dichos ajustes se describen en la siguiente secuencia de los modelos desarrollados. Se inició con el modelo nulo o modelo vacío, el cual se utiliza como punto de partida en los estudios de efectos escolares. Se continúa con el modelo del efecto Tipo A, y en tercer lugar con el modelo del efecto Tipo B.

El efecto escolar se opera como el porcentaje de variación en el desempeño o rendimiento de los alumnos que se debe a las políticas y prácticas de las escuelas. A través de un planteamiento multinivel, el efecto escolar sería la correlación intraclase (ICC), que se calcula a través de la siguiente fórmula propuesta por Raudenbush y Bryk (2002, p. 36):

Por otra parte, del ajuste de los modelos se obtiene un índice de eficacia para cada escuela y es representa por el residual del segundo nivel (u_0j). La distribución de los residuales tiene una media igual a cero y con una distribución normal. Los residuales pueden tomar valores positivos o negativos, según se ubiquen por arriba o por debajo de la media. Esto significa que las escuelas cuyo residual es positivo acrecientan más el rendimiento escolar de sus alumnos que aquéllas cuyo residual es negativo.

Objetivo a1. Analizar la magnitud de los efectos escolares de cada una de las modalidades de operación en que se ofrece la educación secundaria: escuelas generales, técnicas y telesecundarias.

Para analizar el significado de las diferencias en el efecto de las escuelas, en función de su modalidad de operación, se realizó una prueba de análisis de varianza (ANOVA) de un factor, donde la variable dependiente es el efecto de la escuela en cada una de las asignaturas, y el factor es la variable modalidad de operación.

Objetivo a2. Analizar la magnitud de los efectos escolares comparando por sostenimiento y titularidad de las escuelas.

El análisis de las diferencias del efecto de la escuela por sostenimiento se realizó con la prueba anova de un factor, donde la variable dependiente es el efecto de la escuela en cada una de las asignaturas, y el factor es la variable sostenimiento (federal, estatal, particular). En el caso del análisis de las diferencias por titularidad pública o privada, se aplicó una prueba t de Student para muestras independientes.

Objetivo a3. Comparar las estimaciones sobre la magnitud del efecto de la escuela en dos ciclos escolares 2002 y 2003.

El análisis de las diferencias del efecto escolar entre un ciclo escolar y otro se realizó a través de una prueba t de Student para muestras dependientes para cada una de las asignaturas, con el fin de valorar el significado de la diferencia del efecto escolar entre ambos ciclos.

 

III. Resultados

A manera de síntesis, en la Tabla II se presentan los resultados del proceso de modelamiento y el cálculo del ICC. En conjunto, se puede observar el cambio que experimenta el efecto de la escuela en la medida que se introducen en el modelo vacío o nulo las variables de ajuste, primero en el modelo del efecto Tipo A y luego en el modelo del efecto Tipo B.

Cuantitativamente hablando, el efecto de la escuela (modelo Tipo B) en Español resultó de 12% y en matemáticas de 9%. El efecto de la escuela, medido por el ICC es pequeño, pero recordemos que esta medida es una síntesis de las medidas de los efectos de las escuelas incluidas en el estudio.

La estimación de la magnitud del efecto escuela, a través del ICC, significa que estamos hablando de una medida empírica que muestra las variaciones existentes entre las escuelas. En este sentido, lo pequeño de la cifra nos estaría indicando algo parecido a lo que resultó hace más de 40 años en el Informe Coleman (Coleman et al., 1996) y que dio lugar a conclusiones pesimistas respecto a la influencia de las escuelas en el rendimiento de sus alumnos. Sin embargo, este resultado se puede analizar desde otro punto de vista, esto es, que las escuelas de educación secundaria en México son más parecidas que diferentes, es decir que hay homogeneidad entre ellas.

Derivado de las comparaciones respecto de la magnitud del efecto escolar entre distintas características de las escuelas, hay indicios de que las escuelas telesecundarias tienen un mayor efecto en matemáticas que las otras modalidades. Este hecho nos habla de que existe cierta capacidad en este tipo de escuelas para compensar las diferencias de origen de sus alumnos. No obstante que los resultados de sus alumnos son bastante bajos. No se encontraron diferencias significativas entre el efecto de la escuela en ambas asignaturas entre 2002 y 2003.

 

IV. Discusión

Para el caso de las escuelas de educación primaria, distintos estudios del mundo anglosajón y de Iberoamérica informan que la magnitud del efecto escuela se encuentra entre un 10% y 25%. Sin embargo, algunos estudios como los de Fernández (2004) reportan magnitudes un poco más altas. Además, aparece como un patrón que el efecto de la escuela tiende a ser mayor en Matemáticas que en Español, mayor en primaria que en secundaria y menor en los países desarrollados.

La magnitud del efecto escuela en educación secundaria encontrada en esta investigación, en contraste con otros resultados, se encuentra en el rango de estimación, incluso de los estudios anglosajones. Sin embargo, llama la atención que la magnitud del efecto escolar en educación secundaria es mayor en Español que en Matemáticas, lo que parece contradecir los hallazgos de Cervini (2006). Sin duda, esta discrepancia amerita más investigación en el futuro.

Es necesario ir más allá de la comparación de la cifra entre distintos estudios. Esto nos lleva a realizar un análisis más a fondo acerca de la interpretación del ICC. Sobre la interpretación de la cifra, es decir, la magnitud del efecto escolar, distintos investigadores, como Soares (2004)³ o Murillo (2004) sugieren que se puede comprender como un índice de heterogeneidad–homogeneidad de las escuelas bajo estudio.

En el caso de cifras encontradas en otros estudios y que son similares a las que se han obtenido en esta investigación (12%, 10% o 9%), es posible realizar una doble lectura: en primer lugar, se muestra el poco peso del trabajo de la escuela en la compensación de las diferencias debidas a las características de origen, sociales, económicas y culturales existentes entre los alumnos; en segundo lugar, también indican que el sistema de educación secundaria mexicano está conformado por escuelas que resultan ser muy similares entre sí, esto es, con poca diferencia entre las que obtienen altos y bajos resultados.

El propósito educacional del sistema educativo debiera ser que la homogeneidad entre las escuelas venga acompañada, a su vez, de altos resultados en el rendimiento de los alumnos. En el caso de la escuela secundaria mexicana esta aspiración no se ve aún reflejada en la realidad, al menos la evidencia empírica de esta investigación así lo muestra.

En este sentido el profesor Soares afirma que es más apropiado denominar al ICC como un índice de heterogeneidad–homogeneidad, ya que indica qué tan similares o no son las escuelas incluidas en un estudio. Si la cifra es grande sabemos apenas que las escuelas, en términos de los resultados de aprendizaje de sus alumnos, son muy diferentes unas de otras, pero nada nos dice sobre cuál escuela produce el efecto, esto es una contribución del índice u_0jde cada escuela.

En particular, en un estudio con datos del Sistema de Avaliação da Educação Básica (SEAB),⁴ Soares (2004, p. 97) afirma:

El resultado que interesa reportar es que en conjunto los factores escolares pueden explicar 12.3% de la varianza total en los datos considerados. Este valor muestra, por un lado, que controlando las diferencias socioeconómicas entre los alumnos de las diversas escuelas, la mayor parte de la variación del desempeño debe ser atribuida a variaciones intrínsecas de los alumnos. Este valor es compatible con los trabajos internacionales en esta área, y es a la vez suficientemente grande para reconocer que existe variación entre las escuelas de manera que la escuela frecuentada hace diferencia en la vida del alumno. En otras palabras, es posible mejorar el desempeño de los alumnos a través de la acción sobre las estructuras escolares.

Bordando sobre el mismo asunto, Ferráo y Fernandes (2003) dicen que el cálculo del coeficiente de correlación intraclase (rho o el ICC) mide la proporción de la varianza total que está asociada a la varianza entre escuelas, lo que permite al investigador tener una mejor noción de la magnitud de la heterogeneidad entre las escuelas. En términos relativos, la estadística expresa cuánto de la variación del desempeño escolar entre los alumnos se explica por diferencias existentes entre las escuelas a las que ellos asisten.

Bajo estos argumentos, podemos asumir que el sistema de educación secundaria en México está conformado por escuelas que resultan muy similares entre sí; esto es, con poca diferencia entre las que obtienen mejores y peores resultados. Sin embargo, como bien señala el profesor Soares (2004), se observa la suficiente variación para decir que existen escuelas que hacen diferencias en el aprendizaje de sus alumnos.

Con el fin de fortalecer aún más el planteamiento del profesor Soares, recurrimos a un análisis que realiza este investigador con datos del saeb respecto a las escuelas de la capital del Estado de Minas Gerais en Brasil. Los resultados de desempeño de los alumnos en Belo Horizonte están expresados en la escala del SAEB. En dicha escala, 20 puntos corresponden aproximadamente a un año de escolarización. En la Tabla III se presentan los resultados globales de rendimiento de alumnos de enseñanza fundamental de Belo Horizonte. Las escuelas se encuentran agrupadas por el promedio de nivel socioeconómico.

Se observa, por ejemplo, que en el grupo 1, donde se encuentran las escuelas que atienden a los alumnos más pobres, hay una escuela con 200 puntos y otra con 143, lo que significa una diferencia de 57 puntos, casi tres años más de escolarización en términos de aprendizaje logrado. En el segundo grupo de escuelas que también atienden a alumnos pobres, la diferencia entre la puntuación máxima y la mínima es de 66, un poco más de tres años de escolarización. En el extremo, las escuelas donde se encuentran los alumnos con mejor nivel socioeconómico, se observa que la variación entre la puntuación mínima y la máxima es la menor. Podemos concluir que las escuelas a las que asisten los alumnos con mayores desventajas sociales, económicas y culturales (grupos 1 y 2) hay algunas que tienen mayor capacidad para compensar las desigualdades de origen y por lo tanto hacen la diferencia en el aprendizaje.

Para el caso de los datos de esta investigación, la escala utilizada en las Pruebas de Estándares Nacionales no cuenta con una precisión similar a la de Brasil, en el sentido de que permita estimar a qué equivale un año de escolarización. Sin embargo, pesar de esta limitación, con el fin de mostrar evidencias que apoyen el argumento de que incluso un ICC pequeño indica cuando existe variación entre las escuelas (por lo que podemos encontrar instituciones que sí consiguen hacer la diferencia en el rendimiento de sus alumnos a pesar de su origen socioeconómico), se sigue la lógica del análisis del profesor Soares (2007). Para ello, se clasificaron las escuelas en seis grupos, según el promedio de nivel socioeconómico (NSE) de cada escuela. Para cada grupo se calculó la media, la desviación estándar (DS), la puntuación mínima y máxima, y la diferencia entre estas últimas. Se utilizaron las puntuaciones ajustadas derivadas del modelo del efecto Tipo B. Los resultados se presentan en las Tablas IV y V para Español y Matemáticas, respectivamente.

Es destacable el hecho de que a medida que se incrementa el nivel socioeconómico de la escuela los resultados de aprendizaje son mejores. Esto confirma, como se ha dicho con anterioridad, la tesis de la sociología de la educación, en el sentido de que son las condiciones sociales las que determinan o en su caso tienen un mayor poder explicativo de las variaciones en el rendimiento de los alumnos.

Por otro lado, tanto en Español como en Matemáticas se observa que la diferencia entre la puntuación mínima y máxima es menor en los grupos de escuelas que corresponden a los niveles más bajo y más alto de nse. Esto significa que en estos grupos, las instituciones, por un lado, son más homogéneas y, por otro, compensan menos las condiciones sociales, económicas y culturales de origen de sus alumnos.

Las mayores diferencias entre las puntuaciones mínimas y máximas se observan en los niveles intermedios de NSE (del 2 al 5). Ello significa que en ciertos niveles de nse las escuelas tienden a compensar las diferencias de origen de sus alumnos más que en otros. Esto indica que a pesar de que en conjunto el ICC es pequeño, tanto para Español como para Matemáticas, existen escuelas que hacen mucha diferencia, pero también hay una buena cantidad de escuelas que tienden a ser reproductoras de las condiciones sociales de sus alumnos.

Lo antes expuesto permite advertir que aun a pesar de la homogeneidad de las escuelas de educación secundaria en México, existen centros escolares en los distintos niveles de NSE que hacen la diferencia en el rendimiento de sus alumnos.

Con el propósito de fortalecer aún más la argumentación, resulta pertinente mirar algunos resultados del Programa Internacional de Evaluación de Estudiantes (PISA, por sus siglas en inglés) relacionados con el efecto de las escuelas (Organización para la Cooperación y el Desarrollo Económico [OCDE], 2004, 2007). Al tomar el caso de PISA 2003, año en que esta evaluación tuvo un énfasis en Matemáticas, Finlandia fue uno de los países que obtuvo en promedio muy altos resultados, tanto por lo que se refiere al promedio en la puntuación global de la prueba, como por la proporción de alumnos que se ubicaron en los niveles de logro más altos. En contraparte, México volvió a ubicarse en una posición muy por debajo de la media de los países de la OCDE, así como del conjunto de los países que participaron en dicha evaluación internacional. Además, la mayor proporción de los estudiantes mexicanos que participaron en esta evaluación se ubicaron en los niveles de logro más bajos de la escala establecida.

Al estimar la variación total entre las escuelas, que se expresa como un porcentaje de la variación total al interior de cada país (ICC), se encontró que Finlandia tiene un ICC de 4.8, mientras que para México fue de 34.2. La interpretación de la cifra parece ser más clara: las escuelas de Finlandia son más homogéneas entre sí, además obtienen buenos resultados. Por su parte, en México, las escuelas que participaron en esta evaluación son muy heterogéneas, y obtienen bajos resultados. Por ello, la interpretación que se haga del ICC tiene que realizarse con mucho cuidado, ya que un índice mayor, numéricamente hablando, no significa que las escuelas sean mejores y ni viceversa.

Continuando con los resultados de PISA (OCDE, 2004) se decidió ampliar la comparación entre países. Para ello, se seleccionaron: Brasil y Uruguay por ser latinoamericanos, España por razones históricas, a Estados Unidos por la frontera que los une con México, Finlandia por convertirse en punto de referencia obligado al estar a la cabeza de los países participantes en la evaluación, Polonia por una situación particular que interesa destacar en nuestra argumentación y, por supuesto, México.

En la Tabla VI se resumen los resultados de la estimación del ICC para Matemáticas, Ciencias y Lectura en los años 2000, 2003 y 2006.⁵

Por su parte, la Tabla VII muestra el rendimiento promedio obtenido por la muestra de estudiantes de cada país, considerando en la parte izquierda de la tabla, la puntuación promedio de la escala global de prueba, cuyo énfasis tuvo cada aplicación (Lectura en 2000, Matemáticas en 2003 y Ciencias en 2006).

En la parte de la derecha de la Tabla VII se anotan las puntuaciones promedio obtenidas por los países en las subescalas de Lectura y Matemáticas, incluidas en 2006, y se repite el resultado para la escala global en Ciencias, objeto de la evaluación de ese último año. La observación de estos datos permite destacar algunos elementos importantes, acerca de la interpretación de la magnitud del efecto escolar expresado por el ICC:

a) Primero, vincular con lo que hemos denominado supra al comparar el ICC de Finlandia con el de México y contrastar con las puntuaciones promedio. Se refuerza lo ya expresado en todos los años y en todas las competencias en los que ha sido objeto de evaluación en pisa.

b) Segundo, destacar que para el caso de Brasil, México y Uruguay se reportan los índices mayores, lo que significa que las escuelas donde se llevó a cabo la evaluación son muy heterogéneas. Enseguida de Uruguay, se encuentra Estados Unidos, cuyas escuelas si bien no son tan diferentes como en los tres países latinoamericanos, guardan entre sí una variabilidad considerable. Por su parte en España se reportan índices bastante menores, lo que indica una mayor homogeneidad entre las escuelas. En todos estos casos, se puede apreciar un patrón entre los años y competencias consideradas en las evaluaciones. Por otra parte, en el caso de Finlandia se puede observar que mantiene también un patrón en el sentido de que la varianza entre sus escuelas es muy pequeña, por lo que son muy homogéneas entre sí, además conservan puntuaciones promedio altas, por encima de la media de la OCDE en las distintas evaluaciones. Sin embargo, el caso de Polonia es diferente, se analiza con mayor detalle.

c) Tercero, subrayar el caso de Polonia. Tomemos como punto de referencia los resultados en Matemáticas en 2003. Este año, según el informe de pisa 2003 (OCDE, 2004), se puede afirmar que los resultados obtenidos por los estudiantes de la muestra en este país tienen poca relación con las escuelas a las que asisten, lo que indica que el contexto educativo es similar en los aspectos que influyen en el rendimiento escolar. Sin embargo, en el mismo informe, se afirma que si bien una parte de la varianza entre escuelas es atribuible al origen socioeconómico de los estudiantes que llegan a cada una de ellas, la otra parte de la varianza evidencia la presencia de ciertas características estructurales de las escuelas y de los sistemas escolares. Esto quiere decir que "también puede atribuirse parte de la varianza a las políticas y prácticas de los administradores escolares y los profesores. En otras palabras, al hecho de que acudir a ciertos centros tiene un valor añadido" (OCDE, 2004, p. 165). Claramente es la definición del efecto Tipo B que hemos utilizando en esta investigación.

Aún más, se señala en el informe de PISA 2003 (OCDE, 2003) que en este análisis de la variabilidad entre escuelas algunos de los países con buen rendimiento, pero no todos, mostraron niveles medios o bajos de varianza. Esto significa que para asegurar rendimientos escolares similares entre unas escuelas y otras seguramente ha sido necesario llevar a cabo alguna intervención desde la política, tanto para identificar a las escuelas con peores resultados, como para actuar en consecuencia.

Para la mayoría de los países, los resultados de PISA (2003) son similares a los de PISA (2000), sin embargo, no es el caso de Polonia. Parece ser, supone el informe (OCDE, 2004), que las medidas iniciadas en 1999 en este país con el propósito de avanzar hacia un sistema educativo más integrado, podrían haber contribuido a la notable disminución observada en la variación del rendimiento escolar de los estudiantes entre unas escuelas y otras. De acuerdo con lo reportado por la OCDE (2004, p. 388), el ICC de Polonia en las subescalas de matemáticas de la prueba pisa 2000 fue de 54.3, en tanto que el correspondiente en PISA 2003 (OCDE, 2004), fue de 12.6. Al mismo tiempo (y subrayamos lo del mismo tiempo), el rendimiento promedio de los estudiantes de 15 años es muy superior en 2003 respecto de 2000 para Matemáticas.

Como puede apreciarse en las Tablas VI y VII el salto cualitativo que se observa en Polonia ocurre en todas las competencias que fueron evaluadas a partir de 2003. Esto permite suponer que la reforma emprendida en este país, según se señala en el mismo informe de la OCDE (2003), ha tenido una incidencia importante y positiva en el rendimiento de sus estudiantes de 15 años, y en haber acortado las distancias entre las escuelas con mejores y peores resultados, teniendo ahora un sistema escolar más homogéneo.

El resultado de Polonia nos parece muy importante para ilustrar y fundamentar que hay medidas que se pueden tomar desde el sistema educativo para el mejoramiento del aprendizaje de los alumnos. Este hecho fundamenta la hipótesis de que al promoverse cambios trascendentes en las políticas y prácticas escolares, fueron estos lo suficientemente fuertes para que las escuelas incrementaran su capacidad de influir en el rendimiento de sus alumnos, así como para compensar las diferencias que de origen existen entre ellos.

La utilización de la metodología multinivel, aun a pesar de las limitaciones de los datos disponibles, permitió mostrar que la eficacia de una escuela no puede, ni debe ser juzgada sólo a partir de las puntuaciones brutas de la medición del rendimiento escolar de los alumnos. Es necesario, incluir en los modelos aquellas variables de ajuste que permitan aislar de la mejor manera el efecto que realmente tiene la escuela en el rendimiento de sus alumnos. Es relevante insistir que para juzgar la eficacia de una escuela, es una exigencia contar con la mayor cantidad de medidas de rendimiento que sea posible, tanto cognitivas como no cognitivas.

Además de estimar la magnitud del efecto de la escuela para cada medida de logro educativo, es necesario valorar la consistencia entre los efectos escolares de las diferentes medidas de logro educativo consideradas; analizar a fondo la eficacia diferencial tomando en cuenta diferentes variables de agrupamiento de los alumnos. Asimismo, identificar y cuantificar la estabilidad de la eficacia escolar durante varios ciclos escolares, con el fin de advertir los cambios y la dirección de éstos; y ampliar el horizonte investigativo para valorar el impacto de la escuela una vez que los alumnos hayan concluido su escolarización, en este caso la educación básica.

 

A manera de conclusión

La preocupación pedagógica aunada al interés científico por conocer cuánto importa la escuela y en qué, no es un tema cerrado. Al contrario, los elementos que hemos puesto a discusión sobre la base de los hallazgos de esta investigación, confirman la necesidad de ahondar en la generación de conocimiento sobre el poder educador de la escuela y las condiciones institucionales que lo expliquen.

Por otro lado, si bien parece que existe una mayor conciencia sobre la diversidad de los centros escolares, el estudio ha mostrado que las escuelas secundarias mexicanas son muy homogéneas entre sí, por lo que respecta al efecto sobre Matemáticas y Español. Esto significa que compensan poco las diferencias debidas al origen social, económico y cultural de sus alumnos, así como aquellas que se deben a sus antecedentes escolares o experiencia escolar previa.

Frente a la diversidad, lo que se necesita construir son formas de atención diferenciadas. No es aceptable que las macro políticas dirigidas a las escuelas secundarias resulten aún tan homogenizantes. Los bajos resultados de aprendizaje y la poca incidencia de la escuela son un buen aliciente para diseñar nuevas políticas orientadas a desarrollar e incrementar la capacidad de la escuela para influir de manera positiva en el rendimiento de sus alumnos.

Es posible mejorar el desempeño escolar de todos los alumnos, sí existe una acción desde la política educativa que contribuya a transformar las estructuras y prácticas escolares. Una transformación que se fundamente en la concepción de que la escuela es también una organización que aprende.

En una cantidad respetable de estudios se ha estimado la magnitud del efecto escuela como un indicador de la capacidad que ésta tiene para influir en el rendimiento escolar de sus alumnos. Por paradójico que esto parezca, aún tenemos que trabajar mucho más para disponer de una imagen lo suficientemente sólida acerca de cuál es la magnitud del efecto de la escuela, ya que, como hemos visto, su estimación está en función de la medición del rendimiento, de las variables de ajuste consideradas y de la muestra de escuelas utilizada.

Los investigadores nos alegramos porque vemos lo que sí hay y advertimos que las escuelas tienen un margen de acción propio que no es despreciable, y que los docentes pueden hacer la diferencia y contribuir a compensar las desigualdades de origen de sus alumnos. Asumo que resulta más fácil decirlo que hacerlo. Por su parte, los políticos y los mismos docentes se desilusionan al ver resultados como los que se han mostrado en esta investigación. Piensan que las cifras por sí mismas, no reflejan el trabajo que se realiza. A los investigadores nos corresponde contribuir a situar los hallazgos de la investigación para que sean comprensibles y útiles a la reflexión y acción educativas de otros actores.

Una perspectiva es mirar las posibilidades. Esto recuerda la escena en un hospital en la que una paciente con infarto cerebral severo es atendido por tres médicos especialistas: el endocrinólogo, el cardiólogo y el neurólogo. Mientras el primero y el segundo preparan a la familia para un desenlace terminal, el neurólogo hace fiesta ante cualquier señal de conciencia, mover una mano, decir unas palabras o abrir los ojos. Algo similar ocurre en los procesos educacionales que acontecen en la escuela. En particular en México, donde los resultados de rendimiento escolar son más bien desalentadores, los "médicos" preparan a la sociedad para un desenlace fatal. No obstante, es preferible asumir la postura del neurólogo y advertir las posibilidades que permitan trabajar en la dirección de superar las enormes dificultades, a través de una identificación más precisa de éstas y en la construcción de respuestas plausibles.

Es importante insistir que la escuela no puede de manera aislada compensar todas las desigualdades sociales que de origen poseen sus alumnos, pero sí le corresponde no profundizarlas.

Para cerrar esta contribución, compartimos dos reflexiones que nos parecen muy relevantes en este sentido de ubicar en su justa medida el quehacer de la institución escolar en la formación o instrucción de las personas. Una de ellas es del profesor Rutter y su equipo de trabajo (Rutter, Mortimore, Ouston y Maughan, 1983). Si bien está expresada en un lenguaje técnico, ilustra mucho sobre la discusión sociológica acerca del mayor peso de los factores individuales y de origen familiar de los alumnos, frente al poco peso que parece tener la escuela. Rutter et al. señalan, al igual que otros investigadores, que la estimación del efecto de la escuela está en función de la selección de las variables de rendimiento, la elección y medición de las variables predictoras y la amplitud de la variación:

But, the last consideration–namely the extent of the variation on the predictor–is the most crucial of all. Other things being equal, a predictor with a wide range will always account for a higher proportion of the variance than a predictor with a narrow range. Because it is likely that schools tend to be more homogeneous than are families and because the differences between the "best" and the "worst" schools is likely to be far less than that between the "best" and "worst" homes, it necessarily means that (as assessed in terms of the proportion of population variance accounted for) family variables will usually have a greater "effect" than school variables. But this does not necessarily mean that schools have a lesser influence than families on achievement (p. 6).

La segunda reflexión es extraída de la tesis doctoral del profesor Emilio Blanco (2007), quien afirma que el problema central del concepto de eficacia escolar refiere a la capacidad de las escuelas para incidir en los aprendizajes de los alumnos haciendo frente a los determinantes individuales, además, sabemos que no todas las diferencias entre los resultados de las escuelas son atribuibles a las políticas y prácticas escolares.

Sin embargo, el margen de acción para la escuela no debe subestimarse, pues se corre el riesgo de adoptar una posición netamente reproductivista, con el efecto lateral de disculpar al magisterio y a sus autoridades del fracaso educativo. Existen regularidades sociológicas que, para cumplirse, necesitan incorporarse a las creencias y expectativas de los agentes. Por lo tanto, difundir la idea de que la escuela no puede hacer la diferencia, podría menguar aún más las posibilidades que la escuela tiene. Es, por tanto, importante destacar que las escuelas tienen cierto margen de acción y que los educadores pueden (y deben) hacer la diferencia (p. 233).

Ambas reflexiones resultan alentadoras en dos sentidos. Para el trabajo científico, inspiran a la pertinaz búsqueda de conocimiento acerca de la influencia que la escuela tiene o podría tener en el desarrollo y aprendizaje de sus alumnos. Y para el quehacer cotidiano de cada escuela, al apreciar en una medida más justa sus propias capacidades para realizar la tarea que le ha sido socialmente encomendada: la formación de las generaciones jóvenes.

 

Referencias

Alves, M. T. G. (2006). Efeito escola e fatores associados ao progresso acadêmico dos alunos entre o inicio da 5^a serie e o fim da 6^a serio do ensino fundamental: um estúdio longitudinal em escolar públicas no município de Belo Horizonte, M. G. Tesis de posgrado no publicada, Universidade Federal de Minas Gerais, Brasil.        [ Links ]

Backhoff, E., Bouzas, A., Contreras, C., Hernández, E. y García, M. (2007). Factores escolares y aprendizaje en México. El caso de la educación básica. México: Instituto Nacional para la Evaluación de la Educación.        [ Links ]

Blanco, E. (2007). Eficacia escolar en México. Factores escolares asociados a los aprendizajes en la educación primaria. Disertación doctoral no publicada, Facultad Latinoamericana de Ciencias Sociales–Sede Académica México, México.        [ Links ]

Blanco, E. (2008). Factores escolares asociados a los aprendizajes en la educación primaria en México: Un análisis multinivel. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6 (1), 58–84. Consultado el 24 de febrero de 2008 en: http://www.rinace.net/arts/vol6num1/art4.htm        [ Links ]

Bourdieu, P. y Passeron, J. (1979). La reproducción. Elementos para una teoría del sistema de enseñanza. Barcelona: LAIA.        [ Links ]

Bowles, S. y Gintis, H. (1985). La instrucción escolar en la América capitalista. Madrid: Siglo XXI.        [ Links ]

Cervini, R. (2004). Niveles y variación de la equidad en la educación media de Argentina. Revista Iberoamericana de Educación, 34 (4). Consultado el 21 de marzo de 2008 en: http://www.rieoei.org/deloslectores/844Cervini.pdf        [ Links ]

Cervini, R. (2005). The relationship between school compositions, school process and mathematics achievement in secondary education in Argentina. International Review of Education, 51 (2), 1–28.        [ Links ]

Cervini, R. (2006a). Los efectos de la escuela y del aula sobre el logro en matemáticas y en lengua en la educación secundaria. Un modelo multinivel. Perfiles Educativos, Tercera Época, 28 (112), 68–97.        [ Links ]

Cervini, R. (2006b). Progreso de aprendizaje en la educación secundaria básica de Argentina: Un análisis multinivel de valor agregado. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 4 (3), 54–83. Consultado el 20 de enero de 2008 en: http://www.rinace.net/arts/vol4num3/art4.pdf        [ Links ]

Cervini, R. (2007, diciembre). Cervini, R. (2007). Algunos problemas metodológicos en los estudios de eficacia escolar: Una ilustración empírica. Documento presentado en el I Congreso Iberoamericano de Eficacia Escolar y Factores Asociados, Santiago de Chile.        [ Links ]

Coleman, J. S., Campbell, E. Q., Hobson, C. J., McPartland, J., Mood, A. M., Weinfeld, F. D. et al. (1966). Equality of educational opportunity. Washington, DC: U.S. Government Printing Office.        [ Links ]

Dirección General de Evaluación–Secretaría de Educación Pública. (2002). Estándares nacionales. Niveles de desempeño (Documento interno de trabajo). México: Secretaría de Educación Pública.        [ Links ]

Ezpeleta, M. J. (2004a). Innovaciones educativas. Reflexiones sobre los contextos de su implementación. Revista Mexicana de Investigación Educativa, 9 (21), 403–424.        [ Links ]

Ezpeleta, M. J. (2004b). Lo institucional de la escuela en las políticas de reforma educativa. En E. Tenti (Org.), Gobernabilidad de los sistemas educativos en América Latina (pp. 163–177). Buenos Aires: Instituto Internacional de Planeamiento de la Educación–UNESCO.        [ Links ]

Fernández, T. (2004). Distribución del conocimiento escolar: clases sociales, escuelas y sistema educativo en América Latina. Disertación doctoral no publicada, El Colegio de México–Centro de Estudios Sociológicos, México.        [ Links ]

Ferrão, M. E. (2006). Componentes do efeito–escola no Brasil. En F. J. Murillo (Coord.), Estudios sobre eficacia escolar en Iberoamérica. 15 buenas investigaciones (pp. 143–168). Bogotá, Colombia: Convenio Andrés Bello.        [ Links ]

Ferrão, M. E. y Fernandes, C. (2003). O efeito–escola e a mudança – dá para mudar? Revista Electrónica Iberoamericana sobre Qualidade, Eficácia e Mudança em Educação, 1 (1). Consultado el 19 de septiembre de 2007 en: http://www.ice.deusto.es/rinace/reice/vol1n1/FerraoyFernandes.pdf        [ Links ]

Instituto Nacional para la Evaluación de la Educación. (2003). La calidad de la educación básica en México. Primer Informe Anual 2003. México: Autor.        [ Links ]

Instituto Nacional para la Evaluación de la Educación. (2007). Aprendizaje y desigualdad social en México. Implicaciones de política educativa en el nivel básico. México: Autor.        [ Links ]

Jencks, C. S., Smith, M., Acland, H., Bane, M. J., Cohen, D., Gintis, H., et al. (1972). Inequality: a reassessment of the effect of family and schooling in America. Nueva York: Basic Books.        [ Links ]

Lastra, E. F. (2001). School effectiveness: a study of elementary public schools in a Mexican City. Disertación doctoral no publicada, Stanford University, Estados Unidos.        [ Links ]

Murillo, F. J. (2004). Aportaciones de la Investigación sobre Eficacia Escolar. Un estudio multinivel sobre los efectos escolares y los factores de eficacia de los centros docentes de Primaria en España. Tesis doctoral. España: Universidad Complutense de Madrid.        [ Links ]

Murillo, F. J. (2005). La investigación sobre eficacia escolar. Barcelona: Octaedro.        [ Links ]

Murillo, F. J. (2007). School effectiveness research in Latin America. En T. Townsend (Ed.), International Handbook of School Effectiveness and Improvement (pp. 75–92). Nueva York: Springer.        [ Links ]

Murillo, F. J., Castañeda, E., Cueto, S., Donoso, J. M., Fabara, E., Hernández, M. L., et al. (2007). Investigación Iberoamericana sobre Eficacia Escolar. Bogotá: Convenio Andrés Bello. Consultado el 5 de febrero de 2008 en: http://www.convenioandresbello.org/cab6/downloads/eficaciaescolar2.pdf        [ Links ]

Organización para la Cooperación y el Desarrollo Económico. (2004). Informe pisa 2003. Aprender para el mundo del mañana. Madrid: Santillana.        [ Links ]

Organización para la Cooperación y el Desarrollo Económico. (2007). Informe pisa 2006. Competencias científicas para el mundo del mañana. Madrid: Santillana.        [ Links ]

Plowden R. (1967). Children and their primary schools (Reporte). Londres: HMSO–Central Advisory Council for Education.        [ Links ]

Rutter, M., Mortimore, P., Ouston, J. y Maughan, B. (1979). Fifteen thousand hours: Secondary schools and their effects on children. Boston, MA: Harvard University Press.        [ Links ]

Sammons, P. (1996). Complexities in the judgement of school effectiveness. Educational Research and Evaluation, 2 (2), 113–149.        [ Links ]

Sammons, P., Hillman, J. y Mortimore, P. (1995). Key characteristics of effective schools: a review of school effectiveness research. Londres: OFSTED.        [ Links ]

Schmelkes, S., Martínez, F. y Noriega, M. C. (1997). La calidad de la educación primaria: Un estudio de caso. México: Secretaría de Educación Pública–Fondo de Cultura Económica.        [ Links ]

Soares, J. F. (2004). O efeito da escola no desempenho cognitivo de seus alunos. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2 (2). Consultado el 22 de octubre de 2007 en: http://www.ice.deusto.es/rinace/reice/vol2n2/Soares.pdf        [ Links ]

Soares, J. F., Alves, M. T. G. e Oliveira, R. M. (2001). O efeito de 248 escolas de nível médio no vestibular da UFMG nos anos de 1998, 1999 e 2000. Ensaios em Avaliação Educacional, 24, 69–123.        [ Links ]

Soares, J. F. y Collares, A. C. M. (2004). Influences of family background on academic achievement: evidence from Brazilian Schools. Río de Janeiro: International Sociological Association Research Committee on Social Stratification and Mobility.        [ Links ]

Stoll, L. y Fink, D. (1999). Para cambiar nuestras escuelas. Reunir la eficacia y la mejora. Barcelona: Octaedro.        [ Links ]

Tedesco, J. C. (2001). Introducción. Los cambios en la educación secundaria y el papel de los planificadores. En C. Braslavsky, La educación secundaria ¿cambio o inmutabilidad? Análisis y debate de procesos europeos y latinoamericanos contemporáneos. Buenos Aires: Instituto Internacional de Planeamiento de la Educación–Editorial Santillana.        [ Links ]

Teddlie, C., Reynolds, D. y Sammons, P. (2000). The methodology and scientific properties of school effectiveness research. En C. Teddlie y D. Reynolds (Eds.), The International Handbook of School Effectiveness Research (pp. 55–133). Londres: Falmer Press.        [ Links ]

Willms, J. D. (1992). Monitoring school performance. A guide for educators. Londres: Falmer Press.        [ Links ]

Willms, J. D. y Raudenbush, S.W. (1989). A longitudinal hierarchical linear model for estimating school effects and their stability. Journal of Educational Measurement, 26 (3), 209–232.        [ Links ]

Zorrilla, M. (2008). La escuela secundaria mexicana. Un estudio multinivel de los efectos escolares y sus propiedades científicas. Disertación doctoral no publicada, Universidad Anahuac, México.        [ Links ]

 

Notas

¹ El gasto programable del gobierno federal es lo que resta después de haber pagado el servicio de la deuda y lo que se denomina gasto primario, como las participaciones a los estados y los adeudos de ejercicios fiscales anteriores.

² Estas pruebas has sido denominadas de diferente manera: Estándares Nacionales y Pruebas Nacionales de Español y Matemáticas.

³ En conversaciones sostenidas con el profesor Francisco Soares respecto a la interpretación del ICC, aportó innumerables consideraciones que sintetizo en sus propias palabras en portugués como sigue:

Mas gosto de chamar o ICC de índice de heterogeneidade. Nos dize qual similares são as escolas incluídas no estudo. Se é grande sabemos apenas que há escolas, em termos de seus resultados, muito diferentes de outras. Mas nada nos diz sobre qual escola produze o efeito. Isto é a contribuição de u_0j. (F. Soares, comunicación personal).

⁴ En español se traduce como: Sistema de Evaluación de Educación Básica.

⁵ Esta tabla fue elaborada a partir del Informe pisa 2006 (OCDE, 2007), datos que se encuentran en un disco compacto adjunto al libro del informe correspondiente.