Claves

 

Los efectos de la escuela y del aula sobre el logro en matemáticas y en lengua de la educación secundaria. Un modelo multinivel

 

Rubén Cervini*

 

* Maestro en Ciencias Políticas de la Facultad Latinoamericana de Ciencias Sociales (FLACSO) y en Administración Educacional de la Universidad del Valle/OEA, Colombia. Actualmente es profesor–investigador de la Universidad Nacional de Quilmes (Argentina), donde dirige el proyecto de investigación Calidad y equidad en la educación media de Argentina. Entre sus publicaciones recientes está: (2004), "Factores asociados al aprendizaje del lenguaje y las matemáticas en 13 estados de México (3° y 4° grados en educación básica)", en Cuadernos de Investigación núm. 7, México, Instituto Nacional para la Evaluación de la Educación.

Correo electrónico: racervini@arnet.com.ar

 

Recibido: 28 de noviembre de 2005
Aprobado: 30 de mayo 2005

 

Resumen

En este trabajo se analizan los efectos de la escuela y del aula en el rendimiento del alumno en Lengua y Matemáticas del último año de la escuela secundaria en Argentina. Se utiliza el Censo Nacional de Finalización del Nivel Secundario – 1998, realizado por el Ministerio de Cultura y Educación. El archivo analizado es de 68 803 estudiantes en 2 527 aulas en 915 escuelas de 20 estados. Los datos se analizan con la metodología de modelos jerárquicos lineales o "multinivel", con modelos de cuatro niveles (estado, escuela, aula, alumno). Como variables de "control" se incluyen características personales del alumno (origen social, género, recursamiento escolar) y de la composición de aulas y escuelas. El análisis muestra que esas variables explican casi exclusivamente la varianza entre–escuela. Después de controlar este efecto, la varianza entre–aula (efecto aula) es más importante que la de entre–escuela (efecto escuela). Hay indicios de que la variación de la (in)equidad educativa es más pronunciada entre–aulas dentro de la escuela, que entre escuelas. Se extraen algunas implicaciones para la investigación y la política en esta área.

 

Abstract

In this article, the schools and classrooms effects on mathematics and language achievement of student at the last year of secondary education in Argentina is investigated. Data on a total of 68 803 students in 2 527 class of 915 schools in 20 states from the Censo Nacional de Finalización del Nivel Secundario 1998 (High School National Census) were considered. Student's math and language scores were based on standard tests applied to the students at the end of the academic year. Using multilevel modeling techniques with four levels (student, classroom, school and state) it was found that the student background and compositional characteristics explain a large proportion of 'between school' variance. After controlling for this, class effect (intra–school variance) became more important than the school effects (between–school variance).It was observed that the inter–class (in)equity variation is stronger than the between school (in)equity variation. Some implications for research and policy are drawn from the analysis.

 

Palabras clave: Rendimiento escolar/ Educación secundaria/ Modelo multinivel/ Análisis estadístico/ Argentina

Keywords: School performance / Secondary education / Multilevel model / Statistic análisis / Argentina

 

INTRODUCCIÓN

La hipótesis central del paradigma de efectividad escolar es que ciertas características de la institución escolar tienen un efecto propio sobre el logro de aprendizaje del alumno, aun después de considerar los efectos de los antecedentes del alumno y de la composición socioeconómica de la escuela. Numerosas investigaciones han avalado esta hipótesis en relación con los logros en Matemáticas (Bosker y Witziers, 1996; Knuver y Brandsma, 1993; Mortimore et al., 1988; Opdenakker y Van Damme, 2001; Phillips, 1997; Rutter et al., 1979; Sammons, Thomas y Mortimore, 1997).

Pero, por otra parte, es sabido que el alumno aprende en el aula, y no en la escuela como totalidad. Varios estudios han registrado la importancia del "efecto del aula" —práctica pedagógica, características del maestro, etc. (Fraser et al., 1987; Hextall y Mahony, 1998; Hill y Rowe, 1996; Opdenakker y Van Damme, 2000; Reynolds et al., 1994; Scheerens y Bosker, 1997; Scheerens y Creemers, 1989; Teddlie, 1994)—. En última instancia, entonces, son las características de lo que sucede en el aula las que determinan el grado de efectividad de una escuela; "escuelas efectivas son las que pueden lograr aulas efectivas" (Creemers, 1994, p. 201).

En los estudios de tipo correlacional multinivel (Aitkin y Longford, 1986; Bryk y Raudenbush, 1992; Goldstein, 1995) existen diferentes formas de modelar conjuntamente ambos efectos (Boske, Creemers y Scheerens, 1994). La disyuntiva más simple es entre efecto directo y efecto indirecto. El modelo indirecto (Boske, Creemers y Scheerens, 1994, p. 170) o de acoplamiento (D'Agostino, 2000) asume que "las características de la organización escolar influyen [en] las prácticas de enseñanza, las cuales a su vez influyen sobre el logro" (D'Agostino, 2000, p. 201). En este caso, las propiedades de la institución actuarían como facilitadoras (Creemers y Reezigt, 1996) y el efecto escuela estaría mediado totalmente por el efecto aula. En el modelo directo (Boske, Creemers y Scheerens, 1994, p. 167) o de medioambiente (D'Agostino, 2000), en cambio, se asume que "el medio ambiente de la escuela influye al alumno, adicionalmente al efecto de las experiencias en el aula" (ibid, p. 201). Diversos autores se han adherido a esta hipótesis (Bosker y Scheerens, 1994; Brookover et al., 1979; Teddlie y Stringfield, 1993).

En ambos casos, el efecto escuela es la proporción de la varianza de los logros promedios de las escuelas que puede ser explicada específicamente por características institucionales de la escuela; de la misma forma, el efecto aula se refiere a la proporción de la variación de los rendimientos promedios de las aulas dentro de la escuela que se explica por características del aula (práctica de enseñanza, maestro, etc.). Ambas estimaciones suponen que los efectos de los antecedentes individuales y familiares del alumno y de la composición socioeconómica y académica de la escuela han sido previamente controlados (estadísticamente). Sin embargo, diversos trabajos recientes (Angus, 1993; Coe y Taylor, 1998; Gerwitz, 1998; Hatcher, 1998; Slee, Weiner y Tomlinson, 1998; Thrupp, 2001a; 2001b) han cuestionado la validez de las conclusiones de gran parte de las investigaciones sobre efectividad escolar, debido a que no se ha prestado suficiente atención al efecto del contexto social de la escuela, efecto que se supondría pequeño y transmitiría la impresión de que la escuela actúa independientemente de tal determinación (Slee, Weiner, With Tomlinson, 1998; Thrupp, 2001a). Por ello, actualmente los investigadores coinciden en la necesidad de incluir mediciones sobre composición socioeconómica y académica del alumnado, condición imprescindible para extraer conclusiones válidas acerca de ambos efectos.

El objetivo general del presente estudio es determinar la importancia relativa del efecto escuela y del efecto aula en la explicación de la variación total del rendimiento en matemáticas y lengua del último año de la escuela secundaria en Argentina, con base en el Censo Nacional de Finalización del Nivel Secundario–1998, realizado por el Ministerio de Cultura y Educación. Con tal finalidad, se utiliza la metodología de modelos jerárquicos lineales o multinivel, se adopta el enfoque del modelo directo y se consideran no sólo variables extraescolares individuales del alumno, sino también algunas características de la composición del alumnado en el aula y en la escuela.

Dado que ambos efectos —escuela y aula— pueden ser independientes entre sí, determinar sus pesos relativos en el sistema educativo no sólo es relevante para la contrastación de la hipótesis central del paradigma de la efectividad escolar, sino también por sus implicaciones para la política en el sector educativo y para una comprensión más adecuada y completa del funcionamiento del sistema educativo.

 

ANTECEDENTES DE INVESTIGACIÓN

En todos los países que fueron incluidos en el Second International Mathematics Study de la International Association for the Evaluation of Educational Achievement (IEA) y que especificaron los niveles aula y escuela en el análisis, el efecto aula (varianza clase/maestro intra–escuela) sobre el logro de los alumnos del segundo grado de la secundaria superó notablemente al efecto escuela (varianza entre–escuela), que en algunos casos es prácticamente inexistente (Scheerens, Vermeulen y Pelgrum, 1989, tabla 8.2, pp. 794), constatación que apoya la tesis de que "el enfoque de 'clases efectivas' es más fuerte que el de 'escuelas efectivas" (ibid. p. 798). En su revisión de estudios respecto a diversas materias y niveles, Cuttance (1998) concluye que la variación entre–clase/maestro llega hasta 60%, mientras que la variación entre–escuela oscila entre 8% y 19%. Con alumnos del final del colegio secundario, Rowe, Turner y Lane (1999) encuentran que la varianza clase/maestro es de 59%, mientras que la de la escuela sólo llega a 5.5%. Ciertamente, todos estos antecedentes refuerzan la tesis del predominio del efecto aula, en un modelo indirecto o de acoplamiento en cuanto al efecto escuela.

Una reciente revisión (Luyten, 2003) encuentra 16 estudios que considera adecuados para determinar los pesos relativos de los efectos maestro y escuela sobre los resultados en matemáticas y lengua del nivel primario o secundario. Los estudios se organizan de acuerdo a tres tipos posibles de comparación: clases paralelas (el mismo grado), grados diferentes y materias diferentes. Dado que el objetivo del autor es el efecto maestro, y no el del aula en general, las dos primeras comparaciones deben contar con la identificación del profesor cuando se trata del nivel secundario. Además, considera que, de esas dos, la más adecuada para extraer conclusiones acerca del efecto maestro es la comparación de clases paralelas (diferentes grupos del mismo grado con docentes diferentes). Todos los estudios incluyen algún predictor de capacidad cognitiva (IQ, logro previo) anterior a la prueba de logro, condición necesaria para optimizar la estimación de los efectos de control. En las tres investigaciones que cumplen con esas condiciones, el efecto escuela —alrededor de 10% de la varianza total— es mayor que el efecto maestro en matemáticas, pero similar en lengua. Por eso, el autor concluye que "el predominio de los efectos maestro sobre los efectos escuela no es inevitable" (Luyten, 2003, p. 46). Entre los siete estudios sobre materias diferentes, predomina la mayor varianza intra–escuela, es decir, el efecto maestro es mayor que el efecto escuela. En este mismo sentido y con base en los datos de TIMSS para Australia (casi 13 mil alumnos de los grados séptimo y octavo en Australia), Webster y Fisher (2000) encuentran que la variación total del logro en matemáticas se compone de 7.6% entre–escuela, 33.9% entre–aula y 58.5% entre–alumno.

Para matemáticas del final del primer año de la secundaria en Bélgica (Flandes), Opdenakker y Van Damme (2000) estiman en 19.6% la varianza entre–escuela y 23.2% la varianza entre–clase dentro de la escuela. Para el segundo año, en cambio, informan 29% y 26%, respectivamente. Por otro lado, en lengua del primer año, la varianza entre–escuela es estimada en 32.5% mientras que la entre–aula es de 23.2%; ya para el segundo año, los porcentajes son 29% y 25%, respectivamente (Opdenakker et al., 2002). Por tanto, en primer año hay un nítido predominio del efecto escuela sobre el logro en lengua, pero no en matemáticas. Al año siguiente, el efecto escuela es mayor en ambas asignaturas, aunque de forma moderada. En un informe más reciente (De Jong, Westerhof y Kruiter, 2004), sobre el primer año de la secundaria en los Países Bajos y con base en clases paralelas de matemáticas, el predominio del efecto escuela es extremo: la varianza escuela se estima de 30%, al tiempo que la relativa a la entre–aulas dentro de la escuela es de 10 por ciento.

En resumen, si bien algunas revisiones o investigaciones avalarían la hipótesis de que "las clases son por lejos más importantes que la escuelas en la determinación de cómo los niños se desempeñan en la escuela" (Muijs y Reynolds, 2001, p. vii), otras sugieren que el efecto escuela podría ser igual o mayor al efecto aula, dependiendo de la materia (matemáticas o lengua), nivel (primaria o secundaria) y grado del alumno. Por tanto, el interrogante merece ser investigado en diferentes contextos educativos.

Número de niveles especificados. Actualmente predomina el uso de la técnica de modelos jerárquicos lineales o multinivel cuando se trata de analizar datos jerárquicamente anillados, como los del presente estudio: alumnos que pertenecen a un aula o clase, que está dentro de una escuela, que pertenece a una provincia o estado. Esta metodología se considera más adecuada que los modelos tradicionales de regresión ordinaria de mínimos cuadrado, cuyo principio de independencia de los residuos no es respetado en datos con estructura jerárquica, donde cada observación individual no es totalmente independiente (Aitkin y Longford, 1986; Bryk y Raudenbush, 1992; Goldstein, 1995).

La primera decisión a tomar en el análisis multinivel es determinar la cantidad de niveles. En un estudio reciente, Opdenakker y Van Damme (2000) exploran los efectos causados por las diferentes combinaciones posibles en tal decisión. En particular, constatan que la omisión de un nivel intermedio "causa una sobreestimación de la varianza perteneciente al nivel inmediatamente superior y al nivel inmediatamente inferior al nivel ignorado" (op. cit., p. 108). Además, la omisión afecta los errores estándares de los interceptos en los niveles incluidos y puede causar estimaciones de coeficientes inestables de regresión de variables definidas en el nivel superior o inferior al nivel omitido.

Otro aspecto a considerar con relación a los niveles incluidos es el posible efecto del número de agrupamientos en cada nivel. Normalmente, los estudios no disponen de un número importante de aulas o grupos de alumnos del mismo grado en el interior de la escuela, es decir, la mayor parte de las escuelas en las muestras estudiadas consta de dos o tres aulas. Es razonable pensar que la estimación de la variación de ese nivel pueda estar afectada por este constreñimiento metodológico.

Composición.¹ La mayoría de las investigaciones empíricas recientes han reportado un efecto propio y muy significativo de las medidas de composición socioeconómica y cultural de la escuela sobre el logro del alumno (Bryk y Raudenbush, 1992; Caldas y Bankston, 1997; Nuttall et al., 1989; Opdenakker y Damme, 2001; Sammons, Thomas y Mortimore, 1997; Strand, 1997; Teddlie y Reynolds, 2000; Willms y Raudenbush, 1989), conclusión válida también para composición intelectual o de antecedentes de logro (Teddlie y Reynolds, 2000), sea en la educación primaria (Leiter, 1983) como en la secundaria (Resh y Dar, 1992; Strand, 1997; Opdenakker y Van Damme, 2001; Tymms, 2001). De hecho, el significado y la magnitud del efecto composición del alumnado, y sus relaciones con los factores más próximos al aprendizaje escolar, continúan siendo temas de actualidad de la investigación educativa.²

Composición, escuela y aula. Más allá de cual sea la distribución de la varianza inicial (bruta) entre aula/maestro y escuela, el dato más relevante, en cuanto insumo para la evaluación y diseño de la política educativa, es el perfil de esa distribución una vez que se halla controlado el efecto de los factores extra–escolares (individuales y grupales). Algunos estudios informan que, cuando se controlan los efectos de las características individuales del alumno y de la composición, el efecto escuela desaparece casi totalmente, sea en el nivel primario (Muijs y Reynolds, 2003; Webster y Fisher, 2000) o secundario (Opdenakker et al. 2002), o se torna inferior al efecto aula (Opdenakker y Van Damme, 2000). Otros, en cambio, reportan una persistencia del predominio del efecto escuela sobre el efecto aula (De Jong, Westerhof y Kruiter, 2004; Luyten y De Jong, 1998).³

Variaciones en la inequidad (o eficacia distributiva). Finalmente, los recientes desarrollos metodológicos han impulsado la investigación de las diferencias entre–escuela respecto del grado de incidencia de los factores de inequidad (origen social, género, etnia del alumno). Los modelos jerárquicos lineales permiten determinar a) si la magnitud del efecto de los factores de inequidad varía dentro de los diversos niveles de agregación (Lam, Wong y Ho Lai–ming, 2002; Nuttall et al., 1989; Opdenakker y Van Damme, 2001; Sammons, Thomas y Mortimore, 1997; Schreiber, 2002), b) los efectos de los factores de inequidad sobre aquella variación (Lee y Bryk, 1998; Schreiber, 2002), c) las posibles interacciones entre los factores individuales y contextuales de inequidad (Lee y Bryk, 1998; Opdenakker y Van Damme, 2001); d) la eficacia distributiva de las escuela, mediante los residuos por niveles y para diferentes grupos de alumnos (Lee y Bryk, 1998; Sammons, Thomas y Mortimore, 1997; Thomas, 2001).

Antecedentes en Argentina. Estudios recientes han estimado la magnitud del efecto de los antecedentes extraescolares del alumno (origen social, género) y de la composición del alumnado, tanto en el nivel primario (Cervini, 2002) como secundario (Cervini, 2005). En este último, otros dos aspectos han sido considerados: el sector de dependencia (público vs. privado) y la orientación curricular (bachiller y comercial vs. técnico) de la escuela. Los establecimientos privados reclutan alumnos de un origen social más favorable que los públicos. Por otra parte, las escuelas secundarias se diferencian por la orientación curricular. Mientras que en las escuelas del bachillerato predominan contenidos humanistas y en las comerciales los relativos al funcionamiento de la empresa, las escuelas técnicas están orientadas a las diferentes actividades de la producción. Los análisis han demostrado la importancia de considerar ambos aspectos (Cervini, 2003b; 2003a). Finalmente, se ha encontrado que las escuelas difieren respecto del grado en que los factores individuales de inequidad inciden en la distribución de los aprendizajes y que, además, son más eficaces con los alumnos de origen social favorecido, con los varones y con los no recursadores, al tiempo que la (in)equidad del género, el recursamiento y el 'capital cultural objetivado' varían según ciertas características del contexto (Cervini, 2004, p. 12).

Sin embargo, todos estos análisis no han diferenciado los niveles aula y escuela, por tanto, no han investigado la magnitud de los efectos de ambos niveles, ni las posibles diferencias entre los efectos de la composición de ambos niveles sobre el logro de aprendizaje; por otra parte, algunos de esos análisis se han referido exclusivamente al logro de matemáticas, omitiendo el de lengua; en otros casos se han excluido del análisis a las escuelas de orientación técnica. El presente trabajo pretende llenar estos vacíos.

 

OBJETIVOS

El objetivo general del presente estudio es conocer el efecto escuela y el efecto aula sobre la variación del rendimiento en matemáticas y en lengua de los alumnos del último año de la escuela secundaria en Argentina, una vez controlados los efectos de las características familiares e individuales del alumno, y de la composición de escuelas y aulas. Este objetivo se desglosa en las siguientes preguntas de investigación:

1. ¿Qué tan importante son el aula (o clase) y la escuela en la explicación de las diferencias en el rendimiento de matemáticas y de lengua al final del colegio secundario? Es decir, ¿cuál es la importancia relativa del efecto escuela y del efecto aula sobre los logros escolares? ¿Cuál es la consecuencia de ignorar el nivel aula? ¿Existe alguna relación entre el número de aulas dentro de las escuelas incluidas en la muestra, y la magnitud de los efectos estimados?

2. ¿En qué medida las diferencias de rendimiento entre las escuelas y entre las aulas dentro de las escuelas son atribuibles a:

2.1. La dependencia (público vs. privado) y la orientación curricular (bachillerato/comercial vs. técnica) de la escuela?

2.2. Las características personales y familiares de los estudiantes?

2.3. La composición del aula y de la escuela?

3. ¿La intensidad de la incidencia de los factores individuales del alumno varía entre aulas y escuelas? ¿Cuál es la relación entre aleatoriedad en el nivel aula y en el nivel escuela? ¿La composición de aulas y escuelas influye sobre la magnitud del efecto de los factores de inequidad del alumno individual?

La formulación de estos objetivos conlleva algunas limitaciones. En primer lugar, no es posible inferir conclusiones acerca del efecto docente. Para que ello fuese posible debería contarse con la identificación de cada docente y elegir una sola sección por docente en la escuela. En este caso, se estarían comparando resultados de secciones con diferentes docentes y, por tanto, las variaciones encontradas podrían imputarse, por ejemplo, a prácticas pedagógicas diferentes (Luyten, 2003). Ello no es posible en el presente estudio porque no se cuenta con la identificación del docente. Puede ser que algunos profesores de la muestra estén en dos o más aulas en la misma escuela. Según la hipótesis de que el docente mantiene la misma estrategia pedagógica y que sus resultados tenderían a ser similares en las diferentes aulas donde enseña, la duplicación de docentes conduciría a una menor variabilidad en las diferencias de resultados entre las aulas dentro de la escuela. Por lo tanto, la estimación de la varianza entre–aula en el presente estudio muy probablemente subestima la varianza entre–docente.

En segundo lugar, no se cuenta con una buena medición de logro anterior, o de aptitud o capacidad del alumno. En gran parte de los estudios, la idea de efectividad supone el "control" por ese tipo de medición, dado su alta eficacia como predictor del logro actual. En el presente estudio, el único indicador proxy disponible es el antecedente de repetición escolar del alumno. La operacionalización del concepto de "efectividad" tiene esta limitación.

En tercer lugar, no se pretende identificar "factores escolares" específicos, ni menos aún, estimar la magnitud de sus posibles efectos sobre el rendimiento, aspectos que serán abordados en futuros trabajos. Sin embargo, los efectos de la dependencia (pública/privada) y de la orientación curricular de la escuela podrían reflejar la incidencia de factores típicamente escolares. Además, las estimaciones de las varianzas residuales en los niveles aula y escuela, después de "controlar" por los factores extra–escolares, es el punto de partida para establecer hipótesis iniciales acerca de la magnitud de las influencias de aquellos factores.

 

METODOLOGÍA

Datos. Los datos provienen de pruebas estandarizadas de matemáticas y de lengua, y de un cuestionario del estudiante, aplicados en el Censo Nacional de Finalización del Nivel Secundario–1998, realizado por el Ministerio de Cultura y Educación de Argentina.⁴ Todos los instrumentos fueron autoaplicados. Se incluyen todos los estudiantes con información en ambas pruebas y que pertenezcan a secciones (aulas) con información válida para 20 o más estudiantes en escuelas con dos o más secciones (aulas). Bajo estas condiciones, el archivo queda conformado por 68 803 estudiantes en 2 527 secciones de 915 escuelas en 20 estados.⁵

Variables. Las variables dependientes son los puntajes obtenidos por el alumno en pruebas estandarizadas de matemáticas y lengua. Las variables independientes son a) la dependencia y orientación de la escuela, b) las características individuales del alumno y c) la composición de la escuela.

a) Dependencia y orientación curricular de la escuela:

• Privada: gestión privada = 1; gestión pública = 0;

• Técnica: escuela técnica = 1; escuelas bachillerato o comercial = 0;

b) Características del alumno: se refieren a capital económico y cultural de la familia, género y antecedentes académicos del alumno, y se definen de la siguiente forma:

• Bienes+servicios: disponibilidad (Sí = 1; no = 0) de 14 bienes de uso durable y servicios en el hogar.

• Educación padres: suma del nivel educativo del padre y de la madre (14 puntos); 1 = ninguno; 7 = universitario completo. Cuando la información del padre (madre) está ausente (missing), se asigna el valor de la madre (padre).

• Libros+didácticos: compuesto por:

• Libros: disponibilidad de libros en el hogar: de 1 a 5, donde 1 = menos de 10; 5 =más de 100;

• Didácticos: Disponibilidad de libros, fichas y apuntes escolares: 1 = ninguno; 2 = algunos; 3 = todos;

• Procedimiento de conformación de libros+didácticos: a) se recodifica libros 1 = 0; 2 = 0.20; 3 = 0.40; 4 = 0.60; 5 = 0.80, y b) se suma con didácticos.

• Femenino: mujeres = 1; hombres = 0.

• Recursador: 1 = alumno que repitió al menos una vez; 0 = alumno que no repitió.

c) Las mediciones de composición del aula o de la escuela son los promedios o los porcentajes de cada variable individual del estudiante en el aula o en la escuela. Se denominan con el mismo nombre de la variable individual de origen, agregándoles la terminación _escu o _aula, según sea composición de escuela o aula, respectivamente. Así por ejemplo, educación_aula se refiere al nivel educativo promedio de los padres de los alumnos en un aula cualquiera. Por tanto, quedan definidas tantas mediciones de composición como variables del alumno individual.

Todas las variables no–dicotómicas han sido estandarizadas, con media cero y desviación estándar de 1. Es una forma de centrar en torno de la gran media (Bryk y Raudenbush, 1992) y las estimaciones de los efectos son directamente comparables. De esta forma, el coeficiente expresa cuánto aumentará (+) o disminuirá (–) la variable dependiente por cada unidad adicional de desvío estándar en la variable independiente.

Dependencia y orientación curricular_: cada escuela está clasificada por la gestión o dependencia (pública o privada) y por la orientación curricular (bachillerato/comercial o técnicas). Casi todas las escuelas técnicas son públicas. Ambas dicotomías pueden implicar diferencias significativas, tanto en la composición socioeconómica cuanto en las características de la práctica de enseñanza o la gestión y organización de la escuela.

Los bienes y servicios en el hogar (capital económico) y el nivel educativo alcanzado por los padres (capital económico y cultural) han sido extensamente utilizados como mediciones del origen social del alumno en la investigación social y, en general, registran una alta asociación con el rendimiento escolar. Éste es también el caso de libros en el hogar (capital cultural objetivado) y de libros y materiales didácticos escolares. Se decidió utilizar una combinación sumativa de estos dos últimos indicadores porque ésta posee una capacidad predictiva superior a la obtenida cuando ambos componentes actúan por separado.

Las diferencias de género en el logro de matemáticas es un tema recurrentemente investigado. En su revisión de un centenar de investigaciones, Friedman (1989) concluye que no hay diferencia entre sexos, y si la hay, es a favor de las mujeres. Para los primeros años de la secundaria algunas investigaciones informan ventajas para las mujeres (Tsai y Walberg, 1983), otras para los hombres (Hilton y Berglund, 1974) y otras para ninguno (Fennema y Cerpenter, 1981). Para el final del colegio secundario, sin embargo, la gran mayoría de las investigaciones reporta ventajas para los hombres (Friedman, 1989).

Dado que no se dispone de ningún indicador específico del nivel de logro académico antecedente del alumno, se utiliza el episodio de recursamiento como un indicador proxy.

Técnica de análisis. Para el análisis de las relaciones entre el rendimiento y las diferentes variables se utilizó el programa MLwiN (Goldstein et al., 1998), basado en el método de análisis estadístico por niveles múltiples o modelos jerárquicos lineales (Aitkin y Longford, 1986; Bryk y Raudenbush, 1992; Goldstein, 1995). Los datos permiten definir modelos con; cuatro niveles de agrupamiento: el estudiante (nivel 1), el aula (nivel 2), la escuela (nivel 3) y el estado (nivel 4). Este último nivel se incluye sólo con el objeto de no sobreestimar las variaciones entre–escuela y entre–aula, focos de interés de este trabajo.   

Estrategia de análisis y modelos empíricos. El análisis se desarrolla en siete etapas; las seis primeras corresponden a los objetivos 1 y 2; la última responde a los interrogantes del tercer objetivo.

 

I. Modelos vacíos (nulo o incondicional): partición inicial de la varianza de matemáticas y lengua, sin ningún predictor. Se procesan cuatro modelos multinivel con el objeto de evaluar los efectos aula y escuela iniciales, sin control (bruto). Los modelos se expresan como sigue:

En el modelo Completo (I.4), con los cuatro niveles de agregación, Rendimiento_ijkl es el puntaje obtenido en matemáticas o en lengua por el alumno i en el aula j en la escuela k en el estado l; cons es una constante = 1 y β_0ijkl es un parámetro asociado a cons, con β₀ de logro promedio estimado (Parte fija), y f_0l v_0kl, µ_0jkl y e_0ijkl son "residuos" en los ámbitos del estado, escuela, aula y alumno, respectivamente, cantidades aleatorias, no correlacionadas, normalmente distribuidas, con media = 0 y cuyas varianzas respectivas (σ_f, σ_v, σ_µ y σ_e)deberán ser estimadas. Esta misma notación se mantiene para los modelos restantes.

 

II.  Dependencia y orientación curricular. En el modelo vacío de cuatro niveles (I.4) se incluyen las variables referidas al sector de gestión y a la orientación curricular. El modelo se expresa así:

donde β₁ es un parámetro que expresa la distancia entre los rendimientos promedios de escuelas públicas y de las privadas, y β₂ y expresa esa distancia, pero entre escuelas de orientación bachillerato/comercial y de orientación técnicas (β₂). Dado que ambas variables corresponden al nivel escuela, no se incluyen los sufijos i (nivel alumno) y j (nivel aula).

 

III. Factores individuales del alumno. Al modelo en (II) se le adicionan las características sociodemográficas y escolares del alumno individual y de su familia:

donde Σβ₃ es un conjunto de parámetros a ser estimados que expresan las relaciones entre el rendimiento, por un lado, y las características socioeconómicas y culturales de la familia del alumno, el género y el recursamiento del alumno (diferencias promedio entre el logro de hombres y mujeres; y entre alumnos recursadores y no recursadores), por el otro.

 

IV. Composición del aula. Al modelo en (III) se le adiciona ; la composición sociodemográfica y escolar del aula:

donde Σβ₄ es un conjunto de parámetros a ser estimados que expresan las relaciones entre el rendimiento, por un lado, y la composición socioeconómica y cultural del aula, por el otro. Al ser definidas en el nivel del aula, no se incluye el sufijo i (nivel alumno).

 

V. Composición de la escuela. Al modelo en (III) se le adiciona la composición de la escuela:

donde Σβ₅ es un conjunto de parámetros a ser estimados que expresan las relaciones entre el rendimiento, por un lado, y la composición socioeconómica y cultural de la escuela, por el otro. La composición escuela no incluye los sufijos i (nivel alumno) ni j (nivel aula).

 

VI. Modelo final (parte fija). El modelo empírico completo se expresa así:

 

VII. Aleatorización (parte aleatoria). Los modelos anteriores suponían que la intensidad de la asociación entre logro y factores individuales (pendientes β's) era similar en todas las aulas y escuelas. Para evaluar si en realidad varía (objetivo 3) se aleatoriza el coeficiente de cada factor al nivel aula y escuela, es decir, se permite que la correlación varíe (aleatorización) en el nivel aula y escuela. En este caso, mientras que la estimación del intercepto (promedio) es la varianza de los promedios en aulas o escuelas alrededor de la media global de logro, la estimación del coeficiente en la parte aleatoria es la varianza del efecto de la variable en cada aula o escuela alrededor del efecto promedio estimado. Con la finalidad de simplificar el análisis, se supone que la covariación entre intercepto y pendiente es no significatva. A modo de ejemplo, la aleatorización de la variable educación padres en el nivel aula, se expresa así:

La única diferencia importante con los modelos anteriores es que ahora el coeficiente β tiene un subscrito j indicando que varía entre las aulas, compuesto por su valor promedio general (β₁) y una parte aleatoria (µ_ij), con media cero y varianza a ser estimada (σ_µ1). Este razonamiento es extensible a todos los niveles y factores que se están analizando.

 

RESULTADOS

Modelos vacíos. En el cuadro 1 se presenta la descomposición de la varianza para diferentes modelos, según niveles especificados de agregación. Los rendimientos esperados en matemática y en lengua de un alumno aleatorio en un aula aleatoria en una escuela aleatoria y en una provincia aleatoria son 61.2% y 63.5%, respectivamente. Sin embargo, ese valor aumenta cuando se estima con base en un número menor de niveles. En el modelo alumno–escuela (I.1), las varianzas entre–escuela de matemáticas y de lengua son 42.1% y 36.5% de las varianzas totales de ambas asignaturas, respectivamente. De este modelo se inferiría que el efecto escuela "bruto" es notablemente elevado, especialmente en matemáticas. Pero, cuando se omite el nivel escuela (I.2), la variación relativa en el nivel aula en matemáticas y lengua es 49.8% y 42.5%, respectivamente, es decir, superior a la registrada para la variación entre–escuela en el modelo anterior. Por otro lado, la variación entre–alumno cae significativamente en ambas materias. Ello es así porque se está incluyendo un nivel de agregación más próximo al alumno (el aula). Según estos datos, la mitad de la variación del rendimiento en matemáticas se explicaría por características del aula. El modelo estado–escuela–alumno (I.3) permite observar que la varianza entre–escuela del modelo I.1 se desdobla significativamente. Del efecto inicialmente atribuido a la escuela en I.1 en matemáticas y en lengua, un tercio y un cuarto, respectivamente, se debía en realidad a características de los estados. Cuando se toman en cuenta los cuatro niveles de agregación (I.4), la varianza entre escuela vuelve a descender, pesando ahora un poco más de 20% en ambas materias. También desciende abruptamente la varianza entre–alumno (o intra–aula), quedando próxima a su valor en el modelo I.2. Es decir, la inclusión de los niveles estado y escuela no altera la varianza entre–alumno del modelo que sólo contiene al aula como nivel superior del alumno (I.2). Por otra parte, los valores de la varianza entre–estado se mantienen inalterados. De cualquier forma, el efecto escuela bruto en matemáticas y lengua —23% y 22%, respectivamente— es superior al efecto aula —15% y 12%, respectivamente.

Otro aspecto a tener en cuenta respecto de estas estimaciones iniciales es el efecto que produce la cantidad de observaciones en el nivel aula. En el Anexo A se presenta la descomposición de la varianza del modelo vacío con cuatro niveles, según la cantidad de aulas en la escuela. Se puede apreciar que a medida que aumenta el número de aulas consideradas, aumentan las varianzas entre–alumno y entre–aula, al tiempo que disminuyen las del nivel escuela y estado. Si se consideran exclusivamente los establecimientos con cinco o más aulas para el análisis, el efecto bruto aula supera al efecto bruto escuela. Más adelante se comentan estas estimaciones cuando son ajustadas por los factores incluidos en el análisis.

En resumen, la idea de que cuanto mayor sea el número de niveles de agregación considerado, mayor será la estimación del efecto total de los niveles superiores al nivel alumno, se confirma sólo cuando el nivel de agregación omitido es el más próximo al alumno (aula). Por otra parte, los resultados revelan que la omisión del nivel aula produce una sobreestimación de las varianzas del nivel inmediatamente superior (escuela) e inferior (alumno). Si bien el efecto bruto– escuela parece superar ampliamente al efecto bruto– aula en ambas materias, la magnitud de este último es también muy significativa. Parece relevante, entonces, continuar con el análisis sólo del modelo completo (I.4). Por otro lado, se constata que el número mínimo de aulas por escuela disponible en la muestra incide sobre el perfil de la descomposición inicial de la varianza, aspecto que debe tenerse en cuenta para no inferir conclusiones incorrectas. En particular, cuanto menor sea el número de aulas por escuela, mayor es la probabilidad de subestimar el efecto aula y sobreestimar el efecto escuela.

Los modelos ajustados. A continuación, se incluyen las variables referidas al tipo de escuela, gestión y orientación curricular (Modelo II, cuadros 2a y 2b). Ambas variables son significativas en matemáticas, mientras que en lengua sólo la estimación de privada es significativa. En principio, entonces, debe esperarse que los alumnos de las escuelas técnicas obtengan rendimientos promedios superiores al de las escuelas bachillerato/comercial sólo en matemáticas, mientras que el de las escuelas privadas será superior al de las públicas en ambas materias. Por eso, técnica se extrae del análisis subsiguiente de lengua. Cuando ambas variables se incluyen en el modelo vacío, la varianza de los niveles estado y escuela disminuyen 20% en matemática y 25% en lengua. Como era de esperarse, no afectan la variación entreaula. De acuerdo con estas estimaciones iniciales, una parte importante del efecto escuela expresaría la acción de ciertas características institucionales vinculadas a las dicotomías público–privado y técnica–bachiller/comercial.

En el Modelo III se incluyen las características individuales del alumno y su familia. Con ello se pretende ajustar las estimaciones teniendo en cuenta las características individuales del alumno. Todas las variables tienen un efecto estadísticamente significativo sobre el rendimiento de matemáticas y lengua, con excepción del indicador compuesto por bienes y servicios en el hogar, aspecto que ya ha sido analizado en trabajos anteriores (Cervini, 2004; 2005). Entonces, cuanto más alto es el nivel educativo de los padres y la disponibilidad de libros y material didáctico en la casa, mayores serán los rendimientos esperados en ambas materias, aunque esta predicción es más fuerte en lengua que en matemáticas. En relación con los varones, el rendimiento esperado de las mujeres es más bajo (–) en matemáticas (cuadro 1a) y más alto en lengua (cuadro 2b), siendo esta última distancia mucho mayor que la primera. Finalmente, los alumnos recursadores obtienen rendimientos más bajos que los no–recursadores en ambas asignaturas.

Este conjunto de variable produce una caída significativa en todos los niveles de agregación, aunque la más pronunciada se verifica en la varianza entre–escuela, constatación que refleja el alto grado de segmentación socioeconómica de las escuelas.⁶ Consistentemente, la disminución relativa del nivel alumno, donde más deberían afectar estas variables, es leve en lengua y casi inexistente en matemática.

El Modelo IV muestra las estimaciones recalculadas al incluir las variables del contexto o composición (socioeconómica, académica y de género) del aula. Esta inclusión significa controlar las estimaciones por las características contextuales del aula. Todas las variables tienen un efecto estadísticamente significativo, con excepción del porcentaje de mujeres en lengua. Por lo tanto, cuanto mayor sea el promedio del nivel educativo de los padres y/o de la disponibilidad de libro y material didáctico y/o el porcentaje de alumnos no recursadores en el aula, mayor será el rendimiento promedio obtenidos por sus alumnos, aun después de haber considerado las características individuales del alumno. No sólo los varones logran mejores rendimientos en matemáticas, sino que además la mayor proporción de ellos en el aula favorece a todos los alumnos en cuanto a su rendimiento promedio. Tal efecto contextual no existe para el caso de las mujeres en lengua.

Este conjunto de variables contextuales produce una caída muy importante en el efecto de la variable privada en ambas materias, indicando que la diferencia de rendimiento promedio entre los sectores público y privado se debe en gran medida a las características socioeconómicas y académicas del contexto escolar. También disminuye el efecto de técnica en matemáticas, aunque con una magnitud notablemente menor.

El contexto del aula explica muy poco de la varianza residual inter–aula del Modelo III, lo cual sugiere homogeneidad contextual de las aulas dentro de la escuela, es decir, las aulas no implican selectividad intra–escuela respecto de los indicadores analizados. En cambio, la varianza entre escuela cae abruptamente, lo cual sí indica alta segmentación de las escuelas con base en la composición de sus aula. Finalmente, y tal como era esperado, la varianza entre–alumno (o intra–aula) permanece inalterada.

En el Modelo V se consideran las variables de composición en el nivel escuela, dejando afuera las variables homólogas del nivel aula. De esta forma, se puede comparar y evaluar el grado de incidencia de la composición en ambos niveles. El perfil de los efectos es muy similar al obtenido con el Modelo IV. En ambos modelos, las sumas de las varianzas residuales de los niveles de agregación superiores al alumno son muy similares, tanto en matemáticas (30%) como en lengua (alrededor de 22%).

En este modelo, el efecto de privada deja de ser significativo en ambas materias. Entonces, la diferencia de rendimiento entre sector público y privado es totalmente explicada por la selectividad socioeconómica y académica del alumnado de la escuela, y nada le debe a supuestas diferencias de gestión u organización, y menos aún a diferencias en sus prácticas educativas.

En el Modelo VI se incluyen todas las variables de composición que resultaran significativas en los modelos anteriores. Se consigue así la máxima explicación posible con base en las variables independientes consideradas. El conjunto de variables incluidas ha conseguido explicar 25% y 23% de la variación de los rendimientos de lengua y matemáticas en los modelos vacíos (I.4), respectivamente. Estos descensos de la varianza inexplicada se deben principalmente a la caída de la varianza inter–estado e inter–escuela, mientras que la varianza inter–aula ha disminuido levemente. Por tanto, gran parte de las diferencias de rendimiento promedio entre las escuelas son debidas a los llamados factores extra–escolares, los cuales tienen muy poca capacidad explicativa respecto de las diferencias entre aulas al interior de la escuela. Ahora, el residuo inexplicado del nivel escuela es inferior al correspondiente al nivel aula. Sin embargo, ambos residuos continúan siendo estadísticamente significativos.

Cabe efectuar una pregunta respecto de estas estimaciones. ¿A cuál de las variables de composición del aula se debe la (leve) caída de la variación entre–aula del modelo V al Modelo VI? (matemáticas: de 13.9% a 12.8%; lengua: de 11.1% a 10.2%) Para responderla, en el Modelo V se incluyen las variables de composición del aula una por vez y se recalculan las estimaciones correspondientes. Las estimaciones de la variación entre–aula obtenidas para cada variable en cada materia son:

El porcentaje de recursadores en el aula es la variable de composición que tiene mayor peso en la explicación de las diferencias de rendimiento promedio entre las aulas dentro de la escuela. En lengua, este aspecto de la composición explica casi todo el descenso de la varianza entre–aula del modelo V al VI. Existirían indicios, pues, de cierta selectividad académica en la distribución de los alumnos en las diferentes clases o aulas dentro de las escuelas, con una tendencia a concentrar a los alumnos más rezagados en determinadas aulas. El efecto detectado aquí es muy tenue. Sin embargo, es razonable suponer que si se hubiese dispuesto de una medición más fina y eficiente que la simple dicotomía repitiente/no repitiente, como por ejemplo, una prueba de logro anterior o de aptitud académica del alumno, la magnitud detectada de este efecto podría haber ser significativamente mayor.

En resumen, la tendencia de los datos sugiere que otros factores extraescolares no incluidos en el presente estudio, entre ellos el nivel de logro anterior o la aptitud académica del alumno, podrían aún aportar a la explicación de la varianza inter–escuela residual. Por el contrario, es muy poco probable que factores de ese tipo expliquen una proporción relevante de las desigualdades entre las aulas al interior de una misma escuela, con excepción de la composición académica del aula (el nivel de logro anterior o la aptitud académica del alumno), aunque su contribución difícilmente pueda igualar los residuos de ambos niveles. En consecuencia, la hipótesis de la importancia de los factores propios del aula (p. ej., práctica docente) parece respaldada por los datos.

Aleatorización. Finalmente, se analizan las estimaciones de la aleatorización del efecto de los factores en los niveles aula y escuela, efecto asumido como fijo en todos los modelos anteriores. Se desea elucidar tres aspectos: la existencia o no de variación de los efectos; la relación entre la aleatoriedad en aula y en escuela, y el probable efecto de los factores extraescolares individuales y contextuales de aulas y escuelas sobre la variación de los coeficientes. Con finalidad heurística, se presentan y analizan los resultados de cada paso del procesamiento de los datos. Se omite la presentación de las estimaciones de la varianza del rendimiento promedio y, con la finalidad de simplificar el análisis, se supone covariación cero entre rendimiento y efecto del factor. Los resultados se presentan en el cuadro 3 y se comentan y discuten por línea:

1. Cada variable es aleatorizada individualmente y sólo en un nivel a la vez (escuela o aula), en un modelo que contiene sólo a la propia variable, es decir, no es ajustado por las variables independientes restantes. Inicialmente, todas las estimaciones de la varianza de los efectos resultaron significativas, tanto en el nivel escuela como en el de aula. Entonces, la intensidad del efecto de cada variable sobre el rendimiento difiere entre las aulas y las escuelas. Existen diferencias en el grado de (in)equidad institucional, lo que refleja disparidades en la capacidad institucional para compensar el efecto del origen social, el género o los antecedentes académicos del alumno. Además, existen claros indicios de que la variación de la desigualdad hombre/mujer es notablemente mayor que la existente entre recursadores y no–recursadores. En el nivel escuela, la estimación de la varianza de femenino (=10.1) casi duplica a la de recursador (=5.87). Por otra parte, todas las estimaciones de la varianza de los efectos en el nivel aula son superiores a las correspondientes del nivel escuela. Si bien este resultado era esperado, llama la atención que en prácticamente todos los factores y en ambas materias, la variación en el nivel aula al menos duplica a la del nivel escuela.

2. Cada variable es aleatorizada individualmente y en un nivel (escuela o aula) a la vez, en un modelo que contiene los factores individuales y grupales del Modelo VI (ajustado). Con algunas excepciones, los factores incluidos en este modelo producen una caída en el nivel de variabilidad de los efectos.

3. Cada variable es aleatorizada individualmente y en ambos niveles a la vez, en un modelo que contiene sólo la propia variable (no ajustado). Estos resultados permiten evaluar la incidencia de considerar simultáneamente el aula y la escuela como niveles de agregación. Las estimaciones del nivel aula se refieren a la variación de las líneas de regresión en torno a la línea de regresión de la escuela (intra–escuela), mientras que las estimaciones del nivel escuela expresan la variación de la línea de regresión de las escuelas en torno a la línea de regresión de cada estado (nivel 4). Tal como era esperado, ambas variaciones disminuyen cuando se las considera simultáneamente, aunque se observan consecuencias diferentes según el factor y la materia. En lengua, la variación en el nivel escuela deja de ser significativa en todos los factores, con excepción de femenino (=10.0). Entonces, los efectos del origen social, la disponibilidad de recursos didácticos y los antecedentes académicos sobre el rendimiento en lengua varían principalmente entre las aulas dentro de la escuela, y no entre las escuelas. En matemáticas, esto sucede sólo con libros+didácticos (=0.05). Los efectos del resto de los factores considerados varían en ambos niveles de agregación, aunque la variación en el nivel aula es notablemente superior a la verificada para el nivel escuela.

4. Todas las variables son aleatorizadas conjuntamente y en ambos niveles a la vez, en un modelo que contiene sólo las variables individuales (no ajustado por composición). Este modelo implica, por tanto, el ajuste por las variables individuales. El único cambio relevante respecto al modelo anterior es que la variación del efecto de educación padres deja de ser significativo en el nivel aula.

5. Al modelo anterior se le adicionan las variables de composición del aula y la escuela. Las disminuciones de variación más evidentes son las relativas a femenino, tanto en aula como en escuela, y en ambas materias.

En general, los modelos que consideran solamente el nivel escuela o el nivel aula sobrestiman la variación del efecto de los factores en ambos niveles, es decir, las estimaciones de la variación de los efectos sobre el rendimiento en modelos que incluyen simultáneamente los niveles escuela y aula, y todos los factores analizados reducen significativamente las estimaciones basadas en modelos con sólo un factor y sólo un nivel. Las caídas son más acentuadas en el nivel escuela, con excepción del factor educación padres en matemáticas. La variación del efecto del género en lengua cae de forma similar en ambos niveles.

En lengua, el grado de (in)equidad varía sólo entre aulas, al interior de la escuela. La única excepción es femenino, que varía de forma similar en ambos niveles. Entonces, las escuelas exhiben niveles de equidad promedio relativamente similares en lengua, mientras que sus aulas difieren significativamente respecto a esa cualidad.

En matemáticas el comportamiento es más variado. El efecto del origen social del alumno varía entre escuelas y no entre las aulas dentro de la escuela. La disponibilidad de material didáctico, en cambio, tiene el mismo efecto en todas las escuelas, pero no entre las aulas. En este aspecto se asemejan ambas materias. Finalmente, los efectos de femenino y recursador varían tanto entre las escuelas como al interior de ellas, aunque lo hace con mayor intensidad en esta última.

 

DISCUSIÓN Y CONCLUSIONES

La imagen acerca de la estructura del funcionamiento y de los resultados de la educación secundaria depende en gran medida de los niveles de agregación que se especifiquen en el análisis.

Hasta muy recientemente, la gran mayoría de los estudios sobre la distribución de los rendimientos escolares han inferido conclusiones a partir de estimaciones obtenidas con modelos de sólo dos niveles, a saber: alumno y escuela. Con este tipo de modelos es muy probable concluir que la escuela hace una diferencia, apoyando así el supuesto básico del paradigma de efectividad escolar. Sin embargo, los resultados obtenidos cuando se adicionan otros niveles de agregación pueden cuestionar la validez o al menos atemperar la contundencia de esa conclusión.

En este trabajo se han incluido dos niveles adicionales: el aula y el estado. Esta operación ha permitido construir una imagen más compleja de los resultados académicos del sistema de educación secundaria en Argentina, develando el verdadero significado de la eficacia escolar sugerida por los modelos con sólo dos niveles. Se demostró que tras la abultada magnitud de las desigualdades entre las escuelas, se escondían realmente las diferencias entre estados y entre aulas dentro de las escuelas. Cuando aula y estado son tomados en cuenta, las proporciones de la variación de los rendimientos en matemáticas y en lengua atribuibles a la escuela descienden a alrededor de 40%. Por otro lado, la inclusión del nivel aula deprime también la estimación de las desigualdades de rendimiento entre los alumnos, o sea, disminuye el sector de la variación del rendimiento que debería ser explicado por características individuales del alumno, ajenas a la responsabilidad del sistema educativo. La omisión de niveles de agregación importantes y más próximos al alumno, como el aula, conduce a sobreestimar las variaciones entre–alumno y entre–escuela. No es correcto, entonces, omitir cualquier nivel intermedio de agregación, como por ejemplo, el aula.

De cualquier manera, aula y escuela son inicialmente importantes para explicar las variaciones o desigualdades en los rendimientos, tanto de matemáticas como de lengua.

Aparentemente, qué pasa en las escuelas y qué sucede en el aula explicaría en gran medida por qué los alumnos difieren en sus niveles de aprendizaje. Y de ambos factores, la escuela tendría un mayor peso explicativo.

Sin embargo, esta imagen inicial no se sostiene totalmente cuando se consideran los efectos de las características individuales del alumno y de las características de la composición del alumnado, efectos que están más allá del control de la escuela, del director o del maestro. Al incluirlas en el análisis, se descubre que tales variables explican principalmente por qué el rendimiento promedio de las escuelas varía significativamente, pero ayudan muy poco a explicar por qué las aulas dentro de la escuela difieren en sus rendimientos promedios. Como consecuencia, la desigualdad entre las escuelas, una vez consideradas esas variables, se torna menor que las diferencias entre las aulas en el interior de las escuelas. Ese comportamiento expresa la existencia de un efecto contextual (socioeconómico, de género y de aptitudes académicas) en el nivel escuela, no detectado en el nivel aula. Por el contrario, el efecto de las variables de composición de las aulas se detecta principalmente en el nivel escuela, lo cual refleja que las aulas tienden a ser homogéneas a ese respecto, es decir, no existe selectividad intra–escuela, al menos respecto de las mediciones utilizadas.

Esta última afirmación debe ser aceptada con cierta reserva cuando se trata de la composición académica. El análisis detectó un efecto propio, aunque tenue, de este último aspecto en el nivel aula. Considerando que el indicador utilizado (proporción de alumnos recursadores en el aula) es un proxy de indicadores más fuertes y confiables (nivel de logro precedente, test de aptitud académica, test de inteligencia, etc.), debe asumirse que muy probablemente se está subestimando la incidencia de la composición académica del aula en la explicación de la varianza en ese nivel.

La varianza entre–escuela dejada sin explicar (residuo en el nivel escuela), que representa alrededor de 9.4% y 8.6% de la variación total del rendimiento en matemáticas y lengua, respectivamente, podrá ser explicada por otros factores extraescolares cuyas mediciones no han estado disponibles en este estudio, o por factores escolares, es decir, características de la institución escolar (organización, políticas, liderazgo, etc.). En cambio, esa misma varianza pero en el nivel aula —12.8% en ambas materias— será explicada más probablemente por factores o características del aula (práctica pedagógica, oportunidad de aprendizaje, características del maestro, clima de aprendizaje, etc.), es decir, factores propiamente escolares. Es en este nivel de agrupamiento, más cercano al alumno, donde sucede el proceso de enseñanza–aprendizaje. Por tanto, son sus particularidades las que tienen mayor probabilidad de incidir en el aprendizaje. Entonces, los datos confirman la idea de que, en la búsqueda de "áreas de efectividad sería más sensato buscar dentro de la escuela más que a la escuela" (Webster y Fisher,2000, p. 358).

Estos hallazgos, sin embargo, no niegan la existencia de cierto efecto escuela. Después de controlar el efecto de los factores extraescolares disponibles, resta un residuo significativo en el nivel escuela, parte del cual podría deberse a factores estrictamente institucionales. Es decir, algunas escuelas serían más exitosas que otras en el objetivo de promover el aprendizaje de los alumnos y ello por razones sujetas a decisiones tomadas en la propia escuela. Más bien, se trata de percibir que es necesario enfatizar los aspectos particulares referidos en el nivel aula. Cualquier proceso de transformación institucional para el mejoramiento educativo que no contemple esta dimensión no sería compatible con las señales que surgen de los datos y, por tanto, podría no tener el efecto esperado. La magnitud del efecto directo de las diferencias entre las aulas dentro de la escuela, debidas muy posiblemente a diferencias en métodos didácticos, prácticas de aprendizaje, organización de las interacciones maestro–alumno, etc., parece mucho más fuerte que el de los aspectos institucionales destacados frecuentemente por el enfoque de efectividad escolar (por ejemplo, liderazgo institucional).

La variación del grado de (in) equidad educativa es marcadamente más fluctuante entre aulas, al interior de la escuela, que propiamente entre las escuelas. Se constataron algunas diferencias por materia. En lengua, las escuelas se muestran homogeneamente equitativas, con excepción de la distribución del logro entre hombres y mujeres, mientras que, al mismo tiempo, las aulas difieren significativamente en su capacidad distributiva, al menos respecto de todos los factores estudiados (origen social, capital cultural objetivado, género, recursamiento). En matemáticas, en cambio, tanto aulas como escuelas se muestran más heterogéneas en su capacidad de compensar las características extraescolares de sus alumnos. De todas maneras, la intensidad de esa variación continúa siendo más pronunciada al interior de las escuelas que entre ellas mismas.

En resumen, cualquier ejercicio destinado a calificar la efectividad institucional de los establecimientos escolares será erróneo y sesgado si no se incluyen criterios que contemplen la diversidad institucional interna, referida tanto a clase/aulas como a materias curriculares. Por otra parte, es consenso generalizado que sólo mediante estudios longitudinales es posible obtener mediciones precisas del efecto escuela y aula (o maestro), puesto que sólo así es posible evaluar la estabilidad de ambos efectos a lo largo del tiempo (Sammons, 1996). Por eso, las conclusiones del presente estudio, con diseño transversal, deberían ser aceptadas con cautela. No obstante, esta limitación no es relevante cuando sus constataciones empíricas son confrontadas con las informadas por los estudios basados en el mismo tipo de diseño.

 

REFERENCIAS

AITKIN, M. y N. Longford (1986), "Statistical modeling issues in school effectiveness", en Journal of the Royal Statistical Society serie A, vol. 149, pp. 1–42.        [ Links ]

ANGUS, L. (1993), "The sociology of school effectiveness", en British Journal of Sociology of Education, vol. 14, núm. 3, pp. 333–345.        [ Links ]

BOSKER, R.J. y B. Witziers (1996), "The magnitude of school effects or does it really matter which school a student attend?", ponencia presentada en el Annual Meeting of the American Educational Research Association, Nueva York, abril.        [ Links ]

BOSKER, R. y J. Scheerens (1994), "Alternative models of school effectiveness put to the test", en International Journal of Educational Research, vol. 21, núm. 2, pp. 159–181.        [ Links ]

BOSKER, R., B. Creemers y J. Scheerens (1994), "Developments in the educational effectiveness research program", en International Journal of Educational Research, vol. 21, núm. 2, pp. 125–140.        [ Links ]

BRYK, A. y Raudenbush (1992), Hierarchical linear models for social and behavioral research: applications and data analysis methods, Newbury Park, CA, Sage.        [ Links ]

BROOKOVER, W. et al. (1979), School, social systems and student achievement–schools can make a difference, Nueva York, Praeger Publishers.        [ Links ]

CALDAS, S. y C. Bankston (1997), "Effect of school population socioeconomic status on individual academic achievement", en Journal of Educational Research, vol. 90, pp. 269–277.        [ Links ]

CERVINI, R. (2005), "The relationship between school composition, school process and mathematics achievement in secondary education in Argentina", en International Review of Education, vol. 51, núm. 2, pp. 1–28.        [ Links ]

—   (2004), "Nivel y variación de la equidad en la educación media de Argentina", en Revista Iberoamericana de Educación, Madrid, Organización de los Estados Iberoamericanos, en línea en http://www.campus–oei.org/revista/deloslectores.htm#ee (consultado el 10 de diciembre de 2004).        [ Links ]

—   (2003a), "La eficacia educativa del sector público. El caso de las escuelas secundarias técnicas en Argentina", en Revista Latinoamericana de Estudios Educativos, vol. 33, núm. 3, pp. 53–92.        [ Links ]

—   (2003b), "Diferencias de resultados cognitivos y no–cognitivos entre estudiantes de escuelas públicas y privadas en la educación secundaria de Argentina: Un análisis multinivel", en Education Policy Analysis Archives, vol. 11, núm. 5, en línea en http://epaa.asu.edu/epaa/v11n6/.        [ Links ]

—   (2002), "Desigualdades en el logro académico y reproducción cultural en la educación primaria de Argentina. Un modelo de tres niveles", en Revista Mexicana de Investigación Educativa, vol. 7, núm. 16, pp. 445–500, en línea en http://www.comie.org.mx/revista/Pdfs/Carpeta16/16investTem2.pdf        [ Links ]

COE, R. y C. Taylor (1998), "School effectiveness research: criticism and recommendations", en Oxford Review of Education, vol. 24, núm. 4, pp. 421–438.        [ Links ]

CREEMERS, B. (1994), "Effective instruction: an empirical basis for a theory of educational effectiveness", en B. Reynolds et al., Advances in school effectiveness research and practice, Oxford, Pergamon.        [ Links ]

CREEMERS, B.P.M. y G.J. Reezigt (1996), "School level conditions affecting the effectiveness of instruction", en School Effectiveness and School Improvement, vol. 7, núm. 2, pp. 197–228.        [ Links ]

CUTTANCE, P. (1998), "Quality assurance reviews as a catalyst for school improvement in Australia", en A. Hargreaves et al., International handbook of educational change (segunda parte), Dordrecht, Kluwer.        [ Links ]

D'AGOSTINO, J. (2000), "Instructional and school effects on students' longitudinal reading and mathematics achievements", en School Effectiveness and School Improvement, vol. 11, núm. 2, 197–235.        [ Links ]

DE JONG, R., K.J. Westerhof, y J.H. Kruiter (2004), "Empirical evidence of a comprehensive model of school effectiveness: a multilevel study inn Mathematics in the first year of junior general education in The Netherlands", en School Effectiveness and School Improvement, vol. 15, núm. 1, pp. 3–31.        [ Links ]

FENNEMA, E. y T.P. Carpenter (1981), "Sex related differences in mathematics: results from national assessment", en Mathematics Teacher, vol. 74, pp. 554–559.        [ Links ]

FRASER, B.J., H.J. Walberg, W.W. Welch y J.A. Hattie (1987), "Syntheses of educational productivity research", en International Journal of Educational Research, vol.11, núm. 2.        [ Links ]

FREIDMAN, L. (1989), "Mathematics and the gender gap: a meta–analysis of recent studies on sex differences in mathematical tasks", en Review of Educational Research, vol. 59, pp. 185–213.        [ Links ]

GEWIRTZ, S. (1998), "Can all school be successful? An exploration of determinants of school 'success'", en Oxford Review of Education, vol. 24, núm. 4.        [ Links ]

GOLDSTEIN, H. (1995), Multilevel statistical models, Londres, Edward Arnold.        [ Links ]

GOLDSTEIN, H. et al. (1998), A user guide to MlwinN, Londres, University of London.        [ Links ]

HATCHER, R. (1998), "Social justice and the politics of school effectiveness and school improvement", en Race, Ethnicity and Education, vol. 1, pp. 267–289.        [ Links ]

HEXTALL, I y P. Mahony (1998), Effective teacher, effective schools, Londres, Biddles.        [ Links ]

HILL, P.W. y K.L. Rowe, (1996), "Multilevel modelling in school effectiveness research", en School Effectiveness and School Improvement, vol. 7, núm. 1, pp. 1–24.        [ Links ]

HILTON, T. L. y G.W. Berglund (1974), "Sex differences in mathematics achievement: a longitudinal study", en The Journal of Educational Research, vol. 67, pp. 232–237.        [ Links ]

KNUVER, A. y H. Brandsma (1993), "Cognitive and affective outcomes in school effectiveness research", en School Effectiveness and School Improvement, vol. 4, núm. 1, pp. 189–204.        [ Links ]

LAM, R., K. Wong y Ho Lai–ming (2002), "School effectiveness of a streamed–school system: a multilevel modeling of the Hong Kong secondary schools", en Australian Journal of Education, vol. 46, núm. 3, pp. 287–304.        [ Links ]

LEE, V. y A. Bryk (1998), "A multilevel model of the social distribution of high school achievement", en Sociology of Education, vol. 62, julio, pp. 172–192.        [ Links ]

LEITER, J. (1983), "Classroom composition and achievement gains", en Sociology of Education, vol. 56, núm. 3, pp. 126–132.        [ Links ]

LUYTEN, H. (2003), "The size of school effects compared to teacher effects: an overview of research literature", en School Effectiveness and School Improvement, vol. 14, núm. 1, pp. 31–51.        [ Links ]

LUYTEN H. y R. De Jong (1998), "Parallel classes: Differences and similarities. Teacher effects and school effects in secondary schools", en School Effectiveness and School Improvement, vol. 9, núm. 4, pp. 437–473.        [ Links ]

MORTIMORE, P. et al. (1988), School matters: the junior years, Londres, Open Books.        [ Links ]

MUIJS, D. y D. Reynolds (2003), "Student background and teacher effects on achievement and attainment in mathematics: a longitudinal study", en Educational Research and Evaluation, vol. 9, núm. 3, pp. 289–314.        [ Links ]

MUIJS, D. y D. Reynolds (2001), Effective teaching: evidence and practice, Londres, Paul Chapman.        [ Links ]

NUTTALL, D. et al. (1989), "Differential school effectiveness", en International Journal of Educational Research, vol. 13, núm. 7, pp. 769–776.        [ Links ]

OPDENAKKER, M. y J. Van Damme (2001), "Relationship between school composition and characteristics of school process and their effect on mathematics achievement", en British Educational Research Journal, vol. 27, núm. 4, pp. 407–432.         [ Links ]
—   (2000), "The importance of identifying in multilevel analysis: an illustration of the effects of ignoring the top or intermediate levels in school effectiveness research", en School Effectiveness and School Improvement, vol. 11, núm. 1, pp. 103–         [ Links ]130.
—   (2000), "Effects of schools, teaching staff and classes on achievement and well–being in secondary education: similarities and differences between school outcomes", en School Effectiveness and School Improvement, vol. 11, núm. 2, pp. 165–196.        [ Links ]

OPDENAKKER, M. et al. (2002), "The effect of schools and classes on Mathematics achievement", en School Effectiveness and School Improvement, vol. 13, núm. 4, pp. 399–427.        [ Links ]

PHILLIPS, M. (1997), "What make schools effective? A comparison of the relationships of communitarian climate and academic climate to mathematics achievement", en American Educational Research Journal, vol. 34, pp. 633–662.        [ Links ]

RESH, N. y Y. Dar (1992), "Learning segregation in junior high–school in Israel: causes and consequences", en School Effectiveness and School Improvement, vol. 3, núm. 3, pp. 272–292.        [ Links ]

REYNOLDS, D. et al. (1994), "School effectiveness research: A review of international literature", en D. Reynolds (ed.) Advances in school effectiveness research and practice, Oxford, Pergamon.        [ Links ]

ROWE, K.J., R. Turner y K. Lane (1999), "The 'myth' of school effectiveness: locating and estimating the magnitudes of major sources of variation in students' year 12 achievements within and between schools over five years", ponencia presentada en la 1999 AARE–NZARE Conference of Australian and New Zealand Association for Research in Education, Melbourne Convention Centre, noviembre 29 a diciembre 2.        [ Links ]

RUTTER, M. et al. (1979), Fifteen thousand hours, Londres, Open Books.        [ Links ]

SAMMONS, P. (1996), "Complexities in the judgement of school effectiveness", en Educational Research and Evaluation, vol. 2, pp. 113–149        [ Links ]

SAMMONS, P., S. Thomas y P. Mortimore (1997), Forging link: effective schools and effective departments, Londres, Paul Chapman.        [ Links ]

SCHEERENS, J. y Bosker, R. (1997), The foundation of educational effectiveness, Oxford, Pergamon.        [ Links ]

SCHEERENS, J. y Creemers, B. (1989), "Conceptualizing school effectiveness", en International Journal of Educational Research, vol. 13, núm. 7, pp. 691–706.        [ Links ]

SCHEERENS, J., C.J.A.J. Vermeulen y W.J. Pelgrum (1989), "Generalizability of instructional and school effectiveness indicators across nations", en International Journal of Educational Research, vol 13, núm. 7, pp. 789–799.        [ Links ]

SCHREIBER, James B. (2002), "Institutional and student factors and their influence on advanced mathematics achievement", en The Journal of Educational Research, vol. 95, núm. 5, pp. 274–286.        [ Links ]

SLEE, R., G. Weiner y S. Tomlinson (eds.) (1998), School effectiveness for whom?, Londres, Falmer.        [ Links ]

STRAND, S. (1997), "Pupil progress during Key Stage I: a value added analysis of school effects", en British Educational Research Journal, vol. 23, pp. 471–487.        [ Links ]

TEDDLIE, C. (1994), "The integration of classroom and school process data in school effectiveness research", en D. Reynolds (ed.), Advances in school effectiveness research and practice, Oxford, Pergamon.        [ Links ]

TEDDLIE, C. y D. Reynolds (2000), International handbook of school effectiveness research, Londres, Falmer.        [ Links ]

TEDDLIE, C. y S. Stringfiel (1993), Schools make a difference: lessons learnedfrom a 10–year–study of school effects, Nueva York, Teacher College.        [ Links ]

THOMAS, S. (2001), "Dimensions of secondary school effectiveness: comparative analyses across regions", en School Effectiveness and School Improvement, vol. 12, núm. 3, pp. 285–322.        [ Links ]

THRUPP, M. (2001a), "Sociological and political concerns about school effectiveness research: time for a new research agenda", en School Effectiveness and School Improvement, vol. 12, núm. 1, pp. 7–40.         [ Links ]
— (2001b), "Recent school effectiveness counter–critiques: problems and possibilities", en British Educational Research Journal, vol. 27, núm. 4, pp. 443–457.        [ Links ]

TSAI, S.L. y H.J. Walberg (1983), "Mathematic achievement and attitude productivity in junior high school", en The Journal of Educational Research, vol. 76, pp. 267–272.        [ Links ]

TYMMS, P. (2001), "A test of the big fish in a little pond hypothesis: an investigation into the feeling of seven–year–old pupils in school", en School Effectiveness and School Improvement, vol. 12, núm. 1, pp. 161–181.        [ Links ]

WEBSTER, B.J. y A.L. Fisher (2000), "Accounting for variation in science and mathematics achievement: a multilevel analysis of Australian data Third International Mathematics and Science Study (TIMMSS)", en School Effectiveness and School Improvement, vol. 11, núm. 3, pp. 339–360.        [ Links ]

WILLMS, J.D. y S.W. Raudenbush (1989), "A longitudinal hierarquical linear model for estimating school effects and theirs stability", en Journal of Educational Measurement, vol. 26, pp. 209.232.        [ Links ]

NOTAS

1. La composición es un agregado, en el nivel de escuela o de aula, de alguna característica del alumno individual. El efecto composición supone "controlar" previamente el efecto de la variable correspondiente en el nivel del alumno.

2. Véase el vol. 37 del International Journal of Educational Research dedicado exclusivamente al efecto composición (agregado de aptitud, estatus socioeconómico, género y etnia de los alumnos), y su distinción y relaciones con los efectos de los compañeros (peer effects).

3. Es importante observar que en esos dos estudios no es posible saber el efecto de la composición socioeconómica de la escuela, sea porque no incluyen tal medición en el análisis, sea porque la incluyen pero estiman su efecto conjuntamente con el de algunos factores escolares.

4. Archivos en http://diniece.me.gov.ar/diniece/bases/Bases.php?codmenu=090102, consultado el 20 de abril de 2005.

5. Para el análisis, el estado de Buenos Aires se divide en Gran Buenos Aires (Conurbano) y resto del estado. En el relevamiento no fueron incluidos los siguientes estados: Córdoba, Entre Ríos, Formosa, La Pampa y La Rioja.

6. En general, se espera que las variables afecten principalmente a la varianza del nivel en el que están definidas. Así, por ejemplo, las variables individuales del alumno deberían afectar principalmente a la varianza del nivel alumno. Sin embargo, cuando la composición de los grupos (escuela) respecto a las variables explicativas individuales no es igual para todos ellos, se producirá también una caída de la varianza en el nivel de esos grupos (interescuela). Entonces, las variables explicativas del nivel individual (alumno) explicarán parte de la varianza individual y parte de la grupal.