I. Introducción

El objetivo del presente artículo es la identificación de las escuelas de alta y baja eficacia escolar en la Educación Media Superior (EMS) del estado de Aguascalientes, México. El estudio se enmarca en un proyecto mayor orientado a reconocer las buenas prácticas escolares de las escuelas de alta y baja eficacia, por lo que en una segunda fase de la investigación se realizará un estudio a profundidad para conocer dichas prácticas en las escuelas seleccionadas.

El Instituto Estatal de Aguascalientes (IEA) administra el Examen Nacional de Ingreso (EXANI II) -diseñado por el Centro Nacional de Evaluación para la Educación Superior (Ceneval)- de manera censal y obligatoria a los estudiantes que cursan el último semestre de bachillerato. Además, se obtiene información contextual de cada uno de los estudiantes a través de un cuestionario adjunto a la prueba. Los datos anteriores suponen una rica fuente de información y se convierten en una gran oportunidad para explorar la manera en que los bachilleratos logran sus resultados con diferentes niveles de eficacia.

El concepto de eficacia se refiere a la capacidad de la escuela de generar resultados mayores a los esperables de acuerdo a las condiciones de su contexto, como las condiciones socioeconómicas y culturales del alumnado (^{Reynolds, Teddlie, Creemers, Scheerens y Townsend, 2000}).

Los modelos jerárquicos lineales son una técnica ampliamente utilizada en estudios de eficacia escolar, pues dada su naturaleza anidada, multivariante y multinivel, permiten ejercer un control sobre el efecto moderador de las variables contextuales en el rendimiento académico de los estudiantes y escuelas (^{Bryk y Raudenbush, 1992}; ^{Goldstein, 1997}; ^{Willms y Raudenbush, 1989}). Este conjunto de técnicas estadísticas respeta la estructura anidada de los datos, que es la habitual en educación, y permiten estudiar conjuntamente los efectos de las variables de nivel y de contexto, facilitando el análisis de los efectos de las covariables en cada nivel de anidamiento (^{Gaviria y Castro, 2005}; ^{Raudenbush y Bryk, 2002}).

En el más reciente estado del arte de la investigación sobre eficacia escolar, ^{Reynolds et al. (2014)} señalan que la investigación sobre eficacia escolar ha crecido rápidamente en calidad y cantidad; no obstante, siguen existiendo necesidades de investigación, por ejemplo: sobre los profesores y sus prácticas, estudios longitudinales, estudios internacionales comparativos, más trabajos que incorporen el nivel aula y seguimiento de escuelas ineficaces a lo largo del tiempo, entre otros.

Un estudio cercano a la temática en EMS fue el realizado por la Universidad Veracruzana, que empleó resultados de prueba EXANI II para medir el grado de eficacia escolar de cada bachillerato, pero sólo con los aspirantes a dicha universidad, lo que representa una muestra reducida de los mismos (^{Costeño, Ortega y Jácome, 2015}).

En el nivel básico se ha realizado un mayor número de estudios que se dirigen a identificar a las escuelas eficaces. El desarrollado en el País Vasco por ^{Joaristi, Lizasoain y Azpillaga (2014)} tuvo como propósito detectar y caracterizar escuelas eficaces de educación primaria y secundaria. Los autores utilizaron modelos transversales contextualizados para identificar la eficacia e hicieron una selección de 20 primarias y 22 secundarias, ambas de alta eficacia, las cuales serían posteriormente estudiadas mediante técnicas cualitativas.

En Baja California (México), ^{Martínez, Lizasoain, Castro y Joaristi (2017)} realizaron una investigación que implicó el uso de modelos jerárquicos lineales como metodología pertinente para medir la eficacia de escuelas en nivel primaria y la selección de aquellas con una mayor y menor eficacia. En el estudio se seleccionan 15 planteles de alta y 15 de baja eficacia. Se utilizaron las pruebas Evaluación Nacional de Logros Académicos en Centros Escolares (ENLACE) en dos ciclos escolares consecutivos.

Las investigaciones antes citadas utilizan una metodología a partir de modelos jerárquicos lineales o modelos transversales contextualizados. Sin embargo, en ningún estudio se repite la forma de selección de escuelas eficaces. Se postulan varias formas de llegar al mismo objetivo. El presente artículo expone un método adicional a los referidos, con el fin de identificar y seleccionar las escuelas eficaces, en aras de contribuir a la discusión sobre las maneras en que se puede identificar la eficacia de las escuelas a partir de los resultados de los alumnos.

II. Método

Para el estudio se utilizó información recogida a partir de los instrumentos administrados durante cuatro años consecutivos a todos los estudiantes que cursaban el 6o. semestre de bachillerato en el estado de Aguascalientes. La tabla I muestra el total de estudiantes y escuelas que fueron evaluados al egreso de la EMS del 2012 al 2015.

Tabla I Estudiantes, escuelas y promedio de evaluados en cada ciclo escolar en el estado de Aguascalientes 

Para los análisis se decidió incluir a las escuelas con más de 10 alumnos y que estuvieran en las cuatro mediciones; en total se analizaron 119 escuelas.

2.2 Procedimiento

Se realizaron dos tipos de análisis, los cuales se describen a continuación: transversal contextualizado (según denominación propuesta por la ^{OCDE, 2011}) y análisis del cambio temporal a nivel de escuelas. El primer análisis corresponde a un diseño multinivel para respetar la estructura anidada de los datos. Desde el punto de vista de los análisis transversales contextualizados se cuenta con las variables objeto de estudio a nivel de los estudiantes (nivel 1), y las propias de las escuelas en que estos se agrupan (nivel 2). Desde el punto de vista del estudio del cambio en el tiempo, éste sólo puede realizarse al nivel de las escuelas, dado que las evaluaciones EXANI II son cortes transversales en las cohortes al egreso de la EMS.

En los modelos transversales contextualizados el nivel 1 se plantea considerando el rendimiento de cada estudiante como variable dependiente. Dado que se trata de aislar el efecto escolar; en los modelos se considerarán únicamente las variables estrictamente contextuales, es decir, aquellas en las que el centro no tiene capacidad de intervención (X_q). Así, el modelo de regresión múltiple multinivel de cualquiera de las variables dependientes Y es para cada nivel:

Los distintos elementos son:

Y_ij: puntuación obtenida en el EXANI II por el estudiante i de la escuela j;

β_0j: puntuación media de cada escuela en la competencia correspondiente;

β_qj: refleja la influencia lineal de la covariable X_q del alumnado;

X_qij: puntuación del estudiante i de la escuela j en la covariable X_q, y

r_ij: es el residuo para el estudiante i de la escuela j; es decir, cuánto se separa cada estudiante de lo esperado o estimado por la ecuación en su escuela.

El modelo del nivel 2 incorpora factores que afectan sistemáticamente a la escuela y que se denotan con W_s siendo s={1…S}.

β_0j: rendimiento medio de cada escuela j;

γ00 : representa el efecto común a todas las escuelas;

γ0s : efecto lineal de la covariable W_s en el rendimiento medio de las escuelas;

W_sj: valor que toma la escuela j en la covariable de escuela W_s;

u_0j: representa la variación residual entre escuelas una vez controlados todos los factores individuales y escolares incluidos en el modelo.

El término u_0j es el residuo de cada escuela, una vez controlados todos los factores individuales y de centro incluidos en el modelo, y constituye la base de uno de los criterios estadísticos de selección. En la medida en que un centro cuyo promedio de residuos en las 4 mediciones sea elevado es claramente candidato a ser considerado de alta eficacia, dado que su rendimiento medio es superior a lo estadísticamente esperable una vez detraído o controlado el efecto de dichas variables contextuales.

Con respecto a los modelos de cambio en el tiempo, estos se realizaron en el nivel 2 de las escuelas mediante regresión lineal de mínimos cuadrados ordinarios (OLS). En dichos modelos la variable dependiente a estimar será la puntuación media bruta obtenida por cada escuela en la prueba EXANI II y el residuo medio obtenido mediante HLM, tal y como se ha descrito en el apartado anterior. De esta forma, en cada caso, se obtiene para cada escuela la pendiente β_1j, que es un estimador del crecimiento o decrecimiento a lo largo del tiempo en puntuaciones o residuos. Aquellas escuelas cuya pendiente sea muy grande y positiva serán consideradas escuelas de alta eficacia, puesto que muestran una clara tendencia al crecimiento de puntuaciones o residuos. Y análogamente, escuelas de pendiente muy grande, pero negativa, serán consideradas de baja eficacia.

Una vez efectuados los análisis estadísticos, el resultado está formado por cuatro listas de escuelas ordenadas de mayor a menor eficacia. Se definieron cuatro criterios para seleccionar a las escuelas, los que se describen a continuación:

• 1) Residuos Extremos (RE). A partir del promedio de los residuos de los análisis transversales contextualizados de los cuatro años, se seleccionan a las escuelas de mayor y menor residuo.

• 2) Crecimientos de los Residuos (CR). Se calcula una función lineal entre los promedios de los residuos de las escuelas en los cuatro años, se selecciona a las pendientes de mayor y menor crecimiento.

• 3) Puntuaciones Brutas Extremas (PE). Se promedian las puntuaciones brutas de la variable dependiente y se selecciona a las de mayor y menor puntuación.

• 4)Crecimiento de las Puntuaciones Brutas (CP). Se calcula una función lineal entre los promedios de las puntuaciones brutas de las escuelas en los cuatro años y se selecciona a las pendientes de mayor y menor crecimiento.

Dos criterios involucran a las puntuaciones brutas (criterios 3 y 4) y dos más son a partir de los resultados de los residuos (1 y 2); a su vez, dos criterios se generan a partir de las puntuaciones o residuos promedio por escuela (1 y 3) y otros dos a partir del crecimiento de puntuaciones o residuos (2 y 4).

A la hora de seleccionar los planteles no se asignó la misma importancia a los cuatro criterios, se decidió asignar un mayor peso a los criterios basados en los residuos frente a las puntuaciones. La razón de tal decisión se debe a que trabajar con los residuos resulta más equitativo que con las puntuaciones, dado que se han controlado los efectos de las variables contextuales. En la tabla II se muestran los pesos asignados.

Tabla II Cantidad de escuelas seleccionadas por cada criterio de eficacia 

Es importante hacer notar que algunas escuelas pueden ser seleccionadas por varios criterios, por lo que la selección definitiva no es la suma de los valores de la tabla II.

III. Resultados

Los hallazgos de esta investigación se muestran en dos momentos, primero se presentan los resultados de los modelos jerárquicos lineales y posteriormente la selección de escuelas considerando los cuatro criterios de selección. Es importante recalcar que el propósito de este estudio no es interpretar los modelos explicativos del logro de los estudiantes. La intención es utilizar los modelos para hacer un control de las variables contextuales significativas y así identificar las escuelas con residuos más altos o bajos.

Las variables contextuales que resultaron significativas para los modelos de regresión jerárquica en los cuatro ciclos escolares (2012-2015) se muestran en la tabla III. En el nivel 1 (del estudiante), todas las variables resultaron significativas; en el nivel 2 (de la escuela) sólo el ISEC fue significativo para todos los años.

Tabla III Covariables significativas para cada uno de los años evaluados 

Nota: ISEC=Índice Socioeconómico y Cultural; N2=Nivel 2 [escuelas]; N/S=No significativa

La tabla IV presenta a las escuelas seleccionadas como de alta eficacia de acuerdo a los cuatro criterios. En las columnas se muestra el Índice Ceneval promedio para los cuatro años (IC media), el ordenamiento o posición que ocupa la escuela en los cuatro criterios y el número de criterios por el que fue seleccionada. Como información contextual se incluye el ISEC promedio de las cuatro evaluaciones y el número de alumnos evaluados en el último ciclo escolar analizado.

Tabla IV Escuelas identificadas como eficaces de acuerdo a los cuatro criterios 

^a Se muestran las escuelas ordenadas, el 1 representa la escuela de mayor eficacia en cada criterio, el 119 la de menor eficacia.

Así, se puede observar que la escuela identificada como AEF_1 fue seleccionada por tres de los cuatro criterios: Residuos Extremos (RE), Puntuaciones Extremas (PE) y Crecimiento de las Puntuaciones (CP). Cabe destacar que es la segunda con mejor puntuación bruta y la cuarta con mayor crecimiento de las puntuaciones. En definitiva, es una escuela muy llamativa para analizarla en el estudio a profundidad.

Las escuelas AEF_2 a AEF_4 fueron seleccionadas por los criterios de los residuos extremos y crecimiento de los residuos. Cabe hacer notar que estas escuelas se encuentran por debajo de la media en el ISEC, pero tienen puntuaciones por encima de la media en el IC. La AEF_2 se encuentra a más de una desviación estándar por debajo de la media (ISEC), siendo una de las más bajas en este rubro.

La AEF_5 es otro centro que resulta muy interesante de analizar, pues fue seleccionado por dos criterios, es la escuela que presenta el promedio de residuos más alto y las puntuaciones brutas más altas en promedio. Debido al efecto techo es muy poco probable que pueda salir seleccionada por alguno de los criterios de crecimiento.

Las identificadas como AEF_6 y AEF_7 se encuentran en una ruta de mejora, puesto que son seleccionadas por los dos criterios de crecimiento, tanto de residuos como de puntuaciones. Estas escuelas cuentan con poca matrícula y atienden a una población de bajos recursos, dado que su ISEC está alrededor de una desviación por debajo de la media.

En cuanto a la identificadas como AEF_8 a la AEF_12 son seleccionadas por el criterio de residuos extremos, la mayoría tiene un ISEC cercano a la media y un logro académico por encima de la misma, a excepción de la AEF_9, que tiene un nivel socioeconómico alto casi a dos desviaciones estándar por encima de la media y, a pesar de ello, con puntuaciones más altas de lo esperado.

A continuación, en la tabla V se describen las 24 escuelas seleccionadas como de baja eficacia, de acuerdo con los cuatro criterios.

Tabla V Escuelas identificadas como no eficaces de acuerdo a los cuatro criterios 

^a Se muestran las escuelas ordenadas, el 1 representa la escuela de mayor eficacia en cada criterio, 119 la de menor eficacia.

Las escuelas etiquetadas como BEF_1, BEF_2 y BEF_3 son seleccionadas por los criterios de residuos extremos y decrecimiento de los residuos, es decir, que son las escuelas que obtuvieron puntajes inferiores de acuerdo a lo que se esperaría por sus variables contextuales. El primer caso parece especial, pues es la escuela que tiene el residuo más bajo (negativo), pero al mismo tiempo mostró el séptimo mayor crecimiento de los residuos, esto significa que considerando un criterio es identificada como de alta eficacia y en otro como de baja eficacia; a pesar de ello, se decidió clasificarla como de baja eficacia, pues es la que en promedio tiene los residuos más bajos.

Las escuelas BEF_5 y BEF_6 son seleccionadas por los dos criterios de crecimiento (negativo), tanto el de residuos como el de puntuaciones. Estas dos escuelas disminuyeron consistentemente sus puntuaciones, además de que son las que disminuyeron más en sus residuos en los cuatro ciclos escolares; adicionalmente, la BEF_6, además es la que tuvo la mayor disminución en sus puntuaciones brutas.

Las escuelas BEF_7 a la BEF_12 son seleccionadas por el criterio de residuos extremos. Llama la atención que a excepción de la escuela BEF_9 y BEF_12, todas tienen un ISEC por encima de la media. Estas escuelas tienen alumnos con un nivel socioeconómico arriba del promedio de la población, sin embargo, sus puntuaciones están por debajo de lo esperado dado ese contexto.

Las escuelas BEF_13 a la BEF_18 son seleccionadas por el criterio de crecimiento (negativo) de los residuos, es decir que en los cuatro ciclos evaluados han bajado su rendimiento de acuerdo a los que se espera por su contexto. En general son escuelas cuyo promedio de las puntuaciones brutas en los cuatro años es de medio a alto, con excepción de una, todas tienen más de mil puntos. Sin embargo, han tenido una disminución en sus puntuaciones y su ISEC se ha mantenido similar, por lo que sus residuos han disminuido.

Considerando el análisis y selección de las escuelas, queda claro que la utilización de varios criterios de forma simultánea en la identificación de escuelas eficaces, permite ver varias tendencias o tipos de escuelas (ver figura 1).

Figura 1 Relación del ISEC con las puntuaciones promedio (2012-2015) 

A continuación se describen algunas de estas escuelas:

IV. Discusión y conclusiones

El propósito de este artículo fue identificar escuelas eficaces en educación media superior con base en una metodología de análisis transversal contextualizado mediante modelos jerárquicos lineales y un estudio del cambio temporal a nivel de escuelas.

Tal y como define ^{Murillo (2005)}, una escuela eficaz es “aquella que consigue un desarrollo integral de todos y cada uno de sus alumnos, mayor del que sería esperable teniendo en cuenta su rendimiento previo y la situación social, económica y cultural de las familias” (p. 30). Esta definición presupone un criterio de eficacia contextualizado en la misma línea que ^{Reynolds et al. (2000)}. Como más adelante se apunta, dicha contextualización resulta ser un procedimiento más equitativo, pero no es menos cierto que existen distintas maneras de identificar las escuelas eficaces. En este artículo se emplearon cuatro criterios para detectarlas: las escuelas que muestran puntuaciones brutas altas, las que tienen residuos altos, las que muestran un crecimiento en las puntuaciones brutas y las que lo muestran en los residuos.

En estos cuatro criterios subyacen tres dimensiones: las puntuaciones derivadas de la aplicación de la prueba, los residuos obtenidos de los modelos contextualizados y, por último, el factor tiempo. La utilización de estas dimensiones permite identificar distintas facetas del concepto de eficacia escolar, distintas maneras en que una escuela puede ser considerada como eficaz.

En primer lugar, incorporar las puntuaciones brutas como criterio de selección permite detectar un grupo de escuelas que todos los años presentan las puntuaciones más altas y bajas de la medición. Independientemente de los factores contextuales que indudablemente condicionan el quehacer diario de estas escuelas, se considera que el que las mismas obtengan año tras año las más altas y las más bajas puntuaciones es cuestión relevante en la medida en que, en el caso de las puntuaciones más altas, se trata de escuelas que consistentemente tienen buenos resultados y superan con creces los estándares y mínimos establecidos. Análogamente, aquellas escuelas que año tras año se sitúan en el extremo inferior de la tabla de resultados no logran alcanzar dichos mínimos por lo que deberían ser objeto de atención preferencial.

Pero, como se ha dicho, el considerar los efectos contextuales permite realizar una selección de escuelas eficaces más equitativa en la medida en que los modelos jerárquicos lineales permiten detraer el efecto de las covariables contextuales a los dos niveles considerados tomando en cuenta las variables del entorno de los estudiantes y de las escuelas. Prueba de ello es que las escuelas seleccionadas según este criterio son de muy diferente tipología y atienden a sectores muy diversos de la población. De alguna manera puede considerarse que este criterio representa la capacidad (o incapacidad) de la escuela de adaptarse al entorno en el que desarrolla su labor de forma que obtiene resultados muy superiores (o muy inferiores) a los de escuelas de contexto similar.

En tercer lugar, el factor tiempo es un referente valioso, pues hace posible identificar cambios en el comportamiento de los resultados de las organizaciones a lo largo de los distintos años. No se trata de un estudio longitudinal en sentido estricto puesto que son diferentes cohortes de estudiantes. Pero parece razonable considerar como eficaz (o ineficaz) a aquella escuela que a lo largo de los años muestra una tendencia creciente (o decreciente) en puntuaciones y, sobretodo, en residuos, independientemente de que las cohortes de estudiantes a las que atiendan vayan cambiando.

La utilización de estos cuatro criterios de eficacia escolar puede contribuir a tener una mejor identificación de las escuelas que son eficaces o ineficaces y reducir los falsos positivos, esto es, escuelas que se seleccionan por ser eficaces pero que no lo son. Una segunda fase de esta investigación es un estudio cualitativo, donde se piensa entrevistar a informantes clave como directores, profesores, entre otros miembros de la comunidad escolar. Ello con el fin de reconocer las prácticas que las hacen efectivas en su contexto.

A partir de la información del cambio en el nivel de escuelas, se pudo observar un aumento en la brecha entre las escuelas de mayor eficacia respecto las demás. Para el caso de las escuelas ineficaces sucede lo opuesto, las de residuos más bajo, son también las que muestran una tendencia a disminuir sus puntuaciones. Los hallazgos invitan a cuestionarse qué hace que un grupo de escuelas que son eficaces sigan en trayecto positivo y de mejora. Pero también qué hace que las escuelas con bajas puntuaciones sigan en una espiral de descenso. ^{Reynolds et al. (2014)} señalan que una de las necesidades de investigación en la eficacia escolar es el estudio de estos casos, específicamente sobre escuelas que crónicamente muestran un bajo desempeño.

La metodología aquí utilizada se podría utilizar con fines de diagnóstico y mejora educativa, ya que es posible identificar las escuelas ineficaces de tal forma que se puedan tomar decisiones de intervención para mejorar su situación. La identificación puede ser en dos sentidos: aquellas que presentan distintos criterios de ineficacia y aquellas que pueden estar en el promedio, pero que disminuyen su grado de eficacia. Para estas últimas sería un diagnóstico temprano para revertir su situación a una que les permita mejorar.

El presente artículo es un ejemplo de uso de información para promover la investigación y la mejora educativa. Aunque es cierto que pruebas como EXANI II han sido diseñadas con el fin de servir como pruebas de selección a la educación superior, los resultados de la aplicación de las mismas pueden emplearse mediante análisis secundarios (como éste) con fines distintos a los inicialmente previstos. En este caso se hace uso de bases de datos de operativos ya realizados, que frecuentemente no se utilizan con fines de investigación. Por otra parte, resalta el potencial para generación de conocimiento sobre el sistema educativo y para su retroalimentación con fines de mejora.