Evaluación del Programa Escuelas de Calidad en el estado de Puebla: resultados sobre logro educativo

León R. Garduño Estrada

Profesor-investigador y director del Centro de Estudios en Calidad de Vida y Desarrollo Social de la Universidad de las Américas, Puebla. Recta Cholula s/n Ex. Hacienda Santa Catarina Mártir, 72820, Cholula, Puebla. CE: leon.garduno@udlap.mx

Artículo recibido: 1 de junio de 2007. ]]> Dictaminado: 15 de noviembre de 2007.
Segunda versión: 15 de enero de 2008.
Aceptado: 13 marzo de 2008.

Resumen:

Este trabajo presenta los resultados de evaluación, sobre logro educativo, al Programa Escuelas de Calidad en el estado de Puebla. De un total de 130 escuelas que cumplieron con una serie de requisitos, la muestra estuvo integrada por 26, seleccionadas de forma aleatoria considerando nivel de marginación. Los resultados en los exámenes de español, matemáticas y habilidades de pensamiento, aplicados a los niños de 3° a 6^o grados en estas escuelas, se compararon con los aplicados a los de otros 26 planteles no participantes en el programa. Las calificaciones se analizaron con el empleo del modelo lineal general tipo III. No obstante que se encontraron diferencias estadísticamente significativas en prácticamente todos los análisis realizados, la contribución del programa medido por el estadístico "eta" al cuadrado parcial, fue muy baja.

Palabras clave: educación básica, evaluación, aprovechamiento escolar, planteles escolares, calidad de la educación, México.

Abstract:

This study presents the results of an evaluation of educational achievement in the Quality Schools Program in the state of Puebla. Out of a total of 130 schools that complied with a series of requirements, a sample was formed by randomly selecting twenty-six schools, considering the level of marginalization. The results of the Spanish, mathematics, and thinking skills tests given to children in the third through sixth grades in these schools, were compared with the results from another twenty-six schools that did not participate in the program. The scores were analyzed by using a general linear model, type III. Although statistically significant differences were found in practically all the analyses, the program's contribution measured by the partially squared "eta" statistic was very low.

Introducción

Los bajos resultados en las pruebas de rendimiento aplicadas en diversos niveles educativos en el país son ampliamente conocidos. Los diferentes estudios llevados a cabo tanto por organismos mexicanos como el Instituto Nacional para la Evaluación de la Educación (INEE, 2003, 2004a, b y c, 2005) como por internacionales como la Organización para la Cooperación y el Desarrollo Económicos (OCDE, 2004, 2006), muestran el pobre rendimiento de los escolares en el nivel de educación básica. En los recientes resultados de la Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE, 2007), Puebla se ubicó entre los diez estados del país que obtuvieron las calificaciones más bajas en todos los grados educativos y asignaturas en 2007. De acuerdo con la información de la página internet de dicha evaluación, solamente 17.7 y 19.9% de los estudiantes de escuelas primarias públicas lograron aprobar el examen de español en los niveles de "bueno" y "excelente" en los años 2006 y 2007, respectivamente; mientras en el de matemáticas, sólo 16.5 y 20% lo acreditaron en los mismos niveles y años, respectivamente.

Particularmente para Puebla, el componente de educación empleado por el Programa de las Naciones Unidas para el Desarrollo en su informe de 2002 (PNUD, 2003:33) se encuentra en el lugar 25 de los estados en la república.

No obstante que la inversión en educación ha aumentado -situándose por arriba del promedio de los países miembros de la OCDE (2004:3)-, en los resultados de los diversos exámenes se manifiesta la baja calidad educativa.

Como parte de un enfoque al mejoramiento escolar basado en un aumento tanto en la gestión como en la descentralización en la toma de decisiones a nivel escuela (De Grauwe, 2005:270), con orígenes en hace casi 25 años y bajo el movimiento de escuelas eficaces (Coppieters, 2005:130), el Programa Escuelas de Calidad (PEC) forma parte de la política de reforma educativa que inició desde la pasada administración federal y se dirige a tratar de solucionar una serie de problemas mencionados en el Plan Nacional de Educación 2001-2006.

En ese sentido, la Secretaría de Educación Pública (SEP) reconoce la importancia de una mayor apertura a la participación democrática de los diferentes actores en las escuelas, de forma que sean ellos quienes identifiquen sus necesidades y problemas y puedan establecer sus propias acciones para resolverlos y, así, conseguir mejores resultados en el logro educativo. Algunos de los problemas declarados por el propio programa son: el estrecho margen de la escuela para tomar decisiones, el desarrollo insuficiente de una cultura de planeación y evaluación en la misma, los excesivos requerimientos administrativos que limitan a sus directivos para ejercer un liderazgo efectivo, la escasa comunicación entre los actores escolares, el ausentismo, el uso poco eficaz de los recursos disponibles en la escuela, la baja participación social y las deficiencias en la infraestructura y equipamiento en muchos planteles.

De tal manera, el PEC plantea una serie de estándares que se dividen en: a) de gestión, práctica docente, y participación social (medidos con indicadores de proceso), y b) de eficacia externa y logro educativo (medidos con indicadores de impacto y resultados) en escuelas y alumnos. El PEC plantea su propósito de mejorar la calidad de la enseñanza donde los maestros, además de incrementar su dominio de los contenidos, asuman estilos pedagógicos centrados en el aprendizaje activo de los niños (SEP, 2002). Para alcanzar la calidad, los docentes deberán adoptar prácticas acordes con las necesidades particulares de sus alumnos, que aumenten la confianza en sus capacidades y los estimulen constantemente en sus avances, esfuerzos y logros. También, se pretende que los enseñen a pensar por sí mismos de forma crítica y creativa. En palabras de Álvarez (2003:1), el Programa Escuelas de Calidad se propone "fomentar la democracia y mejorar los resultados de los estudiantes, especialmente aquellos que padecen condiciones de marginación".

No obstante que se han llevado a cabo diferentes evaluaciones al PEC en el país, ninguna se ha realizado para el estado de Puebla. De tal manera, este trabajo presenta los resultados de la evaluación sobre logro educativo de los niños en una muestra de escuelas primarias generales participantes en el programa. Las incluidas en la muestra corresponden a las que participaron en el PEC V. Los resultados se compararon con los obtenidos por los alumnos de escuelas no participantes. Este trabajo forma parte de uno más amplio que incluyó la evaluación de los estándares de gestión, práctica docente y participación social (Garduño, 2007a).

Como ya se mencionó, el Programa Escuelas de Calidad lleva seis años en operación y ha sido objeto de varias evaluaciones de carácter cuantitativo y cualitativo. Ejemplos de algunas de ellas son las realizadas por el Centro de Investigación y Docencia Económica (CIDE) y una por la Subsecretaría de Educación Básica y Normal a través de la Dirección General de Evaluación.

En cuanto a las evaluaciones efectuadas por el CIDE, la primera (2001) estuvo dirigida a identificar la pertinencia para alcanzar los objetivos explícitos propuestos, tanto en términos de la política educativa general del país, como del diseño y las estrategias de operación del PEC. Asimismo, se evaluó el apego del programa a las reglas de operación de 2001. El estudio permitió detectar si había problemas iniciales en el diseño de la política, los que pudiera enfrentar más adelante, a la vez que propuso algunas vías para su solución. La evaluación presentada fue de orden descriptivo e indicativo, más que explicativo. La segunda (2002) continuó el trabajo anterior. Sin embargo, marcó el inicio del análisis de la estructura y organización de sus principales instancias gubernamentales: la coordinación nacional del programa y la estructura en que se enmarcan las coordinaciones del PEC en las entidades federativas. La tercera evaluación (2003) analizó la evolución del programa y los posibles nudos problemáticos en su proceso de diseño y puesta en marcha para el cumplimiento de los objetivos a mediano y largo plazos, también propuso soluciones técnicas para su mejoramiento. El desarrollo de ese trabajo consistió en recoger la evolución de los indicadores de resultados del PEC durante sus primeros tres años de operación, analizando la capacidad de adaptación y cambio que han enfrentado las diferentes instancias involucradas en el logro de los objetivos propuestos. Otro trabajo realizado también por el CIDE (2004) se dirigió a evaluar los niveles de avance de resultados que a la fecha se habían logrado alcanzar en términos de cobertura, metas físicas, y sobre los indicadores de resultados estipulados en las reglas de operación del programa.

La evaluación reportada por Loera (2005) se orientó tanto a determinar el mérito en el diseño y operación del programa en la vida de la escuela, como en los resultados en cuanto al logro educativo. Para ello, el trabajo se desarrolló con base en dos componentes: a) la medición del rendimiento académico en las escuelas participantes en el PEC y b) la realización de una evaluación cualitativa. En cuanto a la parte de evaluación sobre logro escolar, ésta se realizó con la información proporcionada por la Dirección General de Evaluación, que se encargó de la aplicación de exámenes de español y matemáticas durante el ciclo escolar 2001-2002 considerando todas las escuelas que en ese momento participaban en el programa. La aplicación se realizó a 30 niños por grado seleccionados de forma aleatoria.

Posteriormente, en los dos ciclos escolares siguientes, la aplicación estuvo a cargo del Instituto Nacional para la Evaluación de la Educación, que empleó los mismos exámenes en las escuelas que continuaban en el PEC. Los resultados obtenidos en estos trabajos no muestran un avance importante, en ocasiones de menos de 1%, en el logro educativo. Si bien varios de los análisis estadísticos son significativos, los cambios en calificaciones en las tres mediciones realizadas empleando un diseño tipo panel son muy pequeños y, en algunos casos, retroceden en relación con las mediciones anteriores. Desde el punto de vista de significancia práctica, los cambios no son apreciables. De forma general, en esa evaluación se concluye que no se pueden afirmar cambios positivos o negativos atribuibles al PEC. En ese estudio no se trabajó con grupos de control.

Finalmente, durante el ciclo escolar 2004-2005, la evaluación la continuó la ahora nombrada Dirección General de Evaluación de Políticas; información que fue empleada por Loera y Cázares (2005) para su reporte. En cuanto a los resultados obtenidos para la muestra con un diseño tipo panel, no se encontraron resultados estadísticamente significativos entre los ciclos escolares del 2001 al 2005. Sobre la parte comparativa entre escuelas PEC y no PEC, tampoco se observaron diferencias estadísticamente significativas. Cabe mencionar que tales estudios dirigidos por Loera incorporaron al estado de Puebla, aunque con propósitos y métodos diferentes a los realizados en el presente trabajo. De manera general, los de Loera se dirigieron, entre otros aspectos, a determinar los cambios en logro educativo en las escuelas PEC en diferentes periodos.

Murnane, Willet y Cárdenas (2006:413-462), quienes trabajaron con una base de datos sobre deserción, reprobación y extra edad a partir del censo escolar elaborado por directores de escuelas durante los años 2001 y 2002, concluyen en su reporte que el programa no ha contribuido, de manera importante, a mejorar la educación pública en el país.

Por último, en Puebla se llevó a cabo una evaluación de una muestra de escuelas PEC ubicadas en el municipio de Puebla (Garduño y Beltrán, 2005). En cuanto a los resultados sobre logro educativo se encontró que todas las medias de calificación en los exámenes de español y matemáticas aplicados a niños de tercero y sexto grados fueron reprobatorias. En las comparaciones realizadas con niños en escuelas no participantes en el programa, aunque sí se observaron algunas diferencias estadísticamente significativas, éstas fueron muy pequeñas.

Metodología

Instrumentos

Exámenes de español para tercero y sexto grados: el de tercero estuvo integrado por 30 reactivos, mientras que el empleado para sexto incluyó 15.

Exámenes de matemáticas para tercero y sexto grados: El correspondiente a tercero incluyó 30 reactivos y el de sexto 15.

Los exámenes de español y matemáticas para tercer grado fueron elaborados a partir del banco de reactivos que mantenía el INEE en línea, donde se indicaba el nivel de dificultad de cada uno. El índice de dificultad de los reactivos seleccionados fue de .40 a .60. Los exámenes para sexto grado los proporcionó la Dirección General de Investigación, Evaluación y Política Educativa de la SEP del estado.

Exámenes de habilidades de pensamiento crítico científico para estudiantes de tercero a sexto grados: los elaboró un equipo de maestros dirigidos por Garduño, Morales y Méndez (2006). Los coeficientes de confiabilidad de Livingston fueron de .75 a .89 con un punto de corte de 60. Para cada examen aplicado se cumplió con el requisito de validez de contenido; para ello, participó personal de la propia Secretaría.

Aplicación de los exámenes

Los exámenes mencionados se aplicaron a los niños de uno de los dos o tres grupos de los grados correspondientes en las escuelas en la muestra. La selección del grupo se hizo de manera aleatoria. En general, se aplicaron 30 exámenes por grupo.

Población

El esquema de muestreo empleado consideró a las escuelas primarias generales de organización completa como unidades primarias de muestreo. La población estuvo conformada por el total de escuelas de primaria que han participado de forma ininterrumpida desde PEC I, a partir de 2001. Al momento de la evaluación participaban en el programa un total de 908 escuelas en Puebla (PEC V). Para seleccionar las de la muestra se establecieron los siguientes criterios:

1) escuelas de organización completa,

2) laborar en el turno matutino,

3) no participar en otro proyecto de investigación,

4) contar con el mismo director de escuela en, cuando menos, los últimos dos ciclos escolares,

5) no participar en otro programa compensatorio, y

6) estar inscrita en el PEC V.

Los criterios de selección de las escuelas no pertenecientes al PEC fueron los mismos de las participantes en el programa, excepto, por supuesto, que no estuvieran incluidas en él y que no recibieran los beneficios de otro programa.

Asimismo, se consideraron los criterios de grado de marginación económica. La muestra de escuelas no PEC estuvo conformada por el mismo número y nivel de marginación que las sí pertenecen al programa. La selección para la muestra de ambos tipos de planteles se hizo de manera aleatoria. No obstante, para las no PEC se cuidó que estuvieran ubicadas en las mismas o similares zonas escolares que las incluidas en el PEC. La aplicación de los criterios mencionados permitió que:

1) las comparaciones en logro educativo entre ambos tipos de escuelas fueran principalmente atribuibles a las que ya contaban con la mayor cantidad de años participando en el PEC,

2) no se confundieran tales resultados con los obtenidos en el caso de que las escuelas estuvieran recibiendo los beneficios de otro programa,

3) contaran con el liderazgo de un mismo director durante al menos dos años,

4) las comparaciones con las escuelas no participantes fueran todas de organización completa a fin de evitar posibles diferencias en este aspecto.

La gráfica 1 indica el número de estudiantes por género que contestaron los diferentes exámenes así como cuántos de ellos no lo presentaron. Como se puede observar, que el número de niñas y niños que respondieron a los exámenes aplicados es muy semejante. Por otro lado, fueron muy pocos los que no respondieron al examen o que se invalidó por carecer de algún dato.

Como ya se indicó, el diseño empleado compara los resultados obtenidos por los niños en la muestra de escuelas PEC con aquéllos de las no participantes en el programa. No obstante que los resultados no puedan atribuirse completamente al programa, debido a un número de factores, la selección del grupo de comparación se asemeja lo más posible a las escuelas PEC. En un estudio de esta naturaleza es prácticamente imposible lograr un completo control experimental. Sin embargo, los resultados permiten tener una buena aproximación a los efectos causados por el programa en cuanto a logro educativo en virtud de que las escuelas seleccionadas ya llevaban cinco años de operación bajo el PEC, con los beneficios económicos correspondientes. No obstante que pudieron haberse incluido en la muestra de escuelas de comparación a aquellas que en algún momento, por cierta razón, decidieron no continuar en el programa, se determinó incluir solamente a las que desde un inicio determinaron no participar en el programa en virtud de tener una base apropiada para observar los cambios en logro educativo bajo estas condiciones. El diseño empleado permitió determinar los avances en los niños a tres y a seis años de su ingreso a una escuela PEC en cuanto a los exámenes de español y matemáticas. Por otro lado, también fue posible observar la contribución del programa en las habilidades de pensamiento crítico científico a partir del tercero y hasta el sexto grados.

A continuación se presentan los resultados obtenidos sobre la serie de exámenes; mismos que fueron transformados a porcentajes.

El cuadro 1 muestra el número de estudiantes que respondieron los exámenes aplicados al conjunto de 52 escuelas participantes, su calificación mínima y máxima, la desviación y el error estándar, así como los resultados de los exámenes para la muestra de estudiantes PEC y no PEC. También se señalan si las diferencias en calificaciones entre los niños en ambos tipos de escuelas fueron estadísticamente significativas. El procedimiento de análisis para ello fue el de modelo lineal general que se describe más adelante.

Como se puede observar, todas las medias del total de las 52 escuelas en la muestra son menores a 60. En cuanto a las desviaciones estándar, podemos ver que son relativamente homogéneas y que los errores estándar son bastante bajos. Este resultado permite inferir que la media de la población se encuentra muy cercana a la muestral. Por último, en el cuadro 1 también podemos ver que hay niños en el conjunto de escuelas con calificaciones muy bajas y otros con muy altas; la menor se presentó en el área de matemáticas en tercer grado. En cuanto a la significancia estadística de las diferencias, podemos observar que los niños en las escuelas PEC obtuvieron, en promedio, calificaciones superiores en todas las áreas, con excepción de español y habilidades de pensamiento, para tercer grado en las que los niños en escuelas no PEC obtuvieron calificaciones mayores. No se encontraron diferencias significativas en el área de habilidades de pensamiento de quinto grado. La información del cuadro anterior la podemos ver representada en la gráfica 2.

Podemos observar que la media de calificación en español para el 6° grado es menor que para los niños en tercero. Este mismo resultado lo encontramos en el área de habilidades de pensamiento a partir del cuarto grado. Las medias van disminuyendo poco a poco hasta que en sexto grado se presenta una diferencia de poco más de 4% con respecto al cuarto. En contraste, para el área de matemáticas se encuentran medias más altas en sexto que en tercero. La mayor diferencia la observamos en español en tercero, con una media de 3.7% superior para las escuelas que no participan en el PEC, en comparación con las que sí lo hacen. No obstante lo anterior, es importante notar que a simple vista notamos que la diferencia entre las medias para cada examen es muy poca; lo que implica que la contribución del PEC en el logro académico de los niños es muy pobre o inexistente.

Las gráficas 3 y 4 muestran las medias de calificación por género y por nivel de marginación. También se indican la significancia estadística de las diferencias

Como se observa, todas las medias de calificación son mayores para los niños que para las niñas, excepto en las áreas de habilidades de pensamiento y matemáticas para tercer grado. Todas las diferencias resultaron estadísticamente significativas excepto para las áreas de matemáticas del sexto grado así como para habilidades de pensamiento de tercero y sexto. Sin embargo, en general, las diferencias en calificación son muy pequeñas.

En cuanto a las medias de calificación considerando el nivel de marginación, también podemos observar que las diferencias son muy pequeñas. No obstante, un resultado importante es que las medias de calificación de los niños que se encuentran en escuelas de alta marginación son muy semejantes o aun superiores a las de alumnos de marginación media o baja. Otro dato importante es que los estudiantes de escuelas de marginación media, casi de forma consistente, tienen medias de calificaciones menores a los de otros niveles de marginación. Todas las diferencias entre los distintos niveles de marginación fueron estadísticamente significativas, con excepción de la prueba para el tercer grado de matemáticas.

Como ya se mencionó, con el fin de determinar diferencias estadísticamente significativas sobre las distintas variables de logro educativo entre escuelas PEC-no PEC, género y nivel de marginación, se llevó a cabo una serie de análisis de varianza factorial que muestran tanto los efectos principales como de interacción sobre las variables mencionadas. Para tales análisis se empleó el enfoque del modelo lineal general que permite trabajar con diseños no equilibrados. El cuadro 2 muestra estos resultados. En virtud de que la muestra de escuelas de marginación media es menor que para las de marginación alta y baja, debido a su proporción menor en la población, se empleó un modelo tipo III que tiene la ventaja de ser invariable respecto del número diferente de estudiantes en cada celda. Los resultados sobre los efectos principales en cuanto a diferencias en calificaciones entre las escuelas PEC-no PEC, grado de marginación y género ya fueron presentados. Para los análisis post hoc de las interacciones PEC-no PEC con género y marginación, en la parte inferior del cuadro 2 se incluyen los resultados de la prueba Tamhane para tales interacciones; también da cuenta de las medias y errores estándar así como las diferencias entre medias para las interacciones que se encontraron significativas. Dicha prueba considera las diferencias en los tamaños de las muestras empleadas.

Sobre el examen de español de tercer grado se encontraron diferencias estadísticamente significativas entre las calificaciones en el nivel de marginación medio en las escuelas PEC y todas las calificaciones de los alumnos tanto para los planteles PEC como para los no PEC en todos los niveles de marginación. Como se puede observar en el cuadro 2, la media de calificación de los niños en las escuelas PEC del nivel medio de marginación fueron las más bajas. Para este mismo examen, la diferencia entre las calificaciones de los niveles de marginación alto y bajo en las escuelas no PEC también fueron significativas. Además, podemos ver que la media de calificación para los niños en escuelas no PEC de nivel de marginación alto fue la mayor de todas.

En cuanto a los resultados del examen de habilidades de pensamiento para los niños de tercero se encontraron diferencias estadísticamente significativas, cuando menos al nivel de .01, entre el nivel de marginación medio en las escuelas PEC con las calificaciones de todos los demás niveles de marginación. Como se puede observar, los alumnos de las no PEC de marginación alta obtuvieron la media mayor.

Sobre la prueba de habilidades de pensamiento para cuarto grado, las calificaciones de los alumnos de escuelas PEC de marginación baja resultó estadísticamente superior a las de los niños de los otros niveles en ambos tipos de escuelas. También se encontraron diferencias significativas entre las calificaciones de los alumnos en las escuelas PEC de marginación media con aquellos en la no PEC de zonas alta media y baja. Por último, las calificaciones de los de escuelas no PEC en el nivel de marginación media fueron las más bajas de todas y las diferencias con los demás niveles fueron significativas.

Sobre los exámenes de habilidades de pensamiento para sexto grado, se encontraron diferencias significativas entre las calificaciones de los alumnos de las escuelas PEC y no PEC de los niveles de marginación bajo, medio y alto, con las de los de planteles no PEC de nivel medio de marginación, quienes obtuvieron las calificaciones más bajas.

En cuanto a los resultados en el examen de matemáticas de sexto grado, se encontraron diferencias estadísticamente significativas entre las calificaciones de los niños en escuelas PEC en el nivel de marginación bajo y alto en comparación con las de los alumnos de planteles no PEC de nivel de marginación alto, así como entre las calificaciones de los grupos de escuelas PEC de marginación alta con aquellos de no PEC de nivel medio. Por último, también se encontraron diferencias significativas entre las escuelas no PEC con nivel de marginación bajo con las de medio, así como entre las de marginación alta con las de nivel bajo.

En cuanto a las interacciones por género para el examen de matemáticas de sexto grado, se encontraron diferencias significativas entre los alumnos de escuelas PEC y los de no PEC, quienes obtuvieron calificaciones menores. Sobre el examen de español, los niños de planteles PEC tuvieron calificaciones estadísticamente superiores en comparación con las y los alumnos de ambos tipos de escuela.

En otras palabras, considerando el valor F y su nivel de probabilidad, se encontraron diferencias estadísticamente significativas sobre los efectos principales PEC-no PEC, género y marginación, así como sobre sus correspondientes interacciones para la mayoría de las calificaciones.

No obstante lo anterior, los valores en la columna del estadístico "eta" al cuadrado parcial, que indica la importancia "práctica" de cada variable, muestra que la cantidad de varianza que aporta cada variable a los resultados en los exámenes es muy reducida. Considerando el valor máximo de este análisis que es de uno, el puntaje mayor fue de .053 para la variable habilidades de pensamiento de cuarto grado en relación con el nivel de marginación. En cuanto a la contribución del programa sobre logro educativo, vemos que todos los valores "eta" son sumamente bajos, e inclusive negativos al mismo, considerando las calificaciones en los exámenes de español y habilidades de pensamiento de tercer grado. De tal manera, aunque muchos de los efectos principales y de interacción son estadísticamente significativos, éstos no muestran un efecto importante sobre las variables de logro educativo. De hecho, casi todos los valores F son bajos.

Considerando los resultados sobre el conjunto de escuelas, claramente podemos ver que el objetivo de mejorar el rendimiento escolar de los niños planteado en el Programa Nacional de Educación no se está alcanzando, cuando menos, de forma general y a los niveles que se esperaría. No obstante la descentralización educativa iniciada a principios de los años noventa, en la que el gobierno federal pasó a los estados el manejo de las escuelas, parece que no ha logrado su propósito. Los gobiernos estatales parecen reproducir los esquemas burocráticos centralizados de administración de las escuelas en sus entidades. La idea de favorecer una gestión escolar en la que cada escuela diagnostique, establezca y alcance sus propios objetivos todavía no se logra. En un trabajo cualitativo con jefes de sector y supervisores, realizado como parte de esta evaluación (Garduño, 2007b), se encontró que muchos de ellos no conocían las características más sobresalientes del programa ni su reglas de operación. De tal forma, no puede esperarse que tales personajes tengan un papel importante en el cumplimiento de sus funciones que están indicadas en dichas reglas. De igual manera (Garduño, 2007a), se encontró que los directores no ejercían un liderazgo participativo ni tendiente al mejoramiento de la calidad en los aspectos de enseñanza en el aula. Asimismo, como parte de este trabajo, se halló que los planes escolares de transformación educativa y los anuales de trabajo (Garduño y Herrera, 2007) estaban muy pobremente elaborados en prácticamente todos sus componentes.

De acuerdo con la información obtenida, inclusive se encontraron retrocesos en las medias de calificación en habilidades de pensamiento de cuarto a sexto grados y en español de tercero a sexto, así como calificaciones mayores en los alumnos de las escuelas no PEC en las áreas de español y habilidades de pensamiento de tercer grado. A pesar de lo anterior, es importante mencionar que se encontraron calificaciones altas en ambos grupos de escuelas y que será necesario conducir un estudio que identifique los factores endógenos y exógenos que intervienen en tales resultados.

Los resultados obtenidos en los diversos exámenes aplicados muestran claramente que tanto la inversión en tiempo como en los recursos destinados al Programa Escuelas de Calidad no han logrado alcanzar, de manera apreciable, el mejoramiento en el logro educativo que plantea. No obstante que al momento de la evaluación llevaba ya cinco años en operación, los resultados en los exámenes aplicados, en promedio, son reprobatorios. Considerando la serie de cuadros y gráficas, claramente se observa que las medias de calificación se encuentran por debajo de 60%, que representaría la calificación mínima aprobatoria. Casos extremos de promedios muy bajos los encontramos en los exámenes de matemáticas para tercero y sexto grados. A pesar de que la mayoría de valores F resultaron estadísticamente significativos, la contribución del programa en cada examen es muy pobre como lo demuestran los diferentes valores "eta" al cuadrado parcial. En otras palabras, la contribución del PEC para el logro educativo es prácticamente nula. Las mayores diferencias entre escuelas PEC y no PEC no fueron más allá de 4%. Es importante destacar que las calificaciones en español de los niños de sexto grado, a pesar que ya llevan prácticamente todos sus estudios de primaria en una escuela que se ha mantenido en el PEC por cinco años, no han logrado superar claramente no sólo las calificaciones de los alumnos de las que no participan, sino también la de los estudiantes en las propias escuelas PEC que tienen bastante menos tiempo que ellos; esto es, de los de tercer grado.

Otro aspecto importante es que prácticamente todas las medias de calificación en los diferentes exámenes aplicados a las escuelas PEC son menores para el nivel de marginación medio en comparación con el bajo y alto. En los de español y habilidades de pensamiento para tercer grado, la diferencia es de casi 20%, o de casi 60% para cada examen si se compara la media de calificación del nivel medio de marginación con la media de calificación más alta. En este sentido, resulta interesante que el PEC esté logrando salvar la brecha entre las escuelas de niveles de marginación alto y bajo, pero que en el caso de los exámenes mencionados, las de nivel medio no hayan logrado alcanzarlas del todo. En relación con el género, las diferencias entre niños y niñas de las escuelas PEC son prácticamente inexistentes; la mayor, de casi 6%, la encontramos en el área de español de sexto grado.

Otro dato importante son los errores estándar. Como sabemos, estos estadísticos nos sirven para determinar dónde se encuentra la media de la población a diferentes intervalos. Como ya se mencionó, dado que los valores son muy pequeños, las medias muestrales no están muy lejanas de las poblacionales. Por otro lado, los valores encontrados son muy consistentes con los trabajos anteriores.

Otro aspecto a considerar en este trabajo es el empleo de una metodología que permitió comparar a estudiantes que ya habían permanecido cinco años con los beneficios del programa con otro grupo que no los había recibido. Si bien la idea de determinar el impacto en el logro educativo en trabajos previos ya había estado presente, ninguno empleó un diseño de esta naturaleza. Por otro lado, el uso de un procedimiento de análisis estadístico como el modelo lineal general tipo III permitió identificar los efectos principales y de interacción con las variables de marginación y género con las características ya mencionadas. En este sentido, el estadístico "eta" al cuadrado parcial posibilitó evaluar la contribución práctica del programa en el logro educativo que, como ya se mencionó, mostró resultados que indican el impacto prácticamente nulo del programa en el logro educativo.

Dados estos resultados será necesario repensar probablemente no el PEC en sí, sino su operación. De ser un programa para transformar la gestión y la administración, es uno que, en mucho, mantiene la burocracia: la requisición de planeaciones y los proyectos sin respetar los tiempos y sin otorgar la capacitación adecuada. Latapí (2004:185) menciona que la eficacia de la administración pública depende, a fin de cuentas, de las cualidades de las personas que manejan los programas.

En un intento por determinar los principales cuellos de botella que tiene este programa, podemos decir que uno de ellos se encuentra en el escaso número de personas que apoyan toda su operación en el estado de Puebla. Sin tratar de identificar responsables sobre los resultados encontrados, es necesario hacer una breve reflexión que nos acerque a su explicación. Considerando las principales funciones del PEC en cuanto a incorporación, financiamiento, formación, acompañamiento y evaluación resulta sumamente difícil que la instancia principal responsable del programa en el estado cuente con 19 elementos, de los cuales solamente 12 participan en las tareas sustantivas de formación, acompañamiento y evaluación para atender a una población de 2 mil 507 escuelas inscritas en el PEC V.

Otro elemento también importante es el papel que desempeñan los directores de escuela. Al interior de los planteles son ellos los líderes y deben asumir su papel protagónico en el mejoramiento escolar. Sin embargo, deben ser capacitados. La elaboración de los programas estratégicos de transformación educativa y los planes anuales de trabajo, el establecimiento de un clima escolar democrático y participativo, el apoyo a los maestros para pensar su enseñanza y su mejoramiento a través de los cursos que ofrece la SEP federal y la estatal aunados a los que consigan con los recursos que el PEC proporciona, fomentar la autoevaluación crítica pero propositiva, insistir en el apoyo que puedan brindar los supervisores y apoyos técnico pedagógicos, son aspectos neurálgicos como parte de su función para el mejoramiento escolar. Por lo anterior, siguiendo a Latapí (2004), es menester que las secretarías de Educación Pública federal y estatales cuenten con programas internos, talleres y seminarios orientados a desarrollar una cultura de eficacia entre sus funcionarios; en virtud de que su cambio mental es condición esencial para la eficacia de sus políticas. Lo mismo debiera urgirse para los cuadros medios de directores de escuela, jefes de zona y sector y supervisores, "eslabones donde con frecuencia naufragan los programas" (Latapí, 2004: 350).

El programa ha alcanzado el séptimo año de vida y parece ser que después del tiempo transcurrido, las visiones acerca del programa están comenzando a cambiar. Esa es la premisa con la que se fundamentan estas conclusiones: el cambio de paradigma. Al inicio, daba la impresión de ser un programa compensatorio orientado a satisfacer con recursos económicos los huecos que quedaban de los proporcionados por la SEP. Actualmente puede decirse que si bien es cierto que, en la gran mayoría de las escuelas, el paradigma sigue basándose en el aumento de los recursos, éste se está orientando a la mejora de la educación. La calidad tiene que ver con actitud, compromiso, democracia y pasión. No importa cuál sea nuestra área de estudio o de trabajo. La calidad se conseguirá en el momento en que cada uno de nosotros nos sintamos responsables de ella, diseñando en nuestros propios planes de vida la manera en que contribuiremos con ella diariamente, en la familia, en la escuela y en la comunidad en general, esparciéndola como un virus benigno a todos aquellos con los que convivimos diariamente.

Referencias bibliográficas

Álvarez, A. (2003). "Reforma Educativa en México: el Programa Escuelas de Calidad", Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, vol. 1, núm. 1, 1-15.         [ Links ]

Bracho, T. (2006). Evaluación externa del Programa Escuelas de Calidad (PEC) 2006-2007, México: Centro de Investigación y Docencia Económicas, A.C.         [ Links ]

CIDE (2001). Evaluación del Programa Escuelas de Calidad 2001, México: Centro de Investigación y Docencia Económicas, AC (disponible en http://basica.sep.gob.mx/dgdgie/escuelasdecalidad/pdfs/CIDE2001.pdf).         [ Links ]

CIDE (2003). Programa Escuelas de Calidad. PEC 2002. Segunda evaluación externa, México: Centro de Investigación y Docencia Económicas, AC (disponible en http://basica.sep.gob.mx/dgdgie/escuelasdecalidad/pdfs/CIDE2002.pdf).         [ Links ]

CIDE (2004a). Programa Escuelas de Calidad. PEC 2001-2003: evaluación externa. Primer borrador, México: Centro de Investigación y Docencia Económicas, AC (disponible en http://basica.sep.gob.mx/dgdgie/escuelasdecalidad/pdfs/CIDE2003.pdf).         [ Links ]

CIDE (2004b). Evaluación externa del Programa Escuelas de Calidad PEC 2004, México: Centro de Investigación y Docencia Económicas, AC (disponible en: http://basica.sep.gob.mx/dgdgie/escuelasdecalidad/pdfs/CIDE2004.pdf).         [ Links ]

Coppieters, P. (2005). "Turning schools into learning organizations", European Journal of Teacher Education, vol. 28, núm. 2, pp. 129-139.         [ Links ]

De Grauwe, A. (2005). "Improving the quality of education through school-based management: learning from international experiences", Review of Education, 51: 269-287.         [ Links ]

ENLACE (2007). Resultados para Puebla. Resultados en logro educativo en español y matemáticas, México: Secretaría de Educación Pública (disponible en http://enlace.sep.gob.mx/index.php?option=com_content&task=view&id=117&Itemid=128 consultado el 11 de noviembre de 2007).         [ Links ]

Garduño, L. (2007). Evaluación del Programa Escuelas de Calidad en el nivel de educación primaria del estado de Puebla. Informe sintético. Puebla: Centro de Estudios en Calidad de Vida y Desarrollo Social-UDLA/CONACyT.         [ Links ]

Garduño, L. (2007a). Evaluación del Programa Escuelas de Calidad en el nivel de educación primaria en el estado de Puebla. Informe al Consejo Nacional de Ciencia y Tecnología. SEPSEBYN-2004-C01-70/A-1.         [ Links ]

Garduño, L. (2007b). Evaluación del Programa Escuelas de Calidad en el nivel de educación primaria en el estado de Puebla. El caso de asesores técnico-pedagógicos, supervisores y jefes de sector: un estudio cualitativo (documento inédito).         [ Links ]

Garduño, L. y Beltrán, D. (2005). Evaluación del PEC en el nivel de educación primaria en el municipio de Puebla, Puebla: Universidad de las Américas (documento inédito).         [ Links ]

Garduño, L. y Herrera, J. (2007). "Evaluación del Programa Escuelas de Calidad en el estado de Puebla: resultados de un análisis de contenido sobre los planes estratégicos de transformación escolar y de los planes anuales de trabajo", trabajo presentado en la 2^a Reunión Regional Norte, Centroamérica y Caribe de Evaluación Educativa, 26-28 de septiembre, Campeche: Colegio de Bachilleres de Campeche/Instituto de Evaluación e Ingeniería Avanzada.         [ Links ]

Garduño, L., Morales, A. y Méndez, E. (2006). "Elaboración y validación de una serie de instrumentos para medir habilidades de pensamiento crítico científico en alumnos de educación primaria", ponencia presentada en el Séptimo Foro Nacional de Evaluación, San Luis Potosí: CENEVAL.         [ Links ]

INEE (2003). La calidad de la educación básica en México: primer informe anual, México: Instituto Nacional para la Evaluación de la Educación.         [ Links ]

INEE (2004a). Panorama educativo de México: indicadores del sistema educativo nacional 2003, México: Instituto Nacional para la Evaluación de la Educación.         [ Links ]

INEE (2004b). La calidad de la educación básica en México, México: Instituto Nacional para la Evaluación de la Educación.         [ Links ]

INEE (2004c). ¿Cómo está la educación secundaria en México?, México: Instituto Nacional para la Evaluación de la Educación.         [ Links ]

INEE (2005). La calidad de la educación básica en México, México: Instituto Nacional para la Evaluación de la Educación.         [ Links ]

Latapí, P. (2004). La SEP por dentro. Las políticas de la Secretaría de Educación Pública comentadas por cuatro de sus secretarios (1992-2004), México: Fondo de Cultura Económica.         [ Links ]

Loera, A. (2005). Cambios en las escuelas que participan en el PEC 2001-2004. Evaluación cualitativa del Programa Escuelas de Calidad. Reportes nacionales, fase III, s/l/e: Heurística Educativa (disponible en basica.sep.gob.mx/pec/Documentos/Evaluaciones%20de%20Heuristica/Cambios%20en%20escuelas20012004vrdef.pdf).         [ Links ]

Loera, A. y Cázares, O. (2005). Análisis de cambios de logros académicos y eficacia social de las escuelas de la muestra cualitativa 2001-2005, Chihuahua: Heurística Educativa (disponible en http://basica.sep.gob.mx/dgdgie/escuelasdecalidad/Evaluaciones/Documentos/Evaluaciones%20de%20Heuristica/Reportecambioslogrosacademicos.pdf).         [ Links ]

Murnane, R., Willet, J. y Cárdenas, S. (2006). ¿Ha contribuido el Programa Escuelas de Calidad (PEC) a mejorar la educación pública en México?, disponible en http://basica.sep.gob.mx/dgdgie/escuelasdecalidad/Evaluaciones/Documentos/HARVARD/PEC%20REPORTE.pdf.         [ Links ]

OCDE (2004). Panorama de la educación 2004. Nota de país: México, Organización para la Cooperación y el Desarrollo Económicos.         [ Links ]

OCDE (2006). Panorama de la educación 2006, España: Santillana.         [ Links ]

Observatorio Ciudadano de la Educación (2006). Plataforma Educativa 2006. Capítulo V, Educación Básica, México: Observatorio Ciudadano de la Educación.         [ Links ]

PNUD (2003). Informe sobre desarrollo humano: México 2002. México: Programa de las Naciones Unidas para el Desarrollo.         [ Links ]

SEP (2002). ¿Cómo conocer mejor nuestra escuela? Elementos para el diagnóstico, Cuadernos para transformar nuestra escuela, Secretaría de Educación Pública/Cooperación Española.         [ Links ]