Un acercamiento a la eficacia de los programas del gobierno federal orientados a mejorar la calidad de la educación básica

Carlos Muñoz-Izquierdo* y Rolando Magaña Rodríguez**

* Investigador emérito del Instituto de Investigaciones para el Desarrollo de la Educación de la Universidad Iberoamericana-Ciudad de México. Av. Prolongación Paseo de la Reforma 880, Edificio Q, nivel 2, colonia Lomas de Santa Fe, 01219, México, DF. CE: carlos.munoz@uia.mx

** Consultor independiente.

Resumen:

Se investiga si el acceso de las escuelas a determinados programas gubernamentales (para mejorar la calidad de la educación básica) se relaciona con diferencias significativas en el aprovechamiento escolar. Se construyó una base de datos con los puntajes obtenidos por 6 millones 580 mil 496 estudiantes, en la prueba estandarizada Enlace aplicada en 2006. Las diferencias se detectaron mediante el análisis de varianza. Se encontró que sólo en algunos estratos muestrales (entre ellos, algunos de los integrados por escuelas indígenas, cuyas comunidades participan en la gestión escolar) los programas desempeñan la función académicamente compensatoria hacia la que se dirigen; en general, ejercen una redistributiva, al ofrecer recursos adicionales a las escuelas de zonas marginadas, o remedial, al mejorar la eficacia pedagógica de algunas localidades de muy alta marginación, donde otros programas sólo habían generado efectos redistributivos. El estudio se realizó entre marzo de 2007 y febrero de 2008.

Palabras clave: calidad de la educación, evaluación de programas, política educativa; programas de mejoramiento; participación social, México.

The object of study was whether schools' access to certain government programs (for improving the quality of basic education) is related to significant differences in scholastic achievement. A database was constructed with the scores obtained by 6,580,496 students on the Enlace standardized test in 2006. Differences were detected through an analysis of variance. The programs were found to fill an academically compensatory function in only some of the strata of the sample (including some indigenous schools whose communities participate in school management); in general, the programs played a redistributive role by offering additional resources to schools in marginalized zones, or a remedial role by improving the pedagogical effectiveness of very highly marginalized locations where other programs had generated only redistributive effects. The study was carried out from March, 2007, to February, 2008.

Keywords: quality of education, evaluation of programs, educational policy, improvement programs, social participation, Mexico.

Introducción

Desde mediados de la década de los noventa, el gobierno federal ha puesto en marcha diversos programas con la finalidad de combatir la relación de signo positivo que ancestralmente ha existido entre el aprovechamiento escolar de los alumnos y los estratos sociales a los que pertenecen sus familias. Hasta ahora, esos programas han sido evaluados en forma aislada, por lo que no se conocen los efectos de las sinergias que potencialmente se pueden generar al aplicar varias combinaciones de ellos en la misma escuela. Además, son escasas las evaluaciones sobre su impacto en el aprovechamiento escolar, cumpliendo el requisito de que el programa haya sido valorado mediante la aplicación de pruebas estandarizadas. Por tanto, esta investigación (realizada entre marzo de 2007 y febrero de 2008) se propuso hacer un acercamiento a este tema, con el fin de contribuir a subsanar las limitaciones mencionadas.

El logro de este objetivo general, implicó alcanzar los siguientes objetivos intermedios:

• Conocer la cobertura de los programas administrados por diferentes dependencias gubernamentales, en las escuelas que están ubicadas en localidades de diferentes niveles de marginalidad;

• conocer la distribución de los porcentajes de aprovechamiento insuficiente,¹ entre las escuelas que están ubicadas en localidades de diferentes niveles de marginalidad;

]]> • obtener la distribución de los porcentajes de aprovechamiento insuficiente en las escuelas que tuvieron acceso a diferentes programas -o combinaciones de los mismos- controlando los índices de marginalidad de las localidades y las proporciones de los alumnos que reciben, en cada escuela, el subsidio otorgado por el programa Oportunidades; y

• determinar la eficacia académica del programa Oportunidades, así como los efectos educacionales de los demás programas -y combinaciones de los mismos- controlando los índices de marginación de las localidades respectivas, así como las proporciones de alumnos que, en cada escuela, pertenecen a familias favorecidas con los subsidios distribuidos por la Secretaría de Desarrollo Social (Sedesol).

 

Antecedentes

Las políticas educativas que fueron puestas marcha en México hasta la década de los ochenta lograron expandir en forma significativa la matrícula escolar, pero no dedicaron la atención requerida a las acciones que eran necesarias para asegurar la calidad de la educación (especialmente en el nivel básico del sistema).

En efecto, en 1981 se logró -por primera vez- inscribir en el primer grado de primaria, a todos los niños que lo solicitaron.² Sin embargo, como consecuencia de que las políticas encaminadas al aseguramiento de la calidad de la educación hayan sido relegadas a un segundo plano, se generó un sistema que se caracteriza por su irregularidad morfológica (expresada en los alumnos que cursan grados escolares inferiores a los llamados "normativos", es decir, a aquellos que en un sistema normalizado corresponderían a sus respectivas edades); ineficiencia (que se refleja en las tasas de deserción o de "no conclusión" de la primaria y secundaria); alarmante ineficacia (como lo constatan los resultados de diversas pruebas de rendimiento) y lacerante inequidad (porque tanto la extraedad, como la deserción y la ineficacia inciden, en una forma marcadamente desigual, en los niños pertenecientes a familias que disponen de escasos recursos económicos y de otros géneros).³

Los programas orientados directamente a mejorar la calidad de la educación impartida, y en particular los que canalizan apoyos especiales a las escuelas ubicadas en localidades en donde se registran los mayores niveles de pobreza -porque es ahí en donde se imparte la educación básica de menor calidad-, aparecieron hasta los primeros años de la década de los noventa. Esto coincidió con la inclusión en la Ley General de Educación (promulgada en 1993) de un capítulo que obliga a las autoridades educativas a realizar diversas acciones orientadas, precisamente, a promover una distribución social más equitativa de los resultados académicos del sistema escolar.

Esos programas responden a tres estrategias⁴ que, a su vez, se basan en sendas interpretaciones de la etiología de la calidad de la educación.

1) La primera postula que para mejorarla es necesario ofrecer a las escuelas determinados recursos materiales, didácticos y financieros, distintos de aquéllos a los que tradicionalmente han estado a su alcance.

Esta estrategia, a su vez, se bifurca: la primera vertiente consiste en ofrecer esos recursos, indiscriminadamente, al conjunto de escuelas que imparten educación de determinado nivel; y la segunda, en atender de manera "focalizada" a los centros escolares ubicados en localidades en que se registran los mayores índices de pobreza.

2) La segunda estrategia se propone mejorar la calidad de la educación reduciendo el costo de oportunidad de la misma en aquellos casos en los que los estudiantes (o sus familias) carecen de los recursos necesarios para soportarlo (como se sabe, dicho costo está representado por los ingresos que los alumnos dejan de percibir por dedicar a sus estudios el tiempo que hubieran podido canalizar al desempeño de una actividad directamente productiva).

A esta estrategia responden los programas que distribuyen entre los estudiantes (o sus familias) diversos apoyos económicos que son conocidos en lengua inglesa con el nombre de "conditional cash transfers" (o CCT's);ya que el acceso a dichas transferencias (o subsidios) depende del cumplimiento de ciertas condiciones, como la de que sus destinatarios asistan con regularidad a la escuela y permanezcan en ella hasta terminar los estudios del nivel que estén cursando.

3) Finalmente, la tercera estrategia propone mejorar la calidad de la educación mediante programas que impulsen la participación de la comunidad escolar (o de las Asociaciones de Padres de Familia -APF-) en la gestión de los centros escolares.

Revisión de la literatura

A continuación se resumen los resultados de las evaluaciones de algunos programas que han respondido a las tres estrategias mencionadas en el apartado anterior de este artículo:

Programas que se proponen mejorar la calidad de la educación mediante la distribución de diversos insumos a las escuelas

Los estudios que han valorado los programas correspondientes a la primera vertiente de esta estrategia son, de hecho, "evaluaciones de procesos"; ya que han analizado los insumos y su funcionamiento, sin valorar sus efectos en los resultados de la educación impartida.⁵ En esta situación se encuentran, también, varios trabajos que se han referido a los "programas compensatorios"; aunque algunos han intentado evaluar su eficacia analizando las relaciones existentes entre el acceso de las escuelas a los mismos, y la evolución de las tasas de reprobación y repetición de los alumnos.⁶

El insuficiente impacto académico del programa se debió, parcialmente, a diversos errores que fueron detectados en su operación. Una investigación posterior, basada en un diseño contrafactual (utilizando sólo una submuestra integrada por las escuelas en donde el programa fue operado correctamente), encontró que si todas las demás escuelas hubieran estado en esa situación, el programa pudo haber tenido un impacto ligeramente más palpable en el aprovechamiento de los niños.⁸

Programas que se proponen reducir el costo de oportunidad de la educación

Programa Oportunidades

Este programa también ha sido evaluado frecuentemente; sin embargo, repitiendo la misma práctica que detectamos al reseñar las evaluaciones anteriores, quienes han realizado la mayoría de las referidas a Oportunidades han analizado la relación entre el acceso al programa y la eficiencia del sistema escolar -expresada mediante las tasas de aprobación y de terminación del nivel educativo cursado por sus beneficiarios.⁹ Todas esas evaluaciones han comprobado que Oportunidades tiene un impacto palpable en las variables mencionadas.

Por otro lado, sólo se dispone de dos estudios sobre el impacto de este programa en los aprendizajes de los alumnos, donde hayan sido evaluados mediante la aplicación de pruebas estandarizadas. El primero, que fue realizado por Behrman, Sengupta y Todd (2000), se refirió al impacto que tuvo el programa Progresa (antecesor de Oportunidades) durante el primer año en el que fue puesto en marcha. Reportó que el programa no había generado ningún efecto estadísticamente significativo en los aprendizajes de los alumnos.

El segundo estudio fue realizado en la Universidad Iberoamericana-Ciudad de México, y evaluó en forma indirecta el impacto académico del programa mencionado; ya que se basó en un modelo de "estática comparada". La información utilizada correspondió a los años comprendidos entre 1999 y 2002.

Esa investigación, cuyos resultados están reportados en Muñoz-Izquierdo (2007) encontró que en aquellas regiones en las que el programa fue operado más intensivamente -y solamente en ellas- había aumentado el tamaño de la varianza de la distribución de los aprendizajes. Ese hallazgo fue interpretado como indicador de que el programa en cuestión estaba fomentando la incorporación a las escuelas de estudiantes que disponen de un capital cultural cada vez más escaso -sin que las propias escuelas hubieran modificado sus prácticas pedagógicas con la finalidad de acoger productivamente a esos alumnos.¹⁰ Este fenómeno (que, por cierto, todavía no ha recibido la atención necesaria en nuestras escuelas), bien pudo haber impulsado el crecimiento de la dispersión estadística de los aprendizajes de los niños.

Programa de Apoyos a la Gestión Escolar (AGE)

Se dispone de una evaluación de este programa, realizada por Gertler, Patrinos, y Rubio-Codina (2006). Los autores reportaron que entre los ciclos escolares 1998-1999 y 2001-2002 hubo una reducción de casi medio punto porcentual (equivalente a 4.4%) en la proporción de estudiantes reprobados y repetidores que anteriormente había sido observada. Sin embargo, no analizaron el impacto que pudo haber tenido el programa en el aprovechamiento escolar, cumpliendo el requisito de que esa variable hubiera sido valorada mediante la aplicación de pruebas estandarizadas.

Programa de Escuelas de Calidad

Hasta la fecha se han realizado tres evaluaciones cuyos autores hayan medido los efectos académicos del Programa de Escuelas de Calidad (PEC).¹¹ Una fue conducida por Skoufias y Shapiro (2006); otra estuvo a cargo de Loera y Cázares (2005); y la tercera fue realizada por un equipo de investigadores adscritos a Harvard University (Reimers, 2006).

Tanto Skoufias y Shapiro, como los investigadores de la Universidad de Harvard, observaron el impacto del programa citado en los índices de reprobación (los cuales, como ya se dijo, dependen del criterio de cada maestro), en la repetición de cursos y en la deserción del sistema educacional.

Una de varias estimaciones realizadas por los autores citados en primer término obtuvo como resultado que, durante los primeros tres años del programa, la deserción disminuyó en 0.22 puntos porcentuales; lo que equivale a una quinta parte del parámetro inicial. Ese efecto puede ser atribuido (de acuerdo con nuestro criterio) a una reducción simétrica en la reprobación y de 0.28 puntos en el índice de repetición, que también detectaron los investigadores citados.

Ciertamente, la magnitud de ese efecto no es muy importante y quienes lo observaron demostraron que varió entre los diferentes tipos de escuelas que participaron en el programa. En efecto, los resultados de mayor magnitud se registraron en los planteles no indígenas y, particularmente, en los ubicados en localidades urbanas. Correlativamente, el impacto no fue estadísticamente significativo en los planteles indígenas.

Loera y Cázares (2005), a su vez, sí examinaron longitudinalmente el impacto del PEC en el aprovechamiento escolar mediante la aplicación de pruebas estandarizadas. Esos autores reportaron que durante los primeros cuatro años de ejecución del programa, el aprovechamiento no cambió significativamente en 88% de las escuelas observadas. Más aún, en 24 (equivalentes a 6% de las observadas) se registró una disminución constante en el aprovechamiento; y sólo en una cantidad semejante de establecimientos escolares (26, equivalentes a 6% del total) hubo una mejoría académica estadísticamente significativa. Sin embargo, ese estudio no aportó la información necesaria para explicar los hallazgos mencionados.

Síntesis

1) Al analizar las evaluaciones que han utilizado como variable dependiente las tasas de reprobación y de eficiencia terminal (que, por cierto, no fueron valoradas por los maestros mediante la aplicación de pruebas estandarizadas) encontramos que los hallazgos de Skoufias y Shapiro (quienes detectaron leves descensos en el índice de reprobación) coinciden con los resultados obtenidos por otros autores (Collins y Hanson, citados en Gertler, Patrinos y Rubio-Codina, 2006), los cuales aportaron evidencias en el sentido de que la disminución en la deserción puede ocurrir sin que necesariamente se registren mejoramientos en los aprendizajes.¹² Conviene hacer notar que ese hallazgo arroja dudas sobre la validez de las conclusiones de quienes han evaluado este tipo de programas sin haber analizado su impacto en el rendimiento escolar, bajo el supuesto de que los índices de eficiencia -que no proceden de mediciones estandarizadas- son representativos de los resultados que se habrían obtenido si se hubieran medido objetivamente los resultados académicos de las escuelas.

2) Los escasos estudios (como el de Loera y Cázares) que han relacionado el acceso de las escuelas a determinados programas con el aprovechamiento de los alumnos -valorado mediante la aplicación de pruebas estandarizadas- han detectado relaciones muy tenues entre ambas variables. Es conveniente señalar que los autores de esos trabajos, al proponerse examinar los efectos académicos de un programa determinado, incluyeron en su muestra un conjunto de escuelas donde éste había sido puesto en marcha. Es obvio que ese diseño no permitió apreciar lo que habría pasado si la muestra hubiera sido integrada -de manera intencional y no casual (como probablemente pudo haber ocurrido)- por conjuntos de escuelas que hubieran tenido acceso, de manera simultánea, a más de uno de los programas mencionados. No hay que olvidar que todos esos programas son complementarios puesto que persiguen los mismos propósitos a pesar de que difieren en sus estrategias para llevarlos a cabo.

Características principales de los programas analizados¹³

Los programas a los que se refiere este estudio, así como las dependencias del gobierno federal que los administran y las estrategias en que están basados se mencionan en el esquema 1:

Programa de Apoyos a la Gestión Escolar

Este programa otorga subsidios en efectivo y proporciona capacitación a las asociaciones de padres de familia para la gestión escolar, con el objeto de que sus integrantes puedan elegir el destino del subsidio que reciben; pero ellos tienen que asumir el compromiso de invertirlo en pequeñas mejoras en la infraestructura de las escuelas. En 2005 se observó que más de 45% de las escuelas primarias del país participaba en este programa, las cuales están ubicadas en localidades marginadas y obtienen resultados educativos inferiores al promedio nacional.

La palanca que impulsa la incorporación de los padres en los planteles es la administración de los recursos que destina la SEP a las escuelas preescolares y primarias rurales e indígenas con altos índices de marginación. Sin embargo, las APF también controlan la asistencia a docentes y administran el estímulo económico (Reconocimiento al Desempeño Docente o Redes) que reciben los maestros por respetar el horario y calendario establecidos por la Secretaría de Educación Pública.

Enclomedia

La Enciclomedia ha sido definida como una herramienta pedagógica desarrollada por científicos e investigadores mexicanos, que relaciona los contenidos de los libros de texto gratuito con el programa oficial de estudios y diversos recursos tecnológicos, como audio y video, a través de enlaces de hipermedia que conducen al estudiante y al maestro a un ambiente atractivo, colaborativo y organizado por temas y conceptos que sirven de referencia a recursos pedagógicos relacionados con el currículo de educación básica.

Según la SEP, el programa establece un puente natural entre la forma tradicional de presentar los contenidos curriculares y las posibilidades que brindan las nuevas tecnologías para manejar la información y las telecomunicaciones, sin requerir de conectividad de internet para funcionar, dado que se trata de un software que puede distribuirse a través de discos compactos e instalarse en el disco duro de la computadora destinada al programa.

En la primera etapa del programa, tomando en cuenta los aspectos pedagógicos así como los recursos disponibles, la SEP se propuso poner en marcha este programa en todas las aulas del país en el quinto y sexto grados de la enseñanza primaria.

Programa Escuelas de Calidad

Este programa se propone apoyar las acciones que, con el fin de mejorar la calidad del servicio educativo y de los resultados de aprendizaje, sean elegidas por las comunidades escolares participantes en el mismo. Por tanto, su objetivo general consiste en fomentar la transformación de los centros escolares públicos de educación primaria en escuelas de calidad, las cuales son definidas como aquellas que asumen de manera colectiva la responsabilidad por los resultados del aprendizaje de todos sus alumnos y se comprometen al mejoramiento continuo del aprovechamiento escolar.

Programa Oportunidades

Este programa, que anteriormente recibió la denominación de Progresa (acrónimo de Programa de Educación, Salud y Alimentación), se propone abatir el costo de oportunidad de la educación que se ofrece a los estudiantes pertenecientes a familias de escasos recursos. Los destinatarios de las transferencias en efectivo que este programa distribuye también reciben algunos suplementos alimenticios. La permanencia de esos estudiantes en el programa depende de su asistencia regular a la escuela; de que permanezcan en ella hasta la terminación del ciclo escolar que estén cursando; y de que sus madres asistan regularmente a un centro de salud.

Programa Red Escolar

Según la SEP, la Red Escolar es una comunidad conformada por alumnos, profesores, cuerpos directivos, personal técnico-pedagógico y padres de familia, que se comunican a través de una red de cómputo enlazada a internet.

A través de este programa, las escuelas de educación básica y normal tienen acceso a un modelo tecnológico flexible, al ofrecer a los profesores publicaciones actualizadas, tanto en el contenido de los programas académicos, como en el manejo de nuevas formas de abordarlo. El programa provee a docentes y alumnos de acervos de información construidos con base en el plan y programas de estudio de la SEP. Estos acervos relacionan conceptos pedagógicos no sólo a partir de libros y documentos sino también de videos, imágenes y páginas web.

Características de los datos utilizados

Modelo analítico

Si esas variables fueran representadas en un esquema de círculos concéntricos, aparecerían como sigue (mencionando en primer lugar a la más periférica y así sucesivamente, hasta llegar a la que se encontraría en el centro):

Primer círculo (periferia): Niveles de marginalidad de las localidades

Segundo círculo: Proporciones de alumnos becados, en las distintas escuelas, por Oportunidades

Tercer círculo: Programas dirigidos a fortalecer la oferta escolar

Cuarto círculo (centro): Proporciones de alumnos que obtuvieron un aprovechamiento de nivel insuficiente en las pruebas Enlace

Consideramos necesario advertir que el haber incluido en el modelo los índices de marginalidad de las localidades así como las proporciones de alumnos becados por la Secretaría de Desarrollo Social obedece a la necesidad de comparar a las escuelas que recibieron los apoyos de los programas con otras que no los recibieron y se encuentren en condiciones socioeconómicas semejantes a las de las primeras. Por tanto, esa decisión no es atribuible a que supongamos -como frecuentemente se observa en la literatura relativa a este tema- que esas variables "influyen" en forma negativa en el aprovechamiento escolar. El que las hayamos tomado como variables de control se debe, en cambio, a la necesidad de considerar el efecto derivado de la incapacidad de los diversos actores que intervienen en la generación del servicio educativo, para ofrecer a los estudiantes que viven en comunidades con altos niveles de pobreza -pertenecientes, en su mayoría, a familias cuyo capital cultural también es escaso- una educación social y culturalmente pertinente.

Decimos esto porque los contenidos y métodos de enseñanza han sido generalmente diseñados en función de las necesidades e intereses de los estudiantes que no se encuentran en situaciones de pobreza. De esto se desprende que, en lugar de atribuir al contexto social o familiar los resultados académicos de los estudiantes pertenecientes a los estratos mayoritarios de la sociedad, los educadores deberían reflexionar sobre la necesidad de revisar sus propias prácticas, con el fin de asegurar la pertinencia sociocultural de las mismas.

La base de datos se generó utilizando la siguiente información:

• los índices de marginación las localidades (generados por el Consejo Nacional de Población, Conapo);

• el número de alumnos becados en cada escuela por el programa Oportunidades;

• los programas puestos en marcha en los distintos centros escolares, tanto por la SEP como por el Conafe; y

• los resultados de la prueba Enlace, por escuela.

Con base en la taxonomía generada por el Conapo, las escuelas fueron estratificadas de acuerdo con el índice de marginación de la localidad en que están ubicadas (que para los efectos del análisis nosotros clasificamos en tres niveles: alto, medio y bajo).

Para cada uno de esos estratos, y tomando en cuenta las cantidades de alumnos inscritos en esos planteles y que están becados por el programa Oportunidades, se generaron los cuatro subestratos siguientes: ningún becado, hasta 25% de becados, hasta 50%, y más de 50% de becados.

Se generó un conjunto de variables dicotómicas para distinguir a las escuelas en las que fueron operados -en forma aislada o en distintas combinaciones- los programas administrados por la SEP y por el Conafe.

Resultados

Tablas descriptivas

Proporciones de alumnos que tienen acceso a los programas administrados por diferentes dependencias del gobierno federal

En el cuadro 1bis (A y B) se analiza la cobertura de diversos programas en las diferentes modalidades educativas, controlando los niveles de marginalidad de las localidades en que están ubicadas sus escuelas.¹⁵ Cabe hacer notar que no tuvimos acceso a los datos relativos a los alumnos inscritos en las secundarias generales y técnicas que están becados por Oportunidades, lo que es atribuible a que la información sobre la cobertura de ese programa nos fue suministrada a través del Conafe y éste no lleva a cabo sus actividades en dichas escuelas. En consecuencia, en el cuadro sólo se puede apreciar la cobertura de los programas que están a cargo de la SEP, la Sedesol y del Conafe en lo que se refiere a las escuelas primarias generales, a las primarias indígenas y a las telesecundarias y, por la razón mencionada, en el caso de las secundarias generales y técnicas sólo se pueden apreciar las proporciones de alumnos cuyas escuelas tienen acceso a los programas administrados por la SEP.

El mismo cuadro refleja que tanto las primarias generales como las indígenas que están en localidades de alta marginalidad son prioritariamente atendidas por la Sedesol y el Conafe; aunque también se advierte que la Sedesol otorga becas a 100% de los niños inscritos en escuelas indígenas ubicadas en localidades de baja marginalidad, estrato en el que, como se podría esperar, se encuentran pocos (8 mil 526) estudiantes). A su vez, las telesecundarias (independientemente de los índices de marginalidad) son prioritariamente atendidas por la SEP.

Llama la atención que en las secundarias convencionales, el valor modal de esta distribución corresponda a las escuelas en las que no es operado ningún programa adicional al Programa Nacional de Lectura (PNL).

Por otro lado, como se podía esperar, el AGE está dirigido principalmente a las primarias de localidades de alta marginación y en las indígenas ubicadas en las de marginación media. A su vez, el PEC opera mayoritariamente en las primarias generales de localidades de marginación media, así como en las telesecundarias que no funcionan en las de alta marginación. Por último, Enciclomedia y Red Escolar se aplican, simultánea y prioritariamente, en las escuelas indígenas que funcionan en localidades de baja marginación.

Esta distribución (que aparece en el cuadro 2) confirma lo que se ha observado en innumerables investigaciones anteriores, en el sentido de que en las distintas modalidades educativas existe una relación directa entre los porcentajes de aprovechamiento insuficiente y los niveles de marginalidad. Como se podía esperar, esa relación es más intensa en las primarias indígenas, sin embargo, también se manifiesta en las secundarias convencionales y en las telesecundarias.

Por otro lado, llama la atención la magnitud de la disparidad existente entre las proporciones de alumnos que obtuvieron un aprovechamiento insuficiente, y los índices de reprobación que son reportados en las estadísticas escolares. En muy pocas ocasiones estos índices llegan a ser de 10%; en tanto que los niveles de reprobación detectados mediante la aplicación de las pruebas Enlace oscilan entre 16.8%, en las de español que fueron aplicadas en las primarias generales de baja marginalidad, y 76.8% en las de matemáticas de las secundarias convencionales de alta marginalidad.

Porcentajes de aprovechamiento insuficiente que se asocian con el acceso de las escuelas a los programas para fortalecer la oferta escolar, controlando los índices de marginalidad y las proporciones de becados (en cada escuela) por Oportunidades

En estos porcentajes -que se encuentran en el cuadro 3 (A, B y C)- se apoyan los análisis realizados con la finalidad de estimar la eficacia académica de Oportunidades; así como la de los diferentes programas dirigidos a fortalecer la oferta escolar.

Como se podrá apreciar en el siguiente apartado de este artículo, para estimar la eficacia de Oportunidades se compararon los porcentajes de aprovechamiento insuficiente que fueron obtenidos en las escuelas en las que ningún estudiante está becado, con los registrados en aquéllas donde más de la mitad sí lo está por ese programa.

Asimismo, se podrá apreciar que para estimar la eficacia de los programas dirigidos a fortalecer la oferta escolar, se compararon los porcentajes de aprovechamiento insuficiente que obtuvieron los planteles que no tuvieron acceso a ningún programa, con los registrados en las escuelas donde fue puesto en marcha alguno de los programas considerados en el estudio.

Análisis de la eficacia académica de los diferentes programas

Como indicador de los niveles de vida de las familias de los estudiantes se utilizaron las proporciones de alumnos becados (en cada escuela) por el programa analizado, suponiendo (plausiblemente) que existe una relación inversa entre dichas proporciones y los niveles de vida de las familias de la mayoría de los alumnos inscritos en cada centro escolar.

Así pues, para que el programa contribuyera a lograr el objetivo señalado sería necesario, por ejemplo, que (después de controlar los índices de marginalidad de las localidades) las proporciones de estudiantes con aprovechamiento insuficiente que fueron observadas en las escuelas que no atienden a ningún becado (cuyo alumnado, presumiblemente, se encuentra en mejores condiciones económicas) fuesen iguales (o al menos semejantes) a las registradas en aquéllas donde más de 50% de los estudiantes que asisten a ellas estuvieran becados por el programa (cuyo nivel de vida es menos favorable que el de los primeros).

Los resultados obtenidos se resumen en el cuadro 4. Como ahí se puede apreciar, sólo en las primarias generales ubicadas en localidades de marginación media y en las telesecundarias de baja marginalidad, se cumplió la condición establecida para que el programa fuese académicamente eficaz, toda vez que, en las demás modalidades, éste no logró desvanecer la relación directa existente entre los índices de insuficiencia académica y las proporciones de estudiantes becados por la Sedesol (en los otros dos estratos de las telesecundarias, el porcentaje de escuelas en las que ningún alumno está becado es extremadamente alto).

Eficacia de los programas para el mejoramiento de la calidad de la educación en las distintas modalidades educativas, mediante diversas intervenciones en las propias escuelas, controlando las proporciones de alumnos becados por la Sedesol

Como se señaló, la eficacia de los programas fue definida operacionalmente (para los fines de este artículo) como la disminución en el promedio de aprovechamiento insuficiente que obtuvieron las escuelas que participaron en determinado programa (o en determinada combinación de los mismos), con respecto al mismo promedio de las que no tuvieron acceso a dicho programa (o combinación de los mismos). Esa disminución fue estimada realizando los análisis de varianza cuyos resultados se resumen en el cuadro 5 (A-E),¹⁷ donde aparecen las diferencias detectadas entre los porcentajes de aprovechamiento insuficiente registrados en las escuelas en las que fueron operados los programas (o combinaciones de ellos) que ahí se mencionan, con los registrados en aquéllas en las que no fueron puestos en marcha dichos programas (o combinaciones de los mismos). En todos los casos, el "grupo en desventaja" estuvo constituido por las escuelas a las que correspondió el mayor porcentaje de aprovechamiento insuficiente. En la segunda columna del cuadro se mencionan los programas operados en los establecimientos que obtuvieron resultados académicos más favorables.

Conviene advertir que la magnitud de las diferencias que en las primarias indígenas se asociaron con la operación de determinados programas (o combinaciones de los mismos) es atribuible a que el porcentaje de aprovechamiento insuficiente que correspondió al grupo de escuelas donde no fue operado ningún programa fue anormalmente alto (cuadro 5B). Por esta razón, se decidió realizar un segundo análisis en el que se compararon los porcentajes de aprovechamiento insuficiente de los planteles pertenecientes a dichos programas, con el correspondiente a la totalidad de las escuelas indígenas que no tuvieron acceso a ningún programa. Los resultados de esta comparación (cuadro 5C) son convergentes con los obtenidos previamente. Es interesante hacer notar que, como se podía esperar, las diferencias detectadas a través de este procedimiento fueron de una menor magnitud; sin embargo, a pesar de esta reducción, siguieron superando a las obtenidas en todas las demás comparaciones realizadas.

Del hecho de que en algunos casos los porcentajes de aprovechamiento insuficiente en las escuelas que tuvieron acceso a determinados programas hayan sido mayores que los observados en las que también fueron operados otros, se desprende que dichos programas no sólo desempeñan la función "pedagógicamente compensatoria" para la que fueron diseñados,¹⁸ sino también otras dos, complementarias, que se describen a continuación:

]]> • Una función que se podría llamar "económicamente redistributiva", que consiste en poner al alcance de las escuelas -y de manera especial las de localidades que se caracterizan por sus altos niveles de pobreza-diversos insumos de mejor calidad de aquéllos a los que normalmente están disponibles en esos centros escolares en condiciones en las que no se logran contrarrestar los efectos de los factores que se interponen al mejoramiento de la calidad de la educación que se imparte en dichos establecimientos. Por tanto, esto ocurre cuando los resultados académicos de las escuelas en las que fueron operados determinados programas son inferiores a los de otras que no tuvieron acceso a los mismos; y

• otra función, que podría recibir la denominación de "pedagógicamente remedial", que consiste en mejorar en cierta medida los resultados académicos de las escuelas donde determinados programas sólo habían desempeñado la función "económicamente redistributiva". Esto ocurre, por tanto, cuando los resultados académicos de las que tuvieron acceso a determinados programas son superiores a los de aquellos planteles que ya contaban con ciertos insumos -canalizados a través de otros programas-, cuyo rendimiento había sido menos eficaz desde el punto de vista pedagógico.

Así pues, a partir de estas consideraciones a continuación se resumen -considerando básicamente los casos en los que los resultados son (o tienden a ser) convergentes- los hallazgos derivados de los análisis que se reportan en los cuadros 5A-E se pueden resumir como sigue:

• El programa AGE se asocia con la función "económicamente redistributiva" en los tres estratos de las primarias generales. En cambio, en las indígenas ubicadas en el estrato de alta marginalidad, se relaciona con la función "pedagógicamente compensatoria". Dicha asociación se observa en las mismas escuelas, al analizar la operación simultánea de PEC y AGE, así como la de los programas AGE e Infraestructura.

• El PEC se asocia con la función "pedagógicamente remedial" en los tres estratos de las primarias generales, y con la función "económicamente redistributiva" en las secundarias convencionales que no están ubicadas en el estrato de marginalidad media, así como en las telesecundarias clasificadas en el estrato de baja marginalidad. Es interesante observar que ese mismo programa se asocia con la función "pedagógicamente remedial" en las telesecundarias ubicadas en localidades de alta marginalidad. Al observar más detalladamente los resultados de los análisis realizados, se puede apreciar que esta función compensa en alguna medida la ineficacia académica del programa AGE (y con menor frecuencia la del PEC). Esta ineficacia está vinculada, a su vez, con el hecho de que algunas escuelas beneficiadas por esos programas funcionan en condiciones extremadamente adversas.

• La ejecución simultánea de Enciclomedia y Red Escolar, así como la de estos dos programas en forma concurrente con el PEC, se asocian con la función "pedagógicamente remedial" en los tres estratos de las primarias generales. También en estos casos el grupo de referencia (es decir, al que correspondieron los resultados académicos más bajos) está conformado mayoritariamente por escuelas que tuvieron acceso al programa AGE.

Hallazgos del estudio y conclusiones

En primer término es necesario recordar que esta investigación no se basa en un diseño longitudinal. Por esta razón, en el apartado anterior se afirmó que determinados programas "se asocian" con el desempeño de las funciones que ahí fueron mencionadas. Como es sabido, ningún diseño transversal permite interpretar los resultados obtenidos como indicadores de que existen relaciones de causalidad entre las variables analizadas.

En este sentido es alentador haber detectado que en algunas primarias indígenas, los programas encaminados a fortalecer la oferta escolar (como el PEC y el AGE, así como su operación simultánea) se asocian con reducciones palpables en los porcentajes de insuficiencia académica. Como se puede apreciar en el cuadro 5B, tales reducciones que se asocian con la participación de esas escuelas en el PEC ascienden a 21.72 puntos en las pruebas de español y a 17.52, en las de matemáticas; y las que se relacionan con la participación de dichos centros escolares en el programa AGE son de 14.40 puntos en la prueba de español.

Hipotéticamente, estos hallazgos podrían ser atribuidos a la mayor comunicación que los programas mencionados promueven entre el personal docente y administrativo adscrito a los establecimientos escolares y los miembros de las respectivas asociaciones de padres de familia. De esto se desprende la conveniencia de indagar con mayor profundidad los factores que pudieron haberlos determinado, ya que tales hallazgos pueden indicar que -entre las estrategias dirigidas a mejorar la calidad de la educación que fueron descritas en la primera parte de este artículo- la que podría ser más eficaz es la que promueve la participación de las asociaciones de padres de familia en la administración de algunos recursos asignados por el Estado a las escuelas, o en el diseño y ejecución de los proyectos escolares auspiciados por el PEC.

El estudio comprobó que los programas administrados por la Sedesol y por el Conafe están operando principalmente en las localidades con mayores índices de marginalidad. En cambio, los administrados por la SEP están dirigidos en forma prioritaria hacia otras regiones del país. Esto puede significar que, debido a que en las comunidades marginadas es difícil poner marcha los programas que aportan insumos escolares basados en tecnologías avanzadas de información y comunicación, éstos pueden estar incrementando la brecha tecnológica que desde hace mucho tiempo ha separado a los habitantes de dichas comunidades, de los de aquellas que han alcanzado mayores niveles de desarrollo económico.

Finalmente, al controlar (mediante una estratificación de las escuelas) las proporciones de estudiantes que están becados en cada plantel, así como los programas (administrados por la SEP y por el Conafe) a los que tienen acceso las escuelas correspondientes, se pudo comprobar que entre mayor es la desventaja socioeconómica de las familias (representada mediante las proporciones de los estudiantes inscritos en cada centro escolar que están becados por la Sedesol) también es mayor su porcentaje de insuficiencia académica.

Esto puede significar que es necesario que los niños asistan más asiduamente a la escuela (con el propósito de mantener la beca que les otorga la Sedesol), pero no suficiente para mejorar sus aprendizajes, ya que esto afecta de manera especial a quienes se encuentran en las condiciones socioeconómicas más precarias.

Lo anterior sugiere dos comentarios: por un lado, es necesario investigar los factores que expliquen el hecho de que la hipótesis en que se basa el programa Oportunidades no se haya cumplido en varios estratos de las escuelas primarias (especialmente en las indígenas) y, por otro, señala la conveniencia de investigar si los efectos positivos que dicho programa parece estar generando en las telesecundarias de baja marginalidad es atribuible, en efecto, a una asistencia más regular de los alumnos, como lo supusieron sus diseñadores.

En conclusión, este artículo constituye un primer paso hacia el objetivo de transparentar los efectos académicos atribuibles a las sinergias que se generan cuando varios programas -operados por diferentes dependencias del gobierno federal- son administrados en las mismas escuelas. El haber obtenido indicios de que el programa orientado a fortalecer la demanda escolar (mediante la distribución de transferencias en efectivo entre las familias de escasos recursos) no está generando los efectos académicos deseados, obliga a replantear la exigencia de que la Sedesol realice diversas acciones conjuntas con la SEP y el Conafe, ya que estas dependencias son las que administran los programas orientados a fortalecer la oferta escolar.

Asimismo, del hecho de haber detectado que sólo en algunas circunstancias los programas analizados se asocian con la función académicamente compensatoria hacia la que están dirigidos (ya que, con frecuencia, se relacionan con una función económicamente redistributiva o con efectos académicamente remediales) se desprende la conveniencia de revisar las estrategias pedagógicas de los programas que persiguen el fortalecimiento de la oferta escolar.

Behrman, Jere R.; P. Sengupta y P. Todd, (2000). The impact of Progresa on achievement test scores in the first year. Final report, Washington, DC: International Food Policy Research Institute.         [ Links ]

Bracho, T. (2004). Cuarta evaluación externa del Programa Escuelas de Calidad (PEC), México: Centro de Investigación y Docencia Económicas.         [ Links ]

Bracho, T. (2006). Evaluación externa del Programa Escuelas de Calidad (PEC) 2005-2006, México: Centro de Investigación y Docencia Económicas.         [ Links ]

Díaz de Cossío, R. et al. (2006). Enciclomedia en la práctica. Observación en veinte aulas 20005-2006; México: ILCE-Centro de Investigación Educativa y Actualización de Profesores.         [ Links ]

Gertler, P.; H. Patrinos; y M. Rubio-Codina (2006). Empowering parents to improve education: evidence from rural Mexico, World Bank Policy Research Working paper 3935, junio, Washington, DC: World Bank.         [ Links ]

Hanushek, E. A. (2005). Resultados económicos y calidad escolar, París: UNESCO-Instituto Internacional para la Planeación de la Educación/Academia Internacional de la Educación.         [ Links ]

INEE (2007). Panorama educativo de México, 2006, México: Instituto Nacional para la Evaluación de la Educación.         [ Links ]

Loera, A. y O. Cázares (2005). Análisis de cambios de logros académicos y eficacia social de las escuelas de una muestra cualitativa 2001-2005. Contraste con grupos control, Chihuahua: Heurística Educativa.         [ Links ]

Muñoz-Izquierdo, C. (2007). "Educational effects of the compensatory programs in Mexico", en Yonemura A. (ed.) Universalization of Primary Education in the Historical Perspective, Japón: Institute of Developing Economies.         [ Links ]

Muñoz-Izquierdo, C. et al. (2000). "Function and evaluation of a compensatory program directed at the poorest mexican states: Chiapas, Guerrero, Hidalgo y Oaxaca", en Reimers, F. (ed.). Unequal schools, unequal chances. The challenges to equal opportunity in the Americas, Cambridge: Harvard University Press.         [ Links ]

Paqueo, V. y López-Acevedo, G. (2003). Suppy-side school improvement and the learning achievement of the poorest children in indigenous and rural schools - The case of PARE, World Bank Policy Research Working Paper, num., WPS 3172, Washington, DC: World Bank.         [ Links ]

Reimers, F. (ed.) (2006). Aprender más y mejor: Políticas, programas y oportunidades de aprendizaje en educación básica, México: Fondo de Cultura Económica.         [ Links ]

Santizo, C. (2006). "Mejorando la rendición de cuentas y la transparencia a través de la participación social: El Programa de Escuelas de Calidad", en Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, vol. 4, num. 1.         [ Links ]

Schultz, T.P. (2000). The impact of Progresa on school enrollments, Washington, DC: International Food Policy Research Institute.         [ Links ]

Skoufias E. y McClafferty, B (2001). Is Progresa working? Summary of the results of an evaluation by IFPRI, FCND discussion paper num. 118, Washington, DC: International Food Policy Research Institute.         [ Links ]

Skoufias E. y Shapiro, J. (2006). Evaluating the impact of Mexico's Quality Schools Program: The pitfalls of using nonexperimental data, World Bank Policy Research Working Paper Series num. 4036, Washington, DC: World Bank.         [ Links ]

Notas

¹ Estos porcentajes serían equiparables a las tasas de reprobación si -y sólo si- las evaluaciones de los maestros que determinan la magnitud de dichas tasas se basaran en la aplicación de pruebas estandarizadas.

² Así lo afirmó el presidente López Portillo en su quinto informe de gobierno, rendido el 1 de septiembre de 1981.

³ Hasta la fecha, y de acuerdo con fuentes oficiales (INEE, 2007), 7.5% de los adolescentes de 12 años, 22.7% de los de 14; y 41.7% de los jóvenes de 15 años están cursando grados inferiores a los que, normativamente, corresponderían a sus edades. A su vez, 9.6% de los niños inscritos en la educación primaria y 21.8% de los que cursan la secundaria no logran terminar los ciclos mencionados.

Por otro lado, en relación con la eficacia, la misma fuente reporta que el Programa Internacional para la Evaluación de los Estudiantes (PISA, por sus siglas en inglés) detectó, en 2006, que las competencias de 50% de los jóvenes mexicanos de 15 años de edad quedaron por debajo del "nivel 2" de rendimiento, el cual es considerado como el mínimo indispensable para un adecuado desempeño en la vida productiva. Correlativamente, las competencias de menos de 1% de esos estudiantes alcanzaron los niveles 5 y 6 de rendimiento, que son los más altos en las respectivas escalas.

⁴ El término "estrategia" se refiere a un conjunto de acciones (o de programas) adecuadamente articulados para alcanzar un determinado objetivo.

⁶ Consúltese, por ejemplo, el Informe de Gestión del Conafe correspondiente al sexenio 1994-2000, así como las evaluaciones realizadas durante al siguiente sexenio; que están disponibles en la página web del mismo Consejo. Es pertinente recordar que las tasas de reprobación y, por ende, las de eficiencia terminal no son el resultado de mediciones estandarizadas de los aprendizajes de los estudiantes, sino de las evaluaciones que realizan los maestros, comparando el resultado académico de cada alumno con el de los de los demás integrantes del mismo grupo.

⁷ Esa investigación fue realizada en el Centro de Estudios Educativos, AC durante la última década del siglo pasado. Sus resultados se encuentran en Muñoz-Izquierdo et al. (2000).

⁸ Ese estudio fue realizado en el Banco Mundial y sus resultados se encuentran en Paqueo y López-Acevedo (2003). Las escuelas en las que el programa fue ejecutado correctamente son las que recibieron en forma adecuada todos sus componentes (como la capacitación docente, los apoyos a la supervisión, un acceso más oportuno a los libros de texto y el mejoramiento de la infraestructura escolar).

⁹ Cfr., entre otros, Skoufias y McClafferty (2001), así como Shultz (2000).

¹⁰ Cursivas añadidas.

¹¹ Existen otras evaluaciones de ese programa que no reseñamos en este lugar, porque no han analizado sus resultados académicos; entre ellas se encuentran las realizadas en el Centro de Investigación y Docencia Económicas (Bracho, 2004 y 2006) sobre la operación de dicho programa, y la de Santizo (2006), quien observó la relación existente entre el PEC y la accountability (o rendición de cuentas) de las escuelas participantes en el mismo.

¹² Cursivas añadidas.

¹³ Obviamente, estos programas son muy complejos (en lo que se refiere a su diseño y a sus reglas de operación). Por razones de espacio, y con fines meramente descriptivos, aquí sólo aparecen sus principales rasgos. Las descripciones más completas se encuentran en las páginas web de la SEP y del Conafe.

¹⁴ Esto se debió a que en 2006 las pruebas Enlace no fueron aplicadas con suficiente control; por lo que la SEP tuvo que reconocer, entre otras cosas, que el "factor copia" había sido importante. Es importante recordar, además, que estas pruebas sólo miden una porción de los aprendizajes previstos en los respectivos currícula.

¹⁶ Esta pregunta parte de la teoría en que se basa el programa analizado, según la cual, la reducción del costo de oportunidad de la educación (mediante la distribución de las becas) debe promover una asistencia más regular de los niños a las escuelas y esto, a su vez, debe contribuir a mejorar sus aprendizajes.

¹⁷ La información relativa a los parámetros resultantes de estos análisis que, por razones de espacio, no se incluyen en esos cuadros puede ser solicitada a la siguiente dirección electrónica: carlos.munoz@uia.mx

¹⁸ Como se recordará, esa función consiste en mejorar los resultados académicos de las escuelas cuyos rendimientos han sido, desde hace varios años, inferiores al promedio nacional.