Artículos

 

Análisis de los resultados de México en el PISA-2003: una oportunidad para las políticas públicas*

 

Carlos Muñoz Izquierdo**

 

** Universidad Iberoamericana. Director del Instituto de Investigaciones para el Desarrollo de la Educación.

 

Recibido en Marzo de 2005
Aceptado en Abril de 2005.

 

Resumen

Se describen brevemente los resultados que obtuvo México en el PISA-2003; se destacan algunas ventajas de la participación en ese programa; y se proporciona información que responde a las siguientes preguntas: ¿los resultados mencionados pueden ser explicados únicamente por las condiciones socioeconómicas en que se encuentran los estudiantes mexicanos?; ¿hay indicios de que ellos sean proporcionales a las condiciones macroeconómicas del país?; y ¿es totalmente cierto que la deficiente calidad de la educación que fue detectada, puede ser atribuida a la expansión que ha experimentado la enseñanza secundaria en México?

Palabras clave: calidad de la educación, evaluación de la educación, determinantes del aprovechamiento escolar, educación comparada, desigualdades educativas.

 

Abstract

Mexican student's outcomes in PISA-2003 are briefly described; some advantages of Mexico's participating in that program are pointed out; and information to answer the following questions is provided: Are the socio-economic conditions of Mexican students the only factor responsible for the mentioned outcomes?; Are those outcomes proportional to Mexico's macroeconomic indicators?; and Is absolutely true that the deficient quality of this country's education was caused by the growth of enrolments in secondary schools?

Key words: quality of education, educational evaluation, determinants of educational achievement, comparative education, educational inequalities.

 

México es uno de los 41 países que en el año 2003 participaron en el Programa para la Evaluación Internacional de los Estudiantes (conocido como PISA, por sus siglas en inglés). Treinta de ellos —incluido el nuestro— pertenecen a la Organización para la Cooperación Económica y el Desarrollo (OCDE), organismo responsable de la operación de dicho programa.

Conviene recordar que el PISA no se propone apreciar el grado que los estudiantes de los diferentes países han alcanzado en los objetivos particulares que establecen en los planes de estudios de las instituciones educativas a las que asisten. La finalidad de ese programa consiste, en cambio, en medir hasta qué punto los sujetos evaluados han desarrollado un conjunto de habilidades que necesitarán en su vida diaria. Por tanto, la memorización de contenidos (como los que se relacionan con diversas disciplinas) no interviene en las evaluaciones del programa citado.

El PISA tampoco se propone evaluar a los estudiantes que están cursando un determinado grado escolar, sino que está dirigido a los jóvenes que, teniendo 15 años de edad, estén inscritos en alguna institución perteneciente al sistema educativo del país respectivo —independientemente del grado que estén cursando. Esta decisión se basa en que dichos sujetos se encuentran en la etapa donde termina la educación que tiene un carácter obligatorio en la mayoría de los países que participan en el programa mencionado.

Es importante agregar que, al realizar las evaluaciones correspondientes al año de 2003, México no sólo decidió utilizar una muestra de alumnos que permitiera obtener resultados válidos a nivel nacional, sino que prefirió extraer una muestra (obviamente de mayor tamaño) que tuviera la capacidad necesaria para generar, además, mediciones válidas para cada una de las entidades federativas del país.

En la primera parte de este artículo señalamos algunos beneficios que, desde nuestro punto de vista, no sólo se derivan de la participación de México en el programa citado, sino también de la difusión de los resultados obtenidos al hacerlo. En la segunda, resumimos —para que el lector disponga del necesario marco referencial—, los resultados más importantes que obtuvieron los estudiantes mexicanos al resolver las pruebas aplicadas por el PISA. Y en los apartados subsecuentes, nos abocamos a responder las siguientes preguntas:

i. ¿Los resultados que obtuvieron los estudiantes mexicanos al resolver las pruebas que les fueron aplicadas por el PISA, pueden ser explicados únicamente por un conjunto de fenómenos inherentes a las condiciones socioeconómicas en que se encuentran las familias de los estudiantes, (ya que la mayoría de las familias de los alumnos que asisten a nuestras escuelas están en desventaja, si se comparan con la mayoría de las de los estudiantes de otros países que participan en dicho programa)?

ii. ¿Los resultados obtenidos en México proporcionan indicios de que las autoridades responsables de la operación de nuestro sistema educativo están logrando que dicho sistema obtenga rendimientos proporcionales a las condiciones macroeconómicas del país?

iii. ¿Es totalmente cierto que, como lo afirma la OCDE al presentar el informe del PISA, los resultados arriba mencionados pueden ser atribuidos a la rápida expansión que ha experimentado durante los últimos años la enseñanza secundaria en nuestro país?

 

Algunos beneficios que se derivan de la participación de México en el pisa y de la difusión de los resultados obtenidos

El que la evaluación de resultados sea un componente esencial de cualquier sistema de control de calidad, está fuera de duda. Sin embargo, además de los beneficios que a simple vista se derivan de que la información resultante de la participación en el PISA permita comparar los resultados de nuestro sistema escolar con los obtenidos en los sistemas de otros 40 países, el haber permanecido en dicho programa durante los últimos tres años, también nos permitió observar la evolución del desempeño de nuestro sistema escolar a través de un intervalo de tres años.

Por otra parte, al aceptar que se difundan —amplia y responsablemente— los resultados obtenidos en la evaluación (lo que contrasta con la actitud tomada por un funcionario que estuvo al frente de la Secretaría de Educación Pública durante el sexenio del Presidente Zedillo, quien decidió ocultar los resultados que obtuvo México en una evaluación internacional del rendimiento en matemáticas)² México abre las puertas para que, desde el momento en que esos resultados se publiquen, se empiecen a generar en nuestra sociedad las sinergias necesarias para elevar la calidad de la educación que se imparte en nuestro sistema escolar.

Con todo, consideramos que de la participación en el PISA se deriva un beneficio todavía más importante que los arriba mencionados. Nos referimos a que, además de habernos señalado el lugar que nuestro sistema escolar ocupa en relación con los de otros 40 países (y de permitirnos observar los cambios que experimentó el rendimiento de dicho sistema a través de un cierto tiempo), el PISA también tiene la virtud de indicarnos la dirección hacia la que se debería orientar nuestro sistema escolar para que la educación básica que en él se imparte sea académica y socialmente relevante. Esto se debe a que dicho programa compara los resultados de los sistemas escolares con diversos objetivos que reflejan, precisamente, el nivel de desarrollo de un conjunto de habilidades que son necesarias para la vida, especialmente en un mundo "globalizado" como es en el que nos encontramos.³ No debemos perder de vista, ciertamente, que los recursos humanos que ahora se preparan en nuestro sistema escolar deberán competir con los de aquellos países que más han avanzado en la conversión de sus economías, en sistemas basados en el desarrollo y la aplicación del conocimiento.

 

Resumen de los resultados obtenidos por los estudiantes mexicanos en las pruebas del pisa⁴

Como dijimos en el apartado anterior, el PISA no sólo permitió conocer el lugar que ocupa nuestro sistema escolar entre 41 países que fueron evaluados, sino que —por decisión de México— ese programa también generó información acerca de la situación en que se encuentran los sistemas escolares de las diferentes entidades federativas del país.

 

Situación educativa de México en el horizonte internacional

La evaluación realizada por el PISA utilizó cuatro escalas (divididas a su vez en diferentes subescalas) que miden las habilidades que han desarrollado los estudiantes en las siguientes áreas: matemáticas, lectura, ciencias, y solución de problemas.

Los países que en la evaluación realizada en 2003 quedaron ubicados debajo de México en cada una de esas escalas, aparecen en el Cuadro 1. (Las cifras entre paréntesis se refieren a los puntajes promedio que fueron obtenidos en cada caso).

Como fácilmente se puede apreciar en ese cuadro, México forma parte de un grupo de cuatro países cuyos estudiantes obtuvieron los menores niveles de desempeño en las escalas arriba mencionadas. (Es importante hacer notar que los otros tres integrantes de ese grupo no pertenecen a la OCDE). En la escala de desempeño en matemáticas y en la correspondiente a la solución de problemas, México superó a tres países de los arriba mencionados; en tanto que en la escala de desempeño en lectura, nuestro país sólo quedó mejor ubicado que otros dos de los mismos países.

Es, sin embargo, más útil comparar la forma en que se distribuyeron los estudiantes mexicanos entre los diferentes niveles de rendimiento que fueron definidos por el PISA, con la forma en que lo hicieron, en promedio, los jóvenes que fueron evaluados en los demás países pertenecientes a la OCDE. Los resultados de esa comparación se encuentran en las gráficas 1, 2 y 3 (la primera muestra las distribuciones de los estudiantes entre los diferentes niveles de la escala de desempeño en matemáticas; en la segunda aparecen las distribuciones correspondientes a la escala de desempeño en lectura; y en la tercera se encuentran las distribuciones que se refieren al desempeño en "solución de problemas").

Como se puede observar en la Gráfica 1, mientras el 33.7% de los estudiantes de los demás países miembros de la OCDE supera el "nivel 3" de la escala de matemáticas (el cual puede ser considerado como un nivel relativamente aceptable, por ser el valor "modal" de la distribución correspondiente), sólo el 3.1% de los estudiantes mexicanos es capaz de superar ese nivel. Correlativamente, mientras sólo el 8.2% de los jóvenes que fueron evaluados en los demás países integrantes de la OCDE se encuentran en el "nivel 0" de dicha escala (el cual refleja la ausencia de las habilidades más elementales en ese campo), el 38.1% de los estudiantes mexicanos están ubicados en ese nivel.

Los resultados que aparecen en las Gráficas 2 y 3 son semejantes al obtenido al analizar los resultados anteriormente descritos. Las proporciones de estudiantes que en promedio están por encima del nivel modal de las distribuciones de la OCDE, así como las proporciones de los jóvenes que sólo alcanzaron los "niveles 0" de las escalas respectivas, se pueden observar en el Cuadro 2.

Es evidente que las disparidades que pueden ser observadas en esas gráficas, revelan importantes deficiencias en la calidad de la educación básica que se imparte en nuestro país; las cuales tienen, sin duda, graves repercusiones en los niveles de preparación que tendrá la fuerza de trabajo con que contará el país durante las próximas décadas. Así pues, esas comparaciones permiten hacer inferencias cuyo alcance supera al de aquellas que se pueden hacer cuando sólo se observa el lugar que ocupan los estudiantes mexicanos entre los que fueron evaluados en los demás países pertenecientes a la OCDE.

 

Situación educativa de las diferentes entidades federativas del país⁵

Los estudiantes que fueron evaluados en las diferentes entidades federativas del país, obtuvieron los resultados que aparecen en el Cuadro 3, en el cual hemos incluido un "puntaje promedio general" (que nosotros estimamos a partir de los 4 puntajes aportados por la OCDE); así como el rango que corresponde a cada entidad de acuerdo con ese puntaje promedio, asignando el primero a la entidad cuyos estudiantes obtuvieron el valor más alto, y el rango 31 a aquella cuyos estudiantes se encuentran en la situación contraria. En el Cuadro 4 se pueden apreciar los lugares que ocupan las diferentes entidades, en función de los puntajes promedio obtenidos por sus respectivos alumnos. En la sección 4 de este artículo, presentamos los resultados de algunos análisis que llevamos a cabo con la finalidad de localizar algunos elementos que pudieran explicar estos hallazgos.

 

¿Los resultados de nuestras escuelas son totalmente atribuibles a factores que no son fácilmente controlables por las autoridades educativas del país?

La literatura nacional e internacional sobre los factores determinantes del aprovechamiento escolar, ha aportado innumerables evidencias de que el rendimiento de las escuelas depende fuertemente de hechos que son difícilmente controlables por los administradores del sistema educativo. En términos generales, esos factores se relacionan con las condiciones sociales, económicas y culturales en que se encuentran las familias de los estudiantes, y con los niveles de desarrollo socioeconómico (o, correlativamente, con los niveles de pobreza) de las comunidades en que están ubicados los establecimientos escolares.⁶

A esto se debe que al ser difundidos los resultados que obtuvo México en el PISA, se haya generado una corriente de opinión que trataba de justificar dichos resultados atribuyéndolos a las condiciones de las familias de los estudiantes que asisten a nuestras escuelas; (ya que es evidente, como lo señalamos más arriba, que las condiciones de la mayoría de las familias de nuestros estudiantes, se comparan en forma desfavorable con las de la mayoría de las familias de los jóvenes que fueron evaluados en los demás países pertenecientes a la OCDE).

 

a) Análisis de los resultados obtenidos a nivel nacional

Con el fin de indagar si los resultados de nuestro sistema educativo pueden ser atribuidos totalmente a los factores mencionados, llevamos a cabo los análisis que se encuentran en los Cuadros 5 y 6. Ellos parten del supuesto de que si los factores mencionados fuesen totalmente responsables del aprovechamiento escolar, el efecto de los mismos desaparecería si, al comparar los rendimientos de los estudiantes mexicanos con los de los demás países que participaron en el PISA, se mantuviesen constantes las condiciones socioeconómicas de las familias de ambos grupos de jóvenes.

Esta indagación se llevó a cabo utilizando dos indicadores de las condiciones socioeconómicas de las familias de los estudiantes: i) un índice internacional (desarrollado por el PISA) que refleja la calidad de la ocupación que desempeñan los padres de los estudiantes; ii) la escolaridad de la madre de esos jóvenes, así como la de los padres de los mismos.

i) Análisis realizado controlando las ocupaciones de los padres de los estudiantes

En el análisis que aparece en el Cuadro 5 se controlan las condiciones socioeconómicas de las familias de los estudiantes, utilizando el índice internacional que califica la ocupación de los padres de los mismos. En los renglones de ese cuadro se encuentran los puntajes promedio que obtuvieron, en la escala de matemáticas, los estudiantes que están ubicados en cada uno de los cuartiles de la distribución de acuerdo con el índice mencionado.

En las dos primeras columnas de ese cuadro se comparan, para cada cuartil de la distribución mencionada, los índices socioeconómicos de los estudiantes mexicanos con los correspondientes a aquellos que fueron evaluados en los demás países de la OCDE. (Las diferencias existentes entre ambos índices aparecen en la tercera columna del cuadro). En las columnas cuarta y quinta se comparan los rendimientos en matemáticas de ambos grupos de jóvenes; en la sexta columna se encuentran las diferencias que existen entre esos rendimientos; y en la séptima, se estima la razón existente entre esa diferencia y la que aparece en la tercera columna (la cual, como se recordará, se refiere a los índices socioeconómicos de los dos grupos de estudiantes que fueron evaluados).

Es interesante observar que en todos los cuartiles (que, como se dijo, aparecen en los renglones de ese cuadro) el rendimiento de los jóvenes mexicanos es inferior al de sus contrapartes que se encuentran en los demás países pertenecientes a la OCDE. Este resultado también es aplicable, por tanto, a los jóvenes que se encuentran en el cuartil superior (385 puntos) el cual, en lugar de ser semejante al de los jóvenes integrantes del otro grupo que están en el mismo cuartil (500 puntos), es inferior incluso al rendimiento de los estudiantes que, habiendo sido evaluados en los demás países, se ubican en el primer cuartil de la distribución mencionada (455 puntos).

Esta afirmación cobra mayor fuerza, al observar que los índices socioeconómicos de ambos grupos de estudiantes que se encuentran en el cuartil superior son más semejantes entre sí que los de los jóvenes que se encuentran en los demás cuartiles de la distribución (ya que la diferencia entre los promedios de ambos índices es de sólo 3.9 puntos, como se puede observar en la tercera columna del cuadro aludido).

En otras palabras, lo anterior indica que los jóvenes mexicanos cuyos padres desempeñan las ocupaciones de mayor prestigio obtienen rendimientos que ni siquiera alcanzan a los de los jóvenes —de los demás países de la OCDE— cuyos padres desempeñan las ocupaciones que se encuentran en la situación contraria. Ello significa que, de acuerdo con los datos analizados, el aprovechamiento de los estudiantes mexicanos no depende únicamente de las condiciones socioeconómicas de sus familias; de lo que se puede deducir que dicho rendimiento también es atribuible a otros factores que, muy probablemente, pueden ser controlados por los administradores del sistema educativo nacional.

ii) Análisis realizado controlando la escolaridad de los padres y madres de los estudiantes

En el análisis que se encuentra en el Cuadro 6 se controlan las condiciones socioeconómicas de las familias de los estudiantes, manteniendo constante, por un lado, la escolaridad materna y, por otro, la paterna. Ese análisis se refiere a los puntajes obtenidos en las escalas de matemáticas, lectura y ciencias; y la escolaridad de los padres fue clasificada en tres categorías: hasta la secundaria, hasta la preparatoria, y hasta la enseñanza superior.

Los resultados son semejantes a los reportados en el inciso anterior. En efecto, al observar los rendimientos registrados en las tres escalas mencionadas se puede apreciar que los estudiantes mexicanos obtienen puntajes inferiores a los de los jóvenes que, estando en la misma situación en cuanto a la escolaridad de sus padres, fueron evaluados en los demás países pertenecientes a la OCDE. También se puede observar que los rendimientos de los estudiantes mexicanos cuyos padres y madres adquirieron el nivel educativo más alto, son inferiores a los de los jóvenes que —en relación con la escolaridad de sus padres— se encuentran en la situación contraria, y fueron evaluados en los demás países pertenecientes a la OCDE. Por tanto, este hallazgo soporta la hipótesis de que los bajos rendimientos de nuestros estudiantes también pueden ser atribuibles, en alguna medida, a otros factores que no se encuentran fuera del ámbito de control de las autoridades educativas del país.

 

b) Análisis de los resultados obtenidos en las diferentes entidades federativas del país

La información que generó el Instituto Nacional para la Evaluación de la Educación, al dar a conocer los resultados que las diferentes entidades federativas del país obtuvieron en el PISA (Vidal y Díaz, 2004), permite poner a prueba algunas hipótesis relativas a las causas que pueden explicar dichos resultados. Concretamente, nosotros analizamos los efectos que podrían ser atribuidos a las siguientes variables: i) Las condiciones socioeconómicas de las diferentes entidades (expresadas a través del índice de la calidad de las ocupaciones que arriba fue descrito); y ii) Las proporciones de estudiantes que en cada entidad fueron evaluados en escuelas de sostenimiento privado. (Obviamente, estos dos aspectos se relacionan entre sí).

i) Efectos atribuibles a las condiciones socioeconómicas de las diferentes entidades

Al realizar este análisis clasificamos a las entidades federativas en tres categorías, para lo cual las dividimos en tres partes iguales (o terciles), en función de los índices de las condiciones socioeconómicas de sus alumnos, las que se definieron de acuerdo con el índice internacional de ocupaciones desarrollado por el PISA. Una clasificación semejante fue llevada a cabo a partir de los puntajes en matemáticas y en lectura que obtuvieron los estudiantes de las entidades respectivas. Para realizar el análisis eliminamos a las entidades que quedaron ubicadas en el segundo tercil de las dos distribuciones que así fueron construidas, lo que tuvo por objeto considerar solamente a las entidades que se encontraran en los dos extremos de cada distribución, ya que así era más fácil generar los contrastes que intentábamos realizar.

En seguida, colocamos a las entidades en una matriz de cuatro cuadrantes. En el superior izquierdo quedaron ubicadas aquellas que tienen altos niveles socioeconómicos y altos puntajes en la escala de matemáticas (o de lectura, según el caso). En el cuadrante superior derecho, colocamos a las entidades que tienen bajos niveles socioeconómicos pero altos puntajes (en cada escala). El cuadrante inferior izquierdo fue destinado a las entidades que tienen altos niveles socioeconómicos pero bajos puntajes en la respectiva escala; y el inferior derecho fue reservado para las entidades que tienen bajos niveles socioeconómicos y bajos puntajes en la escala correspondiente.

Al distribuir a las entidades de acuerdo con este procedimiento, obtuvimos las matrices que aparecen en los Cuadros 7 y 8. La primera fue construida a partir de los puntajes obtenidos en la escala de matemáticas, y la segunda se basa en los puntajes correspondientes a la escala de lectura.

Como se puede apreciar en ambas matrices —y de acuerdo con la hipótesis subyacente— la mayoría de las entidades quedaron colocadas en los cuadrantes superior izquierdo e inferior derecho. Cabe señalar que las correlaciones (de Pearson) que existen entre las condiciones socioeconómicas y las calificaciones de los alumnos son de 0.718 para el puntaje de lectura y de 0.686 para el puntaje en matemáticas.⁷

Las entidades que no cumplieron el requisito anterior fueron Chihuahua y Veracruz (en ambas escalas), así como Zacatecas (en la escala de lectura). Ello indica que Chihuahua obtienen rendimientos superiores a los que le corresponderían de acuerdo con las condiciones socioeconómicas de sus alumnos; en tanto que Veracruz y Zacatecas se encuentran en la situación contraria.

De lo anterior se pueden desprender las siguientes observaciones:

• Como se esperaba, las condiciones socioeconómicas de las entidades están generalmente asociadas con los rendimientos escolares.

• La experiencia de Chihuahua puede indicar —aunque tentativamente, desde luego— que la asociación mencionada no es fatalmente inevitable; y

• La experiencia de Veracruz y Zacatecas puede señalar (también tentativamente) que esas entidades no están aplicando las políticas educativas necesarias para aprovechar el efecto favorable que podrían tener las condiciones socioeconómicas de sus estudiantes en los rendimientos educativos de los mismos.

ii) Efectos atribuibles a las proporciones de estudiantes que fueron evaluados en escuelas particulares

Las matrices que aparecen en los Cuadros 9 y 10 fueron elaboradas siguiendo el mismo procedimiento que fue descrito en el inciso anterior; pero, en estos casos, se quería someter a prueba la hipótesis que se refiere al efecto que pueden tener los porcentajes de alumnos inscritos en escuelas particulares en los rendimientos de las pruebas aplicadas por el PISA.

Como se puede observar en ambas matrices, las entidades federativas también se distribuyeron, en términos generales, de acuerdo con lo que se podía esperar a partir de la hipótesis arriba mencionada; lo que corrobora la expectativa de que los rendimientos de las escuelas particulares tienden a superar a los de las públicas. (Las correlaciones que existen entre las calificaciones obtenidas y las proporciones de estudiantes que fueron evaluados en escuelas particulares son de 0.587 en matemáticas y de 0.627 en lectura). Cabe aclarar que esta asociación estadística puede ser atribuida a las favorables condiciones socioeconómicas en que generalmente se encuentran los alumnos que asisten a las escuelas mencionadas.

Las excepciones en sentido favorable correspondieron, en estos casos, a los estados de Aguascalientes y Chihuahua. (Como se recordará, esta entidad también quedó colocada en una posición favorable en el análisis realizado en el inciso anterior de este apartado). En cambio, las entidades que quedaron ubicadas en el cuadrante correspondiente a las excepciones en sentido desfavorable son San Luis Potosí, (en ambas escalas); y Zacatecas, (en la escala de lectura). Cabe recordar que esta última entidad también quedó colocada en forma desfavorable, al realizar el análisis reportado en el inciso anterior de este trabajo.

Es muy probable que las excepciones que fueron detectadas al realizar este análisis puedan ser atribuidas a las diferencias que existen en la calidad de la educación que imparten las escuelas particulares, ya que, como es sabido, ese conjunto de instituciones se caracteriza por la existencia de una fuerte heterogeneidad en los insumos que utilizan; en los procesos académicos y administrativos que se desarrollan al interior de las mismas; y, por ende, en el aprovechamiento escolar que pueden obtener.

 

¿Las autoridades responsables de la operación de nuestro sistema educativo están logrando que dicho sistema obtenga rendimientos proporcionales a las condiciones macroeconómicas en que se encuentra el país?

En la sección tres de este artículo, a partir de información que proporcionó la Organización para la Cooperación y el Desarrollo Económico al dar a conocer los resultados del PISA (OCDE, 2004), nos propusimos responder la pregunta de si nuestro sistema educativo obtiene los rendimientos académicos que podrían generarse en las condiciones socio-culturales en que se encuentran las familias de nuestros estudiantes; las cuales, como ahí lo señalamos, no son controlables por los administradores del sistema escolar.

En este apartado abordamos una pregunta semejante a la anterior, pero ésta se planteará desde una perspectiva macroeconómica, por lo que no se refiere a los procesos que tienen lugar al interior de los sistemas escolares, sino a las condiciones del ambiente en el que se encuentran dichos establecimientos.

Son muy conocidas las investigaciones que, desde mediados del siglo pasado, han aportado evidencias empíricas que señalan la existencia de una clara relación entre las condiciones económicas de los países, las proporciones de los productos internos brutos que se dedican a la educación (y/o los montos absolutos de recursos destinados a la misma), y los resultados de los sistemas escolares.⁸

Existe en la actualidad un consenso alrededor de que esas relaciones no son causadas en forma mecánica; es decir, que no basta con elevar los productos internos brutos y/o los gastos educativos para mejorar los rendimientos de los sistemas escolares; pero lo que sí se acepta es que el producto interno —adecuadamente distribuido mediante diversas políticas de naturaleza macroeconómica— y un gasto educativo de determinada magnitud y —racionalmente utilizado— son condiciones sine qua non para poder mejorar dichos rendimientos. En otras palabras, si no se cuenta con un determinado nivel de riqueza nacional (y una adecuada distribución de la misma), así como con un gasto educativo de cierta magnitud, adecuadamente asignado y utilizado con eficiencia, es prácticamente imposible elevar los rendimientos de los sistemas escolares en las condiciones tecnológicas en las que actualmente dichos sistemas están funcionando.

El informe del PISA en que se basa este artículo (OCDE, 2004) analiza, mediante el uso de diversas ecuaciones de regresión, la forma en que se comportan esas relaciones en los 41 países incluidos en dicho informe. Esas ecuaciones permiten observar si los rendimientos académicos que se obtienen en un país determinado son "proporcionales" a las condiciones económicas del mismo (lo cual ocurre cuando dichos rendimientos están colocados en la posición señalada por la respectiva recta de regresión); si son "más que proporcionales" a dichas condiciones (lo cual ocurre cuando están ubicados encima del lugar señalado por dicha recta); o si son "menos que proporcionales" a dichas condiciones (lo cual sucede cuando se encuentran debajo del lugar indicado por la propia ecuación de regresión). Por tanto, las ecuaciones estimadas por la OCDE permiten determinar los rendimientos académicos que serían proporcionales a las condiciones macroeconómicas en las que cada país se encuentre.

Al revisar con estos antecedentes las ecuaciones arriba mencionadas, encontramos que México podría lograr, en las condiciones económicas en que se encuentra, los niveles de desempeño en la escala de matemáticas que aparecen en el Cuadro 11. Con otras palabras, esos niveles serían alcanzados si el desempeño en matemáticas fuese "ajustado" en función de las condiciones en que se encuentra nuestro país.

Es evidente, como lo muestran los datos del cuadro citado, que los resultados de nuestro sistema educativo son inferiores a los que —a la luz de la experiencia internacional— podrían ser alcanzados si se toman en cuenta las condiciones macroeconómicas del país. Ello significa que aun sin aumentar el presupuesto educativo nacional, sin aumentar el volumen del PIB per cápita del país, y sin cambiar la estructura ocupacional de la fuerza de trabajo con la que actualmente contamos, debe ser posible mejorar los resultados del sistema educativo nacional. Lo que, lógicamente, habría que hacer para lograrlo, es aprovechar las experiencias que otros países, semejantes al nuestro, han conseguido en este campo.

 

¿El bajo rendimiento académico de nuestro sistema escolar puede ser atribuido al nivel que ha alcanzado —en México— la proporción de jóvenes de 15 años de edad que están inscritos por lo menos en la enseñanza secundaria en México?

Al presentar el informe sobre el PISA, la OCDE (op. cit.) afirmó que los resultados obtenidos por México podían ser atribuidos, entre otros factores, a la rápida expansión que en este país ha experimentado, durante los últimos años, la matrícula en la educación secundaria. (OCDE, 2004: 4)⁹

Evidentemente, tal afirmación no significa que ese organismo internacional postule la existencia de una relación mecánica (en sentido inverso) entre la expansión de la matrícula y los rendimientos del propio sistema escolar, pero lo que sí significa es que, al aumentar la cobertura del sistema, se incorporan alumnos pertenecientes a familias que disponen de menores recursos económicos y de menores niveles de "educabilidad" (debido a que los jefes de esas familias han adquirido menores dosis de escolaridad). De esto es posible deducir que —si las autoridades educativas no toman las medidas que serían necesarias para evitarlo— el crecimiento de la matrícula sí puede repercutir negativamente en los rendimientos académicos del sistema escolar. Existe, pues, una tensión entre los niveles de cobertura demográfica del propio sistema y la eficacia del mismo.

Con el fin de valorar los fundamentos en que se apoya la afirmación de la OCDE arriba transcrita, decidimos analizar el comportamiento de dos indicadores de la expansión de la enseñanza secundaria. El primero se refiere al peso que ha tenido un programa gubernamental que se ha implementado con el fin de incorporar al sistema escolar —y de retener en el mismo— a jóvenes pertenecientes a familias de escasos recursos, mediante la distribución de transferencias económicas a dichas familias. Y el segundo indicador es el que refleja la proporción de jóvenes de 15 años de edad que —en México y en el resto de los países participantes en el PISA— están matriculados por lo menos en la enseñanza secundaria.

Para analizar el peso que tuvo el programa gubernamental arriba mencionado en la expansión de la matrícula de las escuelas secundarias, consultamos los estudios que fueron realizados precisamente con la finalidad de generar información acerca del impacto que ha tenido dicho programa en el acceso a las escuelas secundarias y en la permanencia en las mismas.

El más reciente de esos estudios fue realizado por S. Parker (2004: 5-56) quien, al utilizar información sobre la inscripción, abandono y reprobación del ciclo 1995-1996 al ciclo 2002-2003, encontró que el programa arriba mencionado (conocido con el nombre de "Oportunidades") está teniendo, en efecto, un impacto importante en la matrícula de las secundarias rurales. El incremento que ella observó fue del 24.0% en el ciclo escolar 2002-2003.

Así pues, de ese estudio se puede deducir que una parte significativa del crecimiento de la matrícula en la educación secundaria fue impulsado por el aludido programa de transferencias económicas a las familias. Sin embargo, como lo señalamos antes, no es plausible afirmar que la incorporación de alumnos de escasos recursos económicos y culturales al sistema escolar, tenga que repercutir en forma mecánica —y en sentido desfavorable— en los rendimientos académicos de esos estudiantes. Lo que estas observaciones pueden significar es, más bien, que el sistema educativo no está preparado para absorber en forma académicamente eficiente, a los alumnos mencionados.¹⁰

Por otra parte, con el fin de analizar el comportamiento de la proporción de jóvenes de 15 años de edad inscritos que —en México y en los demás países pertenecientes a la OCDE— están inscritos al menos en la enseñanza secundaria, consultamos el informe sobre los resultados que obtuvo México en el PISA elaborado por el INEE (Vidal y Díaz, 2004: 58).

En ese documento encontramos que nuestro país ocupa (con una proporción del 58.1%) el último lugar, entre los 41 que participaron en el PISA, en lo que se refiere al porcentaje de jóvenes de 15 años que están matriculados al menos en la enseñanza secundaria.¹¹ En el conjunto de países participantes esa relación es, en promedio, de 84%; y en ninguno de los 40 que, además de México, participaron en la evaluación del PISA, esa proporción es inferior a la registrada en el nuestro.

Siguiendo el razonamiento arriba expuesto —según el cual existe una relación inversa entre la cobertura demográfica del sistema y los rendimientos académicos del mismo— nuestro país "debería" haber obtenido los mayores rendimientos educativos entre todos los que participaron en el PISA. Sin embargo, como lo demuestran los datos presentados en el segundo apartado de este artículo, México obtuvo rendimientos que lo colocan a la zaga de casi todos esos países.

Por tanto, los datos relativos a la cobertura demográfica de las escuelas secundarias, (que sigue siendo muy baja) no pueden sostener la hipótesis, según la cual, los bajos rendimientos que alcanzaron los estudiantes mexicanos en las pruebas aplicadas por el PISA pueden ser simplemente atribuidos a la expansión que ha alcanzado la matrícula en la enseñanza secundaria.

Como corolario de este análisis se puede afirmar que, como ni con esa escasa cobertura demográfica nuestro sistema educativo ha sido capaz de obtener resultados satisfactorios en las pruebas aplicadas por el PISA, es plausible pensar que existen otros problemas —aún no resueltos— que están afectando en forma generalizada el funcionamiento de dicho sistema.

 

Recapitulando

En esta última sección, se resumen algunas observaciones que pueden ser de mayor interés para los analistas y los responsables de la operación del sistema educativo nacional.

1. Además de habernos señalado el lugar que nuestro sistema escolar ocupa en relación con otros 40 países, el PISA también tiene la virtud de indicarnos la dirección hacia la que se debería orientar nuestro sistema escolar para que la educación básica que en él se imparte sea académica y socialmente relevante.

2. Los resultados que obtuvo México en esa evaluación no son alentadores, ya que nuestro país quedó colocado entre lo cuatro cuyos estudiantes consiguieron los menores niveles de desempeño en las escalas de medición utilizadas en el PISA. Además, mientras sólo el 8.2% de los jóvenes que fueron evaluados en los demás países integrantes de la OCDE se encuentran en el "nivel 0" de la escala de matemáticas, el 38.1% de los estudiantes mexicanos están ubicados en ese nivel. Algo parecido se observó en las demás escalas de medición.

3. Sin embargo, creemos que al difundir los resultados obtenidos en esa evaluación, México abrió las puertas para que se generen en nuestra sociedad las sinergias que son necesarias para elevar la calidad de la educación que se imparte en nuestro sistema escolar.

4. En todos los cuartiles en que dividimos a los jóvenes en función de las ocupaciones de sus padres —y en todos los terciles en que los dividimos en función de la escolaridad de sus padres y madres— observamos que el rendimiento de los estudiantes mexicanos es inferior al de sus contrapartes que se encuentran en los demás países pertenecientes a la OCDE. Esto significa que el aprovechamiento de nuestros estudiantes no depende únicamente de las condiciones socioeconómicas de sus familias, de lo que se puede deducir que también es atribuible a otros factores que, muy probablemente, pueden ser controlados por los administradores del sistema educativo nacional.

5. Como se podía esperar, las condiciones socioeconómicas de las entidades federativas, y las proporciones de jóvenes que en dichas entidades fueron evaluados en escuelas particulares, están estadísticamente asociadas con los resultados que obtuvieron los alumnos al resolver las pruebas que les fueron aplicadas por el PISA.

6. Los resultados de los análisis no avalan la hipótesis de que lo conseguido por México en el PISA pueda ser atribuido a la expansión de la enseñanza secundaria, ya que ni con una escasa cobertura en ese nivel educativo el sistema escolar del país ha sido capaz de obtener resultados satisfactorios. Por otra parte, de la información relacionada con la incorporación al sistema escolar de jóvenes pertenecientes a familias de escasos recursos —que aquí fue citada— se puede inferir que nuestro sistema escolar no está preparado para absorber en forma académicamente eficiente a los jóvenes que pertenecen a familias de escasos recursos económicos y culturales.

7. De lo anterior se puede deducir que si la expansión del sistema sigue siendo regulada por las mismas políticas que han sido aplicadas hasta ahora, los rendimientos académicos del mismo no serán mejores en el futuro que los registrados en la evaluación que aquí fue comentada, lo cual tendrá evidentes implicaciones negativas en la calidad de los recursos humanos con que contará el país durante las próximas décadas.

 

Bibliografía

Centro Nacional de Evaluación para la Educación Superior, 2004, Evaluación de la educación en México: indicadores del Exani-I, México, CENEVAL.         [ Links ]

Cervini, R., 2003, Factores asociados al aprendizaje del lenguaje y las matemáticas en 13 estados de México, México, Instituto Nacional para la Evaluación de la Educación, Colección Cuadernos de Investigación, núm. 7.         [ Links ]

Fernández, T., 2003, Tres estudios sobre determinantes sociales del rendimiento escolar, Instituto Nacional para la Evaluación de la Educación, Colección Cuadernos de Investigación, núm. 3.         [ Links ]

Muñoz Izquierdo, C. y G. Villarreal, 2005, "Un marco referencial para interpretar los resultados de los Programas Compensatorios", ponencia presentada en la Research Conference on "Poverty and Poverty Reduction Strategies: Mexican and International Experience", que bajo los auspicios de la Kennedy School of Government (Harvard University) y la Escuela de Graduados en Administración Pública y Política Pública (ITESM) se llevó a cabo en Monterrey del 19 al 21 de enero de 2005.         [ Links ]

----------, 2004, Educación y desarrollo socioeconómico en América Latina y el Caribe, México, Universidad Iberoamericana—Ciudad de México.         [ Links ]

Organisation for Economic Cooperation and Development, 2004, Programme for International Student Assessment, Learning for Tomorro's World: First Results from PISA 2003 París, OCDE.         [ Links ]

Parker, S, 2004, "Evaluación del impacto de 'Oportunidades' sobre la inscripción, reprobación y abandono escolar", en México: Instituto Nacional de Salud Pública y CIESAS. Resultados de la evaluación externa del programa de desarrollo humano "Oportunidades 2003".         [ Links ]

Vidal, R. y M.A. Díaz, 2004, "Resultados de las pruebas PISA 2000 y 2003", en México: habilidades para la vida en estudiantes de 15 años. México, INEE.         [ Links ]

 

Notas

* Una versión preliminar de algunos capítulos de este artículo fue presentada en la "Mesa Pública de Análisis sobre los Resultados de México en el PISA", que tuvo lugar en la ciudad de México el 7 de diciembre de 2004, bajo los auspicios del Instituto Nacional para la Evaluación de la Educación (INEE).

² Nos referimos a la "Tercera Evaluación Internacional del Rendimiento en Matemáticas", conocida como TIMSS por sus siglas en inglés.

³ En el Informe sobre los resultados de México en el PISA (Vidal y Díaz, 2004: 28—34) se encuentra una traducción de las habilidades que los estudiantes deben poseer para alcanzar los niveles de rendimiento que han sido definidos por el propio programa en sus diferentes escalas de medición.

⁴ Estos resultados están ampliamente reportados en OCDE, 2004: passim.

⁵ Estos resultados están ampliamente descritos en Vidal, R. y M.A. Díaz, op. cit.: passim.

⁶ Véanse, por ejemplo, los estudios de T. Fernández (2003); y R. Cervini (2003) que forman parte del conjunto de estudios que se llevaron a cabo sobre este tema bajo los auspicios del (INEE); así como las investigaciones que fueron realizadas y publicadas al año siguiente con propósitos semejantes, por iniciativa del Centro Nacional de Evaluación para la Educación Superior, (Cf. CENEVAL, 2004, passim).

⁷ Esto significa que las condiciones socioeconómicas de los estudiantes explican el 51 % de las variaciones que existen entre los puntajes de lectura y el 47% de las que corresponden a los puntajes de matemáticas. De esto se puede deducir que una proporción de dichas variaciones —que oscila entre el 49% y el 53% de las mismas— puede ser atribuida a diversos factores asociados con la calidad de los recursos disponibles en las escuelas y con la pertinencia de los procesos pedagógicos y administrativos que se desarrollan al interior de las mismas.

⁸ Una revisión reciente de esas investigaciones, referidas a América Latina y el Caribe, puede encontrarse en Muñoz Izquierdo, C., 2004.

⁹ Cabe aclarar que la OCDE recurre a este argumento al referirse a la disminución que experimentó en promedio el desempeño en matemáticas de los estudiantes mexicanos entre el año 2000 y el 2003. Sin embargo, es importante hacer notar que esa disminución sólo fue de 2 puntos porcentuales, al pasar de 387 a 385 puntos durante ese periodo; lo que significa que los rendimientos académicos de las escuelas secundarias ya eran insatisfactorios, por lo menos, desde el año 2000.

¹⁰ En una investigación cuya publicación está en proceso (Muñoz Izquierdo C. y G. Villarreal, 2005), encontramos que la magnitud de la dispersión estadística de los rendimientos académicos de los jóvenes inscritos en escuelas ubicadas en los municipios que tienen mayores índices de marginalidad se ha incrementado durante los últimos años. Ese hallazgo refuerza la afirmación que aquí estamos haciendo en relación con el impacto que ha tenido, en dichos rendimientos, la creciente incorporación al sistema escolar de jóvenes procedentes de familias de escasos recursos.

¹¹ Entre el año 2000 y el 2003, esa cobertura pasó del 51.6% al 58.1%.