Criterios económicos para definir la evaluación educativa

Estudiosos de la educación como Margarita ^{Noriega (1998)} señalan que en la década de los ochenta del siglo XX, el factor determinante del gasto educativo no lo estableció la demanda del alumnado, sino el monto destinado al pago de la deuda. De esta forma, si dicho pago crecía, el presupuesto para la educación tendía a disminuir; así, el debate de la eficiencia del gasto y la calidad educativa colocó a la evaluación en un lugar relevante, ya que ganó terreno como una herramienta sinónimo de ahorro. Jacques ^{Ardoino (2001)} señala que la evaluación sirve más como un instrumento al servicio de la economía y la planeación financiera que a la educación; de ahí que el vocablo “evaluación” sea un eufemismo de la palabra “control”, que surgió en el ámbito de lo contable y administrativo, en referencia a la verificación, en los años sesenta.

A fin de hacer más eficiente el gasto público, el Banco Mundial pugnó por la calidad de la educación; exigió que se evaluara la educación superior y que se restringiera el crecimiento de la matrícula. Por ejemplo, en la primera revisión a las universidades latinoamericanas, Donald Wilker, encargado del informe, identificó que los problemas de funcionamiento estaban en los criterios que regían la libre admisión a las universidades, la alta deserción y la baja productividad del personal académico (^{Aboites, 2012}), y como parte de la solución propuso la evaluación.

Esta política exigió a México poner en marcha un extenso programa de evaluación del sistema educativo, con el propósito de mejorar su calidad y hacer frente al recorte presupuestal, que se convirtió en el principal obstáculo a vencer en la década de los ochenta. Como resultado de ello, los diferentes actores y programas que integran el sistema educativo fueron objeto de valoración. A partir de ese momento, la evaluación se instauró como una medida estratégica a fin de mejorar la calidad de la educación (^{Rueda y Luna, 2011}).

En esta misma lógica, el gobierno mexicano creó el Centro Nacional para la Evaluación (CENEVAL), que sería el encargado de realizar el examen de selección para la educación media superior y superior, el llamado EXANI (Examen Nacional de Ingreso). Después creó los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES), que evaluarían a las instituciones educativas, y el Fondo para el Mejoramiento de la Educación Superior (FOMES), que haría un trabajo similar, además de atender el financiamiento. También se creó el Consejo para la Acreditación de la Educación Superior (COPAES) (^{Aboites, 2012}).

Con la creación de estos centros de evaluación, México cumplió con las recomendaciones de los organismos internacionales; en particular, con las que solicitó el Banco Mundial. La acción se tradujo en la obtención de créditos y el arribo de inversiones extranjeras que fueron en aumento a inicios del gobierno de Carlos Salinas de Gortari. Las reformas en la educación renovaron la imagen de México ante los Estados Unidos y Canadá, debido a que se proyectó como un país que se comprometía con la calidad y la transformación. Sin duda, la firma del Tratado de Libre Comercio de América del Norte (TLCAN) en 1994 abrió a México a la globalización y marcó el ingreso a la OCDE, que demandó la revisión de las políticas nacionales de ciencia y tecnología y la elaboración de una política sobre la educación superior que integró el bachillerato (^{Zorrilla, 2015}).

A partir del año 2000, la OCDE, a través de PISA (Programme for International Student Assessment), comenzó la aplicación de pruebas internacionales para jóvenes de 15 años. La iniciativa tomó forma en 1997 y entró en vigor al año siguiente en países miembros de la Organización, aunque otros países no miembros también solicitaron la prueba. El principal interés era encontrar indicadores sobre el rendimiento en matemáticas, ciencias y lectura, pero también conocer en qué medida el estudiante de 15 años utiliza la información para resolver problemas reales de la vida cotidiana.

Para Ángel ^{Díaz-Barriga (2011)}, PISA es una prueba a gran escala que tiene un empleo reciente a nivel mundial, aunque aclara que no es la primera prueba internacional, pues este tipo de instrumentos se emplean desde los años cincuenta del siglo XX para determinar el grado en que los estudiantes de un país, región o localidad pueden mostrar ciertos aprendizajes. Con todo, PISA es lo más relevante en el contexto de la globalización, desde los supuestos de la sociedad del conocimiento.

La prueba tiene una importancia particular en los países miembros de la OCDE, ya que a partir de esos resultados se inició un análisis y una serie de calificaciones para dictaminar el nivel de desarrollo educativo de cada país, que se vería reflejado en las políticas económicas, ya que, por medio de este instrumento, la OCDE evalúa las condiciones para que se puedan realizar inversiones extranjeras. En el caso de México, las consultoras internacionales tienen muy presente el tema de la educación en sus estudios sobre la factibilidad de los negocios en ciertas regiones; es el caso de la firma global Deloitte, que señala el tema educativo como un factor a considerar para la inversión en la industria manufacturera.

Un balance de años recientes reconoce que el sistema educativo mexicano padece un desfase entre la educación y las necesidades del mundo del trabajo en comparación con países de la región como Brasil, Argentina y Colombia. En efecto, el informe que elaboró en 2014 la empresa privada Grupo Manpower subraya el divorcio entre la educación y la capacitación para las competencias laborales, y apunta que la mayoría de los empleados tienen dificultad para cubrir puestos de trabajo en la industria automotriz y el sector manufacturero. Todo ello imponía la necesidad de contar con una determinada infraestructura en la educación en los próximos años a fin de estar acorde con la edad laboral que se necesita para afianzar el futuro económico de México.

En el contexto político y económico expuesto, resulta importante considerar que los compromisos con los diversos organismos internacionales no permiten prever un cambio a corto y mediano plazos en las políticas educativas, pues la educación en México está condicionada a estos convenios internacionales y, consecuentemente, la evaluación será el instrumento que indicará la inversión y los préstamos que recibirá el país. Ante este horizonte, la prueba PISA adquiere un papel relevante.

Nuestro análisis considera que la injerencia de estos organismos internacionales se traducirá en inversiones a corto, mediano y largo plazos en distintos sectores como el laboral, el cultural y el político, a fin de propiciar el desarrollo económico y la inserción laboral. De esta manera, se impone conocer las condicionantes a las que el país ha quedado sujeto para entender el porqué de los cambios constantes en las propuestas de planeación y financiamiento de la educación, y para discernir el propósito que tiene el Estado sobre a quién de los mexicanos se educa, con qué finalidad y, sobre todo, cómo se va a educar.

EXCALE (Exámenes para la calidad y el logro educativos)

La primera ocasión que se realizó esta prueba fue en el 2005, casi al final del ciclo escolar 2004-2005, con el fin de obtener resultados a nivel nacional. Se aplicó a 52 mil 251 alumnos de secundaria y 2 mil 397 escuelas, y estuvo alineada al plan y programas de estudio de 1993 (^{INEE, 2006}). El examen se diseñó con tres características propias: eran criteriales, estaban alineados al currículo y eran matriciales. Se consideraron criteriales porque las pruebas se diseñaron para evaluar el dominio que tenían los estudiantes de una disciplina en particular. Su interés era conocer el nivel de logro que alcanzaban los estudiantes como resultado de su escolarización formal. Cada contenido temático se evaluaba a profundidad, procurando incluir todos los conocimientos y habilidades de importancia para la disciplina y grado escolar.

La segunda característica de los exámenes era quedar alineados a currículo, porque su propósito era evaluar los aprendizajes pretendidos por los planes y programas de estudio nacionales; por último, tenían un diseño matricial, ya que los reactivos se agrupaban en bloques para ser distribuidos entre los alumnos; no todos contestaban las mismas preguntas, pero con las respuestas de todos se obtenían resultados del examen en su conjunto (^{INEE, 2012}). Las áreas que comprendía eran: español (comprensión lectora y reflexión sobre la lengua), español (expresión escrita) y matemáticas.

Las pruebas EXCALE de español se evaluaban con reactivos de respuesta seleccionada (opción múltiple) y la sección de expresión escrita a través de una respuesta abierta o construida. Los reactivos se dividieron en 63 por ciento de comprensión lectora y 37 por ciento de reflexión sobre la lengua. Para fines de este estudio sólo se analizará la comprensión de lectura y se omitirán los resultados de la reflexión sobre la lengua y la expresión escrita, pues son temas que demandan una investigación propia.

Las habilidades y conocimientos que se evaluaron en la comprensión lectora fueron: la extracción de la información, el desarrollo de una comprensión global, el desarrollo de una interpretación, el análisis del contenido, y la estructura y evaluación crítica del texto.

Para el análisis de las respuestas se tomaron en cuenta las nociones técnicas de dificultad y el nivel de logro que se fundan en la teoría de respuesta al ítem; también se otorgaron ciertas categorías para la interpretación de las pruebas. La señalada teoría se basó en el Modelo de Rasch, que hace referencia a la dificultad de los reactivos y a la habilidad de las personas para responder de forma correcta.

A fin de interpretar los resultados, se usó una escala de cuatro niveles que mide el logro educativo, es decir, una escala que busca categorizar las habilidades que posee el estudiante, o bien, lo que el alumno es capaz de hacer. La finalidad de estos niveles es suministrar un marco de interpretación común para los EXCALE y, al mismo tiempo, facilitar la comunicación de los resultados (^{INEE, 2006}).

Ahora bien, sobre los niveles de logro en la comprensión lectora se presenta el Cuadro 2, que tiene como propósito identificar el nivel obtenido, de acuerdo con las habilidades lectoras que posee el estudiante de secundaria.

En un estudio realizado por ^{Zamudio et al. (2012)} sobre la dificultad de los reactivos mencionan que en comprensión de lectura a nivel secundaria había 33 reactivos de menor dificultad y 29 de mayor dificultad. Los reactivos de los niveles por debajo del básico y básico, que hacen referencia a habilidades que apenas alcanzan a cumplir con el mínimo elemental requerido para avanzar en la escuela, se agruparon en un solo nivel, denominado menor dificultad; de la misma manera, los reactivos de los niveles medio y avanzado se conjuntaron en otro llamado mayor dificultad, puesto que ambos corresponden a un logro apropiado o deseable para transitar sin problemas -e incluso con éxito- por la escuela básica.

Respecto a la dificultad de las habilidades de comprensión lectora (Gráfica 1), la proporción de reactivos en el nivel de menor dificultad del conjunto extracción de la información (50 por ciento) es la mayor de todas, pues resulta 10 puntos porcentuales más alta que la de desarrollo de una interpretación (40 por ciento), que es el conjunto que le sigue. Por su parte, la diferencia entre desarrollo de una interpretación y desarrollo de una comprensión es mínima: sólo dos puntos porcentuales. La diferencia de dificultad entre estos dos tipos de habilidades y analizar el contenido y la estructura resulta mayor, pues existe una diferencia de seis puntos porcentuales en los reactivos de este último tipo de habilidad localizados en el nivel menor dificultad y los de desarrollo de una comprensión global; y, asimismo, una diferencia de ocho puntos entre los reactivos de ese mismo tipo de habilidad y los de desarrollo de una interpretación (^{Zamudio et al., 2012}).

Fuente: elaboración propia.

Gráfica 1. . Dificultad de las habilidades evaluadas en comprensión de lectura 

En la Gráfica 1 se puede observar que los reactivos que implican la extracción de información resultan más fáciles para los estudiantes, lo que indica que, en el aula, el profesor acostumbra a realizar ejercicios de identificación de información, que son los habituales de comprensión lectora. En cambio, se necesitará trabajar más para generar habilidades de competencia lectora. Las habilidades que se deben fortalecer en el salón de clases son: desarrollo de una interpretación, desarrollo de una comprensión global y análisis del contenido y la estructura. De este modo, las pruebas EXCALE funcionaron como un mapeo de los conocimientos adquiridos en la educación básica en México.

Resultados de EXCALE

Los resultados obtenidos por los estudiantes mexicanos de tercer año de secundaria se observan en la Gráfica 2, y refieren a los cuatro periodos de aplicación de la prueba. La gráfica se realizó a partir de los informes de resultados publicados después de la aplicación de cada periodo de prueba.

Fuente: elaboración propia con datos de ^{INEE, 2006}, ²⁰⁰⁹ y ²⁰¹².

Grafica 2. Resultados de competencia lectora en la prueba EXCALE 09 

Antes de iniciar con el análisis de los datos, cabe señalar que el nivel de secundaria se ha enfrentado a una serie de cambios en los planes y programas de estudio y eso afectó los resultados de la prueba, pues la comparación entre una aplicación y otra puede originar imprecisiones; sin embargo, para los fines de este estudio, que es advertir el comportamiento de los estudiantes mexicanos en las pruebas estandarizadas en el área de lectura, es pertinente realizar un balance de los indicadores de logro. Así pues, los resultados obtenidos por los estudiantes mexicanos en el área de comprensión lectora son:

1. Casi 33 por ciento de los estudiantes que termina el tercer grado de secundaria no tiene las habilidades mínimas que se establecen en el currículo nacional y 38 por ciento alcanza apenas el nivel básico.

2. La mayor parte de los estudiantes de tercer grado de secundaria a nivel nacional son capaces de identificar el propósito del autor en un texto, así como de extraer información explícita de la lectura.

3. Tres de cada diez estudiantes pueden tomar distancia con respecto del texto y hacer una evaluación crítica del mismo; comprender, analizar y opinar sobre él; identificar con claridad las ideas en un texto argumentativo (argumentos, contraargumentos); inferir la conclusión de un ensayo, reconstruir información implícita y apoyarse en la estructura textual.

4. A la mayoría de los estudiantes (70 por ciento) se le dificulta usar la información esencial de una lectura y aplicarla en la solución de una situación novedosa; por ejemplo, sustituir el tema global por un refrán o relacionarlo con una oración temática. Asimismo, les resulta complicado reconstruir el significado literal de una metáfora o la connotación de expresiones.

Algunos elementos que pueden contribuir a explicar estos resultados son la desarticulación y la falta de balance de los contenidos en el plan y programas de estudios de secundaria de la Secretaría de Educación Pública (SEP), ya que enlazan aspectos puntuales con otros muy generales. Los programas de estudio presentan, además, problemas de distribución, saturación o escasez de temas por grados, lo que ocasiona ambigüedad en los contenidos. Por último, los alumnos reportan que los maestros dedican más tiempo a ejercicios de gramática que a actividades que fomenten el desarrollo de la comprensión lectora o la redacción.

Las medidas que se pueden emprender para mejorar el aprendizaje de la comprensión lectora son:

• Reorganizar y sistematizar los contenidos propuestos en los planes y programas de estudio, para que propicien situaciones didácticas significativas para los alumnos atendiendo a sus diversos entornos.

• Utilizar los resultados de este informe como un diagnóstico de lo que saben y no saben los estudiantes, de manera que los colectivos docentes, con apoyo de los servicios de asesoría académica a la escuela, puedan considerarlos en la definición de sus trayectos formativos (^{INEE, 2006}).

PLANEA (Plan nacional para la evaluación de los aprendizajes)

La prueba PLANEA busca establecer en qué medida el estudiante, al término de los distintos niveles de la educación obligatoria, logra el dominio de aprendizajes esenciales: lenguaje y comunicación, y matemáticas. En esta prueba se pretende que el alumno emplee de manera eficiente el lenguaje para organizar su pensamiento y discurso. Por ejemplo, deberán ser capaces de leer, comprender, emplear, reflexionar e interesarse en diversos tipos de textos a fin de ampliar sus conocimientos y reconocer la importancia del lenguaje en la construcción de éste (^{PLANEA, 2018}).

En el área de comprensión lectora, las unidades de evaluación o habilidades que se miden son: la extracción de información, el desarrollo de una comprensión global y de la interpretación, análisis de contenido y estructura; así como la evaluación crítica del texto.

La prueba ofrece resultados que toman en cuenta el nivel de logro obtenido, de manera similar a la prueba EXCALE, que parte de una escala que va de 200 a 800 puntos bajo una media de 500. La distribución de la escala de logro de PLANEA es: el nivel I (315-441) ubica a alumnos con un dominio insuficiente de los aprendizajes clave del currículo; el nivel II (442-567) coloca a los estudiantes que registran un dominio básico; el nivel III (568-659), a los que obtienen un dominio satisfactorio; y el nivel IV (660-865), a los estudiantes con un dominio sobresaliente.

La aplicación de la prueba a alumnos de tercero de secundaria en el 2017 contempló a 131 mil 662 alumnos y 3 mil 398 escuelas, lo cual permitió generar un resultado de representación nacional en función de la entidad federal y el tipo de escuela. Aunque el promedio obtenido fue similar al de 2015, la prueba señaló que el origen socioeconómico aumentó la distancia en los grupos menos favorecidos (^{PLANEA, 2018}). Por ejemplo, evidenció que los estudiantes indígenas obtienen un menor puntaje, situación que exige mayor atención a fin de aumentar la matrícula y mejorar las condiciones educativas de los grupos étnicos del país. También se evidenció que en la prueba de lenguaje y comunicación el resultado fue favorable a las mujeres.

En el país, tres de cada diez estudiantes que finalizan la educación básica están en el nivel I (33.8 por ciento) lo cual indica que no han adquirido un aprendizaje completo de la asignatura de español, pues solo identifican, por ejemplo, definiciones y explicaciones de artículos de divulgación científica y la función y recursos lingüísticos en anuncios publicitarios. Asimismo, comprenden el tema de un ensayo e identifican la rima en un diálogo teatral, que son aprendizajes necesarios, pero insuficientes.

La mitad de los estudiantes se ubicó en el nivel II (40 por ciento), ya que manejaron un nivel indispensable de aprendizajes que suma las habilidades del nivel I con las del II. Reconocen la trama y el conflicto de un cuento, interpretan el lenguaje figurado de un poema, organizan información para una encuesta, identifican el propósito, tema, opinión y evidencias en un texto argumentativo, pero carecen de algunas habilidades para tener un logro satisfactorio.

Los alumnos que logran el nivel III (17.9 por ciento) tienen como rasgo distintivo la capacidad de comparar géneros periodísticos, reconocer el tema en un artículo de divulgación científica e interpretar hechos; identificar valores y comparar el tratamiento de un mismo tema en dos relatos míticos; también pueden establecer las características sociolingüísticas de personajes en cuentos latinoamericanos. En suma, advierten en una obra teatral el ambiente y el contexto social en el que se desarrolla.

Por último, los alumnos que alcanzan el nivel IV (8.3 por ciento) muestran un logro sobresaliente, pues resuelven las tareas ejemplificadas en los tres niveles anteriores y, además, son capaces de adaptar los atributos biográficos a una obra de teatro y seleccionar información relevante en un prólogo para utilizarlo en una reseña literaria. Muestran habilidad para identificar secuencias argumentativas y valorar los fundamentos de un ensayo, un artículo de opinión y un debate (^{PLANEA, 2018}).

Resultados de PLANEA

Los resultados de la prueba por tipo de escuela ofrecen información por el género de los alumnos, la edad, el nivel de marginación y la entidad federativa. El conjunto de estos criterios arroja los resultados que se expresan en la Gráfica 3.

Fuente: elaboración propia con base en ^{INEE, 2017: 64}.

Gráfica 3. Resultados PLANEA por tipo de escuela 

Las escuelas comunitarias y telesecundarias registran el mayor porcentaje de alumnos ubicados en el nivel I, pues 4 de cada 10 tienen un logro insuficiente en lenguaje y comunicación; las secundarias técnicas y las generales públicas (47.3 y 47.9 por ciento, respectivamente) se ubican en el nivel II. Con respecto a la secundaria privada, 32.8 por ciento de los estudiantes se ubica en el nivel III.

En relación con el género, los hombres alcanzan un puntaje promedio de 486, y las mujeres de 514, en una escala que va de los 200 a los 800 puntos, con una media de 500. En cuanto a la edad, los resultados indican que los estudiantes que superan la edad típica obtienen resultados inferiores a sus compañeros que tienen 15 años al terminar la secundaria; es decir, 50 puntos menos. El puntaje promedio en la edad típica es de 507, y el promedio de la extraedad es de 480, lo que los ubica en el nivel II y I, respectivamente (^{INEE, 2017}).

El logro educativo más favorable, de acuerdo con la evaluación más reciente de PLANEA, se encuentra en zonas de mayor ventaja socioeconómica en comparación con comunidades en condiciones más vulnerables, donde se presentan rezagos educativos importantes en lenguaje y comunicación. La evaluación por entidad federativa arrojó resultados cercanos al promedio nacional (500 puntos). En general, los niveles de logro alcanzados son bajos y demandan la atención urgente del sistema educativo. La Gráfica 4 ofrece el puntaje de la prueba por entidad y subraya el nivel obtenido de mayor a menor: las cuatro más altas, tres intermedias y cuatro con el menor puntaje.

Fuente: elaboración propia con base en ^{PLANEA, 2018: 22}.

Gráfica 4. Puntaje promedio en lenguaje y comunicación por entidad federativa 

Cabe señalar que el avance del logro educativo no depende en exclusiva del desempeño docente-alumno, pues el entorno social juega un papel muy importante. En este punto, la prueba incluye un cuestionario que busca rastrear aspectos que considera determinantes para el aprendizaje, como la situación laboral de los padres, su nivel educativo, la comunidad en la que viven y el tiempo que invierten en las tareas escolares de los hijos. Así, PLANEA se presenta como una prueba nacional que puede aportar elementos valiosos para mejorar el trabajo del docente en el aula, en el entendido de que el gasto invertido en la evaluación tendría que impactar en la calidad de la educación.

PISA (Programme for international student assessment)

La prueba PISA surgió de una iniciativa de la OCDE a fin de medir los conocimientos adquiridos por los estudiantes una vez terminada la enseñanza obligatoria. Las áreas que se evalúan son lectura, matemáticas y ciencias, con base en competencias que son calificadas como habilidades o destrezas para analizar y resolver problemas, manejar información y responder a situaciones reales que se presentarán en el futuro (^{PISA, 2008}).

La prueba en México se realizó por primera vez en el año 2000 e incluyó a 32 países más. Aunque se efectúa de forma trienal, en cada periodo evalúa un área en particular; por ejemplo: lectura en el 2000, matemáticas en 2003, ciencias en 2006, lectura en 2009, matemáticas en 2012, ciencias en 2015 y lectura en 2018. Las muestras de aplicación van de 4 mil 500 a 10 mil alumnos y se aplican en un mínimo de 150 escuelas. El proceso de selección está a cargo del INEE, que envía al consorcio de PISA el listado general de todas las escuelas secundarias y de enseñanza media superior del país para proceder después a la elección de los planteles. Con base en esta lista se elige de forma aleatoria a los estudiantes que participarán en la prueba, aunque no emite resultados por escuela o alumno, pues el objetivo es evaluar en conjunto el sistema educativo nacional (^{PISA, 2006}).

La prueba está compuesta por diferentes tipos de reactivos; por ejemplo, seleccionar una opción de respuesta, responder con una frase corta y construir una respuesta más amplia. En todos los casos están acompañados de un estímulo introductorio (texto, gráfica, diagrama, mapa, etc.). La medición completa del estudio incluye 180 reactivos que se distribuyen en versiones (^{PISA, 2006}).

En el área de lectura la prueba no realiza una valoración de la comprensión lectora, como lo vimos en las dos pruebas revisadas anteriormente en este estudio, sino que explora exclusivamente la competencia lectora. Aquí se impone definir qué se entiende por comprensión lectora (reading comprehension) y competencia lectora (reading literacy): la primera consiste en la capacidad que un individuo tiene de captar de forma objetiva las ideas que un autor transmite en un texto escrito; mientras que la competencia lectora será la habilidad de un ser humano para comprender un texto de forma útil en la sociedad que le rodea. Así, la comprensión está ligada más al individuo que al entorno, a partir de la capacidad intelectual o emocional, o incluso al perfil psicológico; mientras que la competencia lectora otorga un peso mayor a la socialización, la inteligencia social o la inteligencia ejecutiva (^{Jiménez, 2014}).

La prueba de lectura busca dar cuenta de la capacidad que tiene el alumno de entender cierta tipología textual; la manera como interactúa con ella (sentido y significado del texto) y cómo relaciona este significado con el contexto de origen. Por consiguiente, los alumnos deben demostrar dominio en acceder y recuperar, integrar e interpretar, reflexionar y evaluar; dimensiones que se refieren a los procesos o estrategias cognitivos que los lectores emplean frente a los textos (^{INEE, 2010}).

Otra particularidad de la prueba son los textos que utilizan, ya que se organizan de dos formas: por su tipo textual (narración, exposición, descripción, argumentación, instrucción y transacción) y por la manera de presentar el contenido, que son los textos continuos (organizados en oraciones y párrafos: reportajes, artículos), discontinuos (que presentan información de forma no secuencial: gráficas, tablas, cuadros) y mixtos (combinación entre continuo y discontinuo: una tabla con su explicación). La última dimensión de la prueba se refiere a la clasificación del texto según los contextos y usos que el autor otorgó, que son: personal (textos que satisfacen el interés individual), público (textos relacionados a intereses sociales, como documentos oficiales), educativo (textos para una tarea de aprendizaje) y laboral (dirigidos al trabajo: solicitud de empleo).

En cuanto a los reactivos, vale señalar que son elaborados por contratistas internacionales, aunque se invita a los países participantes a presentar preguntas; los contratistas las revisan y una vez aprobadas son usadas en PISA. Se ponen a prueba en una aplicación piloto, y se descartan las más fáciles y las más difíciles. Después se realiza la aplicación definitiva, aunque una vez establecidos los criterios, el siguiente paso será desarrollar las descripciones de los niveles de desempeño, que van de lo sencillo a lo complejo.

Como se observa en el Cuadro 4, los niveles de desempeño se desprenden de las tareas que los estudiantes realizan en la evaluación. En este punto, PISA define siete niveles para lectura: 1b, 1a, 2, 3, 4, 5 y 6. Las tareas más fáciles corresponden a los niveles 1b y 1a, y las más difíciles se asocian a los niveles 4, 5 y 6. Por su parte, el nivel 2 se identifica como el nivel básico, que permitirá a los estudiantes comenzar a demostrar las competencias en lectura que los ayudarán a solventar de manera eficaz situaciones de la vida real (^{INEE, 2010}). La prueba exige otro tipo de lector que se está gestando en estas últimas décadas: el lector de la era de la informatización, es decir, el que se enfrenta a una abundancia de textos y a su interacción. Allí confluyen elementos distractores que favorecen una mente “malabarista”, ya que exige competencias en la lectura que no requieren información analítica de textos ordenados y concebidos según una lógica (^{Solé, 2012}). Así, la tarea del lector se multiplica, pues se propone una mirada más crítica y, sobre todo, hermenéutica.

Resultados PISA

Después de definir los niveles de desempeño, a continuación se presenta el análisis de los resultados obtenidos en la prueba aplicada en el 2015, ya que, si bien la última aplicación fue en el 2018, los resultados aún no se conocen. Con todo, este ejercicio de revisión de la prueba servirá como panorama para dilucidar los resultados en el área de lectura durante los diez años de participación de México en la prueba PISA.

Cerca de 20 por ciento de los estudiantes de los países de la OCDE no obtienen la media en las competencias lectoras básicas, porcentaje que se ha mantenido estable desde 2009. Por ejemplo, en 2015 la media fue de 493 puntos, y los mejores puntajes correspondieron a: Canadá (527), Finlandia (526), Estonia (519) y Japón (516), todo ellos miembros de la OCDE; y Singapur (535), Hong Kong-China (527), Macao-China (509) y China-Taipei (497), países participantes. Los países con el índice más bajo fueron Grecia (467), Chile (459), Turquía (428) y México (423). Todo ello implica que México dista del promedio de la OCDE, ya que 29 por ciento de los estudiantes de la muestra global se encuentran en niveles superiores, lo cual contrasta con el 5 por ciento de los jóvenes mexicanos ubicados en dichos niveles. De manera particular, se observa que, de los países latinoamericanos, Chile cuenta con 15 por ciento de estudiantes en los niveles superiores (niveles 4 a 6) seguido por Uruguay con 12 por ciento. Por debajo de México se encuentran Brasil (407), Perú (398) y República Dominicana (358).

En tal sentido, la Gráfica 5 expone la media del puntaje obtenido por los países punteros. Resulta interesante señalar que los países no miembros de la OCDE, como Singapur, China y Vietnam, obtienen resultados excelentes no sólo en lectura, sino también en matemáticas y ciencias, lo que impone conocer sus programas educativos.

Fuente: elaboración propia con base en ^{INEE, 2016: 76.}

Gráfica 5 . Puntajes de comprensión lectora PISA 2015 

Ahora bien, en relación con México resulta preocupante que la mayoría de los estudiantes se ubican en los niveles 1a y 1b, ya que son incapaces de realizar una lectura básica; esto hace patente la dificultad para utilizar la lectura como una herramienta de conocimiento y crecimiento personal. Todos ellos enfrentarán serios problemas para incorporarse a niveles educativos más altos y a la vida laboral (^{INEE, 2016}). La Gráfica 6 ofrece los resultados que ha obtenido México en la prueba desde sus inicios, y en la que se ha mantenido con un promedio similar en el mismo nivel de logro.

Fuente: elaboracion propia con base en los datos de los infomes de resultados de cada prueba.

Gráfica 6.  Desempeño en lectura en las seis pruebas de PISA 

Los factores que influyen en el bajo puntaje de la comprensión lectora en México son diversos, aunque el de mayor peso se ubica en el entorno familiar, cultural y escolar de los alumnos: a mayor nivel cultural la capacidad lectora aumenta, mientras que el rendimiento lector tendrá una expresión baja cuando el nivel socioeconómico y cultural esté en la misma orientación (^{Hernández y Bazán, 2016}). Ante esta circunstancia surge en el área de la lectura una teoría conocida como “efecto Mateo”,³ señalada por Keith ^{Stanovich en 1986}, que apunta que los niños que leen bien y tienen buen vocabulario continuarán leyendo más y aprenderán más significados de palabras; por tanto, leerán cada vez mejor. En contraparte, los niños que tienen un reducido vocabulario, que leen lento y sin entusiasmo, leerán cada vez menos, tendrán un desarrollo de vocabulario escaso y un débil crecimiento de la habilidad lectora (^{Stanovich, 1986}).

Cabe señalar que los resultados obtenidos en lectura obligan a la reflexión de que los profesores de Lengua española no sólo tienen la misión de dotar a los alumnos de herramientas para descodificar los textos, sino que, además, deben generar en el joven el gusto por la lectura. Todo ello ayudará a lograr el dominio de las habilidades lingüísticas y comunicativas que permitirán forjar un lector crítico y apto para el aprendizaje en la competencia lectora en cualquier texto, que mostrará capacidades cognitivas, afectivas y de inserción social (^{Solé, 2012}). En este punto, formar un lector competente abre la puerta a la creación de un individuo que tendrá posibilidades de desarrollo profesional y personal, y ayudará a formar ciudadanos.