Reseñas

 

Los lectores y sus contextos. Reporte de Investigación Educativa 2010

 

Gregorio Hernández Zamora^*

 

Jorge Vaca Uribe, Alfonso Bustamante, Francia Gutiérrez, Celestina Tiburcio y colaboradores Xalapa, Universidad Veracruzana-Instituto de Investigaciones en Educación, 2010. Disponible en http://www.uv.mx/bdie/index.html (UV-IIE, Biblioteca Digital de Investigación Educativa, vol. 8)

 

* Doctor en Lengua y Cultura Escrita por la Universidad de California en Berkeley. Coordinador del seminario permanente Cultura Escrita y Postcolonialidad (www.g-cep.blogspot.com). CE: grehz@yahoo.com

 

El libro Los lectores y sus contextos reporta los resultados de una amplia investigación de la Universidad Veracruzana, financiada por CONACyT. El libro hace un cuestionamiento explícito y fundamentado a la idea oficial de que las pruebas estandarizadas tipo PISA, Enlace o Excale son instrumentos adecuados, científicos, neutros (ideológica y cultural-mente), e incuestionables para evaluar las "competencias" lectoras y matemáticas de nuestros alumnos. Según el discurso oficial, los resultados de estas pruebas (calificaciones numéricas) son verdades objetivas y parámetros válidos para juzgar la calidad de las escuelas, los maestros, la enseñanza y el aprendizaje. Los autores de este libro presentan datos de campo que cuestionan este credo oficial, y nos invitan a dejar de girar alrededor de las pruebas estandarizadas para voltear la mirada a lo que debería ser el centro de atención: los lectores y sus contextos. Es desde esta mirada que el libro plantea conclusiones inusuales y hasta heréticas en el contexto mexicano. Por ejemplo:

• Los exámenes estandarizados tipo PISA o Enlace no son sino "danzas de números" que poco nos dicen sobre las capacidades y la diversidad de nuestros alumnos (p. 22).

• Bajo el argumento de que era indispensable evaluar para corregir lo que estuviera mal, se han desarrollado pruebas y más pruebas, como Enlace y Excale, que lo único que han revelado es la gran verdad que ya sabíamos: "los pobres son menos competentes para leer y resolver problemas... ¿alguien no lo sabía?" (p. 31).

• La obsesión por evaluar de manera estandarizada parte de un supuesto falso: la incapacidad de los estudiantes para comprender los textos. Obviamente esta afirmación parte de los resultados de las pruebas, asumiendo que los instrumentos son válidos y confiables... pero no es así (p. 60).

Los autores cuestionan la visión centrada en los alumnos (y sus maestros), pues limita la comprensión y termina por hacer responsables de la situación a dichos actores. "Quisimos voltear la mirada... hacia los contextos de vida y crecimiento de los estudiantes, pues considerábamos que el desarrollo de la lectura dependía no sólo de los niños y de los maestros, sino también de las prácticas sociales en las que los niños estaban inmersos (o no)... dentro y fuera de la escuela..." (p. 31).

 

ESTRUCTURA Y ENCUADRE

El informe incluye dos materiales: un voluminoso libro de 963 páginas, y un DVD con archivos multimedia (Reporte multimedia). La presente reseña se basa en el reporte impreso. El libro de divide en tres partes centrales: I. Teoría y método, II. Resultados y Anexos. Los apartados I (teoría y método) y II (resultados) presentan una organización de capítulos similar, basada en los contextos anidados que delimitan el objeto de estudio: mundo, país, estado, localidad, escuela, aula, familia y estudiante. Esta organización es congruente con el encuadre teórico adoptado, denominado por los autores "metáfora de los sistemas", y que incluye referentes teóricos tales como el constructivismo, la teoría de los campos conceptuales, los nuevos estudios sobre literacidad, y la sociología psicológica, en que se asienta el marco epistemológico del estudio. El objeto central de estudio fueron los alumnos en tanto lectores y su desempeño en algunas tareas de lectura. Partiendo de los lectores, se indaga cómo sus múltiples contextos de vida dejan marcas en su desempeño lector. Para cada uno de los niveles de contexto (mundo, país, estado, localidad, escuela, aula, familia y estudiante), se diseñaron instrumentos de investigación y se recabaron datos, siempre bajo el objetivo central de comprender los procesos de adquisición de conocimientos y de apropiación de prácticas de lengua escrita y de matemáticas por parte de los niños y jóvenes mexicanos. Un rasgo original de esta investigación es que no se enfoca sólo en los lectores en lo individual, sino en las condiciones de contorno o contextos en los que se sitúan los alumnos (los lectores) y sus actos de lectura, incluyendo las situaciones de evaluación. En congruencia con las teorías contemporáneas del aprendizaje situado, los autores consideran los contextos de los lectores como parte integral e inseparable del acto de leer y del acto de evaluar la "competencia" lectora. De aquí que el título del reporte (Los lectores y sus contextos) sea la expresión de este principio teórico. El argumento de los contextos anidados permite ver cómo los conceptos clave de "leer", "lector", "competencia lectora" y "evaluación de la lectura", son redefinidos y puestos de cabeza al momento en que las autoridades federales, estatales y locales asumen e implementan el discurso y los instrumentos de la evaluación estandarizada.

 

MÉTODO

El trabajo de campo se realizó en cuatro comunidades del Veracruz. Se recabaron datos demográficos y educativos de 110 alumnos de primaria, secundaria y bachillerato. Sobre las familias se indagaron aspectos como su capital económico, composición de miembros, materiales de lectura disponibles, escolaridad, ocupación y prácticas de lectura de los padres. El centro del estudio, sin embargo, fue el estudiante. Con cada uno se integró un corpus de datos que incluía su promedio escolar, puntaje en la prueba Enlace, condición sociocultural de su familia, ejecución de tareas de lectura, escritura y matemáticas propias de la investigación, y observaciones de sus clases. Se transcribió la lectura en voz alta y los diálogos con 35 estudiantes, de los cuales se seleccionaron 12 casos ejemplares que se reportan en extenso en el libro.

 

RESULTADOS

El reporte aporta una variedad de aspectos y líneas de reflexión. Aquí me enfoco sólo en dos temas que encuentro especialmente relevantes.

a. Los instrumentos usados

Un acierto, y a la vez una limitación de este estudio, fue el uso de un instrumento de evaluación que es parte del examen PISA (el texto La gripe y sus respectivos reactivos). Es un acierto porque los autores estudiaron con detenimiento los diversos factores que afectan los resultados de tal tipo de prueba. El objetivo era ir más allá de la afirmación simplista de que los resultados de una prueba estandarizada constituyen indicadores seguros sobre la competencia lectora de los alumnos. El reporte de investigación arroja múltiples evidencias en contra de dicho supuesto. Los autores revisaron con detenimiento el contenido de un texto y los respectivos reactivos del examen PISA aplicado en distintos países, y detectaron diferencias significativas en la redacción del texto y de los reactivos, en la distribución gráfica del texto, en los nombres propios que aparecen en el texto (en México se dejaron los nombres en inglés, en otros países se usaron nombres comunes en español), así como cambios léxicos (tenga=>padezca, no obstante=>pero, etc.), y discrepancias en el nivel de dificultad atribuido a los reactivos en distintos países. Estas diferencias no son triviales, si de hacer comparaciones "estandarizadas" se trata, porque es a partir de este tipo de decisiones "técnicas" que se hacen juicios sobre los alumnos, los maestros, las escuelas y los países enteros. En palabras de los autores: "Al parecer, de la misma manera en que 'la vida se abrió camino' en la ficción de Parque Jurásico, la diversidad se abrió camino en el proyecto PISA, ¡diferenciando lo supuestamente estándar!" (p. 68).

Así mismo, los investigadores analizaron detenidamente los múltiples sesgos culturales del texto La gripe. Detalles que parecerían triviales en el texto que se pide leer a los alumnos, y sobre el cual se hacen preguntas de comprensión, son en realidad significados culturales ajenos al contexto mexicano, lo que cuestiona la validez del instrumento. El texto La gripe incluye sólo nombres propios de origen anglosajón, y entre éstos hay algunos de los que no es siquiera claro que sean nombres de personas (como "Fiona"). Así mismo, el texto gira en torno a la vacunación contra la gripe en centros de trabajo, lo cual es una práctica común en Europa y Norteamérica, pero inexistente en México. De manera acertada, los autores señalan que en México fue a raíz del brote del virus H1N1 en 2009, que se comenzó a hablar de vacunación pero no contra la gripe, sino contra la influenza, y fue la propia Secretaría de Salud, a través de una campaña en los medios, la que dejó claro que no era lo mismo gripe que influenza. Igualmente sería muy raro que en México se ofrecieran vacunas en los centros de trabajo y no en los centros de salud. El nombre mismo de la enfermedad (gripa, gripe o influenza) puede confundir, pues el examen PISA ignora las diferencias semánticas que estas palabras tienen en el contexto mexicano.

¿Cómo puede evaluarse entonces la "comprensión de lectura" mediante un texto y preguntas que exigen conocimiento y experiencia cultural ajenos a los contextos de vida de los niños mexicanos? Los lectores y sus contextos da evidencia clara y convincente de la importancia crucial de los esquemas y patrones culturales en la interpretación de los textos; lo que, a su vez, se traduce en un cuestionamiento serio a la validez de ese tipo de pruebas. Irónicamente, las propias instituciones promotoras de la evaluación estandarizada, como la SEP y el INEE, aparecen —a juicio de los autores— como lectores poco agudos y nada críticos, pues si algo demuestra esta investigación es que: "Más que saber o no leer y comprender, lo que encontramos fue conocimiento o desconocimiento del mundo referido por los textos y sus expresiones lingüísticas" (p. 818).

Sin embargo, en su lado débil, la decisión de usar el instrumento de PISA implicó, a mi juicio, algunas limitaciones metodológicas. La principal es que se cerró la observación de la lectura a un tipo de evento y a un contenido; es decir, a un examen de comprensión lectora y al tema de la gripe. El problema radica en que el diseño de investigación descartó una variedad de prácticas lectoras, tanto escolares como extraescolares, que son parte de la vida de los estudiantes y que son imposibles de registrar y evaluar mediante una prueba tipo PISA. En mi propia investigación con sujetos de baja escolaridad, he hallado y mostrado la riqueza de las prácticas autónomas de lectura, dentro y fuera de la escuela, y su poder en la conformación de saberes, identidades e incluso decisiones de vida (Hernández, 2010). Al estudiar la lectura con el mismo instrumento que critican, los autores de Los lectores y sus contextos llevaron a escrutinio las pruebas estandarizadas, pero dejaron de lado precisamente las prácticas y las experiencias letradas que dichas pruebas no pueden medir. Los propios autores citan a Donald Graves (p. 61) para recordarnos que los test de opción múltiple no pueden decir si los niños han leído libros, si han relacionado un libro con otro, o si han aplicado los textos en sus propias vidas.

b. El fatalismo sociológico

Los autores expresan a lo largo del reporte su intención de "escapar de las previsiones fatalistas de la sociología", según las cuales habría una relación de causalidad entre condición socioeconómica y éxito o fracaso escolar/lector. Sostienen que una intención del estudio fue explicar cómo alguien puede tener éxito escolar siendo pobre y con padres poco escolarizados, y a la inversa. En este punto, sin embargo, me parece que los resultados de la investigación apuntan justo a reafirmar lo que lo autores llaman "fatalismo sociológico". Veamos.

Entre los casos que se presentan están el de Brenda, de origen socioeconómico bajo, y Kaly, de origen socioeconómico alto. Los autores presentan ambos casos como ejemplos de buen desempeño en las tareas de lectura, independientemente de las condiciones socioeconómicas. Sin embargo, en su análisis dejan de lado algunos detalles que a mi juicio matizan la aparente semejanza entre ambas alumnas. Brenda es alumna de telesecundaria, tiene 14 años de edad y sus padres tienen baja escolaridad, escaso capital económico y prácticas de lectura casi nulas. Por su parte, Kaly tiene 11 años de edad, y proviene de una familia en situación social y cultural mucho más favorable: sus padres tienen estudios de licenciatura, cuentan con un capital económico alto, una biblioteca familiar, y las prácticas de lectura en casa son diversas. Ambas obtienen puntajes altos en las situaciones propuestas en la investigación, y sus promedios escolares son también altos.

Los autores describen la lectura de Brenda como "muy fluida"; su ortografía cae dentro del promedio de sus compañeros de secundaria, y ella responde acertadamente todas las preguntas. Lo anterior se explica, según los investigadores, por "su actitud sistemática, rítmica y reflexiva... [pues ella] no se apresura a responder, sino que lee y relee las preguntas y el texto antes de tomar una decisión" (p. 742). Sin embargo, los propios autores apuntan las diversas dificultades experimentadas por Brenda en su tarea de leer el texto La gripe, pues a Brenda le incomoda leer en voz alta los nombres extranjeros del texto ("Fiona McSweeney", etc.). Igualmente, Brenda batalla "con la forma de las preguntas", y muestra una "inseguridad lingüística" (p. 749) provocada por tener que usar palabras que no domina. Finalmente, los investigadores señalan que pese a sus "evidentes" limitaciones lingüísticas y de conocimiento del mundo, Brenda responde bien las preguntas pero "es patente que Brenda debe hacer un gran esfuerzo para lograr compensar sus lagunas de información... a diferencia de otros casos que hemos analizado y que resuelven con gran facilidad e igual pertinencia la tarea" (pp. 749-750). Kaly es justo uno de estos casos. Ella es alumna de primaria, tres años menor que Brenda; no le perturban los nombres extranjeros, los pronuncia convencionalmente, tiene un lenguaje rico, lee fluidamente, y parece resolver las tareas de lectura propuestas con bastante facilidad. También, a diferencia de Brenda, Kaly misma es descrita como una "niña lectora" y también escritora, que cuenta con correo electrónico e Internet en casa.

En resumen, Brenda y Kaly parecen salir bien en las pruebas planteadas por los investigadores, sin embargo, Kaly tiene 11 años y su desempeño supera en forma evidente el de Brenda, de 14. A Brenda le implica mucho esfuerzo hacerlo, además de una incomodidad lingüística y cultural; mientras Kaly lo hace rápido, fácil y sin incomodarse por el texto, el vocabulario, o las palabras en inglés. Para los autores, Brenda es uno de los casos que demuestran las limitaciones del "fatalismo sociológico", pues aún cuando ella proviene de un ambiente socioeconómico bajo, su desempeño en las pruebas fue bueno. A mi juicio, sin embargo, si tomamos la distinción conceptual entre "errores de desempeño" y "errores de competencia", que los propios autores hacen (p. 611), pareciera que Brenda tuvo pocos errores en este desempeño gracias a que se aplicó demasiado en esa situación particular, pero no es claro cómo calificar su competencia; por ejemplo, si se observara el desempeño de ambas en múltiples tareas de lectura a lo largo de un periodo de tiempo. Es decir, ¿el desempeño de Brenda resultaría igualmente bueno si se le observara en diversas tareas de lectura y escritura, o fue bueno particularmente en esta situación acotada y puntual de investigación? Una diferencia entre Brenda y Kaly, que a mi juicio es muy importante pero los autores no señalan, es que Brenda tiene 14 años y Kaly 11. Ciertamente Brenda sale bien en la prueba, pero con muchos esfuerzos, mientras Kaly sale bien con menor esfuerzo y puntajes "casi perfectos", a decir de los autores. Incluso señalan los autores que lo observado en Kaly no es una competencia lingüística aislada e individual, sino resultado de su "inmersión en un medio cultural rico en herramientas y prácticas". A mi juicio, lo que esto demuestra es una diferencia substancial en el desarrollo intelectual, lingüístico y lector de cada una de estas alumnas, producto del acceso diferencial a recursos lingüísticos y de aprendizaje en sus respectivos grupos socioeconómicos. Los datos cuantitativos recogidos por los autores confirman justo esta correlación entre "nivel de lectura" de los padres y nivel de lectura de los hijos. En palabras de los autores: "aquellos estudiantes que tienen a sus padres en los niveles más altos de lectura (sobresaliente o intensa) por lo general también se ubican en los mismos niveles, de la misma manera que aquellos cuyos padres se ubican en niveles mínimos, también se encontraron en los niveles mínimos de lectura; es decir, hay una correspondencia entre la lectura de los padres respecto a la de los hijos" (p. 589).

 

COMENTARIO FINAL

Aplicar pruebas estandarizadas parece una actividad útil e inocente. Pero no lo es. Se podría, por ejemplo, poner a nadar, bailar o correr a un grupo de maestros, funcionarios o plomeros. Sin duda, la prueba arrojaría diferencias de desempeño entre los examinados, es decir, puntuaciones altas, medias y bajas, no importa si la prueba es válida, útil y bien o mal diseñada. La cuestión, el verdadero problema, comienza cuando una prueba estandarizada se utiliza como instrumento de política pública, a partir de la cual: a) se juzga la competencia del grupo evaluado, y b) se decide la distribución de los recursos en función de los resultados en dicha prueba. Esto es lo que se está haciendo con las pruebas tipo PISA y Enlace. Se trata de pruebas cuyo contenido y forma son en sí cuestionables pues presentan sesgos socioculturales, errores diversos y reducen el concepto de "lector competente" a aquel que lee un texto fuera de contexto y contesta preguntas de opción múltiple, como lo demuestra el libro Los lectores y sus contextos. Por ello, una virtud a resaltar en este libro es que ofrece al lector los métodos e instrumentos de investigación, así como los datos obtenidos, lo que es esencial, pues se permite al lector mirar directamente los datos y hacer su propia interpretación. En esta reseña he incluido, precisamente, una nota crítica de análisis sobre dos de los casos que presenta el libro. Sin embargo ésta, más que sugerir un cuestionamiento al libro en su conjunto, es una invitación al lector para ejercitar una lectura atenta de las evidencias que se ofrecen a los lectores. Este libro, entonces, permite al lector elaborar sus propias interpretaciones y contrastar los hallazgos de esta investigación con los lugares comunes que sobre los lectores y los exámenes de lectura abundan en estos tiempos. A mi juicio, Los lectores y sus contextos es uno de los reportes de investigación más serios que se han realizado en México sobre el fenómeno complejo de la lectura y los lectores. Por ello, es una lectura obligada para los estudiantes, académicos, evaluadores y funcionarios educativos que deseen realmente entender el fenómeno, y no reproducir una fe ciega en los exámenes estandarizados y sus resultados.

 

REFERENCIAS

Hernández Z., Gregorio (2010), Decolonizing Literacy: Mexican lives in the era of global capitalism (Critical Language and Literacy Studies), Bristol, UK, Multilingual Matters.         [ Links ]