Editorial

 

El examen, evaluación o masificación de la examinación

 

En los últimos meses se ha acentuado en los medios la discusión genéricamente llamada debate por la evaluación educativa. Desde principios de los años noventa se acuñó la desafortunada expresión "cultura de la evaluación", para expresar que en el mundo educativo mexicano no existía tal cultura. Es desafortunada porque una visión del término cultura desde una perspectiva humanista permitiría afirmar que difícilmente puede existir una cultura para una tecnología, mucho menos para una tecnología que en su genealogía procede del término "control", palabra enunciada por Fayol para definir una fase del proceso de la administración. De alguna forma, Guy Neaves nos previene contra el empleo del término "cultura" en el ámbito de la evaluación.

Sin embargo, la evaluación educativa, como disciplina y como práctica, ha evolucionado significativamente en los últimos 30 años, aunque en nuestro medio el debate disciplinario de la evaluación no exista. Y esta es la primer paradoja que encontramos entre quienes impulsan el empleo de las técnicas de evaluación en nuestro medio, empleando para ello la afirmación de generar una cultura de la evaluación, ante la ausencia de una discusión de las distintas corrientes de pensamiento que se han desarrollado en relación con esta disciplina. Seguramente es la disciplina educativa sobre la cual se escribe más, baste con realizar una búsqueda en cualquier base de datos educativa (ERIC, IRESIE, etc.) para constatarlo. En varios países han surgido programas de posgrado vinculados con la evaluación, y han conformado una comunidad académica de especialistas en evaluación que han producido revistas especializadas (Evaluation Studies Review Annual, Evaluation, Evaluation & Research in Education, Evaluation in Education, Evaluation Review y muchas más), empero nada de ello ha aparecido en nuestro medio.

En efecto, observamos con preocupación cómo la llamada "cultura de la evaluación" se reduce a la generalización de exámenes. Precisamente respecto a este tema ha girado la discusión de los últimos meses. En el mes de noviembre pasado se conocieron los resultados del examen pisa que aplicó la OCDE a estudiantes de 15 años, esto es, de tercero de secundaria, sobre tres aspectos: lectura, ciencias naturales y matemáticas. Los estudiantes mexicanos ocuparon el penúltimo lugar. Esto fue ampliamente comentado en la prensa, y algunos especialistas recordaron que no era la primera vez que los resultados de los estudiantes mexicanos eran bajos: el gobierno mexicano unos años antes había impedido que se publicaran los resultados de los alumnos de 3° y 4° de primaria. Ese examen fue aplicado por el Laboratorio Latinoamericano de la Calidad de la Evaluación, de la Oficina Regional de la UNESCO con sede en Santiago de chile.

Actualmente se discute en la cámara de Diputados sobre la creación del instituto Nacional de Evaluación. Pero dado que el proyecto ha sido elaborado prácticamente bajo la conducción de una persona, resulta difícil poder saber cuál es el contenido del mismo. Se esperaría que fuese un espacio para impulsar la disciplina de la evaluación y sus diversas corrientes, que paulatinamente conforme el saber en este campo de las ciencias de la educación; sin embargo es de temer, por lo poco que ha trascendido, que en realidad se esté pensando en un nuevo sistema examinador para la educación básica (primaria y secundaria).

¿Qué reflexión se impone sobre estas situaciones? Recordemos lo que ha acontecido previamente con el Centro Nacional de Evaluación (CENEVAL), que finalmente se ha reducido a un centro aplicador de exámenes, incapacitado para promover una mínima discusión sobre el tipo de examen que aplica, miope para cumplir al menos con la función de retroalimentación que se reconoce en el discurso dominante de la evaluación. No sería difícil informar, por ejemplo, sobre los temas de matemáticas que representan mayor dificultad en las pruebas.

En realidad, si se desea abordar este tema con toda seriedad habría que avanzar hacia una discusión hasta hoy inédita. ¿Qué formación queremos ofrecer en cada tramo del sistema educativo: primaria, secundaria, bachillerato y profesional? Necesitamos revisar la visión decimonónica que permea el currículum de ciencias en todo el sistema educativo y preguntarnos si requiere una transformación. Requerimos analizar la manera en que han evolucionado la teoría del test en el ámbito mundial y los sistemas de análisis estadístico de los resultados de cada ítem (pregunta), así como la concepción técnica de los tests. ¿Es legítimo conservar en uso una teoría de los tests formada en las décadas de los cincuenta y sesenta del siglo pasado? ¿Acaso una cultura de la evaluación no requeriría discutir también estos temas?

Este es un problema de fondo. Más allá de los señalamientos sobre el lugar que obtienen los estudiantes mexicanos en estas pruebas, es necesario comenzar a analizar la dimensión pedagógica de tales resultados. Las consideraciones se han detenido en la perspectiva sociológica para la cual el sistema educativo está mal y nuestros estudiantes no manifiestan eficazmente los conocimientos que adquieren en la escuela. Pero no existe un análisis sobre su significación y, salvo generalidades, no se tiene idea sobre las estrategias que sería necesario seguir para mejorar el trabajo escolar, como exigir mayor responsabilidad a los maestros, cumplir con todos los días de clase, etcétera.

Desde mi punto de vista se ignoran dos dimensiones al abordar el problema: la primera se vincula directamente con los docentes. ¿Cómo explican ellos estos resultados?, ¿qué estrategias proponen para mejorar la enseñanza? Tan acostumbrados estamos a descalificar al docente —en el transcurso de los años hemos logrado alejarlos de su aspiración para constituirse como profesionales, y finalmente los tratamos sólo como empleados— que no consideramos que puedan y deban participar en el diseño de una estrategia para atender este problema.

Y no está por demás recordar que, ante resultados similares, el gobierno de Colombia en 1997, en vez de esconder los mismos o sólo hacer declaraciones de prensa, editó tres libros para todos los profesores con los resultados del examen y organizó talleres con todos los docentes del país para analizar los resultados, los tipos de preguntas de las pruebas, sus formas de enseñanza.

El día que se daban a conocer los resultados recientes de los exámenes pisa, los mismos se encontraban en la versión en inglés y francés en la página electrónica de la OCDE, y no se reparó en que la versión castellana también estaba en la página del Ministerio de Educación y Cultura de España. A las autoridades educativas mexicanas se les escapa la idea de que el informe pueda ser conocido y discutido por todos los maestros. El informe contiene sus premisas, algunas preguntas tipo, así como los resultados. Así, el maestro mexicano sólo se ha quedado con la condena directa o indirecta a su trabajo en la prensa, y se encuentra desorientado para identificar alguna estrategia que mejore su trabajo.

Desde otra perspectiva, la investigación que realizaron Bertoni, Puggi y Teobaldo en la provincia de Buenos Aires muestra que la evaluación es un instrumento de mejoramiento, pero sólo si se generan estrategias para involucrar al docente en el análisis de sus resultados. Tal es el testimonio que se encuentra en el libro Evaluación, nuevos significados para una práctica compleja, editado por Kapelusz en 1995.

La segunda dimensión se dirige precisamente al estudio de la prueba pisa (Programme for International Student Assessment), así como al análisis de la teoría de los tests que subyace en las distintas pruebas internacionales. Los postulados de la prueba pisa son muy claros: se trata de un examen que busca analizar hasta dónde los jóvenes de 15 años pueden utilizar en su vida cotidiana la información estudiada en matemáticas y ciencias naturales. Esto significa llevar a cabo una transferencia de lo aprendido; no les piden recitar de memoria un dato aprendido, tampoco buscan determinar cómo avanzaron en la "construcción de un concepto", entendiendo como el constructivismo lo señala, que el desarrollo de un concepto es cualitativamente diferente a una definición —recordemos que esta es la teoría adoptada para orientar el tratamiento del contenido en la educación básica en México desde 1994, lo cual no necesariamente significa que el maestro la conozca, la asuma, la domine y además pueda generar estrategias constructivistas de enseñanza—. Utilizar tampoco significa desarrollar un procedimiento; es, por el contrario, un comportamiento diverso que supone transferir lo aprendido a una nueva situación. Es mostrar la capacidad de traducir la información para resolver una situación problema que aparece de nuevo. un ejemplo que se encuentra en la prueba para el caso de matemáticas es el siguiente:

El presupuesto de defensa de un país es de 30 millones de dólares, para el año de 1980, mientras que el presupuesto nacional era de 500 millones de dólares. Al siguiente año el presupuesto de defensa fue de 35 millones de dólares, mientras que el nacional llegó a 605 millones. La inflación fue del 10 por ciento.

a) Si te invitan a dar una conferencia en una asociación pacifista, ¿cómo explicarías que el presupuesto militar disminuyó?

b) Si te invitan a dar una conferencia en una academia militar, ¿cómo argumentarías que el presupuesto militar aumentó?

La siguiente pregunta está dirigida a evaluar la capacidad de aplicar el conocimiento científico. El informe en este punto es claro: no se pide que reproduzcan información de la física, sino que con el conocimiento de esta disciplina lleven a cabo una aplicación a lo cotidiano.

Al mirar el televisor, Peter ve un auto (a) que va a 45 km/h y es adelantado por otro auto (b) que va a 60 km/h. ¿A qué velocidad le parece que va el auto (b) a alguien que va en el auto (a)?

a) 0 km/h b) 15 km/h c) 45 km/h d) 60 km/h e) 105 km/h

Este ejercicio se puede efectuar en todo el informe y rescatar preguntas tipo, para responder: ¿qué teoría del test subyace en la prueba pisa? Más aún, este ejercicio es necesario en las otras pruebas internacionales como las del Laboratorio Latinoamericano de la Calidad de la Evaluación (OREALC-UNESCO), las del TIMSS (Third International Mathematic and Science Study) y las de la International Association for the Evaluation of Educational Achievement (IEA), institución esta última que desde hace más de 40 años ha realizado pruebas internacionales de rendimiento. Ello nos podría llevar a analizar la forma como ha evolucionado la teoría de los tests en tales instituciones.

Todo esto nos permitiría conocer los diversos aprendizajes que deben mostrar los estudiantes para poder resolver con eficacia diferentes tipos de pruebas. Asimismo, llevará a estudiar con los docentes las diversas estrategias que se requiere desarrollar en el aula. La experiencia ha mostrado que para lograr resultados eficaces se tendrá que acompañar todo el proceso con diversos talleres donde los maestros puedan reflexionar sobre lo que realizan en el salón de clases, confrontar sus resultados y replantear las formas de enseñanza; establecer los elementos formativos y de retroalimentación de la evaluación y no sólo circunscribir ésta a la emisión de un juicio.

En segundo término se podrían revisar los sistemas de exámenes nacionales, los del CENEVAL, los que ya se aplican en la educación básica y en un futuro serán confiados al instituto Nacional de Evaluación, así como las pruebas de carrera magisterial, pues los maestros deben enfrentar exámenes que no sólo exijan recuerdo de información.

Esto requeriría reformular la manera como la evaluación y los tests se están aplicando en nuestro medio. Si aceptamos sin conceder que requerimos una "cultura de la evaluación", ¿se podrá desarrollar una estrategia que permita avanzar en la conformación de la disciplina y en la generación de especialistas que representen diversas tendencias, y al mismo tiempo cambiar su impacto en la enseñanza, modificando las relaciones con los docentes, estableciendo un claro esquema formativo y de retroalimentación y no sólo de calificación, estableciendo diversos tipos de tests de acuerdo a lo que consideremos que debe ser objeto de formación? El reto es establecer la evaluación educativa en nuestro medio con todas sus implicaciones, de lo contrario nos mantendremos en la masificación de un sistema de tests, como si no existiesen corrientes de pensamiento asociadas a ellos.

 

Ángel Díaz Barriga