Claves

 

Exámenes masivos internacionales y nacionales. ¿Encuentros o desencuentros?*

 

Large–scale international and national examinations. Encounters or disencounters?

 

Rosa Aurora Padilla Magaña**

 

** Maestra en pedagogía y actualmente estudiante del doctorado en pedagogía en la Facultad de Filosofía y Letras de la UNAM. Profesora de asignatura del Colegio de Pedagogía en el Sistema de Universidad Abierta. Correo electrónico: raurorap@gmail.com

 

Recepción: 9 de octubre de 2007
Aprobación: 24 de febrero de 2009

 

Resumen

El propósito de este artículo es ofrecer un panorama del contenido de dos de los exámenes masivos aplicados en México a estudiantes que han concluido o están por concluir la educación básica; uno es de corte internacional y el otro, nacional. Analizar el contenido de los exámenes a gran escala que se aplican de manera consecutiva en nuestro país permitirá conocer el estado que guardan nuestros exámenes nacionales con respecto a las tendencias internacionales en materia de elaboración de exámenes.

Palabras clave: Evaluación / Exámenes nacionales / Pruebas internacionales / Educación básica.

 

Abstract

The purpose of this paper is to provide an outlook of the contents of two of the large–scale examinations administered to students who have finished or are about to finish secondary education; one is international and the other national. To analyze the contents of large–scale tests that are taken in a consecutive way in our country will help to know the state of our national examinations compared to the international trends for what regards the making of examinations.

Key words: Assessment / National examinations / International tests / Secondary education.

 

INTRODUCCIÓN

Durante las últimas décadas, la evaluación mediante exámenes a gran escala se ha convertido en una práctica común en México y Latinoamérica. Su rápida inserción en los sistemas educativos, sobre todo a partir de la segunda mitad del siglo XX, los ha convertido en el instrumento idóneo para poner en tela de juicio el trabajo del docente. El examen, con su aplicación masiva, ha pasado de ser un instrumento del docente, para convertirse en un instrumento contra el docente.

La aparición de agencias de evaluación que desde los años cincuenta han aplicado estudios comparados del rendimiento escolar, como la Internacional Association for the Evaluation of Educational Achievement (Asociación Internacional para la Evaluación del Logro Educativo) (IEA)¹ y la incursión de México en estudios de evaluación internacional a partir de los años noventa² lleva a pensar que la adopción de exámenes nacionales e internacionales³ para medir el rendimiento escolar es parte de una política educativa que se ha insertado y adoptado de manera abrupta en nuestro sistema educativo, pero que adolece de una reflexión teórica y metodológica en materia de elaboración de exámenes.

Por tal razón el docente, único capaz de generar un cambio y mejora educativa, presenta dificultades para identificar las tendencias actuales en materia de elaboración de exámenes y reconocer la posible evolución que el campo ha tenido. Esta situación resulta ambigua y contradictoria, porque por un lado se juzga al docente ante los resultados obtenidos por sus estudiantes en los ámbitos nacional e internacional; pero al mismo tiempo, se le deja al margen de los procesos y reflexiones que pueden surgir en torno a los sistemas evaluativos y al porqué de sus resultados.

Preocupados por esta situación, consideramos que lo importante en materia de exámenes masivos⁴ no es nada más cuestionar su pertinencia o buscar un culpable del resultado obtenido por los estudiantes, la escuela o el país. Es importante analizar y comparar el contenido de dos de las pruebas de mayor auge y permanencia en nuestro país. El fin es dar a conocer a los docentes y público en general el tipo de contenidos con los que están siendo evaluados nuestros estudiantes y advertir la relación que éstos guardan entre sí y con lo trabajado en el aula. Hemos optado por analizar y comparar el contenido del Programa Internacional para Evaluación de Estudiantes, mejor conocido como PISA, promovido por la Organización para la Cooperación y el Desarrollo Económico (OCDE), y del Examen Nacional de Ingreso a la Educación Media Superior (EXANI–1), aplicado por el Centro Nacional para la Evaluación de la Educación Superior (CENEVAL) presentando el origen, propósito y habilidades que se incluyen en cada uno de ellos en un área de evaluación común de ambas pruebas como son las matemáticas y el ejemplo del manejo de este contenido en algunos de sus reactivos.⁵ Aunque se trata de exámenes diferentes en cuanto a su concepto de elaboración,⁶ ambos son de tipo prospectivo y diagnóstico y son aplicados a estudiantes que han concluido o están por concluir su educación básica, lo que los hace factibles de una posible comparación y permite dar cuenta de la situación que guarda nuestro país en materia de elaboración de exámenes a gran escala.

 

LA PRUEBA PISA

El Programa Internacional de Evaluación de Estudiantes (PISA) es el más reciente estudio evaluativo de corte internacional realizado básicamente con todos los países miembros de la OCDE y con algunos países no miembros que han aceptado unirse.

Origen

El estudio se concibió en 1997 y se puso en marcha al año siguiente. Fue aplicado por primera vez en el año 2000 a un número aproximado de 250 mil estudiantes de 15 años, aquellos que en el ámbito mundial se encuentran concluyendo la educación básica. Una muestra pequeña de los 17 millones de jóvenes de los 32 países participantes (OCDE, 2002a: 16).⁷ Su objetivo fue obtener indicadores sobre el rendimiento en las áreas de lectura,⁸ matemáticas y ciencias de los estudiantes de 15 años para, por una parte, contar con elementos que permitieran influir en la definición de las políticas educativas y, por otra, identificar y difundir los factores que en cada sistema educativo favorecen el desarrollo de competencias y aptitudes.

El fin de todo esto es apoyar a los países en la mejora de su sistema escolar, con miras a una mejor preparación de los jóvenes para ingresar al mundo cambiante y globalizado.

Propósito

PISA es una evaluación comparada de tipo estandarizada y de corte prospectivo, cuya intención es conocer el grado de preparación de los estudiantes para la vida adulta en cuanto al manejo de ciertos conocimientos básicos, los procesos y principios que se necesitan para la comprensión de los conceptos implicados en éstos y la capacidad de los alumnos para responder a situaciones diferentes en contextos que demandan la aplicación de conocimientos y destrezas desarrolladas hasta el momento (OCDE, 2000).

Las cuestiones a las que obedece PISA son, de acuerdo con la OCDE (2002a: 3):

• ¿Tienen los estudiantes la preparación adecuada para enfrentar los retos del futuro?

• ¿Son capaces de analizar, razonar y comunicar sus ideas eficazmente?

• Tienen la capacidad de continuar aprendiendo durante toda su vida?⁹

Contenido de la evaluación matemática en PISA En las pruebas de matemáticas del PISA, lo que se mide es la aptitud matemática, entendida como la "aptitud para plantear, formular, resolver e interpretar problemas a través de las matemáticas en diferentes situaciones y contextos" (OCDE, 2004: 27).

Dos son los campos de evaluación:

a)  "Grandes ideas"¹⁰
b)  Competencias matemáticas

Estos campos incluyen tres áreas:

• Contenidos
• Procesos o procedimientos
• Situaciones o tareas en las que se emplean las matemáticas

Los contenidos, definidos como "conjuntos de conceptos matemáticos relevantes y conectados que se presentan en situaciones y contextos reales" (OCDE, 2000: 24), son temas generales presentados como grandes ideas que incluyen cantidades, espacios, formas, cambios y relaciones e incertidumbre.

Los procesos o procedimientos se refieren a aptitudes agrupadas en tres clases de "conjuntos de competencias": reproducción, conexiones y reflexión.

La reproducción incluye cálculos simples o definiciones comunes. Las conexiones demandan la reunión de ideas y procedimientos matemáticos para resolver problemas. La reflexión consiste en el razonamiento matemático y la generalización e introspección. Es decir, son destrezas generales que incluyen la argumentación, diseño, planteamiento y resolución de problemas, representación, simbolización, formalismo, comunicación y uso de herramientas, todas ellas enfocadas a la resolución de problemas, al uso del pensamiento matemático y el diseño de éste. Estas competencias no se evalúan por separado, sino de manera conjunta, mediante tareas que a su vez demandan un tipo de destreza específico.

Para el primer nivel de competencia, que es el más elemental, las tareas se refieren al recuerdo de objetos y propiedades matemáticas, desarrollo de procedimientos de rutina y la manipulación de expresiones que contengan símbolos, es decir, destrezas de corte simbólico, formal y técnico.

En el segundo nivel de competencia, el intermedio, las tareas que se solicitan son: manejo de distintos métodos de representación de acuerdo con ciertas situaciones y objetos, así como distinguir y relacionar diferentes afirmaciones, lo que requiere destrezas de argumentación, diseño, planteamiento, decodificación e interpretación del lenguaje simbólico y formal, y comprensión de sus relaciones con el lenguaje natural.

En el tercer nivel de competencia, que es el más complejo, lo que se pretende es la matematización implícita en todo pensamiento matemático.¹¹ Las tareas que se incluyen son: análisis, interpretación y desarrollo de los propios modelos y estrategias para la resolución de problemas, así como presentación de argumentos matemáticos que incluyen demostraciones y generalizaciones. Para ello se requiere de la capacidad para expresar y comunicar ideas matemáticas en distintas maneras, así como de la comprensión y razonamiento de las expresiones matemáticas en diversidad de formas (OCDE, 2000: 75–78).

Las situaciones se refieren a "tareas auténticas" que representan los tipos de problemas en donde se emplean las matemáticas que se encuentran en la vida diaria.

El Cuadro 1 muestra de manera conjunta la organización del contenido en las pruebas de matemáticas del PISA para alumnos que están por concluir la educación básica y permite observar que el contenido de evaluación en PISA está más enfocado a procesos y procedimientos que a contenidos disciplinares como tales. Más bien éstos están agrupados en cinco grandes grupos, que tienen que ver con tales procedimientos.

Como una manera de ilustrar el contenido propuesto presentamos algunos ejemplos de los reactivos de matemáticas de la prueba PISA.

Este es un multireactivo,¹² en donde las preguntas que lo conforman contienen diferente grado de complejidad: en la pregunta 1 se espera que a partir de un patrón dado los alumnos sean capaces de interpretar la información presentada y encontrar las relaciones correspondientes. En la pregunta 2, los alumnos necesitarán interpretar expresiones que contengan palabras y símbolos y vincular diferentes representaciones (gráfica, verbal y algebraica) en dos relaciones (cuadrática y lineal), además de usar su razonamiento para explicar su respuesta. En la pregunta 3 se requiere demostrar la comprensión de las funciones matemáticas mediante la comparación de una función lineal con una cuadrática. Se trata de una pregunta que implica un pensamiento matemático, en donde el estudiante deberá reconocer y extraer las matemáticas incluidas en una situación dada para el planteamiento y resolución de problemas, en situaciones que requieren del análisis, la interpretación y el desarrollo de los propios modelos matemáticos, que incluyan la demostración y generalización.

Este reactivo requiere de procesos de reproducción y cálculo y memoria de expresiones y procedimientos de medida relacionados con el espacio y la forma (geometría).

Los reactivos de un examen de matemáticas del PISA para jóvenes de 15 años, dan cuenta de que las matemáticas son evaluadas con reactivos que demandan capacidades de análisis, interpretación y representación de situaciones matemáticas que se puedan encontrar en la vida diaria.

Así tenemos que el contenido de la evaluación matemática en PISA está centrado en la activación de procesos y habilidades intelectuales para la aplicación del conocimiento a contextos reales.

 

EL EXAMEN NACIONAL DE INGRESO A LA EDUCACIÓN MEDIA SUPERIOR PARA ALUMNOS QUE CONCLUYEN LA EDUCACIÓN BÁSICA (EXANI–1)

Orígenes del EXANI–1

El Examen Nacional de Ingreso a la Educación Media Superior (EXANI–1), creado fundamentalmente por la Coordinación Nacional para la Planeación de la Educación Superior (CONPES), cuyos orígenes datan del año 1996;¹³ se estructura y elabora por el Centro Nacional de Evaluación de la Educación Superior (CENEVAL) con base en las normas, políticas y criterios que establece su consejo técnico (véase http://www.cenevalac.edu.mx/portalceneval/index.php?q=info.fichas.ficha54).

Propósito del EXANI–1

El EXANI–1, examen dirigido a jóvenes que actualmente se encuentran cursando el tercer grado de secundaria, tiene fines meramente de diagnóstico; de acuerdo a lo señalado por CENEVAL, es un examen para explorar lo que se sabe y cómo se usa lo que se sabe, es decir, las habilidades¹⁴ que deben haber desarrollado los estudiantes durante los estudios de secundaria y que son indispensables para enfrentar con éxito los aprendizaje que se ofrecen en la educación media superior. Los resultados del EXANI–1 permiten identificar a los aspirantes con mayores probabilidades de éxito en la educación media superior (CENEVAL, 2004).

Contenido del EXANI–1

El EXANI–1 (Cuadro 2) es una prueba de razonamiento y conocimientos básicos en donde se incluyen preguntas que están organizadas de acuerdo a dos campos de evaluación:

• Habilidades intelectuales básicas

• Conocimientos disciplinarios.

Al revisar el contenido que el EXANI–1 presenta, observamos algunas situaciones que consideramos importante destacar:

• El contenido de evaluación está centrado en los planes y programas de estudio de la educación básica; no existe un contenido propio debido a la ausencia de la definición de un contenido a evaluar.

• La mayor parte de los contenidos a evaluar son de tipo declarativo, lo que hace escasa la evaluación de procedimientos.

• Los conocimientos evaluados son presentados como un listado de temas, lo que revela cierto enciclopedismo.

• No hay relación entre la definición del objeto de evaluación y la organización del contenido a evaluar en sus reactivos.

• La conceptualización sobre las habilidades o contenidos que se evalúan es inexistente.

• Las "habilidades" se evalúan de manera independiente a los contenidos, lo que hace pensar que no se consideran como parte de un proceso de conocimiento.

• Se refieren habilidades como contenidos, lo que denota no sólo una ausencia de clarificación del concepto, sino una confusión en el uso de los mismos.

• Se nota la ausencia de una fundamentación que justifique el tipo de reactivos utilizados y la forma en como éstos se estructuran e integran en la prueba.¹⁵ La evaluación de las matemáticas reside, la mayoría de las veces, en tareas de cálculo a manera de práctica y realización de ejercicios descontextualizados para los cuales generalmente no se requiere el pensamiento lógico.

Veamos algunos reactivos del EXANI–1, que han sido liberados en su guía de estudio.

En estos reactivos se puede observar que en el EXANI–1 la evaluación de la "habilidad matemática" se realiza bajo las siguientes circunstancias:

• Las tareas se refieren a encontrar la relación numérica o gráfica de la secuencia presentada.

• Los procesos implícitos en las tareas comprenden procesos de ordenamiento, percepción y análisis.

• Con base en los procesos incluidos en las tareas se puede decir que la habilidad matemática se considera como el ejercicio¹⁶ de operaciones mentales encaminadas al tratamiento y manejo de la información.

• El tipo de reactivos presenta situaciones un tanto abstractas, lejanas de la realidad y necesidades cotidianas de los estudiantes.

Aunque se afirme que el EXANI–1 del CENEVAL es una prueba que mide habilidades, las habilidades o procesos implícitos en las tareas de los reactivos están encaminados a la activación de la memoria para la reproducción de un conocimiento; se desconoce el ejercicio de procesos superiores de pensamiento encaminados al uso, transferencia o aplicación del conocimiento, como ocurre en las pruebas internacionales.

 

PRUEBAS INTERNACIONALES Y PRUEBAS NACIONALES. UN ANÁLISIS DE SU CONTENIDO

A partir del análisis realizado de una prueba internacional como PISA y de una nacional como EXANI–1, en un área de evaluación común, ambas aplicadas a alumnos que están concluyendo la educación básica, podemos dar cuenta de las semejanzas y diferencias encontradas en cuanto a su estructura. [cuadro 3]

Las semejanzas y diferencias encontradas en el contenido de los exámenes de matemáticas para alumnos que concluyen la educación básica, residen en que:

• PISA maneja un concepto funcional y cognitivo de las matemáticas al conceptualizarlas como la activación de procesos de identificación, lógica, sistematización, comprensión, práctica y transferencia; en el EXANI–1, no se define.

• PISA contempla dos dimensiones en su contenido de evaluación: conocimiento y habilidades (procesos, comportamientos o competencias). En el EXANI–1 no se contemplan.

• PISA establece cinco campos temáticos. En el EXANI–1 sólo se presentan tareas encaminadas al tratamiento y manejo de la información.

• En los estudios internacionales los procesos que se incluyen en la evaluación de las matemáticas son de distinta índole. PISA comprende procesos de corte más genérico, funcional y cognitivo. El EXANI–1 sólo ser refiere a cuestiones de ordenamiento, percepción y análisis.

Estas diferencias dan cuenta de que mientras los exámenes masivos en el ámbito internacional presentan cierta relación entre conceptualización y contenido de la evaluación matemática, que induce a un concepto de contenido enfocado a la aplicación del conocimiento matemático, el EXANI–1 no ofrece ningún planteamiento teórico y su evaluación se centra en la mera resolución de ejercicios matemáticos.

 

COMPARACIÓN ENTRE EXÁMENES INTERNACIONALES Y NACIONALES

El análisis y comparación de los sustentos teórico–metodológicos con respecto a cómo se mide en el plano internacional y lo que prevalece y existe a nivel nacional en materia de instrumentos para evaluar y medir el aprendizaje en la educación básica, dan cuenta de que:

• Los exámenes que circulan en el plano internacional incorporan y presentan un concepto de contenido (véase Díaz Barriga, 2004 y 2006) en su marco de evaluación, mismo que se puede identificar en la conceptualización que hacen de su objeto de evaluación y la vinculación que existe con la manera en como organizan su contenido. La situación de los exámenes en México dista mucho de contar con un concepto de contenido.

• Las pruebas internacionales están estructuradas en torno a conceptos tales como habilidades, competencias, conocimientos y aptitudes para la vida. No son pruebas elaboradas conforme a un plan de estudios, como en las pruebas de la experiencia mexicana como el EXANI–1, sino a las capacidades adquiridas por los estudiantes para aplicar el conocimiento y desempeñarse adecuadamente en situaciones de la vida cotidiana. En el marco internacional el contenido de evaluación está ubicado con un enfoque más funcional que nominal, como es el caso de las pruebas mexicanas. He aquí una de las diferencias más importantes.

• En los instrumentos internacionales de evaluación, los procesos y contenidos implícitos en los reactivos se refieren a procesos complejos de pensamiento para la aplicación de procedimientos. En el EXANI–1 vemos procesos o habilidades básicas, asociados siempre a un contenido disciplinar.

• Los exámenes internacionales presentan cambios importantes en los atributos y operaciones a medir, los cuales están perfectamente definidos e incluyen nuevos objetos y propiedades de evaluación tales como pensamiento lógico y sistemático, competencia comunicativa, competencia matemática y reflexión sobre los textos. Los exámenes en México definen su atributo a partir de los planes y programas de estudio solamente.

Hasta aquí tenemos que las agencias internacionales están promoviendo y aplicando modelos y teorías alternativas para medir y evaluar el aprendizaje escolar mientras que en México la evaluación se incorporó de manera abrupta, sin incluir las tendencias y teorías actuales.

En los exámenes masivos aplicados en México prevalece la idea de aprendizaje como acumulación de contenidos, lo cual reduce a la evaluación a una mera reproducción del conocimiento de los mismos; a diferencia de lo que pasa en este país, en las pruebas internacionales subyace una idea de aprendizaje más funcional y sobre todo integrador, pues éste se concibe como la vinculación entre el conocimiento y su aplicación a una situación real y cotidiana.

Detrás de toda práctica educativa —y dentro de ésta, la evaluación del aprendizaje no es la excepción— siempre hay teorías o supuestos que se asumen; la intención de este artículo ha sido ponerlos de manifiesto y compararlos, para situar el estado que guardan los exámenes masivos a nivel nacional dentro del plano internacional.

 

ALGUNAS REFLEXIONES A PROPÓSITO DEL CONCEPTO DE CONTENIDO EN LOS EXÁMENES MASIVOS

Conviene aclarar el uso del término "habilidad" como contenido de evaluación de los exámenes masivos tanto en el plano internacional como en el nacional, pues no queda claro si lo que se mide es una habilidad entendida como destreza, como finalidad educativa, como contenido, como estrategia o como capacidad.

En la concepción tradicional sobre enseñanza y aprendizaje, los contenidos son saberes constituidos, sistemáticamente planificados con fines de transmisión, incorporación y acumulación de los conocimientos más importantes para una determinada sociedad.

La concepción cognitiva y constructivista minimiza y relativiza la importancia de los contenidos y se centra en el desarrollo de las capacidades cognitivas de los alumnos, rechazando y cuestionando la importancia que se le da a los contenidos en la postura llamada comúnmente como tradicional.

Existen ciertas posturas, como la de la Reforma Española, que tienden a incluir todos estos aspectos en los objetivos curriculares.¹⁷ El aporte de la Reforma Española y, en concreto, de la propuesta de Coll, es integrar ambos conceptos como contenidos de aprendizaje y romper con el antagonismo de dichas posturas al conceder una importancia considerable al aprendizaje de ciertos contenidos, pero considerándolos no como un fin en sí mismos, sino como un medio para el desarrollo de las capacidades cognitivas¹⁸ de los estudiantes; se destaca así la necesidad de una actividad constructiva del alumno en el aprendizaje a través de la enseñanza no sólo de hechos o principios, sino de procedimientos y actitudes. De ahí que dentro de la propuesta de la Reforma Española, los contenidos se conciben en una acepción mucho más amplia y se definen como "conjunto de saberes o formas culturales cuya asimilación y apropiación por los alumnos se considera esencial para su desarrollo y socialización" (Coll, Pozo, Sarabia y Valls, 1992:13).

Con respecto a la habilidad, o a las llamadas habilidades del pensamiento, éstas son concebidas dentro de la teoría constructivista como la práctica controlada y consciente de un proceso mental, entendiendo como proceso a los operadores intelectuales que actúan sobre los conocimientos para transformarlos y generar nuevas estructuras (De Sánchez, 1991). Algunos procesos considerados como básicos son: la observación, la comparación y la clasificación. Estos procesos a su vez pueden descomponerse en procedimientos para generar estructuras mentales de tipo procedimiental, que es a lo que César Coll ha llamado contenidos procedimentales.¹⁹

En cuanto a las estrategias, Nickerson las concibe como mecanismos a través de los cuales se pueden relacionar los procesos y las estructuras y dependen del tipo de situación y de tarea; de ahí que se refieran a saber qué hacer y cuándo hacerlo, es decir, a la clase de operaciones mentales que se es capaz de aplicar ante diferentes situaciones de aprendizaje (Nickerson, Perkins y Smith, 1994).

La necesidad de clarificar qué se entiende por el contenido de la evaluación radica en que un elemento básico en todo proceso de medición es la definición del atributo u objeto a medir (véase Thorndike y Hagen, 1978) de ahí la importancia de que, si se dice que es una prueba centrada en habilidades, se especifique y defina qué se entiende por dicho término; es decir, si se trata de un "contenido procedimental", una "estrategia" o una "capacidad desarrollada"; una clarificación del concepto permitiría a los docentes trabajar mucho más y mejor dichos elementos en el proceso enseñanza–aprendizaje.

La inclusión de términos como "habilidades" y "competencias" en el contenido de evaluación de los exámenes masivos, tanto en el plano internacional como nacional, induce a cuestionamientos como los siguientes:

• ¿Qué tanto se promueve la enseñanza y el aprendizaje de procedimientos, estrategias, habilidades o competencias, dentro de la enseñanza básica?

• ¿Realmente el proceso enseñanza–aprendizaje, consiste en una práctica constante de acciones tendientes a sistematizar y desarrollar procesos mentales de orden superior para la aplicación de un conocimiento en miras a resolver un problema o alcanzar una meta?

• ¿A los alumnos en la escuela primaria o secundaria se les enseña cómo utilizar el conocimiento trabajado?

• ¿Los exámenes elaborados por los docentes son exámenes que demandan la aplicación del conocimiento e incluyen la evaluación de algunas habilidades mentales, o sólo se enfocan a la reproducción de información?

Tales cuestionamientos inducen a pensar que la mayoría de los estudiantes, en especial los alumnos de la escuela básica en México, están muy poco familiarizados con pruebas centradas en habilidades o "competencias"; la mayoría de los exámenes que ellos han contestado son pruebas que demandan la memorización de conceptos, hechos y principios, y no el uso de procesos cognitivos de mayor nivel.

 

TAREAS PENDIENTES PARA MÉXICO EN LA ELABORACIÓN DE EXÁMENES

La comparación realizada en cuanto a contenido y estructura de los exámenes masivos a nivel internacional y la situación que guardan los exámenes realizados en México, permite identificar algunas tareas pendientes en materia de construcción de pruebas.

1. Es importante que pruebas como el EXANI–1, que de acuerdo con los documentos que las sustentan evalúan habilidades, empiecen por definir, de manera independiente al plan de estudios, qué entienden por habilidades y en qué consisten las habilidades que se pretenden medir; es decir, que presenten una definición propia de los atributos y constructos y una organización del contenido acorde con las definiciones elaboradas, para comenzar a conformar un "concepto de contenido" que las sustente (véase Díaz Barriga, 2004 y 2006).

2. Los exámenes masivos a nivel nacional deberán presentar conceptos estructurantes propios, diferentes a los de los planes y programas de estudio, que ofrezcan un nuevo concepto y teoría de evaluación y, por ende, de aprendizaje.

3. Los exámenes nacionales tendrán que diversificar el formato de sus reactivos e incorporar procesos cognitivos que no sólo demanden reproducción de información o práctica de algún ejercicio, sino procesos de pensamiento más complejos para una aplicación y reflexión de lo aprendido

4. Las pruebas aplicadas en México requieren de un sustento teórico–metodológico, acorde con las tendencias actuales a nivel internacional, que incorpore modelos y elementos recientes en materia de medición psicométrica.

5. Las pruebas nacionales tendrán que incluir nuevos enfoques que retomen los avances existentes con respecto a la teoría cognitiva para la elaboración de test, con el fin de identificar los procesos y actitudes necesarios para el aprendizaje, tales como las ideas preconcebidas, las estrategias y los recursos cognitivos de los estudiantes (véase Wittrock y Baker, 1998).

Como vemos, existen muchas tareas pendientes en materia de elaboración de exámenes masivos que es importante retomar y comenzar a trabajar, si es que se aspira a contar con un sistema de evaluación, y por ende un sistema educativo, acorde a las tendencias teórico–metodológicas que a nivel internacional se están operando en materia de evaluación del aprendizaje.

 

UNA REFLEXIÓN FINAL

Ante la ola de exámenes tanto nacionales como internacionales que están invadiendo nuestro sistema educativo, conviene destacar:

• La idea que prevalece en los programas de evaluación en México ha residido en la mera selección, jerarquización y comprobación, más que la de mejora. Algunas acciones, como las del EXANI–1, surgen como respuesta a problemáticas de cobertura y recepción que las instituciones no han podido resolver.

• La vinculación evaluación–enseñanza–aprendizaje continúa sin resolverse en los exámenes masivos, tanto nacionales como internacionales.

• El tratamiento pedagógico de la evaluación a nivel nacional e internacional, y de los resultados obtenidos en pruebas aplicadas a gran escala, continúa como tarea pendiente.

• Existe una abundante enumeración de acciones en materia de aplicación de exámenes estandarizados, pero sin la construcción, y sobre todo difusión, de un marco teórico–conceptual que las fundamente.

• Prevalece una escasa, o más bien nula, formación de docentes en materia de evaluación y elaboración de exámenes. El docente sigue siendo el gran ausente.

El propósito de este estudio es ofrecer al docente, y a todos los interesados en la enseñanza, elementos para recuperar su papel protagónico tanto en materia de enseñanza como de evaluación a partir de conocer las tendencias internacionales en la elaboración de exámenes; porque al conocer el contenido, las tareas y el tipo de reactivos de los exámenes masivos elaborados por agencias internacionales, y la situación que guardan nuestros exámenes nacionales, podrá generar estrategias didácticas y de evaluación acordes con las demandas mundiales en materia de aprendizaje.

 

REFERENCIAS

CENEVAL (2004), Cómo prepararse para el Examen Nacional de Ingreso a la Educación Media Superior (EXANI–1), México, CENEVAL.        [ Links ]

COLL, C., J. I. Pozo, B. Sarabia y E. Valls (1992), Los contenidos en la Reforma. Enseñanza y aprendizaje de conceptos, procedimientos y actitudes, Madrid, Santillana.        [ Links ]

COLL, C. y E. Martín (1994), "La evaluación del aprendizaje en el currículum escolar: una perspectiva constructivista", en C. Coll, E. Martín, T. Mauri, M. Miras, J. Onrubia, I. Sole y A. Zabala, El constructivismo en el aula, Barcelona, Graó.        [ Links ]

COLL , C. (2003), Aprender contenidos, desarrollar capacidades. Intenciones educativas y planificación de la enseñanza, Barcelona, Edebé.        [ Links ]

Comisión Metropolitana de Instituciones Públicas de Educación Media Superior (s/f), Concurso de Selección para la Educación Media Superior 1996, (Documento impreso, no editado).        [ Links ]

DE Sánchez, M.A. (1991), Desarrollo de habilidades del pensamiento. Razonamiento verbal y solución de problemas, México, Trillas.        [ Links ]

DÍAZ Barriga, A. (2004), "Comentarios de la mesa redonda: comparabilidad de los resultados de las evaluaciones, en INEE, Jornadas de Evaluación Educativa. Memoria, México, INEE.        [ Links ]

DÍAZ Barriga, A. (2006), "Las pruebas masivas. Análisis de sus diferencias técnicas", Revista Mexicana de Investigación Educativa, vol. 11, núm. 29, pp. 583–615.        [ Links ]

FERRER, G. y P. Arregui (2003), Las pruebas internacionales de aprendizaje en América Latina y su impacto en la calidad de la educación: criterios para guiar futuras aplicaciones, Documento 26, Informe de investigación. Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (PREAL). Disponible en: http://www.preal.org/Biblioteca.asp?         [ Links ]Id_Carpeta=64&Camino=63%7CPrealPublicaciones/64%7CPREALDocumentos

GIL, M. (2005), México en PISA. Análisis de resultados. Mesa Pública de Análisis de Evaluación Educativa, versión estenográfica, México, INEE. Disponible en: http://capacitacion.ilce.edu.mx/inee/mesapublipisa2003.pdf        [ Links ]

HULL Frank (1997), "Evaluación educacional internacional. El ejemplo de la IEA, su investigación y desafío", en Claudio De Moura y Martín Carnoy (eds). ¿Qué rumbo debe tomar el mejoramiento de la educación en América Latina? Seminario sobre reforma educativa en América Latina, Washington, D.C., Departamento de Desarrollo Sostenible, Banco Interamericano de Desarrollo (BID).        [ Links ]

MARTÍNEZ Rizo, F. (2001), "Evaluación educativa y pruebas estandarizadas. Elementos para enriquecer el debate", Revista de la Educación Superior, vol. XXX, no. 120 (octubre–diciembre).        [ Links ]

NICKERSON, R., D. Perkins y E. Smith (1994), Enseñar a pensar. Aspectos de la aptitud intelectual, Barcelona, Paidós.        [ Links ]

Organización para la Cooperación y el Desarrollo Económico, OCDE (2000), Proyecto PISA: La medida de los conocimientos y destrezas de los alumnos: un nuevo marco de evaluación, Madrid, Ministerio de Educación, Cultura y Deporte, INCE. Disponible en: http://www.ince.mec.es/pub/pisacomp.pdf (Original publicado en 1999).        [ Links ]

OCDE (2001a), Proyecto PISA. La medida de los conocimientos y destrezas de los alumnos: la evaluación de la lectura, las matemáticas y las ciencias en el proyecto Pisa 2000 / OCDE, Madrid, Ministerio de Educación, Cultura y Deporte, INCE. Disponible en: http://www.ince.mec.es/pub/pisa2000assessment.pdf (Original publicado en 2000).        [ Links ]

OCDE (2001b), Conocimientos y destrezas para la vida. Primeros resultados del Proyecto PISA 2000. Resumen de resultados (Versión española de Guillermo Gil Escudero), Madrid, Ministerio de Educación, Cultura y Deporte, INCE. Disponible en: http://www.ince.mec.es/pub/pisa2000–int.pdf        [ Links ]

OCDE (2002a), Conocimientos y aptitudes para la vida. Resultados de PISA 2000 (Traducido por Claudia Estéve), México, OCDE–Santillana (Aula XXI) (Original publicado en 2001).        [ Links ]

OCDE (2002b), Muestra de reactivos empleados en la evaluación PISA 2000. Aptitudes para la lectura, matemáticas y ciencias, México, OCDE–Santillana (Aula XXI).        [ Links ]

OECD–UNESCO (2003), Literacy Skills for the World of Tomorrow: Further Results from PISA 2000, OECD/UNESCO–UNESCO Institute for Statistic (UIES). Disponible en: http://www1.oecd.org/publications/e–book/9603071E.PDF        [ Links ]

SÁNCHEZ, M. de A. (1999), Desarrollo de habilidades del pensamiento. Procesos básicos del pensamiento, México, Trillas.        [ Links ]

SNYDERS, G. (1978), "¿Es el maestro de escuela quien ha perdido la batalla contra las diferencias sociales?", en Lucien Sève, Michel Verret y Georges Snyders, El fracaso escolar, México, Ediciones de cultura popular.        [ Links ]

THORNDIKE, R. y E. Hagen (1978), Tests y técnicas de medición en psicología y educación: elaboración, diseños, investigación, aplicación, México, Trillas.        [ Links ]

WITTROCK, M. y E. Baker (1998), Test y cognición. Investigación cognitiva y mejora de las pruebas psicológicas, España, Paidós.        [ Links ]

 

NOTAS

* Este trabajo forma parte de una investigación más amplia denominada "Exámenes masivos: un análisis entre pruebas internacionales y nacionales".

1. "Los orígenes de esta asociación se remontan a inicios de los 50, cuando pequeños grupos de profesores iniciaron conversaciones informales en torno al entonces Instituto de Educación de la UNESCO. El interés común que reunía a las personas en esa época era el área de educación comparada, pero con el tiempo el énfasis varió hacia las técnicas aplicadas de evaluación educacional, que permitiera hacer comparaciones válidas entre naciones" (Hull, 1997: 117).

2. México comienza su incursión en estudios internacionales de evaluación en 1995 con el Tercer Estudio Internacional en Matemáticas y Ciencias (TIMSS). En 1997 participó en el Primer Estudio Internacional Comparativo sobre Lenguaje, Matemáticas y Factores Asociados para Alumnos de Tercer y Cuarto grado de la Educación Básica, realizado por el Laboratorio Latinoamericano de Evaluación de la Calidad (LLECE) de la UNESCO. En 2000, 2003 y 2006 ha participado de manera consecutiva en el Programa Internacional para la Evaluación de los Estudiantes (PISA) auspiciado por la Organización para la Cooperación y el Desarrollo Económico (OCDE).

3. Se conoce como "pruebas internacionales" a los estudios de evaluación comparada realizados por agencias y organismosinternacionales. Se trata de "instrumentos de medición estandarizados que se aplican en varios países simultáneamente, en grados o grupos seleccionados y que recogen información sobre logros de aprendizaje conceptual y procedimental en diferentes disciplinas y sobre los factores contextuales que se presume influyen en el logro académico de los estudiantes" (Ferrer y Arregui, 2003: 8).

4. Como exámenes masivos entendemos las pruebas aplicadas a gran escala que cumplen con las cualidades psicométricas básicas y las características técnicas que permitan la aplicación a muestras numerosas en forma casi simultánea. La aplicación de exámenes masivos en México comienza a partir de 1970. Una de las experiencias pioneras al respecto en este país fue la realizada por la Facultad de Medicina de la UNAM, que a mediados de los 70 desarrolló un banco de reactivos de opción múltiple para el examen de titulación de la carrera de Médico Cirujano. Los exámenes de selección para ingreso a la UNAM se consideran como las más importantes al respecto. En materia de educación básica la SEP, a finales de los 70 comienza la aplicación de pruebas a muestras nacionales de alumnos para valorar el aprendizaje (Martínez, 2001: 80–83).

5. Dado que la intención de este artículo no es un análisis de reactivos, sino del contenido de las pruebas, se tomaron como ejemplos sólo dos reactivos de cada una de las pruebas.

6. Aunque ambos manejan el término de habilidades, PISA está enfocado a diagnosticar las habilidades y destrezas para la vida y el EXANI–1 se aboca a las habilidades de tipo más académico, relacionadas con contenidos disciplinarios.

7. Posteriormente, en el año 2001, 11 países decidieron incorporarse al proyecto PISA: Argentina, Bulgaria, Chile, Hong Kong–China, Indonesia, Israel, FYR Macedonia, Perú, Rumania y Tailandia. Los resultados de este estudio, que implica una cobertura más amplia, se publicaron en OECD–UNESCO, 2003.

8. PISA 2000, estuvo principalmente orientado a la evaluación de la lectura.

9. Estos son los cuestionamientos base que la OCDE establece en sus documentos y que responde a un modelo de aprendizaje dinámico entendido como "aprendizaje a lo largo de la vida en el que se van añadiendo nuevos conocimientos y destrezas que son necesarios para la adaptación con éxito a las circunstancias de cada momento" (OCDE, 2000: 20). El propósito que la OCDE se plantea es realizar una evaluación de tipo prospectiva, enfocada a comprobar la capacidad de los jóvenes para emplear sus conocimientos y competencias al enfrentar los retos que presenta la vida real y la sociedad del conocimiento, más que comprobar el dominio de un plan de estudios (OCDE, 2002: 14). Sin embargo, asumimos que indudablemente tales cuestionamientos responden a una intencionalidad de comprobar la efectividad de los sistemas educativos en términos de su funcionalidad para insertar a los jóvenes al mundo del trabajo y a la vida productiva. Este es el transfondo sociopolítico y económico de los estudios de evaluación de la OCDE, aspecto que no abordamos con profundidad en este trabajo por considerar que escapa a las intención central del mismo: realizar un análisis de los estudios de evaluación de la OCDE más desde lo pedagógico que de lo social.

10. En el proyecto OCDE–PISA, "las grandes ideas matemáticas representan conjunto de conceptos matemáticos fundamentales y conectados que aparecen en situaciones y contextos matemáticos reales" (OCDE, 2000: 74).

11. En el proyecto PISA la matematización se concibe como la organización de la realidad percibida a través de la utilización de ideas y conceptos matemáticos para lo cual se requiere de diversas competencias. Esta matematización puede acontecer en dos direcciones: matematización horizontal, que implica trasladar al mundo real el matemático, mediante la organización empleada para descubrir regularidades, relaciones y estructuras con base en los conocimientos y destrezas matemáticas adquiridas. La matematización vertical, que requiere trabajar sobre un problema y emplear herramientas para resolverlo, mediante la representación de una relación, la comprobación de regularidades, el refinado, combinación e integración de ajustes y modelos (ocde, 2000: 79).

12. Se conocen como multireactivos los reactivos que dependen de un texto fuente, del cual se derivan varias preguntas.

13. El Concurso de Selección para la Educación Media Superior, convocado en el año de 1996 por la Comisión Metropolitana de Instituciones Públicas de Educación Media Superior, se sitúa como un antecedente importante del EXANI–1 y se establece como respuesta para atender las problemáticas originadas por el incremento de la demanda de la educación media superior que las instituciones por sí solas no podían resolver. (Véase Comisión Metropolitana de Instituciones Públicas de Educación Media Superior, Concurso de Selección para la Educación Media Superior 1996).

14. Nótese que aquí se manejan habilidades como uso de conocimientos.

15. El argumento que se les da a los estudiantes para explicarles la estructura del examen es: "el EXANI–1 evalúa sólo los conocimientos y habilidades que van a ser indispensables para que progreses en los estudios del nivel superior, y que debes haber aprendido gracias al trabajo regular realizado en la escuela secundaria" (CENEVAL, 2004: 13).

16. Referimos ejercicio desde la noción de ejercicio didáctico de Snyders (1978), es decir, como simple práctica.

17. Con la finalidad de no privilegiar o descartar la enseñanza y aprendizaje de contenidos, o bien de habilidades y/o estrategias cognitivas, Coll ha caracterizado y clasificado a los contenidos curriculares en tres tipos: hechos y conceptos, procedimientos, actitudes y valores (véase C. Coll y E. Martín, 1994).

18. En su más reciente libro, Coll considera el desarrollo de las capacidades como finalidades educativas de los procesos de enseñanza–aprendizaje y afirma que: "Las capacidades son la meta de la enseñanza, la guía de la práctica en el aula, el referente del éxito o fracaso de las instituciones escolares" (véase Coll y Martín, 2003).

19. El Diseño Curricular Base de la Reforma Española (DCB), considera a los procedimientos como "conjunto de acciones ordenadas, orientadas a la consecución de una meta". Lo que se pretende es que el alumno aprenda a llevar a cabo determinadas acciones de manera ordenada para alcanzar una meta (véase Coll, Pozo, Sarabia y Valls, 1992).