Pruebas escritas como estrategia de evaluación de aprendizajes matemáticos. Un estudio de caso a nivel superior

Written test as a strategy assessment learning mathematics. A case study of a higher level

Martha Jarero Kumul*, Eddie Aparicio Landa**, Landy Sosa Moguel***

* Universidad Autónoma de Yucatán, México. jarerok@uady.mx.

*** Universidad Autónoma de Yucatán, México. smoguel@uady.mx.

Recepción: Agosto 15, 2011;
Aceptación: Marzo 29, 2013.

Resumen

Si bien la evaluación de aprendizajes y el diseño e implementación de estrategias necesarias para ésta son tareas cotidianas del profesorado, cierto es que se carece de conocimiento sobre los criterios empleados por los profesores al momento de llevar a cabo una evaluación, más aun, se desconocen los lineamientos que siguen para el diseño de pruebas escritas y la confiabilidad o alcances de los mismos. En este sentido se presentan los resultados de un estudio sobre la forma en que profesores de educación superior conciben y realizan la evaluación de aprendizajes matemáticos en un curso de Álgebra Superior I. La idea central consistió en asumir a la prueba escrita como componente de un sistema de evaluación.

Palabras Clave: Evaluación, Pruebas escritas abiertas, Álgebra.

Even though teachers design and implement the necessary strategies for learning assessments on a daily basis, there is a lack of knowledge when it comes to set the criteria for evaluation. Moreover, it is unknown the guidelines they follow in order to design a written test, as well as its reliance and its outcomes. On this matter, we present the study results on how teachers from Higher Education level make and conceive their mathematic learning assessments in an Advanced Algebra course. The main idea was to assume that the written test is a system of evaluation.

Key Words: Evaluation, Written tests, Algebra.

Resumo

Embora a avaliação da aprendizagem e a criação e implementação de estratégias necessárias para essa avaliação sejam atividades cotidianas do professor, na verdade há uma carência de conhecimentos sobre os critérios usados pelos professores no momento de realizar uma avaliação. E mais que isso, há um desconhecimento sobre as diretrizes que o professor segue para a elaboração de provas escritas e a confiabilidade ou alcance das mesmas. Desta forma, apresentam-se os resultados de um estudo sobre a forma como os professores de educação superior concebem e realizam a avaliação da aprendizagem matemática em um curso de Álgebra Superior I. A ideia central consistiu em assumir a prova escrita como componente de um sistema de avaliação.

Palavras Chave: Avaliação, Provas escritas abertas, Álgebra.

Résumé

L'évaluation des apprentissages ainsi que la conception et l'implémentation de stratégies nécessaires pour sa mise en œuvre sont des tâches quotidiennes pour le professorat. Néanmoins, on constate une méconnaissance sur les critéres employés par les professeurs pour faire cette évaluation, sur les points de référence dans la conception des épreuves écrites, sa fiabilité ou sa portée. On présente les résultats d'une étude sur la façon dont les professeurs du niveau universitaire conçoivent l'évaluation des apprentissages en mathématiques dans un cours d'Algèbre Supérieure. L'idée principale est de prendre l'épreuve écrite comme une composante d'un système d'évaluation.

1. Introducción

En este artículo se hace referencia al problema de la evaluación educativa en la educación superior, particularmente el problema de la evaluación de aprendizajes matemáticos que se manifiesta por la falta de unificación de significados y diversidad de formas con la que se lleva a cabo por parte de los profesores. Si bien la concepción de enseñanza aprendizaje ha ido cambiando en los últimos años y con ello (al menos en el discurso) también un entendimiento de la evaluación del proceso educativo, lo cierto es que en la educación matemática superior aún prevalecen los exámenes escritos como el principal y en ocasiones único método de evaluación de aprendizajes, lo que induce a pensar que los profesores conciben la evaluación en su carácter administrativo (como práctica institucionalizada) orientada a la rendición de cuentas. De ahí que de las dos distinciones clásicas de la evaluación, la formativa y la sumativa, los profesores dan mayor importancia a la función sumativa que a la formativa (Yorke, 2003).

Es notorio el creciente interés por indagar y contribuir en las formas en que estudiantes, profesores e instituciones educativas conciben y ejercen la evaluación de procesos educativos en la literatura especializada, así como en los tópicos de estudio en las investigaciones de Matemática Educativa en los últimos años. Lo anterior ha sido en cierta forma motivado porque "la evaluación de los estudiantes es una especie de escenario que pone de manifiesto el aprendizaje" (Assis y Espasandin, 2009, p. 203) y en gran medida por el reconocimiento de carencias en las formas y fines por las que se lleva a cabo una evaluación. En efecto, en el amplio trabajo documental desarrollado por Álvarez (2008), se concluye después de su análisis sobre diversas reflexiones del significado de evaluación educativa, prácticas y técnicas asociadas a ésta, que las investigaciones de los últimos años sugieren un cambio en la cultura de ésta tanto en docentes como en estudiantes universitarios y que se oriente principalmente hacia un realismo basado en tareas próximas al practicum.

Según Moreno (2009), no obstante se disponga hoy día de enfoques de enseñanza aprendizaje más amplios e integrales, la evaluación se sigue manifestando en la práctica como algo rígido, centrada en exámenes escritos y restringida a los resultados de los alumnos. Los profesores siguen empleando la evaluación en las aulas como mecanismo de control de comportamientos, luego entonces, es indudable que la evaluación aún es ejercida con propósitos más administrativos que pedagógicos y didácticos.

Este tipo de atributos dados a la evaluación no sorprende del todo, pues como se plantea en Wachtel (1998), la evaluación puede entenderse como un proceso influenciado por factores relacionados con su administración, las características de los cursos, los perfiles de profesores y estudiantes. Así, ante la falta de precisión tanto en la concepción como en la ejecución de la evaluación de procesos de aprendizaje, no es difícil pensar que los profesores, instituciones e incluso los estudiantes, opten por el carácter menos complejo de ésta.

En Runco (2003) se menciona que la evaluación es un proceso selectivo y crítico en el que las ideas originales, creativas y potencialmente útiles deben reconocerse y preferirse por encima de aquellas repetitivas, irrelevantes e inapropiadas. Esto deja ver un carácter más pedagógico y didáctico de la evaluación, es decir, se le confina la cualidad de ser algo dinámico-continuo y complejo, que deviene de una intencionalidad y fines específicos, a saber, el disponer de información confiable y relevante para orientar y retroalimentar el proceso educativo mismo. Asimismo, Hadji (2001), citado por Assis y Espasandin (2009), resalta el carácter pedagógico de la evaluación como una práctica al servicio del aprendizaje, cuando debate sobre la importancia de nuevas formas para evaluar, pues los profesores se han apegado a la prueba como un único modelo de evaluación que muestra lo que memorizan los estudiantes o bien lo que no saben; no evalúa la evolución de sus aprendizajes ni las directrices de estudio.

Sin embargo, en Corica y Otero (2009) encontramos una coincidencia con lo referido en Moreno (2009), que la idea de la evaluación educativa aún se sigue considerando sinónimo de examen, donde por examen ha de entenderse un instrumento de medición de aprendizajes hacia el final del proceso de enseñanza aprendizaje y con énfasis en el tipo de tareas trabajadas en clases. Esto transgrede su carácter dinámico-continuo y complejo para hacerlo algo estático, simple y hasta subjetivo.

Se sabe que el tipo de técnicas empleadas para evaluar los aprendizajes están asociadas con instrumentos que en su mayoría se rigen por la subjetividad de quienes los elaboran (profesores) y en los que usualmente se deja a un lado la participación activa de los evaluados, es decir, generalmente los estudiantes han sido «objetos», no sujetos de la evaluación. Para superar este tipo de carencias, en el trabajo de Sawin (2005) se propone emplear técnicas basadas en el método científico para auxiliar la evaluación que realizan los profesores, pues como se indica en Saroyan y Amundsen (2001), una forma de superar las limitaciones de una evaluación sumativa es emplear creativamente métodos y recursos con un enfoque multidimensional sin desatender la coherencia que debe guardarse entre los tipos de instrumentos o mecanismos usados y los objetivos de instrucción (Chadwick & Rivera, 1997).

Siguiendo este orden de ideas, se planteó como tema central del estudio la evaluación de aprendizajes matemáticos en la educación superior desde una perspectiva del análisis cualitativo de los diseños y uso de las pruebas escritas. Partiendo de reconocer la prueba escrita como el principal medio por el cual los profesores universitarios en matemáticas evalúan (califican) los logros de aprendizaje de sus estudiantes, se plantearon las siguientes interrogantes de estudio: ¿Qué tipo de criterios valorativos se emplean al evaluar el logro de los aprendizajes de los estudiantes en función de lo que ellos expresan en una prueba escrita y qué se puede decir acerca de la imparcialidad de tales criterios?, ¿qué tipo de lineamientos se siguen en la elaboración de pruebas escritas?, ¿constituye la prueba escrita en matemáticas un instrumento equitativo para obtener información y emitir juicios imparciales sobre la consecución de aprendizajes o más ampliamente de un proceso educativo?

Para dar respuesta a las preguntas aquí planteadas, se consideró conveniente trabajar con una visión más amplia de la evaluación. Es decir, se dispuso como premisa la idea de que la evaluación comprende más que un juicio o un proceso con funciones pedagógicas y administrativas, es ante todo un sistema de interrelaciones entre los que evalúan, los que son evaluados y la estrategia empleada. En este entendido, un análisis cualitativo de la prueba escrita como parte de ese sistema posibilitaría el realizar interpretaciones sobre la concepción, elaboración y uso de las pruebas escritas en la evaluación de aprendizajes matemáticos en educación superior, tal como se ilustra en la Figura 1.

Consideramos que con esta forma de entender la evaluación se podría obtener y ofrecer mayor información sobre el carácter de la prueba escrita como estrategia de evaluación de aprendizajes en cursos de matemáticas de educación superior.

En efecto, Broadfood (2002) citado en Contreras (2010), reporta que los docentes universitarios orientan sus prácticas de evaluación a partir de un marco referencial en el que influyen elementos tales como sus ideas acerca de la enseñanza aprendizaje y evaluación, sus experiencias como estudiantes, sus percepciones respecto de la disciplina que enseñan, entre otros. Sin embargo, en ese marco están ausentes los elementos de formación pedagógica, didáctica y cognitiva. También se presume en este estudio que tienen una visión muy reducida y aislada de la evaluación de aprendizajes.

Una idea que amplía lo anterior es aquella en la que se postula que la evaluación en ciencias debería constituirse como un proceso "en el cual cada actor del aula de ciencias se está autorregulando constantemente" (Ospina & Bonan, 2011, p. 7). De modo que de forma continua y constante, el profesor ha de implementar los resultados de la evaluación con el objetivo de favorecer las interacciones en el aula y que los estudiantes aprendan a aprender, en especial, a lograr mayor autonomía en su proceso de aprendizaje. En esta misma dirección, Contreras (2002) expone que a nivel del aula, si el profesor alinea la instrucción con la evaluación y con los objetivos de aprendizaje, hay una oportunidad para dar apropiada retroalimentación a los estudiantes con respecto a lo que ellos necesitan aprender o satisfacer entre los objetivos del curso. Asimismo, con la evaluación se dispondría de información acerca de cuán efectiva ha sido la instrucción y podría ser usada para planear las actividades respectivas.

Así se plantea la tesis de que al analizar la evaluación como un sistema no asociado exclusivamente a un mecanismo de calificación y administración, permitiría un mayor entendimiento sobre el proceso educativo y su mejora, así como una reflexión fundamentada de los aprendizajes sobre la que se asienten juicios y decisiones respecto de los procesos educativos.

El estudio se desarrolló con profesores y estudiantes universitarios de la Facultad de Matemáticas de la Universidad Autónoma de Yucatán durante el curso Álgebra Superior I impartido en el primer año de estudios.

Para este estudio elegimos algunos métodos cualitativos de investigación como la observación no participante, las entrevistas semiestructuradas y la revisión de literatura sobre el tema. El objetivo principal fue recuperar información sobre cómo los profesores llevan a cabo la evaluación de aprendizajes de sus estudiantes. Para la interpretación de los datos utilizamos las categorías y las interrelaciones descritas en la Figura 1.

2.1. Población participante

Participaron seis profesores de la citada Facultad que al momento se encontraban impartiendo el curso Álgebra Superior I. La información sobre su género, grado académico y años de experiencia en el ejercicio docente se presenta en la Tabla I. De estos, sólo tres pudieron responder una encuesta diagnóstica de opinión (Profesores D, E y F de la Tabla I) aplicada simultáneamente. Como los seis profesores componían un grupo académico en la Facultad, se decidió no aplicar nuevamente la encuesta a los otros tres profesores en un tiempo posterior para evitar posibles sesgos de información. Posterior a la encuesta y por invitación nuevamente, se obtuvo la participación y concesión de dos profesores (Profesores A y B de la Tabla I) para observar su práctica en el aula. Ambos fueron elegidos por tener mayor cantidad de años de experiencia docente. Asimismo se contó con la colaboración de dos grupos de estudiantes correspondientes a estos profesores. En la Tabla II se muestran los datos de dicha población estudiantil. Cabe indicar que los estudiantes colaboraron voluntariamente y no hubo algún tipo de compensación por su participación ni sanción en caso contrario.

2.2. Elementos de análisis

Los elementos descritos en la Figura 1 fueron analizados para dar cuenta del carácter de la prueba escrita como estrategia de un sistema de evaluación. Así, para obtener información de la variable pedagógica en la prueba, se examinó la arista profesor - prueba bajo las siguientes consideraciones: por un lado, la naturaleza y confiabilidad de los criterios empleados por los profesores al asignar un juicio de valor a lo realizado en dichas pruebas por los estudiantes, pues como se reporta en Contreras (2010), los criterios de evaluación "constituyen las orientaciones o guías desde las cuales los profesores juzgarán la calidad de las tareas, procesos o productos de sus estudiantes [...] y permiten orientar las explicaciones y decisiones sobre el aprendizaje"; y por otro lado, los lineamientos o directrices que siguen los profesores para el diseño de sus pruebas.

A continuación se describe sintéticamente la forma en cómo fueron desarrolladas cada una de las dos consideraciones para el análisis de la variable pedagógica:

1. Naturaleza y confiabilidad de criterios valorativos. Primeramente se aplicó una encuesta diagnóstica de opinión a los profesores D, E y F solicitándoles calificar de forma argumentada las producciones desarrolladas por un estudiante en un ejercicio de matemáticas de una prueba escrita. La escala empleada fue de cero a diez. Enseguida se realizaron observaciones no participantes en las aulas de clase de los profesores A y B, en las que se llevó un registro de notas de campo y finalmente una entrevista con los dos profesores.

2. Lineamientos para el diseño de pruebas escritas. Se revisó el programa del curso con el fin de identificar los contenidos de tipo conceptual y procedimental, así como los objetivos declarados en el mismo. También se revisaron las pruebas escritas elaboradas por los profesores A y B con el propósito de detectar el tipo de contenidos que se incluían en las pruebas, los objetivos de aprendizaje asociados y los puntajes asignados a los ejercicios. Como actividades complementarias se realizaron observaciones no participantes en las aulas de estos dos profesores y revisión de apuntes de sus estudiantes.

Para dar cuenta de la variable didáctica en la prueba, se procedió a analizar la arista prueba - alumnos bajo las siguientes consideraciones: por un lado, el contenido y la acción o tarea matemática visible en los reactivos de las pruebas y por el otro, la correspondencia operativa-conceptual entre lo solicitado en las pruebas y lo tratado en las aulas.

Cada una de estas dos consideraciones fue desarrollada de la siguiente forma:

]]> 1. Contenido y acción matemática en reactivos. Se revisó el contenido matemático visible en dos pruebas elaboradas por los profesores A y B, así como las acciones que solicitaban a los estudiantes realizar en cada uno de los reactivos.

2. Correspondencia operativa-conceptual. Se registró el tipo de tratamiento dado por los profesores a cada uno de los contenidos, particularmente si era un tratamiento con un enfoque conceptual, procedimental o mixto a partir de las observaciones en las aulas de clase y de la revisión de pruebas.

Para dilucidar la variable cognitiva de la prueba, se procedió a analizar la arista alumnos - profesor mediante el diseño e implementación de una prueba escrita de tipo experimental en la que se abordó el contenido temático correspondiente a los tratados por los profesores durante su curso. Tales contenidos fueron intersecados con los declarados en el programa del curso y los identificados en las pruebas escritas de dichos profesores. Como ya se dijo, el contenido temático de esta prueba fue idéntico al de las pruebas escritas de los profesores, empero con un agregado, un análisis a priori de cada reactivo de la prueba para establecer un índice de complejidad cognitiva al momento de su resolución y consecuentemente, un indicador de logros esperados de aprendizaje por parte de los estudiantes. Esto se desarrolló siguiendo la técnica de la teoría de los esquemas propuesta por Marshall (1993), citado en Real, Olea, Ponsoda, Revuelta y Abad (1999), en la que se sugiere iniciar con la identificación de elementos de dificultad que intervienen en la resolución de los reactivos, ponderando tanto aspectos referidos en las instrucciones como los implicados en el proceso resolutivo, determinando de este modo un índice de complejidad para cada reactivo.

Los índices de complejidad se ubicaron en el intervalo [0, 1], se empleó la técnica de dividir la cantidad de indicadores identificados en las instrucciones y los identificados en el proceso resolutivo entre el total de indicadores presentes en un reactivo. El valor resultante se usó para conjeturar si un reactivo era muy difícil (cerca del 1) o muy fácil (cerca del 0). Un ejemplo de esta técnica se presenta en la Tabla III con el análisis del reactivo seis de la prueba experimental. Se eligió este reactivo pues permite ilustrar indicadores asociados a cada uno de los componentes propuestos por Marshall y evalúa un contenido invariante en las pruebas aplicadas por los profesores en cursos pasados, es decir, valoriza un conocimiento central de la unidad temática abordada. El índice de complejidad obtenido del reactivo fue de 7/16 = 0.43, por tanto, se sitúa como un reactivo de mediana complejidad resolutiva. Los datos reales darían información sobre esta técnica y sobre la posibilidad de identificar a priori un nivel de aprendizaje logrado o deficiencias específicas de los estudiantes en las pruebas escritas.

3. Datos y resultados

Para la interpretación de los datos se trianguló la información obtenida respecto de las características observadas al interior de las aulas de clases, las inferidas en el análisis del programa de curso, así como en las pruebas escritas de los profesores observados y las esbozadas en una entrevista con ellos.

En lo sucesivo se presentan los datos obtenidos en cada elemento de análisis y una interpretación de cada uno de ellos.

3.1. Variable pedagógica en la prueba (profesor - prueba)

3.1.1. Naturaleza y confiabilidad de los criterios valorativos

En la encuesta de opinión aplicada a los tres profesores D, E y F se les pedía valorar y calificar como habitualmente lo hacen, lo respondido por un estudiante en un reactivo de una prueba escrita del curso Álgebra Superior I.

Reactivo: Sea ƒ:R — R una función dada por ƒ(x)=(x-2)³.

Demuestra que es invertible y determina su inversa.

Respuesta:

En la información obtenida de la encuesta se reconocieron las siguientes particularidades:

i. El profesor D asignó seis puntos de diez con la argumentación siguiente:
Falta hallar el dominio y el codominio de ƒ^-1, no es sólo una regla de correspondencia.
No demostró que la función es inyectiva.
Sabe el concepto de biyectividad.

Ofrece además la siguiente explicación respecto de los puntos que resta a la calificación:
2.5 puntos por no indicar dominio y codominio, es decir, no dar la función completa y
1.5 por inyectividad no demostrada.

ii. El profesor E asignó siete puntos de diez con la argumentación siguiente:
No demostró que la función sea inyectiva. ]]> ¿Por qué Iƒ = ℝ?
Pero sabe que esto debe demostrar antes de calcular la inversa, eso cuenta. El cálculo de la inversa también cuenta.

iii. El profesor F asigna cuatro puntos de diez y plantea la siguiente explicación:
El alumno halla el dominio correctamente y recuerda que invertibilidad es equivalente a biyectividad.
Se preocupa de intentar justificar la invertibilidad pero no justifica la suprayectividad y no comprende que para la inyectividad no se trata sólo de apilar símbolos, pues en ningún momento hace uso de la función que se está manejando sino que se limita a repetir (aunque mal) lo que recuerda de la definición simbólica de inyectividad.

Claramente existe una diferencia de puntos entre lo asignado por el profesor E y el profesor F. Si este patrón se repitiera en los siete reactivos, que en promedio tienen las pruebas de los profesores A y B de este estudio, se estaría ante una diferencia aproximada de veinte puntos, equivalente a obtener ¡cero de calificación en dos reactivos! De las argumentaciones dadas por los tres profesores, se infiere una práctica evaluativa donde la atención justamente es valorar un procedimiento y no el logro de un aprendizaje, o más aún, las fortalezas y debilidades del proceso educativo. En efecto, entre los argumentos dados por los profesores no se identifica una alusión al aprendizaje logrado por el estudiante, más bien, se refieren aspectos puntuales sobre el procedimiento resolutivo que éste no logra realizar correctamente.

Ahora bien, respecto de la naturaleza y confiabilidad de los criterios valorativos empleados por los profesores D, E y F, se interpreta que su naturaleza está asociada a lo considerado matemáticamente correcto y completo en un proceso resolutivo, y no propiamente a un aprendizaje. Asimismo, los profesores evidencian que no disponen de criterios confiables e imparciales para emitir una calificación, por el contrario, se guían por criterios según su albedrío; lo que se traduce en que un alumno apruebe o no un curso según el profesor que lo haya evaluado.

Por otro lado, al realizar observaciones sistemáticas al interior de las aulas de clase de los profesores A y B, en diecinueve sesiones de su curso, se obtuvieron datos sobre cómo evalúan los aprendizajes de sus estudiantes. Se identificó que un alto porcentaje de la calificación del estudiante para acreditar o no el curso queda determinado por el uso exámenes escritos, y un porcentaje menor a la realización y entrega de tareas individuales, tal como se indica en la Tabla IV.

...el profesor inicia planteando una serie de preguntas sobre temas vistos en la clase anterior. Solicita a los estudiantes definir la relación de dos conjuntos y las condiciones que deben presentar los elementos de una relación de equivalencia para indicar si se trata de una relación simétrica, reflexiva o transitiva.

Se formula la primera pregunta a un estudiante, de la cual no obtiene respuesta; solicita también cerrar sus libretas, pues el profesor considera que de lo contrario no tendría caso realizar las preguntas.

Al no obtener respuesta del primer alumno, pregunta a otro estudiante, quien contesta adecuadamente. Posteriormente pregunta al resto de los estudiantes ¿Cuándo se dice que una relación es simétrica, cuándo que es reflexiva y cuándo transitiva?

Estas preguntas las formula a estudiantes que no participan durante las clases, y al no obtener respuestas correctas, las plantea a estudiantes que en clases anteriores habían participado y obtiene así respuestas correctas.

Así como en este caso, en el resto de los momentos de clase observados en los que se favorecía la participación de los estudiantes por razón del interrogatorio, se hizo evidente que con dicha técnica no se tenía una intención de evaluar formativamente, pues no se desarrollaron acciones que permitieran a los estudiantes construir o reconstruir sus respuestas o sus aprendizajes, sencillamente se esperaba verificar si ellos contaban o no con tal conocimiento. Se puede decir que el énfasis estaba en asignar un puntaje por ofrecer respuestas correctas y no tanto por el aprendizaje.

En suma, las pruebas escritas básicamente son el medio por el cual los profesores usualmente evalúan y califican el logro de aprendizaje de sus estudiantes. Asimismo se confirma una carencia de criterios imparciales y precisos para valorar los aprendizajes de los estudiantes, quienes tienen poca o casi nula participación en el proceso de evaluación.

3.1.2. Lineamientos para el diseño de las pruebas escritas

En relación con el análisis de las pruebas escritas de los profesores A y B, se identificó que éstas se caracterizan por incorporar un alto porcentaje de los contenidos temáticos enseñados en las aulas. En la Tabla V se muestran algunos reactivos de las pruebas y el contenido que abarcan.

Al preguntarles a los profesores sobre el tipo de lineamientos o consideraciones que siguen para diseñar sus pruebas escritas, se obtuvieron respuestas como las siguientes:

"Incluir temas y notación vistos en clase....."

"...No cargar demasiado el examen con un solo tema, es decir, distribuir temas adecuadamente."

Se identificó que en efecto, los profesores A y B consideran el hecho de que en sus pruebas se incluyan ejercicios y acciones similares a los tratados en el aula. Ellos manifiestan que tales consideraciones son centrales para diseñar (componer) sus pruebas escritas. Particularmente indican lo siguiente respecto de sus pruebas:

"... Se incluyen ejercicios que no se alejen mucho de los que se han propuesto en clase o en tareas."

"... considerar incluir lo que se ha hecho en clase como algunas tareas y actividades.''

Como dato adicional se detectaron diferencias entre el tipo de contenidos declarados en el programa del curso y el tipo de contenidos abordados en las pruebas escritas, concretamente se detectó que las pruebas constan en su mayoría de contenidos procedimentales mientras que en el programa hay una tendencia hacia los conceptuales.

Respecto de las observaciones realizadas al interior de las aulas de los profesores A y B, así como de la revisión de los apuntes de sus estudiantes, se pudo dar razón del tipo de acciones o tareas matemáticas que los profesores solicitan y promueven en su práctica docente, a saber, "hallar", "construir" y "demostrar", como se ilustra en las imágenes 3, 4 y 5.

En resumen, las prácticas docentes al interior de las aulas guardan correspondencia con las acciones declaradas en el programa del curso y las demandadas en las pruebas escritas; se observan diferencias sólo en cuanto a las tendencias en el tipo de contenidos declarados en el programa y las detectadas en las pruebas. Sin embargo, a pesar de esta correspondencia, no se identificaron lineamientos claros y precisos asociados al diseño de las pruebas escritas, más aún, no se observa una atención evidente en los aprendizajes, sino en los contenidos.

3.2. Variable didáctica en la prueba (prueba - alumnos)

3.2.1. El contenido y la acción matemática en las pruebas

En la Tabla VI se muestra información recabada sobre la forma en que los profesores A y B distribuyen los contenidos conceptuales y procedimentales en sus pruebas. Ciertamente se identifica un intento por incluir ambos tipos de contenidos, sin embargo, también se observa una marcada tendencia a valorar los contenidos de tipo procedimental, incluso cuando en el programa se declara lo contrario. Por la naturaleza del curso (Álgebra Superior I) se está obligado a advertir que aun cuando en las pruebas se visualiza tal tendencia, implícitamente se demanda movilizar contenido de tipo conceptual en las instrucciones de los reactivos.

Partiendo de la idea de la evaluación como un sistema de interrelaciones, se reconoce que el tipo de contenido y acción matemática en los reactivos de las pruebas dan cuenta de la concepción didáctica presente en los profesores y que ésta bien podría escudriñarse en sus prácticas docentes al interior de las aulas, tal como se describirá en adelante.

Lo anterior lleva a concebir cierto componente didáctico en las pruebas que se vincula al tipo de tratamiento dado a los contenidos en las aulas de clase y queda como dato el hecho de que los profesores no prestan mayor atención a las posibles dificultades que pudieran inducir al no desarrollar ampliamente algunas nociones matemáticas en sus cursos y que al introducirlos de forma combinada con otras nociones en una prueba, genera resultados bajos en la resolución de ejercicios y por ende, calificaciones bajas. De ahí la importancia de que el profesor no sólo preste mayor atención a la variable didáctica de sus pruebas sino también a retroalimentarse de los resultados obtenidos en ésta.

3.2.2. Lo operativo - conceptual en las pruebas y lo desarrollado en las aulas

Como parte de las observaciones realizadas al interior de las aulas y que fueron reportadas en el apartado 3.1.2 de este escrito, se evidencia que en las pruebas escritas se incluyen ejercicios similares a los desarrollados durante el curso, así como el tipo de contenidos, tal como puede constatarse en las imágenes 3, 4 y 5.

Por otro lado, al revisar el tipo de reactivos en los cuales los estudiantes manifestaron mayor y menor éxito resolutivo en las dos pruebas de los profesores A y B, se identificó que el mayor logro se obtuvo en el tema de relaciones mientras que el menor se obtuvo en el tema de conjunto cociente. Indagando si esto pudiera estar asociado con la forma (aspecto didáctico) en que ambos profesores desarrollan dichos temas en sus cursos, se procedio a revisarlo observado durante sus respectivas sesiones de clase y se halló que en ambos casos se incluyeron ejercicios con el mismo enfoque teórico y práctico que en el resto de los temas abordados en el curso. De ahí que el resultado pudiera entenderse desde la naturaleza misma del reactivo (contenido) y al revisarlos se pudo verificar que, por ejemplo, en el caso del reactivo donde salieron más bajo los estudiantes, se introduce una noción matemática que pudiera representar dificultades en los estudiantes, a saber, la interpretación de la noción como el mayor entero menor o igual a x, misma que no fue ampliamente trabajada en las clases.

3.3. Variable cognitiva en la prueba (alumnos - profesor)

En la Tabla VII se muestra un comparativo entre los reactivos de tres pruebas escritas: la prueba del profesor A, la prueba del profesor B y la prueba experimental E, identificando reactivos que valoraban un mismo contenido, pero no necesariamente con la misma demanda. Además se señala un índice de complejidad cognitiva para el proceso resolutivo en cada caso.

Puede observarse que los reactivos de la prueba del profesor A se ubican entre 0.16 y 0.50, los reactivos de la prueba del profesor B entre 0.20 y 0.40 y los de la prueba experimental entre 0.37 y 0.67. Hay que recordar que, según la técnica seguida, un reactivo demanda mayor esfuerzo cognitivo si el valor obtenido es cercano a 1 y menos si el valor es cercano a 0.

Para efectos de nuestro análisis, los reactivos de cada prueba se clasificaron en tres niveles de complejidad (bajo, medio y alto) según el índice inferior y superior de complejidad al interior de cada una. En la Tabla VIII se muestran datos sobre los niveles declarados, asignados a los reactivos de las tres pruebas.

Los reactivos clasificados en el nivel de complejidad alto, para las pruebas de los profesores A y B, apenas alcanzan un índice de complejidad medio; observamos que en la prueba del profesor B se tiene menor dispersión en el índice de complejidad de sus reactivos, mientras que la prueba experimental incluye reactivos que corresponderían al nivel alto y a una dispersión similar a la que se presenta en la del profesor A.

En la Tabla IX se muestran porcentajes de logros resolutivos alcanzados por los estudiantes participantes en cada uno de los reactivos indicados en la Tabla VIII, para cada prueba referida.

En un principio se esperaba obtener datos que reflejaran una relación inversamente proporcional entre los niveles asignados previamente a cada reactivo de las pruebas y el logro de los estudiantes en su resolución, es decir, entre más alto sea el nivel asignado a los reactivos se esperaría un descenso en la cantidad de estudiantes con éxito en la resolución y por el contrario, si el reactivo es de nivel bajo entonces más estudiantes deberían tener éxito en su resolución, sin embargo, esto sólo fue visible entre la prueba del profesor B y la prueba experimental E (siempre que se omita el inciso (a) del reactivo 3). Lo que hace pensar en alguna variable extraña o bien, en la funcionalidad de la técnica aplicada en la asignación de los índices de complejidad, así como en el hecho de que aún interviene cierta subjetividad de quien valora el proceso y asigna calificaciones, pues cabe recordar que las pruebas son abiertas y calificadas por los profesores con sus criterios y diferencias previamente señalados.

En las siguientes gráficas (Imagen 6 y 7) se registran los resultados de los estudiantes ante la prueba de su profesor y en la prueba experimental, los reactivos se representan en el eje horizontal de acuerdo al índice de complejidad y organizados de menor a mayor.

De los datos obtenidos interpretamos que las pruebas de los profesores poseen una exigencia cognitiva de media a fácil y que en las clases se provee de recursos suficientes como para esperar que los estudiantes resuelvan con relativo éxito los ejercicios planteados en dichas pruebas. Asimismo, como puede verse en las gráficas anteriores, el comportamiento de los resultados obtenidos por los estudiantes en los dos grupos es similar en las tres pruebas, sin embargo, no se detectó una correlación entre los niveles asignados y el logro de los estudiantes. Por tanto, en la determinación de una variable cognitiva en las pruebas intervienen más aspectos que los puramente matemáticos, es decir, también se deben incluir cuestiones didácticas y pedagógicas, por ejemplo, hacer partícipe al estudiante de la evaluación y favorecer tratamientos de contenidos más amplios y diversificados.

4. Conclusiones y reflexiones

Con este estudio se pudo verificar que la prueba escrita constituye la principal estrategia empleada por profesores universitarios para valorar y calificar los logros de aprendizaje matemático de sus estudiantes. Esta estrategia es empleada en forma casi exclusiva a cualquier otro medio o recurso para generar juicios más completos y objetivos respecto de las fortalezas y debilidades de un proceso educativo y en especial, de los "verdaderos" logros de aprendizaje de los estudiantes y sus posibles fundamentos. Se hace necesario reconceptualizar la evaluación en la dirección de incorporar procesos de evaluación formativa mediante el uso de técnicas formales e informales asequibles a distintos estilos de aprendizaje, pues como refieren Assis y Espasandin (2009), una evaluación sistemática mediante una diversidad de instrumentos permite a los estudiantes contar con variadas formas de expresión de sus conocimientos así como la oportunidad de examinar y verificar lo aprendido.

En este estudio se identificó que la prueba escrita y la práctica de evaluación se efectúan con fines administrativos, no académicos. Ubíquese el caso de los profesores observados que no retroalimentaron sus prácticas ni los aprendizajes de los estudiantes a partir de los resultados obtenidos, por el contrario, asignan calificaciones con mero apego al carácter administrativo de la evaluación. Dicho así, para profesores y estudiantes la evaluación es un mecanismo estático e indicador de acreditación de un curso.

Se precisa entonces de reconocer que la prueba escrita y la práctica de evaluación asociada, requieren ser reinterpretadas en función del proceso mismo de enseñanza aprendizaje. Esto es, reinterpretarlas desde la intencionalidad de dicha práctica y de la función asignada a las pruebas. Con ello se estaría en mayores posibilidades de retroalimentar y reorganizar el proceso educativo en la búsqueda de su mejora continua.

Respecto al proceso de elaboración de pruebas escritas no se obtuvo información precisa de que los profesores siguieran algún método o técnica específica para ello, más bien se detectó la movilización de un conjunto de consideraciones hipotéticas sobre aquello que los estudiantes debieran ser capaces de evidenciar durante un proceso resolutivo, por ejemplo, su capacidad para demostrar, deducir y aplicar conceptos y propiedades de las estructuras algebraicas en situaciones intramatemáticas. De esta manera un tipo de criterio empleado para valorar el logro de un aprendizaje consistió en determinar lo matemáticamente correcto en dicho proceso.

Si bien con el análisis a priori sobre el tipo de demandas cognitivas y los contenidos que se espera movilicen los estudiantes durante la resolución de una prueba escrita, se pretendía esclarecer algún tipo de criterio o lineamiento con el que se consiguiera dar cuenta de los aprendizajes logrados (y en qué medida) por los estudiantes de manera más objetiva y precisa, consideramos poco viable la posibilidad de suprimir el carácter subjetivo de este tipo de pruebas escritas, presente tanto en el diseño como en la valoración.

No obstante lo anterior, se proyecta que un uso más fino de los principios de Marshall posibilitaría que de una prueba escrita se obtenga información más precisa sobre aquello que logran aprender los estudiantes a partir de los resultados obtenidos en dicha prueba, así como organizarla por niveles de complejidad bien definidos. De conseguirse lo que se proyecta, se estaría en mejores condiciones de reorientar la práctica evaluativa de los profesores a partir de las pruebas, favoreciendo no sólo el disponer de un indicador de aprendizaje sino reconducir (replantear) la práctica de enseñanza. Como concluye Ramalho (2009), el desarrollar, probar y validar un instrumento en la evaluación educativa es importante para dar cuenta de lo que sucede en las aulas de matemáticas.

Aun así la prueba escrita como instrumento en un sistema de evaluación global de la práctica educativa en matemáticas, particularmente en Álgebra, resulta insuficiente para analizar cuestiones vinculadas con la práctica de enseñanza aprendizaje tales como: ¿qué fases (sintáctica, semántica y pragmática) del lenguaje algebraico logran desarrollar los estudiantes?, ¿cómo potenciar el desarrollo de la abstracción y demás procesos del pensamiento algebraico?, ¿cómo influye el discurso del profesor en los significados matemáticos adoptados por el estudiante?

En educación superior, los instrumentos de evaluación en Álgebra deben abarcar un espectro más amplio de los saberes matemáticos valorados en estos, pues si bien los objetivos y el contenido de los programas pueden interpretarse hacia una tendencia procedimental, tal como pudo reconocerse en las acciones del aula y las sentencias de los reactivos en la prueba escrita empleadas por los profesores de Álgebra Superior I; en la literatura relacionada con la didáctica del álgebra se verifica que los procesos de construcción de conocimiento en esta área, por su naturaleza, se estructuran sobre una base conceptual y cognitiva más compleja. Esta base se construye con la conexión entre lo conceptual y lo procedimental a través de un desarrollo del sentido de símbolo y de estructura (Noronha & Bisognin, 2009); la articulación de los modos de pensamiento de la geometría sintética, el aritmético - analítico y el analítico - estructural (Sierpinska, Defence, Khatcherian & Saldanha, 1997, citado por Aranda & Callejo, 2010); procesos de abstracción reflexiva (Aranda & Callejo, 2010); el papel de la variable en expresiones algebraicas (López, 2010); el sentido estructural para el uso de técnicas algebraicas y la dualidad objeto - proceso (Vega-Castro, Molina & Castro, 2012).

En efecto, lo procedimental ha de desarrollarse sobre el cimiento de procesos de conceptualización y desarrollo del pensamiento algebraico, por ende, una evaluación ajena a dichos aspectos sería endeble. Por tanto, la posibilidad de emitir juicios más completos para reconducir los procesos de enseñanza aprendizaje del álgebra ha de concretarse por medio de establecer mecanismos y técnicas de evaluación sistemática en los que se valoren aspectos asociados a su naturaleza, didáctica y aprendizaje.

En síntesis, una reconceptualización y análisis de la evaluación como un sistema complejo de interrelaciones entre quien evalúa, la estrategia empleada y el sujeto de evaluación, favorecería el diseño de estrategias valorativas como las pruebas escritas y la obtención de información respecto del papel del contenido matemático, las tareas y el nivel de demanda cognitiva en cada reactivo de la prueba. Asimismo se identificarían conocimientos, recursos y aprendizajes matemáticos que los estudiantes logran movilizar. En general se dispondría de una base de datos sobre la cual tomar decisiones pertinentes hacia la mejora continua del proceso educativo y de la evaluación misma.

Anexos

Referencias bibliográficas

Álvares, I. (2008). Evaluación del aprendizaje en la universidad: una mirada retrospectiva y prospectiva desde la divulgación científica. Electronic Journal of Research in Educational Psychology 6(14), 235-272.         [ Links ]

Aranda, C.; Callejo, M. L. (2010). Construcción del concepto de dependencia lineal en un contexto de geometría dinámica: Un estudio de casos. Revista Latinoamericana de Investigación en Matemática Educativa 13(2), 129-158.         [ Links ]

Assis, M. H.; Espasandin, C. (2009). O Processo da Avaliação no Ensino e na Aprendizagem de Matemática. Boletim de Educação Matemática 22(33), 189-204.         [ Links ]

Chadwick, C. B.; Rivera, N. (1997). ¿Qué es evaluación? En C. B. Chadwick y N. Rivera (Eds.), Evaluación formativa para el docente (pp. 36-61). México: Editorial Paidós Educador.         [ Links ]

Contreras, G. (2010). Diagnóstico de dificultades de la evaluación del aprendizaje en la universidad: un caso particular en Chile. Educación y educadores 13 (2), 219-238.         [ Links ]

Contreras, L. Á. (2002). Modelos, procedimientos y prácticas contemporáneos en la evaluación del aprendizaje: Entrevista con Anthony J. Nitko. Revista Electrónica de Investigación Educativa 4(1). Recuperado el 16 de Julio de 2012 de http://redie.ens.uabc.mx/vol4no1/contenido-nino.html.         [ Links ]

Corica, A.; Otero, M. (2009). Análisis de una praxeología matemática universitaria en torno al límite de funciones y la producción de los estudiantes en el momento de la evaluación. Revista Latinoamericana de Investigación en Matemática Educativa 12(3), 305-331.         [ Links ]

López, A. (2010). Interpretación de estudiantes de bachillerato sobre la identidad de la variable en expresiones algebraicas. Revista Latinoamericana de Investigación en Matemática Educativa 13(4-I), 161-176.         [ Links ]

Moreno, T. (2009). La evaluación del aprendizaje en la universidad. Tensiones, contradicciones y desafíos. Revista Mexicana de Investigación Educativa 14(41), 563-591.         [ Links ]

Noronha, H.; Bisognin, E. (2009). Análise de Soluções de um Problema Representado por um Sistema de Equações. Boletim de Educação Matemática 22(33), 1-22.         [ Links ]

Ospina, N.; Bonan, L. (2011). Explicaciones y argumentos de profesores de química en formación inicial: la construcción de criterios para su evaluación. Revista Eureka sobre enseñanza y divulgación de las ciencias 8(1), 2-19. DOI: 10498/10202        [ Links ]

Ramalho, M. I. (2009). A Sala de Aula de Matemática: avaliação das práticas docentes. Boletim de Educação Matemática 22(33), 117-140.         [ Links ]

Real, E.; Olea, J.; Ponsoda, V.; Revuelta, R. y Abad, F. (1999). Análisis de la dificultad de un test de matemáticas mediante un modelo componencial. Psicológica 20 (2), 121-134.         [ Links ]

Runco, M.A. (2003). Idea evaluation, divergent thinking, and creativity. In M. A. Runco (Ed.), Critical creative processes (pp. 69-94). Cresskill, NJ: Hampton Press, INC.         [ Links ]

Saroyan, A.; Amundsen, C. (2001). Evaluating university teaching: Time to take stock. Assessment and Evaluation in Higher Education 26(4), 341-353.         [ Links ]

Sawin, E. (2005). The scientific method and other bases for evaluation procedures. ETC: A Review of General Semantics 62(4), 386-404.         [ Links ]

Vega-Castro, D.; Molina, M.; Castro, E. (2012). Sentido estructural de estudiantes de bachillerato en tareas de simplificación de fracciones algebraicas que involucran igualdades notables. Revista Latinoamericana de Investigación en Matemática Educativa 15(2), 233-258.         [ Links ]

Wachtel, H. K. (1998). Student evaluation of college teaching effectiveness: a brief review. Assessment and Evaluation in Higher Education 23(2), 191-211.         [ Links ]

Yorke, M. (2003). Formative assessment in higher education: Moves towards theory and the enhancement of pedagogic practice. Higher Education 45(4), 477-501. DOI: 10.1023/A:1023967026413        [ Links ] ]]> 2008 6 14 14 235-272 2010 13 2 2 129-158 2009 22 33 33 189-204 1997 36-61 2010 13 2 2 219-238 2002 4 1 1 2009 12 3 3 305-331 2010 13 4-I 4-I 161-176 2009 14 41 41 563-591 2009 22 33 33 1-22 2011 8 1 1 2-19 2009 22 33 33 117-140 1999 20 2 2 121-134 2003 69-94 2001 26 4 4 341-353 2005 62 4 4 386-404 2012 15 2 2 233-258 1998 23 2 2 191-211 2003 45 4 4 477-501