Obstáculos en la evaluación diagnóstica. Una propuesta de superación mediante la identificación de modelos presentes en el curso

Obstacles in diagnostic assessment. A proposal for overcoming them by identifying models presented in the course

Carlos R. Espíndola ,^1,2 Osvaldo M. Cappannini ^1,3

¹ Grupo de Didáctica de las Ciencias, IFLYSIB (CONICET-CICPBA-UNLP). Calle 59 N° 789, C. C. 565, La Plata 1900, Buenos Aires, Argentina. Tel.: (+54) (0221) 425-4904, fax (+54) (0221) 425-7387.

³ CONICET y Fac. de Ciencias Exactas, Universidad Nacional de La Plata. Correo electrónico: cappa@iflysib.unlp.edu.ar

Fecha de recepción: 24 de diciembre de 2011.
Fecha de aceptación: 22 de febrero de 2012.

Resumen

El conocimiento de las representaciones de los estudiantes constituye un elemento fundamental en la planificación de la enseñanza. Cuando un gran número de datos debe ser considerado, el conocimiento de la diversidad de representaciones en el aula de clases puede ser difícil. El punto de vista habitual del docente, requerido para la certificación de conocimientos, parece no ser un esquema adecuado en estos casos. En este artículo se muestra una técnica de evaluación diagnostica alternativa basada en un marco fenomenográfico el cual da una vía para la identificación de ideas alternativas junto a un análisis comparativo con los métodos de evaluación tradicional. El método mostrado basado en técnicas fenomenográficas no sólo provee una opción al punto de vista de "control de calidad" mantenido en el esquema de evaluación tradicional sino que además resulta una herramienta útil en la detección de representaciones.

Palabras clave: evaluación diagnostica, planeación, fenomenografía, representaciones, estructura de la materia.

The knowledge of student's representations constitutes a fundamental element in teaching planning. When a great number of data must be considered, knowledge of the diversity of representations in the classroom may be difficult. The teacher's usual point of view, required for certification of knowledge, seems not to be an adequate scheme in these cases. In this article we show an alternative diagnostic assessment technique based on a phenomenographic frame which gives a way to the identification of alternative ideas together with a comparative analysis with traditional evaluation methods. The shown phenomenographic based technique not only provides an option to the quality control point of view held in the traditional assessment scheme but also a useful tool in the detection of representations.

Key words: diagnostic assessment, planning, phenomenography, representations, structure of matter.

Introducción

En la evaluación del proceso de enseñanza y aprendizaje desde una perspectiva pedagógica que implica una construcción de conocimiento (Sverdlick, 2008), se recorren siempre ciertas etapas: a) recolección de información, b) análisis de esta información y juicio sobre el resultado de este análisis, y c) toma de decisiones de acuerdo con el juicio emitido (San-martí y Alimenti, 2004).

Estas últimas autoras identifican funciones de la evaluación que orientan la toma de decisiones. El tipo de decisiones tomadas diferencia las funciones de la evaluación que pueden ser de carácter social o de carácter pedagógico. La calificación, por ejemplo, es de carácter social y pretende constatar el progreso de los alumnos sobre un determinado conocimiento en un sistema de certificación. La evaluación formativa, de carácter pedagógico, propone por otra parte identificar los cambios que se han de introducir (en la práctica docente y/o en el proceso de aprendizaje de los alumnos) para acompañar la construcción del conocimiento (Black y Wiliam, 1998; Scaife, 2010). Este proceso en la práctica docente podría llevar a la-mejora de la calidad de la educación a través de la formación permanente de educadores que analizan su propia práctica (Freire, 1994 en Sverdlick, 2008).

Sanmartí y Alimenti (2004) señalan también tres instancias de aplicación de la evaluación durante el proceso de aprendizaje: 1) la inicial, que permite un diagnóstico sobre concepciones previas, procedimientos intuitivos y actitudes presentes en los estudiantes; 2) la realizada durante el proceso de enseñanza, que posibilita identificar representaciones y estrategias que los alumnos utilizan (Allal, 1979) en la construcción del conocimiento, y 3) la final, que pretende detallar los conocimientos incorporados y la calidad del proceso de enseñanza utilizado.

Con la tercera instancia señalada, la más habitual, se pretende valorar a cada individuo de acuerdo al grado de incorporación de contenidos, con la suposición de que ese individuo recorrió un proceso casi lineal de acumulación de conocimiento cuyo nivel quedaría indicado mediante la escala de valoración. El uso de esta información se remite al cumplimiento del rol institucional de certificar ese nivel en el alumno sin ninguna pretensión de modificar lo ocurrido durante el curso. Si se acude a encuestas apuntadas a detectar ideas alternativas, tal como cuestionarios de opción múltiple de dos niveles (Treagust, 1995; Treagust,1988; Tan y otros, 2002), su uso será planteado al inicio del curso o tema y, en caso de pretender una comparación para identificar cambios en las representaciones, también podrá usarse al final. En este caso, dicha comparación se podría relacionar con lo trabajado durante el curso y, por su implementación temporal, la encuesta podría contemplarse como una evaluación final. A diferencia de lo que sucede con un examen tradicional, apuntado sólo a la valoración individual de nivel de acumulación de conocimientos, en esta comparación y en su interpretación quedaría implícito un análisis colectivo del proceso de enseñanza y aprendizaje desarrollado (Treagust, 2006).

A la hora de valorar la producción de los estudiantes en la evaluación existen distintas maneras de considerar el nivel alcanzado por cada estudiante (Johnstone, 2003). Por una parte puede tomarse un estándar arbitrario de mínima, que se aplica a la distribución de notas obtenidas. Tal criterio, llamado Norma de referencia, a veces intuitiva o bien a través de una política institucional, sólo permite una comparación de lo alcanzado por cada estudiante en una determinada evaluación; no es posible la comparación con otras instancias de evaluación. Otra manera es la aplicación de un Criterio de referencia, donde el evaluador es el experto que tiene un claro estándar en mente y decide cuándo el estudiante cubre los requerimientos mínimos aceptables sobre el tema.

En lo que sigue se muestran comparativamente las consecuencias de analizar las respuestas a un instrumento concebido desde una perspectiva de identificación de representaciones desde un marco de examen tradicional y desde una mirada "más amplia" de las mismas respuestas.

El instrumento utilizado y la población encuestada

Al finalizar un curso de Química General se aplicó una encuesta a 69 estudiantes de primer año de la Licenciatura en Alimentos de la Universidad Nacional del Noroeste de la Provincia de Buenos Aires (UNNOBA), Argentina. La misma se estructuró en torno a cinco ítems, con siete opciones de respuesta no excluyentes para cada uno. Las cuestiones abordadas cubrían aspectos como conservación de la materia (ítem 1) elaborado a partir de Landau y Lastres (1996), el uso de una representación submicroscópica en un sistema (ítem 5), y niveles de descripción macroscópicos y submicroscópicos para los estados de agregación y modelos discreto y continuo (ítems 2, 3 y 4, ver tabla 1) (Mortimer, 1998). En este trabajo se analizan las respuestas a los ítems incluidos en la tabla 1.

Los encuestados fueron provistos de una planilla para anotar sus respuestas a cada ítem junto con sus datos de identificación. Aunque los estudiantes podían ser identificados, la idea central no fue certificar sus conocimientos en particular sino obtener categorías de la diversidad de representaciones existente en el grupo y situarse respecto de las mismas, al contemplar el conjunto de respuestas.

Los resultados obtenidos y su análisis desde una visión tradicional

Al considerar las respuestas desde un punto de vista tradicional, por ejemplo al utilizar un Criterio de referencia, el docente se plantearía la evaluación desde tres premisas: (i) la existencia de respuestas asumidas como correctas; (ii) un modelo de estudiante examinado y (iii) la idea asignada a cualquier instancia de evaluación, desde esta perspectiva y un marco de control, de que el docente debe certificar el estado de conocimientos de cada estudiante.

La búsqueda se centraría, según la premisa (i), en lo que debería ser respondido en el contexto de lo enseñado: a cada pregunta le corresponderá una única respuesta válida. Como ejemplo, se incluye un análisis de este tipo efectuado y comentado por un docente del curso encuestado (ver tabla 2).

En la tabla 3 se incluyen expresiones y conclusiones del mismo docente que reflejarían el intento de controlar el desarrollo del proceso de aprendizaje como si se tratara de una línea de producción en serie. En la segunda y tercera columna se han incluido expresiones y conclusiones del docente.

En la primera de las conclusiones mostradas en la tabla 3 se reiteran las tres premisas enunciadas, mientras que en la segunda se refleja el desconcierto de no poder generalizar los datos obtenidos. Con la tercera conclusión se vuelve sobre el modelo de estudiante para intentar atenuar el desconcierto. En la última afirmación se refleja el marco teórico implícito desde el que se pretende analizar la información obtenida: se ha partido de la idea de investigación habitual en ciencias naturales, donde el significado de "medición" no se discute, el objeto de estudio es invariante durante el registro y se presume un resultado correcto obtenible desde métodos estadísticos. Los interrogantes acerca de lo significativo, el "ruido de fondo" o la posibilidad de comparar este proceso con las curvas de calibración habituales en tareas de laboratorio conducen a discutir la metodología para abordar la información obtenida, el instrumento utilizado y el marco desde el cual se generó.

Con estos criterios, explícitos o no, un docente que certifica conocimientos tendrá como objeto de estudio a cada estudiante y su mirada integral será la de un conjunto de individuos aislados. Los matices en las respuestas personales podrían constituir obstáculos para hallar conclusiones generales. Si la búsqueda está signada por la dualidad correcto-incorrecto el resultado se reducirá a establecer cuántos estudiantes responden "bien" y cuántos "mal", según el "conocimiento oficial" del docente.

Tal mirada resulta distante de la denominada evaluación formativa, aspecto central del proceso de enseñanza y aprendizaje (Sanmartí y Alimenti, 2004). Si se considera a dicho proceso como objeto de estudio, en cambio, la interpretación de los resultados puede permitir distinguir grupos de alumnos con ideas similares y sugerir actividades diferenciadas para cada grupo (Scaife, 2010).

La finalidad, en el presente trabajo, fue la de identificar y evaluar todas las representaciones sobre estructura de la materia presentes en el universo encuestado. Es decir, reconocer la diversidad de representaciones y considerar sus características para su posible empleo en el aula. Para el análisis de dicha información, si bien se podría haber utilizado un tratamiento estadístico, se acudió a un marco cualitativo como el fenomenográfico (Marton, 1981; Ebenezer y Fraser, 2001).

Otro análisis de las respuestas

En el punto de vista fenomenográfico no se establecen categorías a priori sino que ellas deben surgir del análisis de lo expresado por los encuestados, al caracterizar el denominado espacio de representaciones respecto de un tema o contenido específico. Mediante una búsqueda sistemática de similitudes en el conjunto de respuestas se llega a la generación de categorías. La disposición particular de los datos a analizar permite tanto realizar una aproximación estadística como hallar sus generalidades al agruparlos según sus similitudes.

La tabla 4 muestra una porción de planilla Excel con los datos obtenidos con la encuesta de la tabla 1. Un número de orden en la primera columna, permite identificar las respuestas de cada estudiante y también evaluar las respuestas en general. En la fila superior se indican todas las opciones posibles y la opción elegida en cada respuesta se indica mediante un "1" en la casilla correspondiente. Al ordenar los datos según frecuencias de respuestas, independientemente en cada ítem, se obtiene por ejemplo la disposición expuesta en la tabla 5 (en función del ítem 2 que corresponde a gases). Así es posible obtener el conjunto de respuestas más frecuente, la distribución de frecuencias en las respuestas, falta de respuestas a un ítem (aquí indicadas en gris) u otras cuestiones de interés para gases. De modo similar se puede operar sobre el ítem 3 correspondiente a la estructura de líquidos o con el ítem 4 para el estado sólido (el cual no será incluido en este análisis).

Una nueva columna a la derecha en cada ítem (S1, S2, S3, etc.) indica la sumatoria de opciones elegidas en cada caso. A la derecha de la columna sumatoria S1 en la tabla 5, se señala el tipo de respuesta y la cantidad de estudiantes que la eligieron: por ejemplo 2a, 3 significa que 3 alumnos han elegido la respuesta 2a (ver alumnos 11, 45 y 64 en la tabla 5).

Resulta importante identificar diferencias en las representaciones sobre gas, líquido y sólido ya que, en caso de existir, constituirán obstáculos en el abordaje de, por ejemplo, interacciones entre sustancias con distintos estados de agregación (análisis en realización a ser publicado próximamente). Para relacionar las respuestas para gas y líquido en la misma planilla, se toman como base las respuestas para gas de la tabla 5 y se reordena en función de lo respondido para líquido. Al comparar lo obtenido sobre ambas fases se evidencian grupos con respuestas semejantes para ambos estados (ver tabla 6).

En columnas auxiliares a los ítems 2 y 3 (ver tabla 6) aparece la suma horizontal de respuestas para ordenar los datos y, más a la derecha, una primera categorización al hacer explícitas las características de respuestas y su relación con las representaciones posibles. Por ejemplo, las tres primeras encuestas (alumnos 58, 15 y 55 en tabla 6), con respuestas 2a y 2d para gas (afirman que el gas se comprime y lo niegan al mismo tiempo), implican un grupo con contradicciones en este estado de agregación; las respuestas distintas para el líquido sugieren una disociación en la representación de ambos estados. Los siguientes tres estudiantes (41, 50 y 62), en cambio, responden con una representación discreta y coherente con lo macroscópico para el gas (2a, 2c y 2e) y de igual modo para el líquido (3a, 3c y 3e).

Al reunir las respuestas en grupos, se pueden identificar categorías de posibles modelos de la materia utilizados para explicar la situación planteada. Por ejemplo, si las respuestas fueron "a-c-e", implicaría un modelo que vincula lo observable (indicado por la elección de "a") con una representación discreta (evidenciada en la selección "c-e"). Ese modelo de materia es diferente de aquel que al considerar, por ejemplo, sólo "a" revelaría una mirada estrictamente macroscópica y continua de la situación.

Las categorías finales para gas surgidas del análisis expuesto y volcadas a la tabla 7 constituyen el espacio de representaciones para ese estado de agregación dónde se ha incluido, además, una columna que agrupa las respuestas identificadas con los modelos de materia sugeridos. Es importante indicar que, aunque no coincidan las respuestas, pueden coincidir los modelos de materia que las agrupan. Por ejemplo, un estudiante puede haber respondido "a-e-f" y "b-c-d" y sugerir el mismo modelo de materia. Esto permite simplificar categorías que reúnen a distintos grupos de estudiantes.

De dicha Tabla surge que el modelo II (deseable desde el docente) no es el único y si bien resulta preponderante para gases disminuye notablemente para líquidos y aún más para sólidos. En estas fases es reemplazado por los modelos V (discreto pero que no acepta lo fenomenológico), sobre todo en sólidos, y VI (sólo macroscópico y que no acepta lo fenomenológico). También aparece el modelo I (discreto pero que no explica lo macroscópico) con una alta frecuencia de respuestas distribuidas de modo similar en las tres fases. Un registro análogo de frecuencias se ha encontrado en estudiantes universitarios perteneciente a carreras de Ciencias Exactas de la Universidad Nacional de La Plata, cuyo análisis se encuentra en desarrollo.

Conclusiones

Se ha evidenciado cómo, para el mismo conjunto de respuestas, concepciones acerca de la evaluación y maneras de proceder de los docentes pueden obstaculizar la identificación de las diversas representaciones en el aula de ciencias. Por ejemplo en el caso de plantearse, desde la certificación, una evaluación que lleva a resultados estrictamente individuales.

Desde el enfoque de certificación de conocimientos el modelo de estudiante queda prefijado (no sabe leer, no sabe exponer sus ideas claramente, no distingue lo correcto de lo incorrecto, necesita ser enseñado), resulta muy difícil encontrar coherencia en las respuestas a la encuesta y relacionar los datos obtenidos. Las frases escritas por el docente ("Creo que la gran conclusión, que orbita a lo largo y ancho de las encuestas, es que los estudiantes no leen el enunciado; si lo leen no lo interpretan y si lo interpretan no hacen caso.... Conclusión rutinaria de cualquier examen, pero en un examen ya aprendí (bien o mal) a manejarlo. Aquí no sé realmente qué hacer. El problema es que sé cómo detectar los datos locos en una curva de calibración, pero no sé si las encuestas que creo que operan como ruido que entorpece el análisis, son realmente ruido o son significativas") reflejan la dificultad de incorporar lo que muestran las respuestas de sus alumnos a su trabajo de aula.

A diferencia de la aplicación de un criterio de referencia, la alternativa propuesta para el ordenamiento y análisis de datos numerosos, sin descartar ninguno, permite identificar categorías en las ideas existentes en un conjunto de estudiantes además de evidenciar un modelo de estudiante muy distante del esperado desde el esquema de certificación.

En este sentido queda claro que no se puede asumir la existencia única del modelo II, esperada habitualmente desde la perspectiva docente tradicional, sino que es imprescindible considerar otros modelos cuya relevancia estará evidenciada en el porcentaje de estudiantes que los manifiesten.

Tener la posibilidad de identificar las diferentes representaciones que muestran grupos de estudiantes en un aula puede permite al docente programar caminos de acción mediante los cuales abordar la situación. Los resultados de la evaluación realizada pueden considerarse entonces, en un sentido vigotskiano, el punto de partida de un proceso de trabajo docente que atienda a las diferentes necesidades de cada grupo de estudiantes. A partir del espacio de representaciones identificado, el tratamiento de datos de carácter cualitativo presentado se constituye en una herramienta de planificación de las actividades de aula.

Allal, L., Estrategias de evaluación formativa, concepciones psicopedagógicas y modalidades de aplicación, Infancia y aprendizaje, 11, 4-22, 1979.         [ Links ]

Allal, L. y Ducrey, G. P., Assessment of — or in — the zone of proximal development, Learning and Instruction, 10, 137-152, 2000.         [ Links ]

Benarroch, A., El desarrollo cognoscitivo de los estudiantes en el área de la naturaleza corpuscular de la materia, Enseñanza de las Ciencias, 18(2), 235-246, 2000.         [ Links ]

Benarroch, A., Una interpretación del desarrollo cognoscitivo de los alumnos en el área de la naturaleza corpuscular de la materia, Enseñanza de las Ciencias, 19(1), 235-246, 2001.         [ Links ]

Black, P. y Wiliam, D., Assessment and classroom learning, Assessment in Education, 4(1), 7-71, 1998.         [ Links ]

Ebenezer, J. y Fraser, D., First year chemical engineering students' conceptions of energy in solution processes: phenomenographic categories for common knowledge construction, Science Education, 85(5), 509-535, 2001.         [ Links ]

García, M., Espíndola, C. y Cappannini, O. M., Proceso clasificatorio de materiales en alumnos de escuela general básica, Educ. quím., 15(3), 366-371, 2004.         [ Links ]

Johnson, P., Progression in children's understanding of a 'basic' particle theory: a longitudinal study, International Journal of Science Education, 20(4), 393-412, 1998.         [ Links ]

Johnstone, A., Effective Practice in Objective Assessment. LTSN Physical Sciences Practice Guide. University of Glasgow. Glasgow, 2003.         [ Links ]

Landau, L. y Lastres, L., Cambios químicos y conservación de la masa... ¿Está todo claro?, Enseñanza de las Ciencias, 14(2), 171-174, 1996.         [ Links ]

Marton, F., Phenomenography-describing conceptions of the world around us, Instructional Science, 10, 177-200, 1981.         [ Links ]

Mortimer, E. F., Conceptual change or conceptual profile change?, Science & Education, 4, 267-285, 1995.         [ Links ]

Mortimer, E. F., Multivoicedness an univocality in classroom discouse: an example from theory or matter, International Journal of Science Education, 20(1), 67-82, 1998.         [ Links ]

Sanmartí, N. y Alimenti, G., La evaluación refleja el modelo didáctico: análisis de actividades de evaluación planteadas en clases de química, Educ. quím. , 15(2), 120-128, 2004.         [ Links ]

Scaife, J. & Wellington, J. Varying perspectives and practices in formative and diagnostic assessment: a case study, Journal of Education for Teaching, 36(2), 137-151, 2010.         [ Links ]

Sverdlick, I., Investigación educativa, evaluación y pedagogías críticas, Novedades Educativas, 209, 29-35, 2008.         [ Links ]

Tan, D.; Goh, N.; Chia, L. y Treagust, D. F., Development and Application of a Two-Tier Multiple Choice Diagnostic Instrument to Assess High School Students' Understanding of Inorganic Chemistry Qualitative Analysis, Journal of Research in Science Teaching, 39(4), 283-301, 2002.         [ Links ]

Treagust, D. F., Diagnostic assessment in science as a means to improving teaching, learning and retention, UniServe Science 2006 Assessment Symposium Proceedings, Science and Mathematics Education Centre, Curtin University of Technology, Australia, pp. 1-9, 2006.         [ Links ]

Treagust, D. F., Development and use of diagnostic tests to evaluate students' misconceptions in science, International Journal of Science Education, 10(2), 159-169, 1988.         [ Links ]

Treagust, D. F., Diagnostic Assessment of Students'Science Knowledge. En: Glynn, S. y Duit, R. (eds.), Learning Science in the School. Research Reforming Practice, pp. 327-346, N. Jersey, U.S.A.: L. Erlbaum Asoc. Publ., 1995.         [ Links ]