Introducción

Las prácticas de evaluación pueden contribuir a mejorar sustancialmente la calidad del aprendizaje de los estudiantes (^{Keeling, 2006}; ^{Kerr, 2017}). Esto implica que es cada vez más necesario formar a los docentes para que sean capaces de comprender el sentido de sus acciones evaluativas y desarrollar estrategias concretas que favorezcan el aprendizaje de los estudiantes. Ahora bien, existe escasa evidencia sobre la organización de estas prácticas en el contexto de la formación en docencia universitaria (^{Postareff, Lindblom-Ylänne y Nevgi, 2007}). Este artículo analiza cómo se configura una práctica educativa orientada a la enseñanza y al aprendizaje de la evaluación, específicamente en el marco de un programa formativo para docentes de una universidad chilena.

Cabe destacar que cada vez son más las instituciones de educación superior a lo largo de todo el mundo que han implementado programas de formación en docencia universitaria con la finalidad de posicionar la enseñanza como uno de los elementos centrales del quehacer académico (^{Postareff, Lindblom-Ylänne y Nevgi, 2008}; ^{Stes y Van Petegem, 2011}). La mayor parte de estos programas formativos incorporan módulos relacionados con temáticas de evaluación, ya que la literatura sugiere que los profesores suelen implementar prácticas estereotipadas, incoherentes o independientes de los procesos de aprendizaje de los estudiantes (^{Stes, De Maeyer, Gijbels y Van Petegem, 2013}). Sin embargo, a pesar del crecimiento sostenido de estos programas formativos, sabemos muy poco sobre sus diseños instruccionales y mucho menos acerca de los posibles efectos sobre las prácticas de enseñanza que éstos puedan llegar a tener. La mayor parte de los estudios en esta línea se han limitado a evaluar de manera cuantitativa la satisfacción de los profesores y los enfoques de enseñanza que asumen frente a una práctica educativa particular (^{Åkerlind, 2004}; ^{Prosser y Trigwell, 2001}), pero no profundizan en cuáles son las características de estos procesos ni cómo ocurren (^{Stes et al., 2013}).

Con estos argumentos se hace cada vez más necesario desarrollar estudios que aborden la formación en docencia universitaria desde aproximaciones cualitativas que permitan diseñar y organizar programas que faciliten finalmente un cambio de la práctica educativa (^{Stes et al., 2013}). Una alternativa teórica de especial relevancia para abordar este desafío es el constructivismo de orientación sociocultural (^{Mercer, 2010}; ^{Mercer y Coll, 1994}; ^{Swann, Mesthrie, Deumert y Leap, 2000}). Esta perspectiva considera el conocimiento como un elemento inseparable del contexto en el que se construye y, por tanto, plantea que es fundamental estudiar las prácticas educativas que acontecen en situaciones específicas y delimitadas, orientadas a determinados contenidos (^{Burns y Myhill, 2004}; ^{Coll, Onrubia, y Mauri, 2008}). Por ello, es difícil el estudio de la enseñanza de la evaluación, si no observamos cómo se configuran dichas prácticas.

Desde esta perspectiva, el estudio de las prácticas evaluativas adquiere especial relevancia dado que permite analizar cómo se configuran las actuaciones conjuntas que ocurren cuando las personas participan en procesos de aprendizaje con características particulares como, por ejemplo, los procesos de formación en docencia universitaria orientados a la enseñanza y el aprendizaje de la evaluación. Los marcos referenciales que son la base de estos planteamientos se pueden desprender de los trabajos de ^{Vygotski (1978}; ¹⁹⁸⁶), los que incluyen aproximaciones amplias como el discurso educacional, el análisis ecológico del aula y la teoría de la actividad (^{Cole, 1998}; ^{Coll, Majós, y Onrubia, 2008}; ^{Kitayama y Cohen, 2010}). Estos marcos permiten un acercamiento a los procesos de aprendizaje como una actividad constructiva, situada y de atribución de sentido que realizan activamente los aprendices.

Este artículo presenta desde una perspectiva constructivista de orientación sociocultural un proceso de enseñanza de la evaluación, a un grupo de docentes universitarios, específicamente en el marco de un programa formativo que tiene como objetivo generar un cambio de las prácticas de evaluación. Para este propósito se exponen los principales elementos teóricos y metodológicos desarrollados por distintos autores que se enfocan en el estudio de la práctica educativa (^{Coll, Majós, y Onrubia, 2008}; ^{Burns y Myhill, 2004}). Posteriormente, presentamos el analisis de una asignatura correspondiente a un curso de evaluación de los aprendizajes en un contexto universitario.

Aspectos teóricos y metodológicos

Estudiar las prácticas de enseñanza en diferentes contextos adquiere cada vez mayor relevancia, entendiendo que la actividad y el discurso constituyen los principales sustratos de análisis de la actividad educativa (^{Coll y Sánchez, 2008}; ^{Wertsch, 1988}). Este tipo de estudios conlleva una serie de marcos conceptuales que involucran el análisis de la actividad y del discurso con variantes propias, dependiendo del objetivo que se persiga, pero que comparte el carácter situado del aprendizaje, la evolución temporal, la importancia del discurso y la relevancia del contenido de la actividad (^{Correa-Chávez y Roberts, 2012}; ^{Cubero, Contreras, y Cubero, 2016}). Considerando estos elementos, es posible contribuir a la comprensión la interacción que ocurre cuando las personas colaboran en un proceso de aprendizaje.

Una serie de trabajos recientes en esta materia sugieren distintas alternativas metodológicas para el estudio del aprendizaje al considerar los aspectos situados, distribuidos y temporales donde ocurre el discurso, pero especialmente destacan aquellos elementos que se relacionan con la noción de interactividad (^{Barab y Kirshner, 2001}). El concepto de interactividad (^{Harris y Williams, 2011}; ^{Rochera y Naranjo, 2007}; ^{Wilson, Andrew, y Below, 2006}) se refiere a las formas de organización de la actividad conjunta, que pueden implicar diferentes modalidades de interacción entre los participantes y que se encuentran, en gran medida, definidas por los siguientes elementos: finalidad de la actividad, las características del contenido y de la tarea académica.

La mayoría de los trabajos asociados al estudio de la práctica educativa estudian procesos educativos completos, lo que facilita la incorporación al análisis de los diferentes elementos que componen la enseñanza y el aprendizaje (^{Coll et al., 2008}; ^{Mauri y Barberà, 2007}; ^{Onrubia, Rochera, y Álvarez, 1990}; ^{Sánchez y Rosales, 2005}). En este sentido, existe acuerdo en la necesidad de valorar la unidad completa o la dimensión temporal del proceso de enseñanza y aprendizaje, dado que la construcción de conocimiento requiere de tiempo para su elaboración (^{Bereiter y Scardamalia, 2006}; ^{Schwarz, Dreyfus y Hershkowitz, 2009}). La consideración de la secuencia didáctica (SD) o proceso instruccional, como unidad de análisis, es una elección compartida por la mayoría de los trabajos en esta línea de investigación y posibilita la observación de los diferentes elementos que configuran un proceso educativo (^{Sánchez y Rosales, 2005}).

Autores como ^{Coll y Rochera (2000)} o ^{Cubero (2005)} consideran que la secuencia didáctica representa la unidad de análisis, y puede describirse como una serie de actuaciones o episodios compartidos por todos los participantes. La existencia de estos episodios constituye un eje clave en la metodología planteada, dado que su configuración da forma a la estructura de participación o primer nivel de análisis. Para definir cada uno de estos episodios, los docentes y estudiantes participantes del proceso instruccional deben mostrar evidencias de que aceptan las actuaciones de los otros participantes (^{Colomina, Onrubia y Rochera, 2001}; ^{Rochera y Naranjo, 2007}). En resumen, la definición de los episodios responde al análisis de las formas de actuación compartidas y claramente evidenciadas a partir de los cambios que surgen a lo largo del proceso instruccional.

Para definir cuándo se da inicio o término a un episodio se deben cumplir dos condiciones de manera simultánea. En primer lugar, se debe responder a las preguntas: ¿Qué se puede hacer? ¿Quién lo debe hacer? ¿Con quién lo puede hacer? ¿Cuándo se debe hacer? ¿Cómo se puede hacer? El propósito de esta operación es definir la estructura de participación que surge en los diferentes momentos del proceso instruccional. En segundo lugar, se debe identificar la estructura de contenido o las tareas que se abordan en torno a la actividad conjunta. Los dos niveles mencionados guardan estrecha relación. El primero da cuenta de la estructura de participación al interior de la secuencia didáctica analizada, el segundo indica la relación con la estructura de la tarea o el contenido del discurso, a partir de las actuaciones predominantes de los participantes. Ambas operaciones permiten delimitar los episodios que aparecen, su frecuencia, su ubicación y su evolución a lo largo del proceso instruccional. De la misma manera, permiten determinar cuáles son las actuaciones predominantes y la fuerza elocutiva de los mensajes presentes en cada uno de los episodios.

Los elementos metodológicos referenciados hasta este punto han llevado a una serie de autores a identificar distintas formas de organización de la actividad conjunta en diferentes procesos instruccionales (^{Del Río, Sánchez, y García, 2000}; ^{Garte, 2016}; ^{Rochera y Naranjo, 2007}; ^{Mauri y Barberá, 2007}). Algunos trabajos muestran a partir de mapas de interactividad, cómo se organiza la actividad educativa (^{Coll y Rochera, 2000}). Estos mapas representan la estructura de la actividad educativa, observada a través de la identificación de episodios de interactividad. La identificación de estas estructuras de participación permite analizar las rutinas o configuraciones de la actividad, distribución, duración y evolución a lo largo de la secuencia o proceso instruccional, lo que facilitaría la interpretación de las formas de actuación que puedan aparecer y que contribuyen a explicar el cómo se configura la actividad (^{Coll, et al., 2008}; ^{Colomina, et al., 2001}).

Este modelo de análisis propuesto ha sido desarrollado por ^{Coll et al. (2008)} y tiene por objetivo poner en evidencia los mecanismos de influencia educativa en situaciones de aprendizaje (^{Colomina, et al., 2001}). Estos mecanismos, en términos genéricos, son formas de distribución de las ayudas educativas en los procesos de enseñanza. Esta propuesta entrega un marco metodológico de acceso a la actividad educativa considerando la actividad, el discurso y el contenido. En resumen, examina la relación tríadica de los principales componentes de una práctica educativa -profesor, estudiante y contenido-. La utilización de este modelo y sus diferentes niveles de análisis permite contar con un soporte para el estudio específico de la actividad educativa que tiene lugar en contextos de docencia universitaria (^{Chávez y Jaramillo, 2014}).

A la luz de estos antecedentes, el objetivo de la investigación consiste en examinar la organización de un proceso instruccional orientado a la enseñanza y el aprendizaje de la evaluación a partir del estudio de la actividad y el discurso con la finalidad de identificar aquellos segmentos o episodios que podrían favorecer interacciones que tienen como principal finalidad redirigir el proceso de aprendizaje, cuestión a nuestro parecer central de cualquier práctica de enseñanza que tiene como finalidad la comprensión de la evaluación como herramienta para el aprendizaje.

Metodología

Resultados

La evolución temporal y articulación de los episodios conforman la estructura de participación y permiten obtener una vista panorámica de las interacciones que se desarrollan a lo largo del proceso instruccional. Esta estructura se representa gráficamente en la figura 1. Esta representación permite comprender de mejor manera cómo se organiza la interacción entre los participantes de un curso a partir de las actuaciones predominantes que configuran los distintos momentos de la SD. De manera similar, cada uno de los episodios recibe su nombre en atención a las acciones y discursos predominantes que contiene.

En la estructura de participación que se observa en la tabla 1, es posible observar un episodio de contenido que corresponde al 11% de la SD y responde a la transmisión de información por parte del docente formador. Asimismo, es posible observar un episodio de instrucción, que corresponde al 3.4% de la SD y contiene indicaciones respecto a la organización del trabajo a desarrollar en las sesiones siguientes. En este episodio, se entregan las directrices relativas a la organización de grupos de trabajo y reglas generales asociadas a las evaluaciones del curso.

Tabla 1 Mapa de interactividad. 

Fuente: elaboración propia, siguiendo las convenciones gráficas del trabajo de ^{Rochera y Naranjo (2007)}

En el episodio de tarea, correspondiente al 1.3% de la SD, y que aparece únicamente en la primera y segunda sesión, los profesores participantes y el docente formador realizan actividades preparatorias relacionadas con el desarrollo de los productos del curso. Por último, el episodio de entrega de pauta de evaluación corresponde a un 1.5% de la SD, y hace referencia a la entrega de los instrumentos que se utilizarán para evaluar las actividades desarrolladas en la tercera y cuarta sesión.

En este trabajo, exploramos con mayor profundidad dos episodios específicos no mencionados hasta este punto, pero que son los más frecuentes en la SD: (1) trabajo grupal, que corresponde al 40.6%; y (2) disertación, equivalente al 18.3%. Para abordar con profundidad necesaria estos dos episodios, se evaluó la fuerza elocutiva o los tipos de mensajes que se encuentran al interior del episodio. Por tal motivo, un segundo nivel de análisis respondió no sólo a la configuración de la actividad, su aparición, su duración, su ubicación y, por lo tanto, la relevancia que adquieren en un determinado proceso instruccional, sino también respondió a la identificación, tanto de la intencionalidad como de los tipos de mensajes dentro de los episodios, particularmente en el caso de aquellos mensajes que guardan relación con la forma que adquieren las situaciones de evaluación o las características de estos momentos evaluativos.

Cuando se analizaron situaciones comunicativas asociadas al episodio de trabajo grupal, que es aquel de mayor duración dentro de la SD (ver fragmento 1), se observaron distintos tipos de mensajes, tanto del docente formador como de los docentes participantes. La característica principal de estos mensajes es que se abordan los contenidos de las tareas de evaluación, por ejemplo: “el desarrollo o la forma de construir una rúbrica”; los procedimientos, “cómo la construyo o qué aspectos debiera considerar”; y la valoración de la tarea, “donde el docente emite un juicio de valor sobre el producto”. Dicho en otras palabras, el episodio de trabajo grupal puede ser considerado un segmento de preparación, en el cual docente formador y los docentes en formación van compartiendo contenidos conceptuales, procedimentales y actitudinales sobre la actividad de evaluación.

Fragmento 1

Transcripción clase 3: “instrumentos no tradicionales de evaluación: la rúbrica como un instrumento de evaluación auténtica de los aprendizajes” (segundo periodo, trabajo grupal).

Docente formador: Yo veo esto (rúbrica), siendo alumno, y digo no hago casi nada y paso igual”.

Docente: “Nosotros tenemos la percepción que al aplicar esto, independientemente de los diferentes puntajes de los ítems, estamos exigiendo un 60%.

Docente formador: A mí me parece que es menos, se aprueba sin hacer casi nada.

Docente: La peor nota que he puesto ha sido un 4,8. Docente formador: No se puede construir una escala así. Es incorrecto. Por definición no se puede construir algo dicotómico para algo que es plural.

En lo que respecta al episodio de disertación, la información analizada permite concluir que este episodio representa un momento de aprendizaje de la evaluación, donde los docentes exponen los resultados de su trabajo desarrollado en los talleres. Estos episodios estuvieron situados al final de las sesiones, cada grupo eligió un representante que mostraba a los otros el producto de los trabajos desarrollados. Si observamos los mensajes, el enfoque está en los criterios de corrección, es decir, en aquello que el estudiante debe incorporar o eliminar dentro de la tarea y, paralelamente, en los momentos de devolución donde el docente explica a través de ejemplos lo que se debiera incorporar en la tarea (ver fragmento 2).

Fragmento 2

Transcripción clase 4: “Instrumentos no tradicionales de evaluación: la rúbrica como un instrumento de evaluación auténtica de los aprendizajes” (primer periodo, continuación de trabajo grupal clase 3).

Docente formador: Antes de continuar con la siguiente etapa ¿Qué les parece la definición de la actividad? ¿Qué aspectos destacan? ¿Qué aspectos se pueden mejorar?

Docente: Falta el para qué, como la definición de la semana pasada, es necesario saber para qué estoy haciendo esto.

Docente formador: Lo importante aquí, es que la definición sea conceptual y operacional a la vez. Que se defina qué es el objeto. En este caso se debe definir el objeto, se debe mencionar que es un proyecto de investigación y en qué consiste. Por ejemplo: se explica que el proyecto debe contener una introducción, pero no se explica, no hay un criterio de calidad que indique cómo debe ser esta introducción”.

Discusiones

La metodología que hemos presentado y utilizado para explorar estas prácticas, nos ha permitido organizar los episodios y actuaciones en que el docente y los estudiantes interactúan unos con otros, y que pueden ser de especial relevancia para contribuir a reconceptualizar la evaluación como una herramienta para el aprendizaje.

En este contexto, los resultados muestran dos episodios especialmente relevantes a lo largo de la secuencia. El primer episodio reconocible guarda relación con la preparación para la evaluación, donde la modalidad es el trabajo colaborativo entre los docentes en formación y el docente formador, donde se abordan contenidos de la tarea de evaluación, procedimientos o formas de abordar la tarea y, por último, se valora la tarea con una clara intención reguladora para el aprendizaje. Además, encontramos un segundo episodio claramente identificable que guarda relación con la presentación grupal de los trabajos desarrollados por los docentes en formación, donde el docente formador corrige y devuelve información de la tarea realizada de manera pública. Estos dos episodios pueden interpretarse tanto en términos de actividad como de discurso.

A nivel de la estructura de participación están los episodios de mayor duración en la SD y son considerados los de mayor relevancia, porque en estos episodios donde aparecen situaciones o actividades de evaluación, que tienen como finalidad redirigir los procesos de aprendizaje de los profesores en formación. Allí, la intención comunicativa tiene un componente regulativo que se representa a partir de formas identificables que ejerce el docente con la intención de facilitar información a los estudiantes.

A nivel discursivo, se observa que cada uno de estos episodios se caracteriza por situaciones comunicativas particulares, por ejemplo: el episodio de trabajo grupal o preparación de la evaluación, donde los mensajes están centrados en los contenidos de la tarea de evaluación, los procedimientos y la valoración de la tarea. El episodio de disertación o presentación de resultados se caracteriza por situaciones comunicativas centradas en la corrección y la devolución por parte del docente formador. Ambos episodios contienen situaciones comunicativas que tienen como finalidad redirigir el proceso de aprendizaje de los docentes en formación. Estas situaciones son de especial atención, dado que el objetivo final es el cambio conceptual de la evaluación como herramienta para el aprendizaje.

Estos hallazgos permiten en un primer momento, describir cómo el docente ejerce situaciones comunicativas basadas en la retroalimentación que implica una preparacion de la evaluación, donde se presentan las reglas de participación a los estudiantes y un segundo momento donde el docente corrigue y retroalimenta en funcion de la tarea desarrollada. Sin embargo, en los trabajos desarrollados por ^{Rochera y Naranjo (2007)} no se logran identificar las distintas caracteristicas que señalan las autoras y que pueden configurar una situacion evaluativa de utilidad para los estudiantes.

En resumen, se reconocen los distintos aspectos que pueden favorecer la enseñanza de la evaluación, considerando la importancia que tiene el entendimiento de la práctica evaluativa por parte de los docentes universitarios como una herramienta para el aprendizaje, pero que exige modelos de perfeccionamiento para desarrollar herramientas como la capacidad de entregar y devolver información útil y pertinente para el estudiante. Esto no necesariamente se refiere a la enseñanza de dispositivos evaluativos, sino profundizar en la forma en que se utiliza la información que entregan estos dispositivos.

En resumen, es de especial relevancia reconocer los distintos aspectos que pueden favorecer la enseñanza de la evaluación, considerando la importancia que tiene el entendimiento de la practica evaluativa por parte de los docentes universitarios como una herramienta para el aprendizaje, pero que por tanto, exige modelos de perfeccionamiento que apunten a desarrollar ciertas herramientas, entre esas, la capacidad para entregar y devolver información útil y pertinente para el estudiante y no necesariamente la enseñanza de dispositivos evaluativos, sino que cada vez más, se requiere profundizar en la forma en que se utiliza la información que entregan estos dispositivos.