Los distintos tipos de instrumentos de puntuación

La escritura involucra diversos procesos cognitivos y motivacionales: establecer objetivos, transformar contenidos, seguir una línea temática, tener en cuenta a la audiencia, conocer las características de los distintos géneros discursivos, autorregularse y tomar múltiples decisiones para alcanzar el objetivo (Bereiter y Scardamalia, 1987; Flower y Hayes, 1981,1984; Flower, 1998; Hayes, 2000; Dempsey, 2009).

A la complejidad inherente de esta habilidad lingüística se suma el reto de evaluar objetivamente el constructo denominado “calidad de la escritura”. Desde la década de los cuarenta, la evaluación de la escritura ha transitado del interés por el texto mismo hacia el paradigma cognitivo y hacia el proceso de redacción, entremezclado con el contexto sociocultural y con teorías discursivas y diálógicas del texto (Nystrand, Greene y Wiemelt, 1993, citado por Sperling y Freedman, 2001:371). Según Galán, dos afirmaciones dan una visión sucinta del tema: 1) Hay poco consenso sobre qué es “escribir bien”; 2) En todos los casos, desde sus inicios, evaluar la redacción ha sido “un problema espinoso” (Scardamalia y Bereiter, 1986:779, citado por ^{Galán, 2008: 75}).

Puesto que se trata de procesos cognitivos, la evaluación de la escritura se lleva a cabo utilizando esquemas, guías o escalas de puntuación que establecen explícitamente los criterios de actuación para clasificar y organizar observaciones respecto a diferentes niveles de habilidad, conducta y calidad del producto (^{Bargainnier, 2003:1}). Las escalas incluyen el enunciado del criterio por evaluar y un sistema apropiado de puntuación. El primero debe corresponder a un criterio significativo y estar formulado con un lenguaje descriptivo, claro y accesible. Debe permitir discriminar los diferentes niveles de actuación de manera cualitativa, evidente y no arbitraria. Por otra parte, la puntuación es la representación explícita de la teoría subyacente (es decir, ciertos aspectos son más o menos importantes que otros); tiene consecuencias en la ponderación final y por tanto en la toma de decisiones. Las escalas bien diseñadas, además, se enfocan positivamente en los logros; diferencian entre actuación, producto y esfuerzo; y exhiben atributos psicométricos de validez universal y confiabilidad (^{Bargainnier, 2003:4}).

Además de describir los logros de los estudiantes en términos de un conjunto de criterios de actuación y de servir como definiciones operativas del constructo teórico, de las creencias acerca de lo que es escribir, ^{North y Schneider (1998)} enumeran las siguientes funciones que cumplen las escalas de puntuación: a) proveer criterios para que los estudiantes puedan confrontar sus escritos; b) reducir la subjetividad de las calificaciones suministrando un estándar común y significativo para los evaluadores; c) proporcionar guías para la construcción de exámenes; d) reportar resultados homogéneos, en términos de un mismo instrumento; e) proveer vínculos institucionales coherentes entre la evaluación diagnóstica, el plan de estudios, los materiales, la evaluación de proceso y la certificación; f) establecer un marco de referencia que describa los logros de un sistema educativo en términos significativos para los involucrados; g) posibilitar la comparación entre sistemas o poblaciones usando una medida común.

Mediante la utilización de esquemas de puntuación se pretende reducir la subjetividad inherente a la evaluación del constructo denominado “calidad de la escritura” o “escribir bien”. Las escalas o guías de puntuación pueden ser de distintos tipos. Las listas de comprobación (checklists) verifican la presencia o ausencia de un atributo, son unidimensionales y se utilizan preferentemente para evaluar actuaciones. Las rúbricas (rubrics) indican el grado en el que se alcanza un criterio, son multidimensionales y se usan para la valoración tanto de las actuaciones como de los productos resultantes de la ejecución de una tarea.

Las rúbricas, a su vez, pueden ser holísticas o analíticas. Las primeras requieren la evaluación del proceso o producto en su totalidad, sin juzgar separadamente las partes que lo componen. Generalmente se utilizan cuando los errores en alguna parte del proceso pueden tolerarse en aras de la alta calidad de la actuación completa. La principal ventaja de las rúbricas holísticas radica en su carácter práctico, ya que “su aplicación requiere una sola lectura rápida del escrito por parte de cada uno de los evaluadores que participan en el proceso. Por otra parte, con las rúbricas analíticas primero se asignan puntajes separados a las partes del producto o actuación y luego se suman para obtener un puntaje total. La desventaja de las rúbricas analíticas es que su aplicación demanda varias lecturas del escrito por parte de cada evaluador, con lo cual el proceso se vuelve considerablemente lento. Ambos tipos de rúbricas poseen ventajas y desventajas. A continuación se presenta un cuadro sinóptico que las resume:

En suma, las escalas de puntuación cumplen diferentes fines. Para la evaluación del constructo subyacente a la escritura, cuando se trata de exámenes aplicados a gran escala, se utilizan fundamentalmente rúbricas holísticas; para la evaluación focalizada de las fortalezas y debilidades de los productos se opta por las rúbricas analíticas, cuyo diseño y aplicación resultan más largos y laboriosos.

Proceso de construcción de la pauta de corrección del EXHALING

El constructo del EXHALING se organiza en tres niveles de documentación: marco de referencia, marco teórico subyacente y especificaciones (^{Jurado, 2014}). Puesto que se trataba de un examen referido a un criterio, se adoptó como tal el Marco Curricular Común (MCC) del bachillerato, publicado en 2008 por la Secretaría de Educación Pública. En particular se trabajó con la categoría “se expresa y comunica”. Los atributos de dicha categoría fueron sistematizados en una retícula a partir de la cual se definieron tablas de especificaciones para las pruebas de respuesta seleccionada (comprensión auditiva, comprensión de lectura y conciencia lingüística) y tareas para la prueba de respuesta construida (expresión escrita).

El marco teórico subyacente al marco de referencia, es decir, subyacente al MCC del bachillerato, tiene tres pilares: a) el concepto de competencia comunicativa; b) una teoría psicosociolingüística que enfoca los procesos de lectura y escritura desde una perspectiva cognitivo-discursiva, y c) el concepto de conciencia lingüística. Sólo los dos primeros se relacionan con la pauta de corrección.

La competencia comunicativa centra su interés en la identificación de la forma como se producen los intercambios comunicativos y lingüísticos en la vida cotidiana, la determinación de los elementos involucrados en la expresión y comprensión de los mensajes, así como en la indagación del papel que desempeña cada uno de los elementos que intervienen en la interacción comunicativa (^{Canale y Swain, 1980}; ^{Canale, 1983}; ^{Bachman, 1990}; Lomas, 1993; MCER, 2000). Los distintos modelos de competencia comunicativa coinciden al menos en el reconocimiento de cuatro subcompetencias: lingüística (la capacidad innata para hablar y el conocimiento gramatical de la lengua), sociolingüística (conocimiento de normas socioculturales en diferentes usos lingüísticos), pragmático-discursiva (conocimientos y habilidades para comprender y producir diferentes tipos de discursos) y estratégica (recursos, procedimientos, planes o acciones que pone en práctica el emisor de forma potencialmente consciente para maximizar la eficacia de su aprendizaje o de su comunicación).

Desde la teoría psicosociolingüística que constituye el segundo pilar del constructo, la habilidad de escribir es concebida como una compleja actividad cultural, social, cognoscitiva e interactiva que va más allá de lo motriz, ya que, por una parte, conlleva un componente dinámico que permite al escritor el manejo de la situación de producción escrita, y por otra, le posibilita -mediante la conducta estratégica- efectuar un procesamiento flexible de los recursos disponibles. Específicamente en el ámbito académico, se trata de una actividad de construcción de significados y, más importante aun, una instancia de generación de conocimientos y desarrollo del pensamiento e inteligencia del sujeto escritor (Parodi, 2003; Carlino, 2004; Cisneros, 2011).

Para producir discursos o textos con un sentido pleno, intencionado y convincente, un escritor académico experto vincula microestructuras (relaciones entre oraciones, especialmente de coherencia referencial y textual) con macroestructuras (relaciones semánticas globales del contenido del texto que reflejan el sentido general del discurso) y con superestructuras textuales (esquemas que caracterizan los tipos de texto y que conducen su interpretación y producción).

Se trata de una teoría de comprensión (no exclusivamente de producción) textual que descansa en dos supuestos básicos relacionados con el procesamiento lingüístico (Parodi, 2003):

Como puede apreciarse, el segundo supuesto se conecta directamente con el concepto de competencia comunicativa subyacente a la categoría “se expresa y comunica” del MCC del bachillerato. El siguiente esquema tomado de ^{Jurado (2014)} sistematiza las relaciones entre los pilares y los supuestos del constructo subyacente con la pauta de corrección de las pruebas escritas:

Una vez definido el constructo, se procedió a hacerlo operativo tanto en el examen como en la escala de puntuación para evaluar las tareas escritas. Varias versiones fueron confeccionadas a priori por el equipo de especialistas (^{Oropeza et al., 2014}). La primera de ellas estaba muy apegada al constructo, pero resultaba poco práctica, entre otras razones, porque evaluaba primero la competencia lingüística y al final la sociolingüística y la estratégica, que resultaban más rápidas de calificar. Para facilitar la aplicación práctica de la escala, se determinó invertir el orden y también eliminar, o mejor dicho “desatar”, los macrorrubros correspondientes a la competencia lingüística y a la pragmática, para dejar solo una lista de criterios. Con estas dos medidas se sacrificó la manifestación evidente del constructo, pero se ganó en “practicidad”.

El prurito de plasmar el constructo confrontó al equipo con varias contradicciones. Por una parte, por tratarse de un examen aplicado a gran escala, los 4 041 ensayos del EXHALING debieron ser evaluados con una rúbrica holística; sin embargo, se trataba también de un examen diagnóstico. Este tipo de instrumentos se caracteriza por enfocar elementos específicos más que habilidades globales. Su objetivo es identificar las fortalezas y debilidades en el conocimiento y uso de la lengua. Proporcionan un reporte de resultados que posibilita el análisis detallado de las respuestas a los ítems y a las tareas, por tanto, funcionan también como retroalimentadores (Alderson, 2005). Ante esta contradicción, el equipo de especialistas del EXHALING decidió explorar tanto el camino holístico como el analítico. En el Anexo 1 aparece una muestra de los descriptores holísticos para las puntuaciones máxima y mínima.

Por otra parte, se encontró que algunos rubros o aspectos de calidad que se pretendía evaluar podían ser desglosados en niveles de puntaje, pero otros tenían que ser valorados solo por su presencia o ausencia. Esta multidimensionalidad condujo a la combinación de una escala de puntuación analítica con una serie de enunciados en forma de lista de comprobación para ciertos aspectos de calidad correspondientes a la subcompetencia discursiva.

Otra cuestión que tuvo que ser resuelta fue el hecho de que, debido a restricciones presupuestales, no fue posible contar con un equipo de evaluadores entrenados (codificadores) expertos, razón por la cual se conformó un grupo compuesto por profesores experimentados en la enseñanza de lengua, estudiantes recién egresados y prestadores de servicio social que cursaban los últimos semestres de carreras de lingüística y letras modernas. La imposibilidad de desarrollar un trabajo concentrado y sostenido condujo al desarrollo de un tipo de escala analítica, pero muy práctica. Las escalas de este tipo suelen ser detalladas y a veces con complejas explicaciones del procedimiento de puntaje. En el caso del EXHALING, se trató de confeccionar un instrumento práctico, que fue complementado por una guía explicativa.

Durante el taller de 20 horas de entrenamiento de evaluadores (codificadores), la discusión argumentada basada en la aplicación de la escala llevó la enunciación cuantificada de algunos criterios (p. ej. “hasta tres errores”; “más de tres errores”), así como a la eliminación de la valoración holística por la discrepancia de más de dos puntos que arrojaba la puntuación entre evaluadores entrenados (raters), quienes se enfrentaban al dilema de valorar textos que presentaban rasgos correspondientes a niveles distintos (p. ej. el dominio de convenciones formales, pero vocabulario pobre; o mínimos errores de ortografía, pero ideas organizadas con palabras de enlace básicas). Debido a estas dificultades, se consideró que el instrumento analítico resultaba más conveniente. Las escalas fueron refinadas repetidamente para tratar de alcanzar el mayor acuerdo entre evaluadores entrenados. La versión del instrumento que se aplicó a los 4 041 ensayos del EXHALING quedó conformada por 22 criterios, rubros o aspectos de calidad (Anexo 2).

Finalmente, cabe aclarar que en la publicación de los resultados del proyecto EXHALING (González, 2014), el equipo de especialistas decidió adoptar el término “pauta de corrección”, debido a que el producto final no corresponde a lo que de manera ortodoxa podría considerarse una rúbrica.

Componentes de la pauta de corrección del EXHALING

De los 22 rubros, criterios o aspectos de calidad que conforman la pauta de corrección EXHALING, 11 fueron formulados como lista de comprobación y 11 con formato de niveles de logro cuyo peso varió entre tres y dos puntos. Las escalas que fueron ponderadas con tres puntos corresponden a la competencia estratégica, la complejidad sintáctica y el uso apropiado de signos de puntuación. Las nueve restantes oscilaron en el rango de cero a dos. La valoración de la competencia discursiva se desdobló en tres niveles de logro para los rubros de coherencia, cohesión y párrafos, con un máximo de dos puntos; más nueve rubros enunciados con formato de lista de comprobación, con valores de un punto, y de dos para las operaciones discursivas.

Dado que la ponderación representa explícitamente el constructo (es decir, ciertos aspectos son más o menos importantes que otros), se determinó la siguiente distribución:

Debido a la diversidad de formatos que contiene, la pauta se analizó psicométricamente con la extensión Rasch Rating Scale Model (rsm) de Andrich (1978). En cuanto a la confiabilidad (consistencia en los puntajes concedidos por los evaluadores entrenados a lo largo de repetidas mediciones), el análisis mostró gran consistencia, excepto en los criterios 18 y 19, correspondientes a la evaluación de operaciones discursivas, razón por la cual fueron eliminados del reporte final de resultados, en el cual se dio cuenta solo de 20 aspectos de calidad en los ensayos de escritura. Por lo que respecta al análisis de validez (grado en el cual las puntuaciones reflejan el constructo), la media mostró gran consistencia con el resto de las pruebas del EXHALING, excepto por un desajuste de 0.05 unidades en la rúbrica 8 (uso de signos de puntuación). El siguiente mapa de Wright tomado de Montesinos (2014) muestra las medias y los niveles de dificultad de los 20 criterios en relación con la habilidad de los sustentantes:

Como se aprecia en el mapa, el posicionamiento de los sustentantes arrojó una media de 49.57, cercana a la media de exigencia de pauta, que fue de 51.63. La rúbrica con menor índice de dificultad fue la de complejidad sintáctica, y la de mayor corresponde a la de suficiencia de argumentos. En el rango medio se ubicaron las correspondientes al control léxico, ortografía, introducción y coherencia.

Utilidad de la pauta de corrección EXHALING para desarrollar la habilidad escrita en el aula preuniversitaria

Como ya se mencionó en la primera sección de este artículo, las escalas analíticas tienen como una de sus principales características la de servir para retroalimentar procesos. Varios autores coinciden en que se trata de un recurso poderoso para desarrollar en los estudiantes la autoconciencia de la tarea y por tanto mejorar su desempeño escrito:

Three reviews of the research on the effectiveness of formative assessment to increase student achievement have consistently demonstrated that assessment providing students with feedback about their performances increases subsequent performances (Natriello, 1987; Crooks, 1988; Black & Wiliam, 1998). A key factor in the success of formative assessment is the benefit to student achievement resulting from self-assessment based on an understanding of the goals of learning and the criteria by which students are evaluated (Fontana & Fernandes, 1994, en ^{Kozlow & Bellamy, 2004:5})

Asimismo, los beneficios son también para los profesores, quienes pueden contar con un instrumento para medir el grado en el que un criterio específico se ha alcanzado, y por tanto para retroalimentar de manera focalizada y fundamentada los trabajos de sus estudiantes. Les sirve además para recabar información sistematizada y de ese modo llevar a cabo investigaciones (incluso se podría pensar a futuro en una investigación para desarrollar una aplicación tecnológica accesible para evaluar ensayos):

Consistent use of well-designed rubrics significantly improves the facilitation of learning by providing both students and instructors with clarity and commonality of purpose. Students can better validate their own progress, and instructors can fairly and consistently document the students’ skills and growth. Using rubrics across programs and/ or course sequences can also insure consistent measurement of quality of performance by students who have different instructors. Rubrics can provide a well-founded measurement system for improving teacher performance and collecting data for research projects. Creating and using quality rubrics is well worth the considerable time and effort involved (Bargainier, 2003:4).

La pauta de corrección del EXHALING no tuvo en sus orígenes esa finalidad; no obstante, las necesidades derivadas de la investigación empírica condujeron a la confección de un instrumento ecléctico y relativamente amigable que podría ser utilizado -con algunos ajustes- para desarrollar en los estudiantes un conocimiento metacognitivo y metalingüístico útil para guiar la escritura de ensayos argumentativos, una de las tareas de escritura más comunes en el nivel bachillerato, que les proporciona la base para elaborar artículos académicos y reportar sus investigaciones en el nivel universitario.

Conclusiones

Las escalas de puntuación son instrumentos ampliamente utilizados en el campo de la evaluación tanto de procesos como de productos. Existe una multitud de modelos validados con alto rigor metodológico y ampliamente utilizados en distintos contextos académicos para medir el constructo “calidad de la escritura”.

El EXHALING fue un examen diagnóstico de las habilidades lingüísticas de los jóvenes que ingresan al nivel universitario. La pauta de corrección de su prueba escrita fue confeccionada atendiendo a la necesidad de evaluar una gran cantidad de ensayos, recabando información que respondiera a un constructo teórico específico (el MCC del bachillerato). Como todo instrumento de calidad, su construcción y aplicación requirió el esfuerzo de varios especialistas.

Aunque estamos conscientes de la dificultad para transferir o adaptar un instrumento de evaluación de producto a un contexto de instrucción, también tenemos la certeza de que, tanto por su metodología como por sus peculiaridades en cuanto a eclecticismo y practicidad, la pauta de corrección EXHALING puede ser utilizada, con algunos ajustes, como instrumento relativamente consensuado de retroalimentación para distinguir niveles de habilidad, mejorar los escritos de los jóvenes bachilleres, fundamentar la retroalimentación de los docentes y acopiar información sistemática para investigaciones.

El trabajo de afinación de un instrumento de esta naturaleza es inagotable. Una nueva versión (que constituiría una base bastante sólida para el diseño de una herramienta tecnológica) tendría que tomar en cuenta los siguientes ajustes: en primer lugar, la fusión de la pauta de corrección con algunos extractos de la guía explicativa, para que los usuarios -alumnos y maestros- contaran con un solo y amigable instrumento. En segundo término, es necesario complementar los niveles de logro para valorar con mayor precisión el contenido y el aparato crítico (citas y referencias bibliográficas). Finalmente, se necesita buscar la manera adecuada para medir los criterios cuyos índices resultaron débiles y excluidos por el análisis psicométrico (complejidad sintáctica, puntuación y operaciones discursivas).