Evaluación de la competencia de expresión escrita argumentativa de estudiantes universitarios

Eduardo Backhoff Escudero*, Virginia Velasco Ariza**, Margarita Peón Zapata***

* Instituto Nacional para la Evaluación de la Educación.

** Universidad Autónoma de Baja California.

*** Instituto Nacional para la Evaluación de la Educación.

Ingreso: 00/00/12
Aprobado: 00/00/13

Resumen

Las habilidades de lectoescritura son indispensables para poder asimilar y comunicar el conocimiento, por lo que resulta lógico suponer que los estudiantes que logran terminar el bachillerato han adquirido las competencias suficientes de comprensión de lectura y expresión escrita que les permitan continuar con éxito sus estudios universitarios. Están muy bien documentados los bajos niveles de lectoescritura que logran los estudiantes mexicanos del nivel de educación media superior, aunque poco se sabe de las competencias que tienen los estudiantes universitarios. Por esta razón, este trabajo tuvo un triple propósito: primero, diseñar un instrumento para evaluar la expresión escrita en estudiantes de educación superior; segundo, evaluar la calidad del instrumento desarrollado y, tercero, medir el nivel de competencias para escribir textos que tienen los alumnos que terminan el tronco común de la Universidad Autónoma de Baja California (UABC).

Palabras clave: Expresión escrita, Evaluación de la escritura, Educación superior, Textos argumentativos, Evaluación de estudiantes.

Abstract

The literacy skills are basic to assimilate and communicate knowledge. Therefore, it is reasonable to assume that students who complete high school have acquired sufficient skills in reading comprehension and writing skills that enable them to successfully continue their university studies. In spite of the fact that the low literacy levels of Mexican students who end the upper secondary education is well documented, little is known of the writing competences of higher education students. For this reason, this study had three purposes: first, to design an instrument to assess student writing; second, to assess the quality of the instrument developed, and; third, to measure the level of writing skills that students have when completing the common core subjects of the Autonomous University of Baja California (UABC).

En la actualidad, no existen dudas sobre la relevancia que tiene la educación para mejorar las condiciones sociales y económicas de los países en desarrollo, como es el caso de México. La inversión en capital humano representa una de las prioridades de las naciones, ya que es una vía para reducir las brechas sociales y para aproximarse a la economía de los países con mayor desarrollo (Puelles-Benítez y Torreblanca-Payá, 1995).

Dos de las principales competencias escolares que se enfatizan mundialmente, por el grado de impacto que tienen en el desarrollo intelectual de los individuos y porque son básicas para asimilar el conocimiento, se relacionan con el razonamiento matemático, así como con las habilidades de lectoescritura (Saulés, 2012; OCDE, 2009).

Por esta razón, desde el preescolar hasta el nivel de educación superior, el Sistema Educativo Mexicano (SEM) diseña planes y programas de estudio que atienden longitudinalmente estas dos grandes competencias básicas que, a lo largo de los grados escolares, van reforzando la capacidad de los estudiantes para resolver problemas matemáticos y para comunicarse eficazmente.

Es importante destacar que una considerable proporción de los contenidos académicos se aprenden mediante la lectura y la escritura, por lo que resulta lógico suponer que los estudiantes que logran ingresar al nivel de educación superior han adquirido las competencias suficientes de comprensión de lectura y de expresión escrita, que les permiten continuar con éxito sus estudios universitarios, considerando la secuencia evolutiva del aprendizaje de textos de los estudiantes (Brown y Smiley, 1977). Sin embargo, esta suposición no se ha sostenido en prácticamente ninguno de los estudios nacionales e internacionales que han evaluado el aprendizaje que logran los estudiantes cuando terminan los niveles escolares de primaria, secundaria y bachillerato.

En materia de comprensión lectora, el Instituto Nacional para la Evaluación de la Educación (INNE, 2009) ha reportado que, a nivel nacional, uno de cada tres estudiantes que terminan el tercero de secundaria no logra adquirir las habilidades básicas que le permitan comprender los significados de poemas, noticias, crónicas y reportajes; y para el caso de las telesecundarias, la mitad de los estudiantes no logran adquirir estas competencias lectoras (Backhoff, Andrade, Sánchez, Peón y Bouzas, 2006; INNE, 2009). En el mismo sentido, las Evaluaciones Nacionales de Logro Académico en Centros Educativos (ENLACE), realizadas por la Secretaría de Educación Pública muestran que cuatro de cada diez alumnos de tercero de secundaria tienen habilidades "insuficientes" en la asignatura de español y sólo uno de cada 100 logra un nivel de excelencia educativa (SEP, 2012). Respecto al nivel de bachillerato, la misma SEP señala que casi la mitad de los estudiantes se ubican en los niveles Insuficiente y Elemental en la prueba de Comunicación de ENLACE/Media superior de 2012 (SEP, 2012), lo que significa que carecen de las competencias lectoras necesarias para tener éxito en sus estudios universitarios. Resultados similares se han obtenido con la prueba Excale-12, del INNE (2011).

Por otro lado, los estudios de pisa, coordinados por la Organización para la Cooperación y Desarrollo Económico (OCDE, 2009), señalan que más del 30% (casi la tercera parte) de los estudiantes de 15 años que concluyen la secundaria se ubican en el nivel 0 de comprensión lectora y cerca del 30% se ubican en el nivel I. Es decir, en el mejor de los casos, el 60% de los estudiantes mexicanos poseen las mínimas habilidades lectoras que les permiten realizar tareas más sencillas con los textos leídos, como: localizar un solo elemento de información, identificar el tema principal y establecer una relación sencilla con el conocimiento cotidiano (Díaz, Flores, Solís y Canales, 2008), datos que coinciden en lo general con los estudios nacionales antes señalados.

Respecto a la competencia de expresión escrita, los trabajos realizados por el INNE (Backhoff, Peón, Andrade y Rivera, 2006) muestran que 56% de los estudiantes que termina la secundaria, en el mejor de los casos puede: escribir textos con unidad de contenido para transmitir un mensaje; utiliza nexos y marcadores simples, pero no respeta el registro lingüístico del tipo de texto que escribe (descriptivo, narrativo o argumentativo); y, comete muchas faltas de ortografía, de segmentación y puntuación. Por su parte, otros estudios más recientes del INNE (2009) muestran que sólo un 15% de los jóvenes que terminan la secundaria logra escribir un texto breve con una ortografía correcta.

Una pregunta que surge de los anteriores resultados es si el porcentaje de los estudiantes que logran ingresar a la educación superior en México (cercano al 30%) poseen las competencias de expresión escrita que les permitan cursar exitosamente sus estudios universitarios. Esta pregunta es de interés por sí misma, ya que la comunicación escrita es una herramienta intelectual muy poderosa, tal y como lo han expresado Backhoff, Peón, Andrade y Rivera (2006):

Saber escribir implica construir el conocimiento; se requiere la orquestación de múltiples habilidades mentales superiores: planear la combinación del qué se dice con el cómo se dice para tener un impacto en el lector; tomar diferentes perspectivas de acuerdo a la audiencia a que se dirige; organizar nuestras ideas en una estructura lógica, [...] buscar formas adecuadas para persuadir, entretener, informar, reflexionar [...]. En la redacción se armoniza pensamiento y lenguaje: saber escribir implica saber pensar. (p.21)

Por la importancia que reviste la expresión escrita, particularmente para el nivel de educación superior, el propósito de esta investigación fue triple. Primero, desarrollar una prueba válida y confiable para evaluar la competencia de escribir textos argumentativos de estudiantes universitarios; segundo, evaluar la validez y confiabilidad del instrumento desarrollado y, tercero, conocer el nivel de competencia de expresión escrita argumentativa que tienen los alumnos que concluyen la etapa del tronco común de la Facultad de Ciencias Administrativas y Sociales (FCAYS), de la Universidad Autónoma de Baja California (UABC), campus Ensenada.

Antes de entrar de lleno en el trabajo de investigación, a continuación presentamos los elementos curriculares y conceptuales en los que nos basamos para realizar la prueba de escritura, y con ella evaluar las competencias de los estudiantes seleccionados.

Consideraciones académicas y conceptuales para evaluar la expresión escrita de estudiantes universitarios

Para diseñar un instrumento que evalúe de forma válida y confiable la competencia de expresarse por escrito de los estudiantes de educación superior, se tomaron en cuenta dos elementos fundamentales: 1) los objetivos y aprendizajes esperados que marcan los planes y programas de estudio mexicanos de secundaria y bachillerato, y 2) algunos aspectos conceptuales e instrumentales que se encuentran en la literatura científica, que se relacionan con la evaluación de textos argumentativos.

Elementos del currículo de secundaria y bachillerato sobre la expresión escrita

La competencia de comunicarse por escrito se encuentra claramente definida en los planes y programas de estudio mexicanos de secundaria y bachillerato. Una de las metas del plan de estudios de español de secundaria es que los alumnos continúen desarrollando sus habilidades de comprensión y expresión del lenguaje escrito, lo puedan utilizar para organizar sus ideas, y sean capaces de participar reflexivamente en diversas prácticas sociales del lenguaje (SEP, 2006). Tal y como se define en el documento Educación básica. Secundaria. Español. Programas de estudio 2006, elaborado por la Dirección General de Desarrollo Curricular de la SEP, la asignatura de español se orienta a la producción e interpretación de textos, y deja a un lado la enseñanza conceptual de la lengua.

Respecto a la expresión escrita, se espera que los estudiantes, al terminar la secundaria: 1) conozcan y utilicen la lengua española para comprender y producir textos, 2) interpreten y produzcan textos, empleando diversas modalidades de lectura y escritura en función de sus propósitos, 3) expresen y defiendan sus opiniones, 4) analicen, comparen y valoren la información escrita y tengan una opinión personal.

La competencia genérica se expresa en los siguientes términos: "Sustenta una postura personal sobre temas de interés y relevancia general, considerando otros puntos de vista de manera crítica y reflexiva". Por su parte, algunas de las competencias básicas del campo de la comunicación escrita son las siguientes: 1) identificar e interpretar la información explícita e implícita de un texto, 2) comparar y evaluar dos o más textos, 3) producir textos respetando las normas de la lengua, 4) argumentar un punto de vista de forma precisa, coherente y creativa, 5) componer textos que contengan tres apartados (introducción, desarrollo y conclusión), 6) crear textos persuasivos relacionados con su contexto, respetando su estructura interna y externa.

Finalmente, es importante aclarar que, mientras en la secundaria se trabaja con textos descriptivos y narrativos, en el nivel de educación media superior se trabaja con textos argumentativos, debido a que son indispensables para cumplir con los requerimientos académicos que se exigen en el nivel universitario, como por ejemplo escribir ensayos, reportes técnicos y trabajos de investigación.

Elementos conceptuales sobre la evaluación de textos argumentativos

Existe un consenso entre los especialistas de que los diversos tipos de texto se pueden clasificar en tres grandes categorías: narrativos, descriptivos y argumentativos. De acuerdo con Carretero (2007), esta clasificación no es ni exclusiva ni exhaustiva, ya que la gran mayoría de textos comparten propiedades de uno u otro tipo, además de que hay muchos textos que no encajan fácilmente en una u otra categoría. Sin embargo, a pesar de esta limitación, para muchos especialistas la clasificación es útil para definir las características esenciales de uno u otro tipo de texto, que comúnmente se leen (Backhoff, Peón, Andrade y Rivera, 2006).

De acuerdo con Wikipedia (http://es.wikipedia.org/wiki/Texto_argumetativo), el texto argumentativo tiene como propósito defender (o refutar) una opinión, postura o tesis con argumentos, justificaciones y razones que persuadan a terceras personas. La finalidad de quien escribe puede consistir en demostrar la veracidad de una idea o tesis, refutar la contraria, o bien persuadir o disuadir al lector sobre determinados hechos o ideas que no se consideran razonables. Los textos argumentativos son propios de los ámbitos académico, profesional y científico, y se utilizan en manuales, libros de texto, tesis profesionales, artículos de opinión, escritos científicos y ensayos filosóficos.

Para Carretero (2007), la producción de textos argumentativos requiere que la persona sea capaz de seleccionar y sintetizar la información central sobre el tema, las ideas principales del autor, así como sus puntos de vista o tesis que sustenta. Este autor sugiere que la manera más sencilla de saber si un estudiante de educación media es capaz de obtener dicha información es pidiéndole que elabore un resumen de un texto. En esta misma línea de pensamiento, Van Dijk y Kintsch (1983) afirman que la capacidad para resumir es fundamental para utilizar la información leída, ya que los resúmenes sirven para reducir la extensión de diversos tipos de textos, conservando la equivalencia de la información. Como cualquier producción escrita, el resumen debe presentar cohesión, coherencia, adecuación y respetar las reglas sintácticas y ortográficas del lenguaje (Peón, 2008).

Asimismo, Peón (2008) comenta que resumir textos es una habilidad cognoscitiva compleja que involucra procesos de comprensión lectora y de producción escrita. La fase de comprensión consiste en la aplicación de estrategias de reducción de la información para reconocer los esquemas lógico-semánticos del texto de origen, así como identificar cuáles son los elementos principales y secundarios de cada texto. Con base en las investigaciones de Kintsch y Van Dijk (1978), los lectores usan al menos tres tipos de operaciones cognitivas de reducción de información para obtener las estructuras semánticas del texto base: supresión, generalización y construcción.

La fase de producción, de acuerdo con Peón (2008), consiste en dos sub-procesos: (1) transformaciones léxicas y sintácticas para expresar la construcción y generalización de las oraciones de partida, y adaptación de las ideas principales seleccionadas por supresión, y (2) selección de los elementos pragmáticos y lingüísticos que contribuyan a dar cohesión a la información (por ejemplo: modalizadores discursivos, conectores, relaciones anafóricas).

Finalmente, Leal-Carreto (2007) comenta que para elaborar un resumen integrador de dos o más textos es necesario construir, además, una superestructura que integre toda la información, es decir, que recomponga la jerarquía de ideas principales de cada fuente y que genere un esquema lógico emergente con el significado de las ideas centrales. En la medida que los lectores presentan problemas para identificar y/o construir las oraciones temáticas y la jerarquía de ideas principales de los textos, se puede esperar que el nivel de integración se reduzca al enlace de ideas en el orden de presentación del texto base, sin nexos para articular el significado del texto global o con base en marcadores de discurso irrelevantes o incoherentes.

Método

Como ya se mencionó, este trabajo consistió básicamente en desarrollar una prueba para evaluar la expresión escrita, para después administrarla a estudiantes que terminan el primer año de licenciatura de la FCAYS-UABC y, con base en sus respuestas, evaluar sus competencias para comunicarse por escrito, así como la validez y confiabilidad del instrumento desarrollado.

Muestra de estudiantes

Participaron en esta investigación 308 estudiantes que terminaron las asignaturas del tronco común de la FCAYS-UABC, quienes constituían la totalidad de los alumnos del tercer semestre de las carreras de Psicología (3 grupos), Comunicación (2 grupos), Educación y Sociología (1 grupo cada una). Los estudiantes que ingresan a la FCAYS deben cursar dos semestres del tronco común, antes de optar por una de las ocho carreras que se ofertan en esta facultad. Las carreras de Psicología, Ciencias de la comunicación, Sociología y Ciencias de la educación comparten todas las materias del tronco común (TC) de ciencias sociales.

Las características demográficas y escolares de los alumnos que participaron en esta investigación se presentan en la tabla 1, donde se puede apreciar que una gran mayoría de ellos son del género femenino (71.8%), seis de cada diez tiene 20 años o menos (57.5%) y poco menos de la mitad estudian la carrera de Psicología (45.8%).

Evaluación de la expresión escrita argumentativa

La prueba de expresión escrita, a través de las habilidades argumentativas, consistió en presentarles a los estudiantes dos textos de aproximadamente 560 palabras cada uno, que sostienen posiciones opuestas sobre algún tema polémico (por ejemplo, el aborto, la tala de bosques, el cultivo de granos genéticamente modificados, etc.)². Con base en esos dos textos el alumno debería resumir ambas posturas y escribir un texto argumentativo de aproximadamente 180 palabras, en el cual asumiera una postura personal y la defendiera con argumentos y razonamientos pertinentes, que se basaran en los textos leídos y en la información que el estudiante tuviera sobre el tema. La prueba no tuvo un límite de tiempo, aunque en promedio los estudiantes la terminaron en 45 minutos.

Para evaluar la habilidad de escritura de los estudiantes se desarrollaron 23 rúbricas, las cuales describen una variedad de características deseables en los textos argumentativos, tales como el uso de esquemas para planear el escrito; que el texto se considere como un artículo de opinión, que tenga un título atingente, entre otras. La tabla 2 muestra una síntesis de estas rúbricas, así como la calificación que se les puede otorgar. Catorce de estas rúbricas se califican dicotómicamente (0 = No, 1 = Sí); ocho de ellas utilizan una escala parcial de tres puntos (0 = No, 1 = Parcial, 2 = Sí), y una de ellas usa una escala de cuatro puntos (0 = No, 1 = Parcial, 2 = Parcial, 3 = Sí). (En el Anexo A se presenta la forma de calificar cada rúbrica de manera detallada).

Procedimientos para administrar la prueba de expresión escrita

La prueba se aplicó en las instalaciones de la FCAYS-UABC durante las primeras dos semanas del semestre 2011-2, para evaluar la competencia que tienen los estudiantes una vez que terminaron el TC, que tiene entre sus objetivos que los estudiantes manejen adecuadamente el lenguaje oral y escrito. En las carreras escolarizadas (Psicología y Comunicación) la aplicación se realizó en la primera semana de clases, mientras que en las semiescolarizadas (Educación y Sociología) se realizó durante la segunda semana, para asegurar que los grupos estuvieran completos.

Para poder administrar la prueba, se contactó a los coordinadores de las cuatro carreras de ciencias sociales y se les solicitó su apoyo. La aplicación se realizó de la misma manera para todos los grupos: la responsable de la aplicación y una estudiante becaria acudieron a los salones y se presentaron con el profesor de la materia que correspondía al horario, quien a su vez indicó a sus alumnos que permanecieran en sus lugares y atendieran a los evaluadores. La responsable de la aplicación se presentó, explicó brevemente el propósito de la prueba y les dio las instrucciones para contestarla, aclarando que tenían 90 minutos para hacerlo; contestó preguntas y les comunicó que la estudiante becaria se quedaría en el salón, por si tenían alguna pregunta. El profesor también permaneció en el salón durante todo el tiempo que duró la aplicación. La encargada de la aplicación dio las instrucciones a todos los grupos, apegándose a un formato establecido de antemano.

La mayoría de los estudiantes terminaron de contestar la prueba en 45 minutos, aunque algunos la terminaron aproximadamente en media hora, y solamente dos alumnos la contestaron en 70 minutos.

Procedimiento para calificar los exámenes

Para calificar las respuestas escritas de los estudiantes, se conformó un comité de codificación (CC) del examen que estuvo conformado por dos profesoras (una de Literatura y otra de Psicología) y ocho estudiantes de licenciatura. Dicho cc fue capacitado por dos instructoras, especialistas del INNE, quienes explicaron y entrenaron la manera correcta de utilizar las rúbricas, a través de los siguientes pasos:

1) Las instructoras expusieron los aspectos teóricos de la evaluación de la expresión escrita.

2) Los integrantes del cc contestaron el examen, para conocer el contenido del mismo y experimentar las demandas cognitivas impuestas por los reactivos de la prueba.

]]> 3) Se analizaron conceptualmente cada una de las rúbricas y se mostró la manera de utilizarlas.

4) Se realizó una práctica guiada, en la que cada miembro del CC evaluó exámenes idénticos, asignando puntajes a las respuestas de los sustentantes (ver tabla 2).

5) Se compararon los puntajes asignados por los miembros del CC y se discutieron las diferencias encontradas.

6) Con base en los criterios expresados en las rúbricas y la ayuda de las capacitadoras, el cc consensuó los puntajes definitivos del caso utilizado en el ejercicio.

7) Se continuó trabajando de la misma manera para que el comité tuviera oportunidad de practicar lo suficiente y lograr un nivel de acuerdo aceptable entre codificadores.

En todo momento, la codificación de las respuestas de los estudiantes se realizó en pares, es decir, dos codificadores tuvieron que ponerse de acuerdo para calificar las respuestas de cada estudiante. Las parejas de codificadores se rotaron, de tal manera que la varianza de las puntuaciones debida a los codificadores se distribuyera lo más homogéneamente posible entre los estudiantes y así evitar posibles sesgos personales (por ejemplo, dominancia de un calificador sobre otro).

Análisis de resultados

Se realizaron dos tipos de análisis de resultados. El primero se enfocó en mostrar evidencias de validez y confiabilidad del instrumento diseñado para evaluar la competencia argumentativa de estudiantes universitarios, para lo cual se calcularon los parámetros psicométricos básicos que proporcionan las teorías Clásica de la Medida y de Respuestas al Ítem. El segundo tipo de análisis se orientó a medir las habilidades de redacción argumentativa de los estudiantes, para lo cual se utilizó una escala de niveles de desempeño (ver tabla 6).

De conformidad con los análisis realizados, se obtuvieron dos tipos de resultados: los que aportan evidencias de la calidad del instrumento utilizado para evaluar las habilidades de expresión escrita de los estudiantes y las que describen el nivel de competencias que logran los estudiantes que terminan el tronco común de cuatro carreras universitarias: Educación, Psicología, Comunicación y Sociología. Consecuentemente, este apartado se divide en dos secciones: 1) características métricas de la prueba de expresión escrita y 2) habilidades de los estudiantes para escribir textos.

Bajo la Teoría Clásica de la Medida, la calificación global en la prueba de expresión escrita se calculó con la sumatoria de sus 23 rúbricas, cuyo máximo total es de 32 puntos. Bajo el esquema de la Teoría de Respuestas al Ítem, la escala se centró en cero unidades, cuyos lógitos se calibraron en una unidad.

Parámetros métricos de la escala argumentativa

Usualmente, la Teoría Clásica de la Medida sugiere que se calculen tres parámetros básicos de las pruebas de aprendizaje y de sus reactivos (en este caso, rúbricas): la dificultad y discriminación de los ítems, y la confiabilidad de la prueba (o escala). Dado que las 23 rúbricas se calificaron de manera distinta (con dos, tres o cuatro puntos), para obtener estos indicadores se tuvieron que dicotomizar las nueve rúbricas que se califican parcialmente con dos o tres puntuaciones. Para ello, todas las puntuaciones mayores a cero (1, 2 y 3) se consideraron como respuestas correctas. De esta manera, cada rúbrica se calificó como correcta o incorrecta.⁴

Una vez uniformizada la base de datos, se obtuvieron los índices de dificultad (porcentaje de aciertos) de las 23 rúbricas, los cuales se presentan en la figura 1 de manera ascendente. Aquí se podrá apreciar que la prueba fue difícil para los estudiantes, ya que la mediana de dificultad de las 23 rúbricas fue de tan solo 25% de aciertos, siendo la más fácil de todas la rúbricas; Procedencia de la información (87.3% de aciertos) y la más difícil el uso de Vocabulario técnico (2.9% de aciertos).

El poder de discriminación de los reactivos se obtuvo a través de una correlación punto-biserial entre la puntuación de cada rúbrica y la puntuación total de la prueba, obtenida a través de la sumatoria de las 23 rúbricas. La figura 2 muestra que, en términos generales, 20 rúbricas presentan buenos indicadores (correlaciones mayores a 0.2). En este sentido, las cinco rúbricas relacionadas más estrechamente con la capacidad de argumentación fueron las que mostraron mejores niveles de discriminación (mayores a 0.6). En sentido opuesto solo tres rúbricas, que se relacionan indirectamente con la escritura de un texto argumentativo (Título, Vocabulario técnico y Esquemas o marcas de planeación), mostraron indicadores pobres o muy pobres.

Las relaciones existentes entre los componentes de esta prueba de expresión escrita pueden apreciarse con mayor precisión cuando se analizan sus inter-correlaciones. Por esta razón se muestra la tabla 3, donde se puede apreciar que la gran mayoría de estas correlaciones son medianamente altas y positivas, lo que es esperable de una prueba con un alto nivel de confiabilidad. Sin embargo, también se observan correlaciones negativas en las rúbricas de Esquemas o marcas de planeación y Título, aunque éstas son muy bajas (menores a 0.03).

Por otro lado, la confiabilidad de la prueba completa, cuando se toman en cuenta las 23 rúbricas de manera conjunta, calculada con el procedimiento de Alfa de Cronbach, resultó ser del orden de 0.87. Este resultado, junto con los anteriores, indica que la prueba para evaluar las habilidades de expresión escrita (argumentativa) es una escala confiable y consistente.

Por otro lado, se realizaron análisis de la prueba y sus componentes con la Teoría de Respuestas al Ítem, específicamente con el modelo de un parámetro de Rasch. Una síntesis de resultados que arroja el programa WinSteps se presenta en la tabla 4, en donde se puede destacar que los ajustes internos de algunas rúbricas exceden los rangos aceptables de 0.7 a 1.5 (Título con 1.67, Artículo de opinión con 0.69, Verosimilitud de los argumentos con 0.61 y Relevancia de los argumentos con 0.63). Aplicando este mismo criterio al ajuste externo de las rúbricas observamos que un mayor número de estas presentan indicadores fuera de los rangos aceptables.

En síntesis, la escala de expresión escrita (argumentativa) parece trabajar bastante bien, aunque es claro que al menos tres de sus rúbricas pudieran ser eliminadas: Esquemas o marcas de planeación, Vocabulario técnico y Título.

Resultados de los alumnos en la escala argumentativa

Una vez analizadas las características psicométricas de la escala utilizada en este trabajo, pasemos a conocer el nivel de habilidades de redacción que poseen los 308 estudiantes que terminaron el tronco común en la FCAYS. Para empezar, se presenta la tabla 5 que muestra los porcentajes de alumnos de acuerdo a las categorías empleadas en las 23 rúbricas. De esta tabla, destacamos los siguientes resultados:

1. En cuanto al uso de apoyos de planeación y vocabulario técnico, uno de cada diez estudiantes hace apuntes, diagramas o esquemas para organizar la redacción de su artículo, mientras que solo tres de cada 100 hace un uso adecuado del vocabulario técnico.

2. Con relación a las habilidades estrechamente ligadas con la argumentación, casi 5% de alumnos utiliza un título apropiado y original, 13% logra escribir un texto con tres apartados (introducción, desarrollo de ideas y conclusión); 4.5% contextualiza el tema tratado (con antecedentes o datos generales) y logra atrapar la atención del lector; 16.6% es capaz de elaborar una tesis propia; 7.5% utiliza cuando menos dos argumentos para sostener su tesis; 13.3% aporta pruebas sólidas para apoyar la postura del alumno o la conclusión; 10.1% logra una conclusión consistente con lo planteado.

3. Finalmente, respecto a los aspectos más relacionados con la redacción de textos, casi 43% de los estudiantes utiliza información de los dos textos fuente; 65% es capaz de producir textos con significados equivalentes al texto base; 30% es capaz de vincular la información dada con información nueva, que asegure la progresión de las ideas; 44% presenta la información de manera estructurada y lógica; 45% divide el texto en párrafos de manera adecuada, logrando que cada uno de ellos gire alrededor de una idea central; 70.5% puede utilizar correctamente conectores en un párrafo.

Ahora bien, la figura 3 muestra el histograma de puntuaciones en la escala argumentativa, que se elaboró con las 23 rúbricas, y que tiene una puntuación máxima de 32 puntos. Llama la atención que la curva presente un gran sesgo positivo (hacia la derecha), lo que indica que la gran mayoría de estudiantes obtuvo puntuaciones muy bajas en esta escala. El rango de puntuaciones osciló entre 0 y 26, siendo la media de 8.15 puntos y su percentil 75 de 11 puntos.

Por otro lado, la figura 4 muestra el mapa de rúbricas y estudiantes elaborado con el programa Winsteps. En esta gráfica, los estudiantes son representados por los símbolos [#] (para 3 estudiantes) y [.] (para uno o dos estudiantes) y cada reactivo es representado con su nombre. En esta gráfica se puede observar cómo se distribuyen los estudiantes y las rúbricas de la prueba a lo largo de la escala utilizada. Es importante señalar que hay un desfase importante entre el mapa de las personas y el de las rúbricas, donde en la media de los estudiantes se encuentra ubicada una desviación estándar por debajo de la media de las rúbricas. Esto nos indica que la prueba de expresión escrita/argumentativa fue muy difícil para los estudiantes de licenciatura, ya que al parecer no han adquirido las habilidades de escritura que se esperarían de cualquier estudiante que termina el bachillerato.

Para interpretar con mayor facilidad estos resultados, se utilizó una clasificación de los niveles de desempeño de los estudiantes, de acuerdo con siete bloques de rúbricas que agrupan diversas competencias de escritura con dificultades y temáticas similares (incluyendo un nivel 0 que agrupa estudiantes que no alcanzaron una calificación mínima para ubicarse en el nivel 1). Para obtener los puntos de corte de dichos niveles de desempeño, se utilizaron las desviaciones estándar de las rúbricas (ver figura 4), por arriba y por debajo de la media, cuyo valor es de 1.42 unidades. La tabla 6 presenta los niveles de desempeño utilizados, los puntos de corte, así como una descripción sintética de las competencias de expresión escrita que poseen los estudiantes que se ubican en cada nivel. Es importante puntualizar que los niveles de desempeño son acumulativos; es decir, el estudiante ubicado en un nivel determinado posee las competencias de ese nivel y las de las anteriores; por ejemplo, el alumno que se ubica en el nivel VI, también posee las competencias de los niveles V, IV, III, II, y I.

Con base en los criterios de la tabla 8, a cada alumno se le ubicó en uno de los niveles de logro de Expresión escrita/argumentativa utilizados en este estudio. La figura 5 muestra que dos terceras partes (67.9%) de los estudiantes se ubican en los niveles II y III, que un 7% se ubica en el nivel 0, y que uno de cada 100 alcanza el nivel V y ninguno el nivel VI.

Finalmente, para conocer las diferencias entre los distintos grupos de estudiantes evaluados, de acuerdo con sus características de género, edad y carrera, se realizaron análisis ANOVA de un factor, con pruebas post hoc (Tukey), que incluye el paquete estadístico SPSS. Los resultados de estos análisis se presentan en la tabla 7, donde se puede apreciar que no hubo diferencias significativas (p<0.001) entre los grupos de estudiantes según su sexo y edad, y sí las hubo entre los estudiantes que estudian las carreras de Psicología y Comunicación.

La calidad de los aprendizajes que logran los ciudadanos de un país es un componente esencial para su desarrollo social y económico (Lavy, 2010). Entre las competencias elementales que una persona común y corriente debe poseer destacan las de comprender lo que se lee y la de comunicarse eficazmente, tanto en forma oral como escrita.

Los aprendizajes que logran quienes terminan el bachillerato deben ser de mejor calidad y complejidad que los de una persona que solo terminó la educación básica; la misma regla se aplica para los estudiantes de licenciatura. Por lo anterior, en materia de lectoescritura, se espera que quienes estudian alguna carrera universitaria deben ser capaces no solo de comprender textos simples, sino además de poseer una gama de habilidades intelectuales que les permitan: entender las ideas centrales de un autor; inferir conclusiones a partir del material leído; resumir información de diversos textos; identificar las ideas clave y argumentos de uno o más autores; sustentar una postura personal sobre diversos temas de interés público; y, expresarse por escrito eficazmente, aplicando distintas estrategias comunicativas y utilizando correctamente las normas del lenguaje.

Desgraciadamente, las pocas investigaciones que se han realizado en el país sobre las habilidades de comprensión lectora y expresión escrita, confirman la idea generalizada de que los estudiantes mexicanos de educación básica y media superior presentan niveles muy inferiores de desempeño escolar. Lo anterior es evidente si tomamos como referencia las metas curriculares de los planes y programas de estudio nacionales (consultar: SEP, 2006; 2008; 2010) y los niveles de desempeño educativo de estudiantes de otros países (consultar: OCDE, 2009).

A pesar de la importancia que tiene el tema, son pocos los estudios de gran escala que han investigado las competencias de expresión escrita de los estudiantes de los distintos niveles educativos; y son aún menos el número de investigaciones dedicadas a este tema en el nivel de educación superior. Lo anterior se puede deber por lo menos a tres razones: 1) la dificultad que representa estudiar la competencia para comunicarse por escrito de forma válida y confiable; 2) la falta de pruebas de gran escala estandarizadas que evalúen la ejecución escritura, las que se tengan que calificar con la ayuda de rúbricas y jueces expertos, y 3) el alto costo que implica realizar evaluaciones nacionales (o estatales) con muestras de alumnos representativas de la población de estudio.

Tomando en cuenta lo anterior, este trabajo tuvo un triple propósito: primero, diseñar un instrumento para evaluar la expresión escrita, que mida las competencias que tienen los estudiantes que terminan el bachillerato e ingresan a la universidad; segundo, evaluar la calidad del instrumento desarrollado, y 3) medir el nivel de competencias para escribir textos que tienen los alumnos que terminan el tronco común en la FCAYS-UABC.

El estudio se realizó con la totalidad de alumnos de licenciatura de cuatro carreras de ciencias sociales que concluyeron la primera etapa de sus estudios universitarios (el tronco común), la cual tiene entre otras metas que los estudiantes adquieran las competencias de comunicación escrita que les permitirán desarrollarse profesionalmente en cada una de sus disciplinas.

Considerando los objetivos curriculares de la secundaria, el bachillerato y el tronco común de la FCAYS-UABC, para evaluar la habilidad de comunicación escrita se eligió la modalidad de texto argumentativo, dado que se considera que en ellos confluyen muchas habilidades de lectoescritura, necesarias en el nivel universitario, tales como: la comprensión lectora, el resumen de información, la planeación de la redacción, el uso de normas de redacción, así como el planteamiento de una tesis, la aportación de elementos de argumentación para apoyarla, y el cierre o conclusión del escrito (Rosales y Vázquez, 2006).

Los resultados de este estudio muestran dos cosas. Por un lado, aportan evidencias de que es una buena estrategia evaluar la expresión escrita a través de la producción de textos argumentativos, en los que se contrastan dos posiciones opuestas para que la persona evaluada opte por una de ellas, proponga una tesis y la defienda con argumentos pertinentes y suficientes, que le permitan cerrar su texto con una conclusión clara y congruente.

Por otro lado, también aporta evidencias de que el uso de 23 rúbricas para evaluar el texto argumentativo es un método válido y confiable para evaluar la ejecución escrita de los estudiantes. Sin embargo, aún requiere que se depuren y mejoren algunas de las rúbricas utilizadas, como son los casos de las rúbricas Esquema o marcas de planeación, Vocabulario técnico y Título, cuyos indicadores psicométricos no mostraron tener la calidad técnica deseable. En este sentido, una mención especial requieren las tres rúbricas de Ortografía/signos de puntuación, que mostraron no correlacionar con la competencia de escribir textos argumentativos.

Estos resultados confirman, en términos generales, los publicados por el INNE sobre los estudiantes que terminan la educación básica, en el que 56% de los estudiantes se ubican en los dos niveles más bajos de la escala de expresión escrita, lo que significa que no se han apropiado del manejo funcional del lenguaje escrito. En este sentido, lo preocupante es que los estudiantes que logran terminar el bachillerato acarrean serias deficiencias en materia de comunicación escrita que no se subsanan con los estudios universitarios del tronco común. Lo anterior a pesar de que durante este trayecto universitario los estudiantes llevan dos materias cuyo objetivo es reforzar las habilidades de lectoescritura, y con ello poder lograr el perfil de egreso, que requiere que los futuros profesionistas de la FCAYS-UABC sean capaces de realizar funciones de investigación y sean de divulgar información de manera escrita y creativa.

Referencias bibliográficas

Backhoff, E., Andrade, E., Peón, M., Sánchez, A. y Bouzas, A. (2006). El aprendizaje del Español y las Matemáticas en la educación básica en México: sexto de primaria y tercero de secundaria. México: INNE.         [ Links ]

Backhoff, E., Peón, M., Andrade, E. y Rivera, S. (2006). El aprendizaje de la Expresión Escrita en la educación básica en México: sexto de primaria y tercero de secundaria. México: INNE.         [ Links ]

Brown, A. L. y Smiley, S. S. (1977). Rating the Importance of Structural Units of Prose Passages: A Problem of Metacognitive Development. Child Development, 48, 1-8.         [ Links ]

Díaz, M. A., Flores, G., Solís, R., y Canales D. (2008). Resultados nacionales de la opción de Grado Modal en PISA 2006. México: INNE.         [ Links ]

Instituto Nacional para la Evaluación de la Educación [INNE] (2011). La Educación Media Superior en México. México, D.F.: INNE.         [ Links ]

Instituto Nacional para la Evaluación de la Educación [INNE] (2009). El aprendizaje en tercero de secundaria en México. Informe sobre los resultados de Excale 09, aplicación 2008. México, D.F.: INNE.         [ Links ]

Kintsch, W. y Van Dijk, T. (1978). Toward a Model of Text Comprehension and Production. Psychological Review, 85 (5), 363-394.         [ Links ]

Lavy, V. (2010). Do Differences in School's Instruction Time Explain International Achievement Gaps in Maths, Science and Language? Evidence from Developed and Developing Countries. Londres: Centre for the Economics of Education. Recuperado de: http://cee.lse.ac.uk/ceedps/ceedp118.pdf.         [ Links ]

Leal-Carretero, F. (2007). Cómo evaluamos la comprensión lectora. En Peredo, M. A. (Coord.). Lectura informativa: entrenamiento escolar y metacognición. Guadalajara: Editorial Universitaria.         [ Links ]

Organización para la Cooperación y Desarrollo Económico [OCDE] (2009). PISA 2009: Assessment Framework. Key Competencies in Reading, Mathematics and Science. Consultado en: http://www.oecd.org/pisa/pisaproducts/44455820.pdf.         [ Links ]

Peón, M. (2008). Excale 09 y 12: Resumen e integración de información. Reporte de investigación. Documento mimeografiado. México, D.F.: Instituto Nacional para la Evaluación de la Educación.         [ Links ]

Puelles-Benítez, M. y Torreblanca-Payá, J. I. (1995). Educación, Desarrollo y Equidad Social. Revista Iberoamericana de Educación, 9 (Monográfico: Reforma de la Educación Secundaria), 165-189.         [ Links ]

Rosales, P. y Vázquez, A. (2006). Escribir y aprender en la Universidad. Análisis de textos académicos de los estudiantes y su relación con el cambio cognitivo. signoEseña, 16 (diciembre) 34-47.         [ Links ]

Saulés, S. (2012). La competencia lectora en PISA. Influencias, innovaciones y desarrollo. Cuaderno 37. México, D.F.: INNE.         [ Links ]

Secretaría de Educación Pública [SEP] (2012). Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE)-Educación Media Superior. http://201.175.44.204/Enlace/Resultados2012/MediaSuperior2012/R12msOtrosCriteriosConsulta.aspx.         [ Links ]

Secretaría de Educación Pública [SEP] (2012). Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE). Educación básica. http://enlace.sep.gob.mx/ba/prueba_en_linea/.         [ Links ]

Secretaría de Educación Pública [SEP] (2010). Programas de Estudio de la Dirección General del Bachillerato. http://www.dgb.sep.gob.mx/informacion_academica/programasdeestudio.html.         [ Links ]

Secretaría de Educación Pública [SEP] (2008). Acuerdo número 442 por el que se establece el Sistema Nacional de Bachillerato en un marco de diversidad. http://www.stunam.org.mx/sa/seccionacad/prepas/acuerdo442.pdf.         [ Links ]

Secretaría de Educación Pública [SEP] (2006). Hacia una nueva escuela Secundaria. http://basica.sep.gob.mx/reformasecundaria/        [ Links ]

Van Dijk, T. A. y Kintsch, W. (1983). Strategies of Discourse Comprehension. Nueva York: Academic Press.         [ Links ]

Notas

¹ http://www.dgb.sep.gob.mx/informacion_academica/programasdeestudio.html

² Se omite presentar los dos textos utilizados con el propósito de no exponerlos al público e invalidarlos en futuras investigaciones.

³ La Dra. Margarita Peón Zapata y la Mtra. Sara Rivera ambas de la Dirección de Pruebas y Medición del INNE.

⁴ La recodificación solo se hizo para estos análisis. En los análisis posteriores se utilizaron las escalas de respuesta parcial de cada rúbrica.