Competencia para producir textos académicos. El caso de la Maestría en Docencia en Enseñanza Media Superior (reporte de investigación)

David Ochoa Solís*

* Profesor titular "C" de la Escuela Nacional Colegio de Ciencias y Humanidades de la Universidad Nacional Autónoma de México (UNAM). Ph.D. por la Universidad de Columbia de Nueva York. Líneas de investigación: alfabetización académica, aprendizaje y escritura. CE: ochoadavid22@gmail.com

Resumen

Palabras clave: Aprendizaje, Escritura, Competencia, Universidad, Investigación.

Introducción

El reporte da cuenta, a partir de una muestra inicial y la aplicación de una prueba piloto, de la competencia para escribir textos académicos entre los estudiantes de la Maestría en Docencia de la UNAM. El reporte incluye una caracterización del texto académico a producir en la prueba piloto, una descripción del material utilizado, particularmente la rúbrica de evaluación del ensayo, la instrucción de escritura del mismo, los materiales de lectura utilizados, así como los resultados obtenidos.

Esta investigación tiene como objetivo dar un primer paso para conocer el nivel de competencia que tienen los estudiantes de la Maestría en Docencia en Enseñanza Media Superior de la UNAM (MADEMS) para producir textos académicos. El estudio se llevó a cabo durante una estancia en el Instituto de Investigaciones sobre la Universidad y la Educación (IISUE) y su antecedente es el trabajo realizado por el Dr. Juan Fidel Zorrilla "Desarrollo de habilidades verbales y matemáticas" (Zorrilla, 2007). La investigación del Dr. Zorrilla se centró en la capacidad lectora (reading literacy), específicamente en el manejo de la comprensión de un texto argumentativo. El instrumento de investigación, aplicado centralmente a alumnos de bachillerato, consideraba la identificación del tema del texto, la estructura del argumento y la calidad del uso del lenguaje.

El problema al que responde esta investigación es la incapacidad de muchos estudiantes mexicanos para producir su trabajo de tesis y obtener un grado universitario. Un antecedente de este problema se puede identificar con la competencia lectora, que según el Programme for International Assessment (PISA) consiste en: "la capacidad de un individuo para comprender, emplear, reflexionar e interesarse en textos escritos con el fin de lograr metas propias, desarrollar sus conocimientos y su potencial personal, y participar en la sociedad" (INEE, 2010: 44). Como se verá más adelante, las dificultades que se identificaron en esta investigación son consistentes con los problemas de comprensión de textos para lograr metas propias, como se asienta en la definición anterior. En las evaluaciones realizadas por la ocde en el 2003, 4.8 por ciento de los estudiantes mexicanos alcanzaron una competencia elevada, y 52 por ciento se situaron en los niveles más bajos. La evaluación del 2009 no cambió significativamente: 5 por ciento se ubicó en los niveles más altos, y 51 por ciento en los niveles más bajos.

En el ámbito universitario, las respuestas usuales a los problemas de escritura han consistido en impartir cursos de redacción, que se caracterizan por centrarse en aspectos formales de la enseñanza de la lengua y separar la escritura del aprendizaje disciplinario. En otros países, en cambio, las respuestas han puesto énfasis en las operaciones intelectuales que conlleva la escritura: analizar, argumentar, definir (por ejemplo Barnet y Bedau, 2005); en el vínculo de la escritura con el aprendizaje a través del desarrollo de estrategias aplicadas a diferentes campos del conocimiento (Maxwell, 1996; Behrens y Rosen, 2004; Cassany, 2006); y en las prácticas de escritura académica y en las expectativas de la comunidad que produce y consume los textos escritos (Flower, 1985; Lerner, 2001; Fletcher, 1992).

El propósito de esta investigación es identificar los problemas de escritura que enfrentan los estudiantes universitarios, particularmente aquellos que estudian la MADEMS. Este trabajo no pretende validez estadística sino exploratoria, y su finalidad es interesar a los docentes de todas las asignaturas en la escritura como una forma de pensamiento crítico y de aprendizaje. La intención es que esta investigación aporte el conocimiento y los argumentos adecuados para trabajar en esa dirección.

¿Cómo caracterizar el texto que se quiere que produzcan los estudiantes?, ¿cuáles son su rasgos fundamentales? El rasgo general del texto que se propone como base para cubrir las necesidades de un estudiante universitario es que dicho texto "transform[e] un conocimiento" en oposición a limitarse a "decir un conocimiento" (Carlino, 2005: 27). Se trata no sólo de comprender información, sino de modificarla de acuerdo a un propósito diferente del establecido en el texto original. La transformación la realiza quien escribe el texto. El conocimiento transformado tiene dos fuentes centrales: por un lado, textos que dan cuenta, de manera diversa, de los contenidos de una disciplina, fundamentalmente en el formato de libros; y por el otro, la experiencia de quien escribe. El texto producido por el estudiante debe cumplir, por lo tanto, uno de los elementos fundamentales de la escolarización universitaria: ser producto de la lectura y de la comprensión de lo que se lee (Flower, 1990).

En términos de aprendizaje, la elaboración de un texto según lo considerado anteriormente implica el manejo de un conocimiento disciplinario proveniente de la lectura, y supone un uso flexible del conocimiento señalado, lo que, a su vez, entraña una apropiación de dicho conocimiento.

El texto debe cumplir con las expectativas de la comunidad académica universitaria, es decir, apegarse tanto a las convenciones del uso del lenguaje (elección de vocabulario, gramática, puntuación, ortografía, etc.) como a las de presentación de un texto formal (párrafos, interlineado, referencias, etc.). Estas exigencias las puede cubrir un texto argumentativo.

La característica central de un texto argumentativo es la presencia de una tesis, o argumento central, que responde a un problema asumido o planteado por quien escribe, y que organiza tanto los argumentos subsidiarios como la información requerida y la estructura final del texto. El problema puede ser propuesto por los docentes o construido por el alumno (Perkins, en Land et al., 2008).

Un modelo para la investigación

En la fase inicial de la investigación se revisó el trabajo desarrollado por el Dr. Zorrilla y las pruebas realizadas por PISA; sin embargo, ambos materiales se centran en la comprensión y no consideran la producción de un texto escrito. A partir de esta limitación se decidió extender la búsqueda a los programas de escritura de diversas universidades en los Estados Unidos. Esta indagación permitió conocer cuáles son las exigencias que imponen a sus estudiantes universidades como la City University of New York, Princenton, Harvard y Yale. Para recibir el grado universitario, los aspirantes deben aprobar un examen de escritura cuyo elemento central son las ideas. Se espera que los escritos de los estudiantes contengan "temas ambiciosos, preguntas interesantes, análisis riguroso y argumentos convincentes" (O'Brien et al., 2004: 6). El examen puede ser presentado en cualquiera de las asignaturas de la carrera que cursa el estudiante.

La presente investigación tiene como modelo el examen de manejo de la lengua (CUNY Proficiency Exam, CPE) desarrollado por la Universidad de la Ciudad de New York.¹

El CPE consta de dos lecturas a partir de las cuales el alumno debe escribir un ensayo en el que muestre

...algunas de las habilidades que ha desarrollado a través del trabajo en sus cursos regulares: leer e interpretar libros de texto y material de interés general; organizar y presentar sus ideas acerca de lo leído y conectarlas a otra información o conceptos; escribir clara y eficazmente para una audiencia...²

Metodología empleada y discusión de los resultados

El material de la prueba aplicada en la investigación que se reporta consta de cuatro partes: 1) "Competencia para producir textos académicos a nivel universitario. Información para los estudiantes. Enero/febrero 2009"; 2) selección A: "¿Qué es la comprensión?" de David Perkins; 3) "Competencia para producir textos académicos a nivel universitario. Información para los estudiantes. Instrucciones y tarea. 17/II 2009", y 4) selección B: "Errar es humano" de Tnomas Lewis. Las partes son enumeradas en el orden en el que se le presentan a quien participa en dicha prueba.

La parte 1, "Competencia para producir textos académicos a nivel universitario. Información para los estudiantes. Enero/febrero 2009", contiene las instrucciones prácticas para la participación en la prueba piloto: la fecha de la prueba, lo que hay que traer el día de la misma y una descripción de las características del texto que van a producir: "Se te pedirá que elabores un ensayo preciso a partir del establecimiento de relaciones entre elementos específicos de las dos lecturas, además de relacionarlo, según se especifique en la tarea, con tus propias ideas o experiencia". Esta parte contiene, asimismo, la rúbrica con la que será evaluado su examen (Cuadro 1):

Para cada uno de los cuatro aspectos de la rúbrica se señalan seis niveles que indican el grado de competencia alcanzado. Los resultados de la evaluación se organizan en tres niveles: superior, entre 5 y 6 puntos; medio, entre 3 y 4; y bajo, entre 1 y 2 puntos. Es lo que se conoce como una rúbrica (baremo) holística o sintética (Cassany, 1999).

El aspecto a se centra en la tarea. Son importantes la precisión y las conexiones entre las partes. La tarea implica un trabajo crítico que, como mencionamos anteriormente, va más allá de la comprensión del material leído. El aspecto b permite observar la comprensión de dicho material, así como la pertinencia de la selección del material citado en el ensayo. En el aspecto c se pone atención en la capacidad de referir adecuadamente los materiales. Finalmente, en lo que toca al aspecto d, se juzga la eficacia de la comunicación lograda en el ensayo a partir de las convenciones en el uso del lenguaje. En el momento en que los estudiantes recibieron la parte uno se les solicitó su aprobación para utilizar sus ensayos como parte de la investigación y, en su caso, publicarlos en la versión final del instrumento.

La parte 3, "Competencia para producir textos académicos a nivel universitario. Información para los estudiantes. Instrucciones y tarea. 17/II 2009", contiene las instrucciones para el día del examen. Sus componentes más relevantes son la propuesta de planeación del tiempo para la escritura —se recomienda que utilicen 10 minutos para planear, 90 para la escritura y 15 para la revisión y corrección— y la formulación de la instrucción, designada como la tarea, para la escritura del ensayo. La tarea:

A partir de los textos de David Perkins y Lewis Thomas escriba un ensayo en el que analice el aprendizaje desde la idea de comprensión y la capacidad de cometer errores. En su ensayo explique la importancia de la comprensión en el aprendizaje. Relacione las ideas de Perkins con el papel del error en el aprendizaje. A la luz del material leído describa su propia experiencia u observaciones acerca del aprendizaje en la escuela o fuera de ella. Analice el grado en el que sus experiencias reflejan las ideas de Perkins o Thomas, o ambas. Puede tocar los puntos en cualquier orden pero tenga cuidado de responder a todas las partes de la tarea y de ordenar sus pensamientos en un solo, y claramente organizado, ensayo. Haga referencias específicas a las lecturas para apoyar sus ideas.

La tarea sintetiza las operaciones intelectuales que se le demandan a un estudiante universitario; para realizarla se requiere que demuestre su capacidad en una parte importante de la alfabetización académica (Carlino, 2005): la habilidad de comprender y pensar críticamente sobre ideas e información impresas, y la habilidad de escribir clara, lógica y correctamente. Obsérvese que la tarea supone analizar y relacionar conceptos, explicar la relevancia de alguno de ellos, y vincular tales conceptos, en la medida que sea pertinente, con las experiencias u observaciones de quien escribe el ensayo. La tarea enmarca la escritura del estudiante más allá de la repetición o yuxtaposición del conocimiento.

El instrumento se aplicó a 10 estudiantes del cuarto semestre de la MADEMS, 7 del área científica —Biología (ensayos II, III, IV, VII, VIII, IX y X),³ seis procedentes de la UNAM y uno de la Universidad Autónoma Metropolita, y 3 de Ciencias Sociales (ensayos I, V y VI), dos con licenciatura de la unam y uno del Instituto Tecnológico de Estudios Superiores de Monterrey, campus Ciudad de México.

Como se señaló en las instrucciones, la prueba tuvo una duración de dos horas. Los estudiantes solamente podían utilizar, además de las dos lecturas, un diccionario. La evaluación ubica cuatro ensayos en un nivel bajo (entre 1 y 2), y cuatro en un nivel intermedio (arriba de 2 y hasta 4); de estos cuatro, tres se ubican en la parte inferior del nivel con promedio de 3, y solamente uno por encima de este nivel. Dos ensayos se ubican en el nivel superior (arriba de 4 y hasta 6). El número asignado corresponde al promedio de lo que obtuvieron al sumar cada aspecto consignado en la rúbrica (Tabla 1). Hay que recordar que en cada aspecto se podía obtener desde 6, la calificación más alta, hasta 1, la calificación más baja. Para cada uno de los ensayos se redactó una breve explicación de la evaluación otorgada; más adelante nos detendremos en dos ejemplos. La evaluación de los ensayos la realizaron dos evaluadores. Ninguna de sus evaluaciones se ubicó en distinto nivel y hubo clara coincidencia en la ubicación tanto del ensayo que recibió la evaluación más alta, I, como la del que recibió la más baja, X.

Se pueden destacar algunos rasgos a partir de una comparación general de los resultados (Tabla 1): si observamos el promedio de las columnas A, B, C y D podemos notar que no hay un resultado que se separe notoriamente por encima de los demás y, también, que la columna D es la más alta, 3.7. Es decir, no se puede sostener, como frecuentemente se hace, que "el uso correcto de las convenciones del lenguaje" sea el factor determinante en la escritura o, al menos, no cuando lo que se quiere alcanzar es la producción de un texto que, como dijimos anteriormente, transforme el conocimiento, se vincule a la experiencia de quien escribe y se apegue a los modelos aceptados por una comunidad. Sobresale, en todo caso, el ensayo V, que obtuvo 6 en el aspecto D, pero que pierde de vista la tarea, deja de lado los textos leídos y, por lo mismo, los aspectos de su experiencia recuperados son casi totalmente ajenos a dicha tarea. El promedio más bajo corresponde a la columna B, 2.8, lo que permite pensar que una dificultad relevante es la incapacidad de comprender los textos leídos y producir explicaciones que los relacionen con la tarea solicitada.

Es notable que el ensayo X, el de la calificación más baja, tiene el promedio más alto de número de palabras por párrafo (97) y el menor número de párrafos (4). El bajo número de palabras y párrafos hace pensar que la tarea resultó muy compleja para quien lo escribió. Durante el mismo tiempo, el autor del ensayo I escribió 10 párrafos y 797 palabras. El contraste entre los ensayos I y X confirma que párrafos cortos propician claridad en el texto (Cassany, 2006).

Para realizar un análisis más detallado compararemos los ensayos que obtuvieron la evaluación más baja: X, promedio 1.2; y más alta: I, promedio 6. El ensayo X (se incluye al final del artículo) muestra que no se entendió la noción de comprensión propuesta por Perkins. En el ensayo X se afirma "El aprendizaje como elemento fundamental en el proceso educativo incluye algunos componentes que estan [sic] presentes indiscutiblemente en dicho proceso; el conocimiento, las habilidades y la comprensión" (párrafo 1, líneas 1 a 3), lo que indica que se habla de comprensión como un elemento del aprendizaje y no como un concepto que delimita lo que se puede entender por aprendizaje. El autor del ensayo X trabaja con una definición de comprensión apegada al significado que la palabra tiene en su uso común y no recupera el sentido de la definición construida en el texto que leyó, la cual es, además, el centro de la argumentación de Perkins.

Un problema similar se presentó con la idea de error. En el ensayo X se afirma "Bajo esta perspectiva, el concepto de 'error' no cabría en un contexto de aprendizaje..." (párrafo 3, líneas 1 y 2), cuando en el texto de Lewis Thomas lo que se propone es la idea contraria; en las primeras líneas del texto de Lewis se afirma: "Los errores están en la base misma del pensamiento humano, en él incrustados. Si no estuviéramos provistos del don de errar, nunca lograríamos hacer algo útil". Nuevamente lo que parece estar operando es el sentido común o las prenociones, las cuales no se modifican con la lectura "Errar es humano".

Otra confusión se manifestó frente a la distinción que establece David Perkins entre una visión de la comprensión vinculada al desempeño y una representacional. En el ensayo X se afirma:

...la comprensión entendida como un desempeño flexible según Perkins, 2005 es la "habilidad de pensar y actuar con flexibilidad" cuyo nivel de éxito aceptable según este autor sugiere una serie de condiciones propicias que incluso pueden desarrollarse (por adquisición o construcción) hasta llegar a la cúspide [énfasis añadido]: la representación como lo es un esquema, la imagen, el diagrama, los modelos mentales, entre otros.

En tanto que el autor de "¿Qué es la comprensión?" afirma: "Por contraste, la visión vinculada con el desempeño dice que la comprensión se entiende mejor como residiendo en la propia capacidad de realización, la cual, según el caso, puede o no estar apoyada en parte por representaciones". Perkins no considera que la comprensión vinculada a la representación sea "una cúspide"; más bien afirma que es diferente, y que en esa diferencia la capacidad de desempeño es valiosa.

El ensayo X sugiere que, en contraste con el ensayo I (se incluye al final del artículo), es muy complicado alcanzar una competencia media o alta para producir un texto académico cuando se tienen serias dificultades para comunicarse. El comentario escrito como síntesis de la evaluación explica lo anterior:

La comprensión [del ensayo escrito por X] se dificulta por la prosa sobrecargada. Esto también se debe a una puntuación deficiente, y a veces a la ausencia total de puntuación (párrafos 2 y 3). El párrafo 3 muestra que no comprendió el concepto de error y su utilidad para el aprendizaje. La falta de comprensión de los textos hace imposible su utilización para dar respuesta a la tarea. El texto carece de vinculación con la experiencia de quien escribe.

El ensayo I, por su parte, incorpora en las tres primeras líneas un acertado entendimiento del concepto de comprensión que se propone en Perkins: "Perkins sugiere que es mediante la comprensión que podemos evaluar el aprendizaje" y la referencia al texto en la que se ubica el núcleo del concepto:

"Comprender, dice Perkins, es la habilidad de pensar y actuar con flexibilidad a partir de lo que uno sabe".

La relación entre el concepto de comprensión y el papel del error está claramente establecida en el ensayo I en el tercer párrafo:

Si el aprendizaje depende de los desempeños flexibles de comprensión, uno habrá de preguntarse ¿qué ambientes privilegian el desarrollo de los desempeños de comprensión? ¿Qué elementos entran en juego hacia un mejor aprendizaje? Lewis Thomas ofrece una respuesta. Él sugiere que el error propicia la obtención [de] conocimiento...

Por otro lado, el comentario sobre el ensayo I: "Responde [el ensayo escrito por I] con precisión a la tarea. Utiliza el material leído seleccionándolo por su relevancia. Lo incorpora a través de referencias formales e informales. Se comunica con una prosa clara y eficaz. Muestra una adecuada comprensión del material leído" confirma la primacía de la tarea, lo que implica, como afirmamos anteriormente, analizar y relacionar conceptos, explicar la relevancia de alguno de ellos, y vincular tales conceptos, en la medida que sea pertinente, con las experiencias u observaciones de quien escribe el ensayo.

Conclusiones

Las apreciaciones que se presentan son necesariamente provisionales; en todo caso cabría considerarlas un índice de lo que podría confirmarse en una nueva versión que revise los resultados de esta primera exploración e inicie un tratamiento estadístico del problema.

La proyección de los resultados de la muestra indica que 40 por ciento de los estudiantes tiene una competencia baja para producir textos académicos y 70 por ciento se encuentra entre 1 y 3 puntos de los 6 posibles. Estos resultados se explican por las dificultades de comprensión de los textos leídos, específicamente por los problemas para entender y relacionar los conceptos que se presentan en tales textos. Es probable que exista un vínculo entre la falta de comprensión y la imposibilidad de vincular las lecturas con la experiencia u observaciones personales.

Es recomendable observar también la relación entre transformación del conocimiento y comprensión de los contenidos disciplinarios de un texto. ¿Es posible comprender un conocimiento sin transformarlo?

Los resultados apuntan a que "el uso correcto de las convenciones de la lengua" no es el factor primordial que determinó los resultados de los ensayos. Más bien habría que mirar hacia las limitaciones para superar "decir un conocimiento" y llegar a transformarlo.

Parece recomendable profundizar en el análisis de las características de quienes se ubicaron en la parte más alta y la más baja de los resultados de la prueba: ¿cuál es la formación que recibieron?, ¿qué elementos de su experiencia podrían vincularse a los resultados?, ¿cuál es el grado de familiaridad con la escritura de un texto como el que se les pidió en la prueba?

Los resultados de la prueba podrían ser un indicio de la necesidad de trabajar los aspectos de comprensión y transformación de los conocimientos disciplinarios a través de la escritura. Probablemente sería valioso realizar un detenido análisis de los ensayos que se ubican en los extremos, de manera tal que se pueda mostrar cómo se alcanzaron los objetivos establecidos en la tarea y cuáles fueron las dificultades específicas que impidieron que se alcanzaran.

Referencias

Barnet, Sylvan y Hugo Bedau (2005), Critical ThinkingReading and Writing. A brief guide to argument, Boston, Bedford/St. Martin's.         [ Links ]

Behrens, Laurence y Leonard F. Rosen (2004), Writing and Reading across the Curriculum, Nueva York, Pearson Longman.         [ Links ]

Carlino, Paula (2005), Escribir, leer y aprender en la universidad. Una introducción a la alfabetización académica, México, Fondo de Cultura Económica.         [ Links ]

Cassany, Daniel (1999), Construir la escritura, Barcelona, Paidós.         [ Links ]

Cassany, Daniel (2006), Tras las líneas. Sobre la lectura contemporánea, Barcelona, Anagrama.         [ Links ]

Fletcher, Ralph (1992), What a Writer Needs, Newport, Heineman.         [ Links ]

Flower, Linda (1985), Problem-Solving Strategies for Writing, Orlando, Harcourt Brace Javanovich.         [ Links ]

Flower, Linda (1990) (ed.), Reading to Write. Exploringa cognitive and socialprocess, Nueva York, Oxford University Press.         [ Links ]

Land, Ray, Jan H. F. Meyer y Jan Smith (eds.) (2008), Threshold Concepts within the Disciplines, Rotterdam, Sense Publishers.         [ Links ]

Lerner, Delia (2001), Leer y escribir en la escuela: lo real, lo posible, lo necesario, México, Fondo de Cultura Económica.         [ Links ]

Maxwell, Rhoda J. (1996), WritingAcross the Curriculum in Middle andHigh Schools, Boston, Allyn and Bacon.         [ Links ]

O'Brien, Emily, Jane Rosenzwig y Nancy Sommers (2004), Making theMost of College Writing, Boston, The President and Fellows of Harvard Collage.         [ Links ]

Instituto Nacional para la Evaluación de la Educación (INEE) (2005), PISA para docentes. La evaluación como oportunidad de aprendizaje, México, INEE.         [ Links ]

Instituto Nacional para la Evaluación de la Educación (INEE) (2010), México en PISA 2009, México, INEE.         [ Links ]

Perkins, David (1999), "¿Qué es la comprensión?", en Martha Stone Wiske (ed.), La enseñanza para la comprensión. Vinculación entre la investigación y la práctica, Buenos Aires, Paidós, pp. 69-92.         [ Links ]

Thomas, Lewis (1982), La medusa y el caracol, México, Fondo de Cultura Económica.         [ Links ]

Zorrilla Alcalá, Juan Fidel (2007), Desarrollo de la expresión oral y escrita de los estudiantes que ingresan a la División de Ciencias Sociales y Humanidades de las UAM-I, México, UAM.         [ Links ]

Notas

¹ Véase: www.lagcc.cuny.edu/cpe/booklet.pdf (consulta: 13 de agosto de 2015).

²Véase: http://www1.ccny.cuny.edu/current/testing/epe/cpeinfo.cfm#CP_JUMP_26330 (consulta: 18 de julio de 2009).

³ Los números romanos se utilizan para identificar a los distintos ensayos.