Examinar la evaluación de la docencia: un ejercicio imprescindible de investigación institucional. Comentarios y reflexiones^*

Javier Loredo Enríquez^**

** Doctor en Educación, actualmente es el Director del Departamento de Educación de la Universidad Iberoamericana. Correo electrónico: javier.loredo@ibero.mx

Debemos reconocer que la investigación en el campo de la Evaluación de la Docencia en educación superior es un tema joven, que surgió en la mayoría de las universidades por la necesidad de la acreditación o por cumplir con ciertos objetivos externos. Dicho surgimiento se dio con una visión administrativa —caracterizada por el diseño o la copia de instrumentos para evaluar al profesor—, sin mucho sustento, más que con la orientación de lo que se pensaba debería ser. Acompañando este proceso, hubo una confusión de lo que se entendía entre evaluar la función académica y evaluar la función docente.

Si nos fijamos en la literatura sobre el tema de la evaluación docente, nos encontramos con ensayos, artículos de difusión y otra variedad de textos que reflexionan sobre la aparición de esta nueva forma de evaluación y las consecuencias que puede tener. En cuanto al contenido de la obra que comento, los dos primeros capítulos analizan a fondo y de manera sistemática qué se estaba haciendo en la BUAP en torno a la evaluación docente, lo cual es un signo saludable de cómo se deben hacer las cosas. Con esta experiencia, no nos enfrentamos a las cotidianas prácticas de muchos proyectos que empiezan por tirar a la basura todo lo anterior sin saber qué sirve o qué no; por el contrario, nos encontramos con un diagnóstico que estudia y trata de entender cuál era el camino que se había seguido en la evaluación docente en la BUAP y, del mismo modo, analizaron los instrumentos existentes desde sus fundamentos, su estructura y su intencionalidad. Los autores hacen una recuperación de la problemática de la evaluación docente en la literatura especializada:¹

• Desde la década de los 80's, los académicos son objeto de evaluación en un contexto donde las universidades son percibidas como empresas (Ginsberg, 2011).

• Las universidades introducen un tipo de "capitalismo académico" donde los profesores deben vender su mano de obra y son constantemente evaluados en cuanto a su productividad; asimismo, reciben pagos adicionales por sus méritos (Slaughter y Leslie, 1999).

• Las evaluaciones del desempeño académico en México son auspiciadas en gran medida por instancias federales y no por las universidades mismas.

• Las políticas federales de evaluación están ligadas a recompensas financieras; estos estímulos pueden representar más de la mitad de los ingresos de los académicos (Acosta, 2004).

• La falta de claridad en lo que debe evaluar la docencia llevó a que las políticas de evaluación se basaran casi exclusivamente en el conteo de constancias o en el simple registro de horas frente a un grupo, creando así una "universidad de papel" (Porter, 2005).

• La ausencia de instrumentos sólidos y criterios claros condujo a los académicos a que se adaptaran a las nuevas reglas, avanzando rápidamente hacia las categorías y los niveles de estímulos más altos sin modificar significativamente su comportamiento (Ibarra, 1994; Comas, 2003).

• La evaluación ligada a estímulos parece provocar estrategias de simulación por parte de distintos actores (Díaz-Barriga, 2000) y generó deformaciones en las prácticas de los profesores, como el trabajar sólo en lo que más puntajes tiene.

]]> • Existe una creciente burocracia dedicada a reproducir y revisar los comprobantes (De Vries y Álvarez, 2005).

• Los ejercicios de evaluación inducen a los académicos a no dedicarse a la docencia, ya que la investigación o la gestión generan más puntos (Acosta, 2004).

Problemática desde la experiencia de la Benemérita Universidad Autónoma de Puebla

Características del Programa Institucional de Evaluación Académica (PIEVA) que en su etapa inicial tiene coincidencias con los programas de otras universidades:

• Uso exclusivo de cuestionarios de apreciación estudiantil. Además, en el texto se reconoce que las primeras acciones fueron sin reparar demasiado en los fundamentos teóricos. Esto también sucede en otros espacios.

• "Desde la perspectiva de los profesores, el PIEVA es una evaluación que no acarrea consecuencias y ni siquiera se traduce en estímulos". Esto puede explicar la falta de resistencia al nuevo proceso de evaluación.

• Las autoridades tienen restringidas sus posibilidades de acción frente a los resultados; se puede no renovar la contratación de un profesor de asignatura o de reciente ingreso, pero no de los profesores de tiempo completo con definitividad. Ante los resultados deficientes, únicamente se les puede excluir de un programa de estímulos.

• Los estudiantes no ven utilidad en la evaluación que realizan a sus profesores por la falta de consecuencias reales y visibles. No les queda claro cuáles son los efectos positivos.

]]> • Cuestionamiento sobre la validez y confiablidad del método usado.

• No existe una clara correlación entre los resultados de la evaluación de la docencia a partir de la opinión de los estudiantes y los atributos del profesor reconocidos por otros procesos. Es decir, los académicos de tiempo completo, con doctorado y con estímulos, con perfil Promep o con SNI, no siempre resultan ser los mejor evaluados.

• Al inicio del proceso, la institución no contaba con un modelo educativo que guiara las pautas para la mejora.

• El segmento de académicos que muestra mayor resistencia es el que cuenta con plazas laborales definitivas y de tiempo completo. Los profesores contratados por hora clase y/o tiempo determinado suelen estar al pendiente y preocuparse por los resultados de sus evaluaciones.

• Existen una serie de factores "colaterales" que están asociados a la evaluación de la docencia, entre ellos: a) el tamaño del grupo, b) el tipo de materia, c) la carrera. Así, entre más grande es el grupo, más baja es la calificación que el alumno da al profesor. Se menciona que hay materias que se relacionan a bajas evaluaciones, independientemente del profesor; sin embargo, no se indica cuáles.

Por otro lado, un componente central de esta investigación es el Modelo Universitario Minerva (MUM); se mencionan los 10 ejes temáticos que integran dicho modelo, desde los fundamentos: el perfil de egreso, el Modelo Educativo, la Estructura curricular y otros, hasta llegar a la gestión y la administración del mismo. Pero no se expresa ningún eje que haga alusión a lo que correspondería a un Modelo de Evaluación Docente; apunto esto porque considero que el modelo de evaluación docente debe ser parte de ese Modelo Universitario desde el inicio, y no un apartado que se desarrolla independiente tratando de adecuarlo y de hacerlo más coherente. En la línea acerca del profesor, tampoco especifica cuál podría ser el perfil ideal (lo que la institución espera de un maestro), que conecta inmediatamente con lo que serviría de fundamento para desarrollar un modelo de evaluación de docente. Y como comentaré más adelante, fue hasta varios años después (2008) que el MUM dio pie a la creación del Programa Institucional de Formación de Académicos Universitarios (PIFAU).

Hablar mucho del concepto Modelo Educativo sin definirlo es sinuoso, por ello celebro que los autores de la obra que expongo se hayan ocupado en precisarlo y coincido enteramente con la posición que retoman de Tünnermann, quien define que un Modelo Educativo es la concreción —en términos pedagógicos— de los paradigmas educativos que una institución profesa, y sirve de referencia para todas las funciones que cumple (docencia, investigación, extensión, vinculación y servicios), a fin de hacer realidad su proyecto educativo. Además la idea se complementa afirmando que "El modelo educativo debe estar sustentado en la historia, los valores profesados, la misión, la visión, la filosofía, los objetivos y finalidades de la institución".

Llama la atención que de los referentes externos e internos que sustentaron la propuesta del Modelo Universitario Minerva (MUM) —ya sean del Banco Mundial (BM), la Organización para la Cooperación y el Desarrollo Económico (OCDE), así como la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), y el Consejo Internacional para el Desarrollo de la Educación (CIDE), sin dejar de mencionar el Proyecto Fénix—, en ninguno figura, entre las recomendaciones de mejora, el tema de la evaluación docente.

Ya había mencionado, líneas arriba, el Programa Institucional de Formación de Académicos Universitarios (PIFAU), el cual desarrolla un excelente perfil ideal del profesor, que es la herramienta idónea para orientar la evaluación docente. Dicho perfil es muy rico, específico para enunciar conocimientos, habilidades, actitudes, así como ciertas tareas para el desempeño docente y de investigador. Enhorabuena a esta claridad; sin embargo, el reto es cómo convertir este perfil —tal vez demasiado idealizado (exigente)— en los elementos que se querrán evaluar de él. Atinadamente, los autores están conscientes de que se requiere que pase el tiempo (los años) para que un modelo llegue a los maestros y asiente sus bases en las prácticas cotidianas, además del indispensable componente de la formación del profesorado. Aunque podría preguntar (no necesariamente a los autores, sino a las autoridades de la BUAP), a siete años de la capacitación o formación docente, ¿si consideran que los docentes hayan transformado sus prácticas desde que se implementó el modelo?, en otros casos, y no lo digo por esta Universidad, se requiere más bien hacer una evaluación de las estrategias o de los cursos de formación docente, preguntándonos qué tan eficientes son en la transformación de los procesos en el aula.

Por otro lado, los autores incluyen la posición de Rosa Torres con una pequeña disertación sobre la separación de la enseñanza y del aprendizaje, la cual debo reconocer que me fue muy grato encontrarla. Claro, si los modelos actuales nos indican que el currículo debe estar orientado al aprendizaje, eso no significa que descuidemos y olvidemos la enseñanza, y lo que el maestro hace para que el estudiante aprenda. Comulgo con ellos y su cita de Torres en cuanto a la deformación que nos puede llevar a malinterpretar la separación de la enseñanza y el aprendizaje. ¿Cómo hemos de trabajar —los que evaluamos la docencia—, si un modelo educativo o un currículo omiten decir qué hace un profesor para que sus alumnos aprendan de una manera u otra?

Cierra este capítulo con una afirmación que me parece muy honesta y a la vez grave, al reconocer que el Modelo Universitario Minerva, en cuanto al tema de la Evaluación de la Docencia, se limita a recomendar que debe contarse con mecanismos de evaluación y seguimiento, que permitan detectar las problemáticas que enfrentan los académicos en sus tareas educativas, con el fin de diseñar y aplicar talleres de actualización pedagógica. Esto me permite reafirmar algo que ya había mencionado antes: que en los componentes del MUM no estaba considerado el modelo de evaluación docente, situación que por desgracia es común en el diseño de los modelos educativos, y que por lo regular origina que el modelo de evaluación docente se diseñe después, perdiendo así la oportunidad de mayores coherencia, consistencia e integralidad entre todos sus componentes.

El último capítulo, "Un nuevo cuestionario para evaluar la docencia en la BUAP. Los resultados de un proceso colegiado", como el título lo dice, constituye la culminación de la obra; en él toman sentido los capítulos anteriores como referentes para construir la propuesta, desde el amplio diagnóstico reflejado en los dos primeros capítulos, la contextualización retomada a través del análisis de Modelo Universitario Minerva —que es el análisis del Modelo Educativo—, así como la revisión de la literatura especializada sobre el tema de evaluación docente.

Como los autores apuntan, el capítulo busca responder a los intereses institucionales de seguir explorando sobre la evaluación docente, con el fin de orientar la formación de los profesores, y esto lo concretiza con la propuesta de un instrumento. Nos anuncia una limitante muy fuerte, ya que por ahora sólo se trabaja en el instrumento para recuperar la opinión del estudiante, pero tienen la claridad y la intención —en el futuro— de incluir tanto la autoevaluación del docente como la del estudiante, y considerar las posibilidades de utilizar la evaluación de pares y el portafolio. Dado que estos últimos no están desarrollados aquí, no entro en la discusión de las grandes ventajas que ofrecen, pero también en las grandes desventajas o dificultades para su operación.

En una síntesis de la literatura especializada, los lineamientos del MUM y de la participación de los docentes llegaron a exponer la definición de 7 dimensiones, que las llaman: 1) General institucional, 2) Resultados de aprendizaje, 3) Mediación, 4) Relación, 5) Planeación del proceso enseñanza-aprendizaje, 6) Estrategias y recursos, y 7) Evaluación al estudiante. Estas siete dimensiones se desagregan en indicadores (que no voy a enunciar aquí), los cuales permiten visualizar a lo que se quiere dar importancia en la evaluación, y como dicen por ahí los autores, con el ánimo de no dejar nada fuera. Sin embargo, esto repercute en tener más de 50 indicadores que se traducirán en "ítems" o preguntas del instrumento, que seguramente con un gran esfuerzo se redujeron a 49 preguntas en un primer momento y, al parecer, 43 en la versión final. Un instrumento así de amplio conlleva en su implementación serias dificultades, menciono algunas: los estudiantes no lo contestan reflexivamente, "¡son muchas preguntas!", dirían; provoca que rechacen la evaluación por lo "engorrosa" que resulta, y más aún si deben evaluar a varios profesores.

Les reconozco una metodología adecuada, como fue definir las dimensiones (derivadas de varias de sus fuentes) de desagregar en indicadores las mismas, y finalmente el gran trabajo de qué y cómo lo pregunto en el cuestionario dirigido a los estudiantes. Por tratarse de un libro y no de un reporte de investigación, nos perdemos esas traducciones, lo que hubiera sido interesante conocer.

Habría muchas cosas que comentar del instrumento, sin embargo sólo quiero mencionar que no me queda clara la ponderación, al no especificar si ésta se hace a través de una fórmula que le da más peso a ciertas preguntas o se hace de manera natural por el número de reactivos para cada dimensión. Me llama la atención que la dimensión "Estrategias de enseñanza" tenga sólo tres preguntas, cuando estamos hablando de tratar de analizar a fondo qué hace el profesor para enseñar. En cuanto a la escala de las respuestas que van en un rango de 1 a 5, sólo un comentario: hay varias de ellas que en el nivel intermedio, es decir, "la escala 3", marcan como interpretación "Ni de acuerdo, ni en desacuerdo", lo cual no es realmente un punto intermedio en la valoración u opinión del estudiante, y que seguramente en la sumatoria de las respuestas lo tomarán como valor 3, ¡cuidado!

Aspectos positivos en la obra

]]> • Los responsables de la evaluación cuentan con formación administrativa, con especialidad en evaluación docente. Existe además una preocupación por capacitarlos continuamente.

• Análisis de la experiencia por una comisión institucional en la que participaron representantes de las unidades académicas, autoridades (personal de la Vicerrectoría de Docencia) y expertos externos.

• Participación del profesorado. Aunque no hay consistencia en las formas en las que los profesores participan a lo largo de los capítulos del libro, en algunos de ellos (1, 2) se habla de su trabajo en comisiones; en el capítulo 1, para la integración de los profesores en servicio en la puesta en marcha del programa de evaluación a partir de agosto del 2006 (p. 61). Sin embargo, a pesar de que se reconoce la importancia de ellos en el proceso, habría que preguntarse si el resto del profesorado se siente representado y qué ha contribuido tanto su participación a la legalización y la aceptación de la evaluación sobre el desempeño.

• Búsqueda de la alineación de la evaluación de la docencia al Modelo educativo de la institución: Modelo Universitario Minerva (MUM).

• El MUM fue el resultado de acciones colectivas en las que participaron representantes de todas las escuelas, facultades e institutos, así como el personal de la administración central.

• El Modelo fue difundido entre la comunidad universitaria para su comprensión.

• El Modelo Universitario Minerva dio paso a la creación del Programa Institucional de Formación de Académicos Universitarios (PIFAU) que propuso el perfil que se pretendía del profesor como parte de su formación académica, teniendo como referente el Modelo y los resultados de un primer diagnóstico de la planta de profesores derivado de la evaluación docente.

• El MUM y el PIFAU sirvieron de referentes institucionales para el diseño del instrumento de evaluación docente.

• El PIFAU realiza actividades de formación ofreciendo cursos de inducción impartidos con personal de la propia universidad y en relación con los ejes del Modelo, sin embargo, sólo una tercera parte de la planta docente participó; el resto fue "enterándose" y preguntando "lo necesario" para participar en las modificaciones o creaciones de planes de estudio.

• Análisis del primer instrumento a través de técnicas estadísticas y trabajo colegiado, así como un intenso trabajo de reformulación y validación de un segundo instrumento.

Retos y dificultades

• Se reconocen problemas de subjetividad o ambigüedad, sin embargo, no se especifican los detalles.

• Actitud apática de los profesores con mayor antigüedad y con hábitos más arraigados.

• Asociación de la evaluación docente con el programa de estímulos, ya que genera ejercicios de simulación.

• Impresión por parte de la comunidad de que la evaluación no tiene utilidad. Esto ha ocasionado falta de motivación, apatía, incredulidad.

• A pesar de la difusión del Modelo, se reconoce que no es asumido de manera inmediata y tampoco que todos sus presupuestos son implementados.

• Dimensiones a evaluar en el instrumento a partir de objetivos e intereses diferentes: instancias administrativas (verificación del cumplimiento), por un lado, y por el otro, la búsqueda de la retroalimentación y la mejora de la práctica docente.

• ¿Cómo se piensa comunicar los resultados a los profesores, de una manera clara, directa y que les ofrezca información útil?

• ¿Cómo se propone abordar la reflexión y la autorregulación de los profesores?

• ¿Cómo agregar un cuestionario de autoevaluación del docente, y si éste tendría peso en la valoración global del profesor?

• ¿Cómo se dará pie a la creación de programas que fortalezcan la retroalimentación?

• Siendo los estudiantes el insumo principal de la evaluación docente, ¿qué hacer para que éstos vean que vale la pena expresar sus opiniones sobre el desempeño de sus profesores? (Campaña de sensibilización)

Respuestas que ya tendrán los autores oportunidad de responder en el siguiente libro, nos dejan ya en la espera de él.

Comentarios finales

Expreso mi reconocimiento al logro de la sistematización de las experiencias sobre evaluación docente que se llevaron a cabo en la Benemérita Universidad Autónoma de Puebla. Existen pocos espacios académicos que se abran y den a conocer los procesos que llevan a cabo; son menos aquellos que comparten la forma como éstos han sido construidos y transformados.

Valoro que el trabajo realizado sea el producto de una iniciativa de búsqueda de acciones de mejora a partir de la evaluación de la docencia, e indudablemente los cambios realizados en el proceso deben haber sido producto de un ejercicio de reflexión crítica de todos sus participantes.

Notas

* Moreno Rosano, Patricia y de Vries Meijer Wietse (Coord). (2015) Examinar la evaluación de la docencia. Un ejercicio imprescindible de investigación institucional. México: ANUIES.

¹ Citas recuperadas de las páginas 15 y 16 de la obra presentada.