La evaluación en el campo de la educación superior

No cabe duda que en las últimas tres décadas la evaluación, como tema, como problema y como práctica, se ha convertido en un foco de atención para todos los involucrados en el campo de la educación. Es uno de los asuntos predilectos de la agenda de organismos internacionales y de la política pública dirigida al Sistema Educativo Nacional, que en su estructura de gobierno ha dado cabida a un complejo dispositivo de espacios vinculados a la planeación y evaluación de instituciones, programas e individuos. Otras instituciones vinculadas a la educación y al desarrollo de la ciencia también destinan una parte importante de recursos, tiempo y energía al impulso de esta actividad. En la misma dirección, los grupos de académicos de tiempo completo de las universidades y los maestros de educación básica, adscritos a los diversos programas de becas y estímulos, de carrera docente y magisterial, destinan una parte importante de su agenda a atender estos asuntos. Los exámenes de ingreso a diversas instituciones, o los de evaluación periódica de los aprendizajes, son motivo de preocupación de padres de familia y de estudiantes; los medios de comunicación le otorgan tiempo y espacio considerable en sus programaciones, y han surgido organismos de la sociedad civil con la consigna de promover la evaluación de los profesionales de la educación y de sus establecimientos. Simultáneamente, la evaluación como campo de producción de conocimiento se ha desarrollado significativamente, y hoy se cuenta con un repertorio de conceptualizaciones y propuestas de intervención inscritas en muy diversas perspectivas teóricas y metodológicas; a su vez, se ha configurado como un campo de actividad especializada, conformado por agencias y profesionales, reconocidos como expertos, que ofrecen servicios de evaluación.

El Seminario de Educación Superior (SES) de la Universidad Nacional Autónoma de México (UNAM), que coordina Humberto Muñoz García, se ha hecho eco de esta situación; instalado oficialmente en 2004, comenzó a reunirse periódicamente desde el año 2000, y se ocupa de desarrollar líneas y proyectos de investigación, docencia y difusión sobre temas clave de la educación superior en México, entre ellos el de la evaluación educativa. Este año, como parte de su agenda, el SES consideró oportuno continuar la reflexión en esta línea de trabajo, en la perspectiva de contribuir al debate acerca de las necesidades y posibilidades de construcción de alternativas, que recuperen a la evaluación como instrumento de mejora permanente de aquello que está siendo valorado.

Queremos dedicar este número especial en memoria de nuestro querido colega Eduardo Ibarra Collado (1957-2013), quien enriqueció con su presencia y con sus aportes diversas sesiones de nuestro Seminario y del Curso Interinstitucional que el SES organiza anualmente. Reconocemos en Eduardo a un pionero en el ejercicio de la crítica sistemática, consecuente y lúcida a las políticas y estrategias de evaluación vigentes en las universidades públicas.¹ Muy posiblemente, sus textos críticos, al presente, sean los más leídos y los más citados, aunque también orientó buena parte de su energía al análisis del futuro universitario. Recordemos nada más que en el año 2000, nos convocó a re-unirnos en el evento "Re-conociendo a la universidad, sus transformaciones y su por-venir", organizado junto con Daniel Cazés y Luis Porter, en la Universidad Nacional Autónoma de México.

Eduardo proponía un cambio radical, y en el fecundo juego de palabras que le caracterizó, nos hablaba de los (im)posibles futuros; se reconocía como un escéptico del presente y un optimista de la utopía. Para construir el presente, Eduardo optó y nos propuso la realización de pequeños mundos "en los que se pueda vivir con regocijo, plenitud y generosidad". Tenía la esperanza de que experiencias de ese tipo facilitaran la construcción de la utopía, no como postergación en un futuro incierto, sino como la anticipación de ese futuro en el presente; de esa universidad diluida en la sociedad, y por eso ubicada "entre el buen lugar y ningún lugar", como dice el título de una de sus obras.

Partiendo de la evidencia de que se cuenta ya con un cúmulo de información suficiente acerca de las limitaciones y de los problemas de las prácticas de evaluación vigentes, se advierte la necesidad de ubicar, en el centro de la reflexión, la posibilidad de introducir cambios en las concepciones y prácticas de evaluación. El conjunto de trabajos aquí reunidos apunta en esa dirección. Abordan distintos objetos de evaluación como son las instituciones, los programas, los académicos y el proceso de enseñanza-aprendizaje; proponen consideraciones y perspectivas particulares que se consideran pertinentes o deseables y que nos dejan ver distintas posiciones y perspectivas frente a los cambios. Ello pretende aportar al desplazamiento del foco del debate hacia la búsqueda de soluciones a los problemas ya identificados.

En el primer texto, Angélica Buendía Espinosa aborda el tema de la dupla evaluación-acreditación, como un eje de la política pública en educación superior. Después de reconstruir la trayectoria de los modelos de evaluación de las instituciones y sus fundamentos conceptuales, destaca la forma de regulación centrada en los procedimientos de evaluación para definir el acceso a los programas de financiamiento. Advierte que el resultado de esta forma de regulación es la asociación evaluación-financiamiento-prestigio institucional.

A partir de la descripción y comparación de los modelos de evaluación y acreditación institucional de organismos y programas, la autora discute el concepto de calidad que les subyace, y da cuenta de los efectos producidos. En un balance, reconoce como efectos positivos la actualización de los planes de estudio, la movilidad estudiantil, la renovación de la infraestructura, la incorporación de tecnología, la colaboración interinstitucional y los sistemas de gestión para el manejo de recursos. En contraparte, identifica que dichos modelos propician la simulación institucional, el cumplimiento de criterios e indicadores para mejorar la imagen de la institución, y que se obtengan recursos y beneficios fiscales que no repercuten en modificaciones sustantivas del funcionamiento interno de las instituciones.

Con base en el cuestionamiento de la racionalidad técnica y política de los procesos de evaluación y acreditación institucional, la autora señala la necesidad de replantear su utilidad dado que favorece el burocratismo, el uso de indicadores cuantitativos, el descuido a la diversidad y al contexto, así como el énfasis en los productos. Propone un tránsito hacia un modelo que considere los procesos y las condiciones específicas de cada institución, y que promueva el mejoramiento de la calidad de la educación superior.

En el segundo texto, Javier de la Garza Aguilar analiza los avances logrados en la evaluación de programas de educación superior que realizan los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES) y los organismos acreditadores reconocidos por el Consejo para la Acreditación de la Educación Superior (COPAES). El autor enfatiza que la evaluación y la acreditación son parte fundamental de la planeación de las instituciones, la base para la rendición de cuentas y una vía para el incremento de su reconocimiento y prestigio social.

En contraste con las conclusiones a las que arriba Buendía Espinosa, el autor sugiere que para dar continuidad a los avances hasta ahora logrados, habrá que generalizar la evaluación externa y la acreditación de los programas en las instituciones públicas y particulares de todo el Sistema de Educación Superior Nacional. Reconoce que el camino recorrido en la evaluación de los programas ha sido el adecuado y que es necesario dar continuidad a las políticas públicas de evaluación externa interinstitucional y por pares académicos, así como fortalecer las capacidades de planeación y autoevaluación de las instituciones. Los esfuerzos futuros, según su perspectiva, deben fortalecer y actualizar los marcos de evaluación y acreditación, así como la coordinación entre el COPAES , los CIEES, los acreditadores y las instituciones y actores involucrados, para facilitar la supervisión y la retroalimentación.

En el tercer documento, José Raúl Rodríguez Jiménez y Juan Pablo Durand Villalobos parten de la premisa de que la profesión académica es compleja y reconocen que la evaluación debe ser un instrumento para mejorarla. Los autores reseñan las características fundamentales de la heterogeneidad de dicha profesión y con ello argumentan la necesidad de reconsiderar las estrategias de evaluación hasta ahora utilizadas; discurren, además, sobre las críticas hechas al Sistema Nacional de Investigadores (SNI), al Programa de Mejoramiento del Profesorado (PROMEP) y al Programa de Becas al Desempeño Docente (PBDD) respecto a los criterios que utilizan, los efectos generados, su cobertura limitada y sus finalidades.

En el texto se propone la necesidad de ampliar los criterios de evaluación de la producción del conocimiento científico, a fin de que se incluyan las aportaciones a la solución de problemas mediante la indagación, que no concluyan necesariamente en publicaciones o en patentes; y el impacto de la investigación en la enseñanza o en el desarrollo regional. Además, los autores proponen que la evaluación debe incluir otras fuentes de información tales como el juicio de colegas, el análisis de los materiales, las autoevaluaciones, el portafolio, la observación directa en el aula y la realizada por los estudiantes.

En la misma línea de cambios, proponen que la evaluación reconozca las diferencias entre los docentes e incorpore el contexto institucional, pues los objetivos, la misión y la orientación de las instituciones influyen de forma sustancial en el ejercicio de la docencia. En consecuencia, el autor propone que se establezcan objetivos y procedimientos de evaluación diferenciados por funciones, acordes con la etapa de la trayectoria docente del evaluado; y según los actores, las disciplinas, el género y el establecimiento de que se trate.

Los autores señalan también algunas semejanzas con nuestro país, por ejemplo, que el énfasis de la evaluación sobre la tarea de investigación produce que los académicos perciban poco o nulo reconocimiento a su labor docente. Ante este malestar, resaltan como necesario generar otras fuentes de reconocimiento a esa labor y a la de los investigadores, que se contrapongan al monopolio de la evaluación sumativa. Para ello proponen acudir al diálogo con la organizaciones de la sociedad civil, a fin de recomponer los roles sociales de docentes e investigadores al insertar el conocimiento en la resolución de problemas en el ámbito local.

Respecto de la investigación, los autores proponen la construcción de modelos alternos de producción científica, advirtiendo del "riesgo" implícito en esta tarea de "ralentizar la productividad" para repensar y discutir colectivamente su orientación y su articulación en la realidad. Consideran que es necesario romper con las restricciones de los límites disciplinares y con la inercia de las instituciones de educación superior, que contribuyen a la falta de reflexión y discusión colectiva entre los académicos. Para abonar a esta discusión, los autores sugieren que se actualice el pensamiento latinoamericano sobre política científica de la década de los setenta, a fin de visualizar otros horizontes del potencial revolucionario de la ciencia y de cómo docentes e investigadores pueden implicarse en ellos.

En los dos textos que siguen, en el orden de exposición, se presentan propuestas de cambios concretos. En su texto, Juan Fidel Zorrilla Alcalá destaca a la evaluación consultiva como una vía eficaz de desarrollo de propuestas útiles, que atiendan necesidades educativas específicas de las instituciones. Apoya su argumentación en una experiencia empírica realizada en una universidad pública, como parte de un proyecto de investigación y desarrollo académico. El autor retoma a E.W. Eisner para denominar como consultiva a la evaluación que se dirige a indagar sobre las experiencias, opiniones, consideraciones o propuestas que tienen las personas consultadas sobre un asunto institucional, a fin de analizar condiciones y percepciones, promover alternativas y generar cambios en la institución.

La experiencia narrada ejemplifica la posibilidad de instrumentar acciones de evaluación de los aprendizajes, que retomen las prácticas existentes en las instituciones y se sistematicen, para lograr avances significativos, en este caso, en el desarrollo de las capacidades y habilidades genéricas, verbales y matemáticas de los estudiantes. A partir de los resultados obtenidos, se impulsó una iniciativa para realizar un programa de investigación y desarrollo académico destinado a apoyar a los docentes en el diseño y ejecución de propuestas didácticas aplicables a uno o varios grupos; y para otorgar la orientación necesaria durante su intervención didáctica. La experiencia reseñada por Zorrilla ejemplifica cómo la evaluación consultiva puede ser una vía para articular el proceso de aprendizaje del alumno con el docente, que a su vez sea partícipe del trabajo colegiado por división y por unidad, realizado para atender una necesidad académica del alumnado.

Por su parte, Susana García Salord propone la evaluación diagnóstica y formativa para la evaluación del desempeño académico individual, mediante la presentación de una experiencia de trabajo, y como un camino alterno al recuento curricular de méritos focalizado en productos terminados. Concretamente, la estrategia radica en incorporar el portafolio como un instrumento de organización y de documentación sistemática del trabajo académico cotidiano que facilita el desarrollo de la evaluación diagnóstica y formativa, en la medida en que centra su interés en el registro y análisis del proceso de trabajo (objetos, propósitos, retos, dificultades y formas de resolverlas; recursos y tiempo invertidos, entre otros); y opera mediante la reflexión colegiada, la retroalimentación y el intercambio fundado e informado con colegas que asumen el papel de interlocutores, mas no de jueces.

La autora advierte que para ser eficaz, esta herramienta debe aplicarse en las unidades de trabajo más próximas y pequeñas, donde se desarrolla el trabajo cotidiano. En esta perspectiva, un cambio fundamental pasa por descentralizar la tarea de evaluación, por liberar y/o establecer un tiempo destinado a ella, y por propiciar la construcción de dichas unidades de trabajo, tal cual redes horizontales, propias de la vida colegiada, inherentes al trabajo intelectual y necesarias para revitalizar a la universidad pública como un proyecto educativo, científico y cultural.

¿POR DÓNDE CONTINUAR?

De acuerdo con el conjunto de análisis revisados en la presente edición, es posible perfilar un panorama de algunas de las necesidades y áreas de atención en la evaluación de la educación superior que podrían nutrir el diseño de nuevas políticas; es decir, se trataría de que, a partir del conocimiento sistemático de las prácticas actuales de evaluación, se camine hacia una mejora permanente de las propias formas de valoración, y que ello repercuta en la mejora del sistema de educación superior.

La evaluación y acreditación de programas cuenta con una gran experiencia institucional, así como un cúmulo de ejercicios realizados por los cuerpos colegiados; es por ello que podrían dar lugar a un ejercicio de meta-evaluación para reorientar sus acciones. La recuperación de este saber acumulado podría contribuir al perfeccionamiento de los distintos programas para suscitar una mayor participación y compromiso de parte de todos los integrantes de las instituciones.

Las acciones de evaluación dirigidas al personal académico desconocen la complejidad y la heterogeneidad del gremio y tienen limitaciones que les impiden dar cuenta del trabajo, capacidades y necesidades de los docentes; además, sus resultados sólo brindan retroalimentación parcial y están enfocados principalmente para fines administrativos. Se requiere generar alternativas de evaluación que consideren fuentes alternas de recopilación de información, así como criterios, indicadores y mecanismos de acción innovadores, que permitan apreciar todas las funciones asignadas, en particular la labor docente en su contexto, y que consideren apoyos suficientes para su mejora continua.

Es necesario desarrollar formas de evaluación que contribuyan a que los docentes alcancen una mejor comprensión del aprendizaje de los alumnos y les brinden un acompañamiento que favorezca tales aprendizajes. La evaluación no sólo debe aproximar a los docentes con sus alumnos, sino también propiciar la articulación de los colectivos de docentes y autoridades para el diseño y ejecución de acciones acordes a las necesidades de los estudiantes.

El panorama que brindan los textos aquí presentados se suma a otros puntos nodales en nuestro medio académico que ya forman parte del conocimiento producido acerca de los alcances y limitaciones de las políticas de evaluación vigentes. Entre ellos cabría destacar uno en el que coinciden quienes postulan la necesidad de introducir cambios, y que refiere a la necesidad insoslayable de desligar la evaluación de la remuneración, porque utilizar la evaluación académica como un instrumento de distribución de recursos económicos, compensatorios del salario tabular, tiene consecuencias de diversa naturaleza.

Por una parte, afecta a la relación entre los individuos y la institución, porque los docentes e investigadores dedican mucho tiempo e interés a los requerimientos de los programas de compensación salarial, por encima de otras necesidades derivadas del proyecto institucional. Al mismo tiempo, afecta a la tarea, porque la evaluación se convierte en una forma de regulación del trabajo académico que tiene el poder de reorientar las prácticas; en este sentido, se advierte que los académicos reconocen que esta regulación dificulta el desarrollo consistente en la formación y la superación personal. En los programas actuales se hace una valoración diferencial de las actividades académicas (docencia, investigación, difusión y administración), lo que disminuye el interés por actividades que, en otro momento, podrían haber sido hechas con mayor compromiso y gusto.

Otra razón que se esgrime para plantear como necesario este cambio, refiere al incremento de prácticas de simulación que afectan a la ética y a la moral de los individuos y de la institución; además, asignar a la evaluación académica una función en la distribución directa de recursos, produce una diferenciación entre evaluados y no evaluados que afecta el clima institucional. El hecho de que algunos docentes no tengan acceso a los estímulos debido a su tipo de contrato laboral, da lugar a actitudes negativas hacia los compañeros de trabajo que sí lo reciben, lo que da lugar a conflictos y al consecuente deterioro de la colegialidad.

Finalmente cabría llamar la atención acerca de que el registro de las limitaciones de las políticas de evaluación vigentes en nuestras instituciones, se encuentra también en los discursos oficiales, es decir, no es privativo del campo de la producción académica. En documentos oficiales elaborados por la Secretaría de Educación Pública y por la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) reiteradamente se reconocen problemas en el diseño y la puesta en marcha de las estrategias de evaluación actuales; pese a ello, no se observan iniciativas definidas para su corrección o superación. Tampoco se expresan análisis críticos respecto de las propuestas de otros equipos gubernamentales, ni se consigna un aprendizaje social que se vea reflejado en las nuevas iniciativas. Contrariamente, en los discursos oficiales se enfatiza el incremento numérico en las metas logradas (más programas acreditados, más profesores con posgrado, más miembros del SNI, etc.), sin considerar aspectos sustanciales como la presencia de efectos indeseables, las diferentes responsabilidades de los distintos actores involucrados y los resultados que se producen al interactuar las distintas iniciativas de evaluación, entre otros.

Ya en el Programa de Desarrollo Educativo 1995-2000 se señalaba que los programas de apoyo a la formación docente se hallaban dispersos y que sus resultados eran insuficientemente evaluados; igualmente se señalaba la desproporción entre los salarios tabulares, el incremento de los estímulos a la calidad y los efectos adversos causados por inadecuadas aplicaciones de criterios, indicadores y procedimientos de evaluación del programa de estímulos académicos. En la misma dirección, en el Programa Nacional de Educación 2001-2006 se menciona que las acciones para la evaluación de los académicos de las instituciones de educación superior mediante los diversos organismos involucrados (CIEES y COPAES) han sido insuficientes y limitadas para asegurar la mejora de la calidad de la educación superior, y para impedir el rezago en los salarios del personal académico; también se señalan problemas, tanto en la concepción misma de los programas de estímulo al desempeño como en su funcionamiento. Ejemplo de ellos son las deficiencias en los mecanismos de dictaminación, la preponderancia de criterios cuantitativos, el énfasis en el trabajo individual, la desproporción entre el salario y el monto correspondiente a los estímulos, así como el pobre reconocimiento que se le otorga a las actividades de apoyo al aprendizaje de los alumnos.

Siguiendo la secuencia temporal, en el Plan Nacional de Desarrollo 2007-2012 se expresa la intención de elevar la calidad educativa a través del diseño y desarrollo de mecanismos sistemáticos de evaluación de resultados de aprendizaje de los alumnos, de desempeño de los maestros, directivos, supervisores y jefes de sector; así como de los procesos de enseñanza y gestión de todo el sistema educativo. También se plantea el fomento de la cultura de la evaluación por medio de actividades de capacitación para realizar evaluaciones, su interpretación y utilización. Por otra parte se agrega la idea de difundir y enraizar una cultura de la planeación, de la evaluación y de la mejora continua de la calidad educativa, así como el diseño de nuevos programas gubernamentales que propulsen la calidad y el reconocimiento al desempeño.

En este breve recuento queda de manifiesto el peso considerable de la evaluación como eje de las políticas oficiales, así como el reconocimiento de un conjunto de limitantes que es necesario atender, y que sin embargo aparecen de forma reiterada de un plan a otro sin que se dé cuenta de un seguimiento o justificación de su repetida presencia.

Una institución como la ANUIES también se manifiesta respecto de la necesidad del Sistema Nacional de Evaluación y Acreditación, el cual debe caracterizarse por la congruencia de propósitos para que todos los instrumentos de evaluación converjan en la mejora de la calidad académica. Propone, además, revisar los procesos, estructuras, instrumentos y criterios de la evaluación externa; analizar el impacto de los resultados de las diversas evaluaciones practicadas; articular esfuerzos y acciones de todos los organismos involucrados; hacer públicos los resultados de las evaluaciones, explicitando sus alcances y límites; e implantar procesos de autoevaluación y de evaluación externa en las instituciones de educación superior privadas aún no involucradas.

Más recientemente, en el año 2012, la misma organización propuso establecer nuevas políticas de evaluación de la educación superior que tomen en cuenta los insumos y procesos, así como el impacto social y la comparabilidad regional e internacional. También sugiere la construcción de un modelo integral de evaluación en el que se incluyan, además de indicadores cuantitativos, estrategias de corte cualitativo que contribuyan al desarrollo de interpretaciones adecuadas. De la misma manera, expresa la necesidad de distinguir la pertinencia de cada tipo de evaluación en función de los propósitos que se persiguen, como sustentar decisiones, rendir cuentas a la sociedad o asignar recursos.

La pregunta que surge ante tal situación es ¿por qué se mantienen básicamente las mismas políticas de evaluación, a pesar de haber coincidencias en el sector oficial y en la organización representativa de las instituciones de educación superior respecto de las deficiencias mostradas a lo largo de varios sexenios, y a pesar de que ya existe abundante evidencia empírica que sustenta la necesidad de un cambio?

Sería oportuno indagar y reflexionar acerca de las dificultades que existen para propiciar los cambios que se consideran ineludibles. Preguntarnos cuáles son los obstáculos para el cambio, poner en observación ese tramo que existe entre la identificación de los problemas y la intervención para atenderlos en la vida cotidiana de las instituciones. Ciertamente en ese trayecto encontraremos lo que también ya se ha puesto de manifiesto en los estudios realizados en las últimas décadas: que la evaluación es un campo de disputa, en el cual existe una serie de tensiones, de naturaleza muy diversa, entre organizaciones y profesionales involucrados de forma directa en todos las etapas de la evaluación, diseño, implementación y comunicación de resultados. También constituye un espacio de conflicto al interior de las instituciones, en las cuales el control de los procesos de evaluación es una fuente de poder que se manifiesta en la disputa por participar en la definición de los cuerpos colegiados que deciden los criterios y procedimientos, y en la búsqueda de participación en las comisiones dictaminadoras que los interpretan y aplican. Finalmente estas tensiones tienen lugar en el mundo interior de cada académico, entre no evaluados y evaluados, y entre éstos y los evaluadores; y todas ellas se suman a las que se establecen a partir de la intervención de diferentes actores del campo político y de organizaciones ciudadanas.

Pero estas evidencias, por sí mismas, no hacen inteligible el complejo problema o el enigma de los (im)posibles futuros, como refería Eduardo Ibarra al porvenir. ¿Podremos construir más espacios en los que vivamos el trabajo académico y su evaluación con regocijo, plenitud y generosidad?

Mario Rueda Beltrán y Susana García Salord*

¹ Algunas de sus obras: La universidad ante el espejo de la excelencia, 1993; La universidad en México hoy: gubernamentalidad y modernización, 2001; La carrera académica en la Universidad Autónoma Metropolitana: un largo y sinuoso camino, 2005.

* Miembros del Seminario de Educación Superior de la UNAM y coordinadores de este número especial dedicado al tema de la evaluación en el campo de la educación superior.