La evaluación de la calidad educativa desde la perspectiva de los pares académicos: descripción de una experiencia

Edith Jiménez Ríos*

* Profesor Investigador. Asociado C. Facultad de Psicología Universidad Michoacana de San Nicolás de Hidalgo Correo e: edijimenez@hotmail.com

Ingreso: 16/09/07
Aprobado: 09/05/08

Resumen

Desde hace más de una década, el sector educativo nacional, y particularmente en el nivel de educación superior, se han promovido procesos de cambio y modernización, algunos son a solicitud de las propias instituciones y otros sugeridos externamente. Estas actividades son realizadas por grupos o pares de expertos que están vinculados con organismos evaluadores o acreditadores. Entre las instancias evaluadoras se encuentran los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES) cuyo propósito es realizar una evaluación diagnóstica de programas educativos que coadyuve al mejoramiento continuo de la educación superior. El presente ensayo describe la experiencia laboral de los pares evaluadores que participan en procesos de evaluación de la calidad educativa.

Palabras clave: educación superior, procesos de evaluación, calidad educativa.

Abstract

Promotion and modernization processes in the national educational field and, most of all, on higher educational level has been in style for more than a decade, some promoted by the institutions themselves and others suggested by outsiders. These activities are executed by groups or pairs of experts that are linked to assessing organisms or grantors. The Inter Institutional Committees among other valuating parties are found to be necessary to valuate higher education (CIEES) which main purpose is to execute a diagnostic on educational programs that will help to build a growing higher education. This essay describes the experience of pairs as assessors that participate in the processes of educational quality assessment.

Key words: higher education, evaluating process, education quality.

El tema de la calidad de la educación superior ha adquirido una relevancia particular en los últimos años, las instancias que realizan esta labor se concentran en los programas de licenciatura y posgrado de las instituciones de educación superior, mediante mecanismos a nivel nacional o institucional.

Existen diversos programas cuyo propósito es el aseguramiento de calidad de la educación superior, para lo cual se han creado organismos nacionales, situación novedosa en la que participan pares académicos, autoridades institucionales, alumnado y agentes del sector social. El programa de aseguramiento de la calidad ofrece una visión integral para abordar los procesos de evaluación, y dispone de metodologías e instrumentos que propician su desarrollo sistemático. El proceso de evaluación suele tener dos etapas: la primera es una autoevaluación dentro de la institución; la segunda, una externa por pares, que incluye la visita de un grupo de personal académico de otras instituciones similares (Malo, 1998: 113).

Brennan (1998) señala que los procesos de autoevaluación y evaluación externa presentan algunas diferencias. La primera se lleva a cabo mediante un proceso descriptivo y administrativo o como un proceso académico y de evaluación, que es de gran utilidad para las instituciones reconocer las fortalezas y áreas de oportunidad que tienen con respecto a los indicadores que exigen los programas para el mejoramiento de la calidad. Asimismo, el proceso de evaluación de pares, varía según la duración (tres o cuatro días en la institución), la composición del grupo de pares, su objetivo o sus métodos. Estas variables en la práctica del control de calidad se combinan con variaciones de contexto y hacen que la experiencia de los que participan pueda ser significativamente diversa.

El proceso de autoevaluación dirigido hacia el mejoramiento y acreditación de la calidad de la educación superior, es un proceso voluntario, participativo y reflexivo, que se fundamenta en un modelo metodológico propuesto por la instancia que finalmente evalúa a la institución, cuya participación constituye el segundo paso del proceso de evaluación, en el cual los pares evaluadores examinan diversos factores (desarrollo curricular, estudiantes, docentes, producción y gestión académica, recursos, investigación, extensión, difusión, entre otros), de acuerdo con indicadores establecidos que permiten identificar sus fortalezas, oportunidades, debilidades y riesgos, desarrollan un plan de mejoramiento y emiten recomendaciones para su fortalecimiento. En realidad no es un trabajo sencillo, ambos procedimientos (autoevaluación y evaluación) requieren de un análisis minucioso, exhaustivo y objetivo. La evaluación externa implica una tarea confiable, evaluadores capacitados quienes deben emitir un juicio de valor acerca del proceso de autoevaluación que ha realizado la institución y deben desempeñar el rol de verificadores de los datos obtenidos del proceso y del análisis hecho por los responsables.

En este ensayo se relatan las experiencias de las actividades que realizan los pares de los Comités Interinstitucionales de Evaluación de la Educación Superior (CIEES) en las visitas de evaluación a las instituciones educativas. En primer término, es importante mencionar que los pares externos son aquellas personas académicas, profesionales que analizan y revisan el proceso de autoevaluación anticipadamente a la visita, para lo cual se requiere estar familiarizado con los fines, los propósitos, el contexto de la institución y con los aspectos académico–administrativos del programa educativo que se evalúa.

La confiabilidad de una evaluación externa se fundamenta por el trabajo en equipo del comité de pares, integrado por dos evaluadores, un analista y un disciplinar; el primero es asignado por la instancia evaluadora y el segundo es un académico reconocido como experto en el área del programa educativo que se valora.

Dada la importancia que significa pertenecer al equipo de pares, se establecen diversas responsabilidades. Los compromisos de los externos son conocer y realizar todas las acciones consideradas orientadas a alcanzar los objetivos planteados en la metodología propuesta y que guían las actividades que se realizan durante la visita a la institución de la carrera o programa en particular.

Esta metodología implica tener conocimiento de los aspectos generales, los indicadores de evaluación y de los materiales disponibles para el proceso. Es necesario estar dispuesto a ser capacitado periódicamente a fin de cumplir cabalmente con el trabajo de equipo que se genera durante la evaluación externa, de tal manera que ésta sea objetiva, integral y profesional. El trabajo del evaluador se percibe como amenazante y con resistencia de los actores del programa; sin embargo, en México la evaluación se ha visto como una necesidad de las instituciones de educación superior, para la acreditación de programas educativos a niveles de licenciatura y posgrado y para la evaluación de la calidad educativa y su impacto social. Howard (1980) menciona que ser evaluador implica dominar la metodología pertinente, tener objetividad ante el programa y un profundo sentido de la ética profesional; además de que se requiere conocimiento e incluso involucramiento en el programa, con una distancia tal que permita la emisión de un juicio de valor.

Para ilustrar las responsabilidades que cada uno de los pares adquiere al participar en los procesos de evaluación externa, hay que tomar en cuenta las funciones de ambas figuras, antes, durante y después de la visita, así son funciones del evaluador y analista antes de la visita: analizar la autoevaluación del programa, iniciar el llenado de la tabla de indicadores e intercambiar sus primeras impresiones sobre las evidencias.

Durante la visita, el equipo de pares deberá participar activamente en las entrevistas, anotar los datos relevantes encontrados, revisar documentos probatorios, intercambiar comentarios sobre las evidencias, concluir el llenado de la tabla de indicadores.

También existen actividades específicas para el evaluador disciplinar y para el analista, en los tres momentos de la visita. Es importante que el disciplinar analice y opine sobre el plan y los programas de estudios del plan educativo antes de la visita, así como revisar y verificar la entrega del informe final al Comité. Por su parte, el analista debe integrar las notas en la tabla de indicadores, realizar un informe preliminar y enviarlo al evaluador, para después, entregar el informe definitivo al Comité.

El equipo de pares debe estar dispuesto a cumplir con las exigencias y procedimientos del proceso de evaluación con el propósito de contribuir al mejoramiento de la institución. Para ello, es necesario analizar el informe de autoevaluación y verificar que cumpla con los aspectos para la valoración de la calidad que se establecen en la metodología que manejan los CIEES. Al evaluar el proceso de autoevaluación, desarrollado por la institución o unidad académica, los estimadores externos ya saben que el proceso fue voluntario, participativo e integral. Participar en este proceso, implica leer, estudiar y analizar con detalle el informe de autoevaluación, cumplir con la visita en el tiempo organizado y emitir un juicio de valor en la elaboración de un informe oral y escrito a las autoridades de la institución y programa educativo en valoración.

De acuerdo con las funciones del equipo de pares, existen tres momentos fundamentales en el proceso de evaluación:

A partir del "Proyecto de Metodología General para la Evaluación Diagnóstica de los CIEES", la dependencia efectúa una autoevaluación que incluye el contexto regional e institucional y diez categorías de evaluación del programa académico. Esta es la fuente principal de información para la evaluación.

El Comité visita durante dos días a la dependencia responsable del programa y verifica que lo asentado en el análisis previo se base en la correcta interpretación de los indicadores por parte de la dependencia y del evaluador representante de la Vocalía. Esta es la mejor oportunidad para evaluar un programa, porque se realizan entrevistas con los principales actores del proceso educativo (directivos, profesores, alumnos, egresados y empleadores), se hace un recorrido por el escenario (las instalaciones) donde se desarrolla el programa.

El informe final es la última etapa en el proceso y está integrado de acuerdo con las mismas diez categorías empleadas en la autoevaluación y en el análisis previo. Incluye en la última parte los reconocimientos al quehacer académico por los juicios emitidos por el Comité y el resumen de las recomendaciones para el mejoramiento del programa (Metodología General para la Evaluación Diagnóstica de los CIEES, México, 2004).

En resumen, los evaluadores externos que llevan a cabo la evaluación tienen la responsabilidad de validar el proceso y como resultado valuar la calidad de la carrera de manera profesional según los parámetros o referentes definidos por los CIEES. Para ello, deben contemplar los aspectos más relevantes del proceso, la participación de los indicadores y de la comunidad universitaria, la pertinencia y magnitud del plan de mejoramiento que se proyecta y las recomendaciones realizadas como resultado de la visita y en general, de todo el proceso de evaluación.

Es necesario describir cómo se lleva al cabo la dinámica de trabajo en la visita a la institución en sus diferentes etapas. Previo a la inspección, la documentación que es un informe de autoevaluación de la carrera o programa es enviada a los pares evaluadores que van a efectuar la actividad al menos un mes antes de la visita. Durante este mes, se lee dicho informe, y se empiezan a intercambiar, entre los miembros del comité de pares, los aspectos fundamentales que se verificarán en la visita. En este momento, se inicia el análisis sobre la coherencia de lo establecido en el informe de autoevaluación y la realidad observada durante la visita, información que se complementa con la evaluación de la calidad de la carrera o institución que ha solicitado y decidido someterse al proceso.

El informe de autoevaluación presentado a los evaluadores contiene una valoración por parte de la institución en relación con cada categoría establecida para la evaluación de la calidad (normatividad, planeación académica, modelo educativo y plan de estudios, alumnos, personal académico, servicios de apoyo, infraestructura, trascendencia del programa, productividad académica y vinculación con los sectores de la sociedad) los cuales enumeran las fortalezas y debilidades del programa autoevaluado. Con esta información se desarrolla la visita con los diferentes actores que intervienen en el proceso y así se emite una valoración integral sobre el proceso efectuado. Es por ello que las actividades de los pares externos incluyen 1) entrevistas con autoridades, alumnos, profesores, egresados y empleadores, en forma individual y/o grupal, 2) un recorrido por las instalaciones en que se desarrolla el programa y 3) la elaboración de un informe de salida a las autoridades de la institución, que se traduce en un informe final por escrito con recomendaciones y sugerencias de operación producto del trabajo colegiado, que se entrega después de concluida la visita.

Al recibir la invitación de participar como par evaluador externo, es que se ha realizado también un proceso de capacitación que prepara y familiariza a los pares, con los aspectos que intervienen en una evaluación de la calidad educativa en las instituciones de educación superior. Dicho entrenamiento permite a los pares tener una visión concreta de la tarea a realizar al momento de recibir toda la documentación del proceso.

Una vez que los pares reciben el informe de autoevaluación, deben mantenerse en comunicación vía correo electrónico y realizar la lectura previa, muy importante porque de esa forma se conoce a la institución en todos los procesos que han desarrollado en la operación del programa (estructura administrativa, metodología, valoración general de la carrera, resultados, plan de estudios, entre otros) y además, les permite hacer anotaciones, formular preguntas, que se discutirán a distancia antes de la visita y una noche antes de la llegada a la institución.

El comité de pares, previo a la llegada a la institución, recibe una agenda de trabajo que incluye las actividades a realizar y que comienza con una breve reunión con el rector o director de la institución, en la que se hace una presentación de los miembros del comité y de las autoridades que participan en el programa, para arrancar con el trabajo de evaluación.

De manera inmediata se realiza el recorrido por las instalaciones donde se desarrolla el programa, a fin de conocer la situación física en la que se encuentra el programa, verificando espacios esenciales que influyen en el desarrollo del programa como son: biblioteca, talleres y laboratorios, aulas, cómputo, y una breve entrevista a los responsables de diferentes instancias que dan servicio de apoyo a los alumnos, como son, titulación, servicio social y prácticas profesionales, oficina de egresados, educación continua, control escolar, entre otras.

El recorrido por las instalaciones de la escuela es un indicador importante durante el proceso de evaluación y verificación, porque permite a los pares tomar nota de los aspectos que en el informe de evaluación aparecen especificados, y con los cuales advierten un panorama general del espacio físico y contextual del programa, elemento que se enlaza con las entrevistas que se realizarán con profesores, alumnos y egresados posteriores a dicho recorrido. Es fácil percatarse de algunas fortalezas y áreas de oportunidad del programa, y en muchos casos, las medidas que ha tomado la institución para resolver diversos conflictos, que se detectaron en la autoevaluación.

Muchas veces se perciben los esfuerzos que realiza cada institución por encontrar diversas formas de allegarse recursos que coadyuvan al mejoramiento del programa. Si bien es cierto que la mayoría de las instituciones de educación superior (universidades estatales, tecnológicas e institutos tecnológicos) pueden presentar problemas económicos, académicos, administrativos similares, resulta relevante conocer cómo cada una de ellas, resuelve situaciones que para otras parecerían fáciles de remediar.

Debido a que la agenda de los pares externos es muy extensa, se destina el primer día a las entrevistas con los diferentes actores (profesores, alumnos y egresados). Las entrevistas duran aproximadamente una hora y media; pretenden indagar sobre aspectos específicos de la realidad educativa del programa y de la institución, a partir de un guión que los Comités proporcionan a los pares. Ha sido muy importante que durante las entrevistas no estén presentes los coordinadores o autoridades, lo cual ha permitido recopilar opiniones, propuestas de mejora, y brinda un espacio en el cual se analizan las fortalezas que distinguen a la institución y los aspectos susceptibles de mejora.

Al personal docente se le hacen preguntas acerca de la relación entre la investigación y docencia, como una de sus funciones principales, sobre sus prácticas docentes, normatividad sobre ingreso y permanencia; aspectos del currículo del programa que se considere deben ser modificados o actualizados, bibliografía accesible para la conducción cabal de la docencia, opiniones sobre infraestructura en espacios suficientes, equipamiento en general, actualización y formación docente, impacto del programa para la comunidad, vinculación de docentes a organismos internacionales y redes académicas, participación en eventos académicos, entre otros.

Las entrevistas a los estudiantes están orientadas a indagar sobre el programa académico, el proceso de ingreso, permanencia, egreso, sistema de apoyo, tutorías, calidad de los servicios, administrativos, clima organizacional, percepción sobre la infraestructura, bibliografía, equipos o recursos didácticos, computadoras y el acceso a ellas, procedimientos de evaluación docente y de estudiantes, identidad institucional, opinión sobre el plan de estudios que están cursando en cuanto a carga académica, seriación de asignaturas, actualización, pertinencia, etc., metodologías de enseñanza y otros aspectos relevantes al involucramiento del alumno dentro del programa o carrera que estudia.

Asimismo, se realiza una entrevista con los empleadores, para conocer sobre el impacto del programa, su percepción sobre la calidad y pertinencia, sugerencias acerca de posibles y necesarias reestructuraciones al programa y su valoración frente a las competencias laborales, es decir, las características y capacidades que habilitan al egresado del programa para desempeñarse con éxito en la sociedad.

En cada evaluación siempre se hace notar que el proceso no es un espacio para evidenciar o enjuiciar, sino un trabajo conjunto que permitirá conocer en forma más directa las oportunidades del programa, de manera que puedan ser establecidas como aspectos esenciales en las recomendaciones que los pares externos hacen en un informe final.

Dentro de la extensa agenda de trabajo de los pares evaluadores, también se destina un espacio a la verificación de documentos, proyectos, trabajos finales o tesis, estadísticas, publicaciones, evaluaciones docentes, planificación curricular, programas de estudio y cualquier otra documentación pertinente al proceso efectuado. En este espacio se realiza una revisión en portafolios de evidencia que la institución prepara antes de la visita, de acuerdo con los indicadores que guían la evaluación y que se reportaron desde el informe de autoevaluación. Finalmente, el día en la institución concluye con una entrevista con el coordinador o el responsable directo del programa educativo, con el propósito de contrastar información sobre lo expuesto en los portafolios de evidencias, el recorrido y las entrevistas con profesores, alumnos y egresados.

Es hasta el segundo día de la agenda de trabajo, que se realiza una reunión con los empleadores, en la cual se valora el impacto que tienen los egresados en el ámbito laboral e incluso los estudiantes que prestan su servicio social en las instituciones. También se abre un espacio que constituye una especie de seguimiento a la consulta de documentación entregada el día anterior; es entonces donde se estructura un informe de salida presentado a las autoridades de la universidad donde se resumen los principales hallazgos transformados en fortalezas y áreas de oportunidad, que son tanto aspectos positivos como aquellos que deben mejorarse o modificarse, y que la institución o programa educativo evaluado debe comenzar a valorar y realizar acciones para atenderlos.

Durante las entrevistas, se ha percibido que profesores, alumnos, egresados y empleadores consideran este proceso de evaluación como un espacio en el que pueden hacer aportaciones y sugerencias de mejora continua a la institución y al programa educativo del que son parte. Aunque muchas veces los procesos de evaluación impactan en las personas que son objeto, en diferentes ámbitos y situaciones los actores reciben siempre con buen agrado estos procesos, en virtud de que están conscientes de que son útiles para el mejoramiento de su institución, del programa educativo que se evalúa y que el esfuerzo y actitud de trabajar conjuntamente, es la clave que llevará a buen término el desarrollo del programa; ya que, como resultado de la visita de evaluación, se desprenderán diversas actividades que deben realizarse para alcanzar una consolidación académica de los indicadores que organismos nacionales e internacionales estipulan dentro de un paradigma de programas educativos de alta calidad.

La evaluación externa es una conclusión del proceso de autoevaluación y su intención es valorar el grado en que la unidad o programa académico satisface los indicadores de calidad establecidos por el CIEES y si cuenta con propósitos y fines claramente definidos que orientaron el desarrollo del proceso de autoevaluación en forma adecuada, si establecen prioridades y mecanismos de ajustes para el desarrollo y mejoramiento de la calidad de la carrera, si cuenta con políticas y mecanismos de seguimiento, continuo, autorregulación para asegurar la calidad a nivel superior y reafirmar si el proceso fue participativo, voluntario, reflexivo, confiable, evaluativo, endógeno y autorregulador. Es por ello, que la autoevaluación interna no puede estar desligada de la evaluación externa.

Una de las riquezas que se ha obtenido en el trabajo de pares, es ver que de manera interinstitucional se puede coadyuvar a la mejora evidente de cada programa y que los comités representan una instancia clave en dicho proceso ya que, finalmente, existen avances significativos pero también retos por vencer en las instituciones de educación superior. Promover la cultura de la evaluación institucional, desde 1991, año en que se crearon los Comités Interinstitucionales para la Evaluación de la Educación Superior, ha sido una de las principales metas, y aquellos que participamos como evaluadores externos hemos logrado consolidar el trabajo en equipo que contribuya a sensibilizar las actividades que implican dichos procesos, siempre con vías a conseguir una calidad educativa.

Referencias

Brenan, Johh (1998). "Panorama general del aseguramiento de la calidad", en S. Malo. (comp). La calidad de la educación superior en México. Una comparación internacional, México, UNAM–Porrúa.        [ Links ]

Howard, Alvir (1980). Model for Five Page Evaluation Reports, New York Educational Dept., Albany Division of Continuing Education.        [ Links ]

Malo, Salvador (1998). "La experiencia mexicana de evaluación de la calidad", en S. Malo. (comp). La calidad de la educación superior en México. Una comparación internacional, México, UNAM–Porrúa.        [ Links ]

Metodología General para la Evaluación Diagnóstica de los CIEES, México, 2004.        [ Links ] ]]> 1998 1980 1998 2004