Documento

 

La evaluación como estrategia de autorregulación y cambio institucional^*

 

Luis Enrique Orozco Silva y Rodrigo Cardoso Rodríguez**

 

1. LA CULTURA DE LA EVALUACIÓN/ ACREDITACIÓN EN LA REGIÓN

En la última década, los temas de la evaluación de la calidad y de la acreditación de instituciones y de programas académicos han ocupado lugar central en las políticas públicas del sector de la educación superior en la región y en los medio académicos. Y con razón, puesto que las dinámicas de transformación de los sistemas educativos los ha conducido a incorporar la tarea de "rendir cuentas" como un valor que incrementa su legitimidad, mejora su calidad y favorece su transparencia.

En América Latina, desde comienzos de la década de los noventa, se ha venido avanzando de manera diferenciada en los respectivos países y ya se están produciendo reuniones para adelantar un primer balance de la experiencia adquirida. A su vez, en la literatura se comienza a insistir sobre los alcances y límites de esfuerzo regional en materia de evaluación/acreditación de la calidad del servicio público de la educación superior para hacer los cambios en las políticas que cada gobierno considera pertinentes.

Los desarrollos han sido desiguales, aunque se haya trabajado sobre esquemas metodológicos similares en su estructura, pero diferentes en su forma de funcionamiento y en las características y alcance que se le da en cada país al tema de la evaluación en general y de acreditación en particular. En muchos casos se ha tenido más autoevaluación que acreditación bajo la idea regulativa de incentivar la auto-regulación de las instituciones; en otros, más acreditación que auto-evaluación para incrementar control y vigilancia por parte de los gobiernos. En algunos casos ha habido mayor presencia de los académicos en los organismos de orientación y coordinación de los sistemas de acreditación que en otros y, en general, poca presencia de los gremios profesionales en la definición de políticas de acreditación.

Desde el punto de vista de los métodos seguidos se ha observado una cierta identidad en la estructura de los modelos (autoevaluación, evaluación por pares y evaluación final por parte del organismo correspondiente), pero con diferencias en puntos tan centrales como: el foco de análisis, programas/instituciones; tipo de variables utilizadas (cuantitativas/cualitativas); sistemas de ponderación con énfasis en medidas de tipo más cuantitativo que cualitativo. En ocasiones el acento ha sido puesto en la búsqueda de estándares mínimos y, en otras, en la identificación de estándares máximos.

En relación con los logros, en algunos países se ha podido avanzar más rápidamente que en otros, en gran parte por razón del carácter obligatorio o voluntario de la misma y por razones asociadas al tipo de relación existente entre el sistema de educación superior y el gobierno en cada país. Argentina, Brasil y Venezuela pueden ser una buena ilustración de tal situación.

Es igualmente importante poner de relieve el grado de legitimación de los sistemas de acreditación en cada país. En este punto la realidad no es homogénea; en general, podría observarse que el grado de legitimación está en íntima relación con la mayor o menor participación de los académicos en el desarrollo de los procesos, dándose mayor legitimación allí donde aquéllos tienen mayor presencia. Con mucha frecuencia, la fuerza de las normas no es suficiente para incentivar cambios en la cultura universitaria, si el mundo de la academia no considera legítimas tales regulaciones.

En consecuencia, el comportamiento de los países en relación con el tema de la evaluación y la acreditación no ha sido homogéneo y su desarrollo e implementación se encuentran muy ligados a las dinámicas de transformación del sistema de la educación superior en cada país y a los cambios y fluctuaciones de las políticas de los gobiernos. Aunque hay países con un atraso relativo mayor, en general, tanto la evaluación como la acreditación comienzan a formar parte de la cultura de las instituciones, constituyéndose en un valor generalizado y ampliamente aceptado por los agentes educativos.

 

2. ASPECTOS COMUNES EN LOS DIFERENTES SISTEMAS

¿Cuáles podrían ser los rasgos comunes que pueden ser percibidos al analizar las experiencias de los diversos países en materia de evaluación/acreditación de la calidad en la región?

En cada país se han desarrollado diferentes políticas y se han creado, así mismo, diversos mecanismos en la materia. De una atenta observación de tales instrumentos se puede deducir que existen puntos comunes, a pesar de sus características propias:

• La base de los procesos se encuentra en la autoevaluación de la institución, de la unidad o del programa de que se trate. Y ello es así porque la introducción de mecanismos de calidad sólo puede hacerse por las instituciones mismas.

• Los pares académicos y expertos visitan la institución o unidad o programa y emiten su juicio de modo autónomo y con criterios académicos, en el entendido de que nadie mejor que los propios académicos para evaluar la naturaleza intelectual de programas académicos.

• Tanto la autoevaluación como la "vista de pares" se basan en estándares o características previamente conocidos y se orientan por expectativas más o menos universales, aunque se observen especificidades, según diversas modalidades académicas de los programas.

• Los juicios evaluativos se hallan referidos invariablemente a insumos, productos y procesos, aunque con acentos diferentes, según los modelos utilizados. Cuando se privilegian los estándares de mercado, el producto final será apreciado en función de la naturaleza de éstos y la pertinencia de la formación lograda por el estudiante en conformidad con lo que los mercados requieren, por ejemplo, Acreditation Board for Engineering and Technology, ABET (para Ingeniería, Computación, Ciencia aplicada) o la NAAB y RIBA (para Arquitectura). Cuando se trata de modelos que tienen en cuenta los procesos académicos y otras dimensiones del proceso de formación de los estudiantes, v.gr., CAN de Colombia, o EQUIS.

• Todo el proceso termina en un "informe final", elaborado por la comisión o consejo de acreditación del respectivo país.

• La acreditación conduce a la formación de recomendaciones o de juicios que orientan a las instituciones o programas respecto del camino a seguirse en materia de mejoras o consolidación institucional.

• La evaluación es avalada por una agencia habitualmente autónoma, o de carácter privado. O por el gobierno, mediante un acto administrativo.

• La evaluación es temporal.

• La estructura básica de los procesos es tan similar no sólo en la región sino en el mundo que algunos no dudan en hablar del surgimiento de un "modelo general", el cual incluiría: Autoevaluación institucional, evaluación externa por pares, evaluación final; reconocimiento del gobierno a través de un consejo nacional de acreditación, o de un ente en particular, según el caso, y cuando se trata de agencias privadas, por la Agencia respectiva.

En general, los modelos pueden variar por razones diferentes: la tradición jurídico política del país en cuestión (más centralizados en Francia, menos en el Reino Unido o en Estados Unidos), por los alcances que buscan darle a tales procesos (v.gr., SACS) o por la finalidad última que se les asigna (mejorar calidad, disponer de información, asignar recursos). En el estudio que hizo la OCDE, en el cual se comparó la experiencia en 15 países, se hace énfasis en que una fuente de diferencias reside en los propósitos asignados a los sistemas de evaluación y se identificaron algunos de ellos:

• Disponer de información para la asignación de los recursos por parte de los gobiernos.

• Mejorar la calidad de la educación superior.

• Estimular la competencia inter e intrainstitucionales.

• Asegurar la calidad mínima de instituciones nuevas.

• Definir un estatuto jurídico para las instituciones.

• Disponer de información para los mercados.

• Adelantar análisis comparativos.

• Facilitar la movilidad estudiantil o profesoral.

• El foco de análisis también puede ser fuente de diferenciación, ya sea que se trate de instituciones, o unidades dentro de una institución (facultades o áreas), o finalmente de programas académicos.

• La naturaleza del organismo nacional para el control de calidad puede diferir de un país a otro: ¿Es un organismo directamente gubernamental, o público pero autónomo, o formado por las propias universidades? Esta característica suele ser muy importante para identificar el grado de legitimación de sus actos.

• El carácter de obligatoriedad que tiene el concepto final emitido por el organismo acreditador, para el respectivo gobierno, cuando se trata de una acreditación oficial.

Por último, se debe tener en cuenta el resultado final del proceso y el uso que se hace de la información que arroje. En cuanto a lo primero, generalmente existe un reporte público. Los resultados, por su parte, pueden ser usados para efectos de la asignación de fondos públicos, para acreditar o no instituciones o programas, o para orientar otras decisiones del estado. Desde luego, también pueden utilizarse para efectos puramente internos de mejoramiento de calidad de las entidades evaluadas; sobre todo cuando se adelantan los procesos de autoevaluación sin fines de acreditación.

A este respecto, los resultados de los procesos de evaluación pueden ser empleados con dos fines distintos, los que usualmente se combinan de variadas formas en los distintos sistemas:

• Con fines internos, de aprendizaje institucional y mejoramiento de calidad; o bien con fines externos, de dar información y garantías al público, clasificar reputaciones.

• Orientar acciones del Estado para fines del financiamiento, u otros.

Como puede apreciarse, con excepción de Colombia, la acreditación corresponde a una política de orientación de los entes del gobierno que coordinan la intervención del Estado. En el caso colombiano, el énfasis está puesto, además, en disponer de altos estándares de calidad en el servicio que prestan las instituciones.

Aquélla consiste en "un proceso por medio del cual un programa o institución educativa brinda información sobre sus operaciones y logros a un organismo externo que evalúa y juzga, de manera independiente, dicha información para poder hacer una declaración pública sobre el valor o la calidad del programa o de la institución". Con ligeros atenuantes, podría también entenderse como el reconocimiento de la calidad de una institución o programa, hecho por los pares y sobre cuya base el Estado la certifica, mediante un acto administrativo.

 

3. ENSEÑANZA DE LA EXPERIENCIA INTERNACIONAL

La primera de las enseñanzas que se debe destacar es el interés despertado por estos procesos en los países y la preocupación por su impacto sobre la calidad del servicio que prestan las instituciones.

En la discusión internacional se suelen señalar los siguientes:

• Se percibe que el control de calidad de la enseñanza superior ha elevado el nivel de ésta, y de los aprendizajes de las instituciones como un todo.

• En ocasiones, los procesos evaluativos dan lugar a procesos internos de cambio y a un mayor énfasis en clarificar la misión institucional y en el planeamiento de largo plazo.

• En cualquier caso, se ha hecho notar que el impacto interno depende en gran medida de la propia capacidad de la institución o programa para aprender, corregir y mejorar.

• Habitualmente, los procesos de evaluación generan una necesidad adicional de trabajo administrativo en las instituciones y programas, con frecuencia costosos.

• El impacto puede ser significativo, además, para guiar decisiones externas y, en el caso de la acreditación, para la información a los usuarios y mejor conocimiento del grado de reconocimiento de cada institución o programa académico, dentro del sistema.

• La evaluación y la acreditación facilitan la movilidad académica internacional.

• La acreditación se comienza a percibir como un instrumento de política en el marco de acuerdos comerciales globales. A este respecto, el mejor ejemplo lo constituye la discusión en torno al alcance del ALCA en la educación superior en la región.

Al lado de las experiencias positivas que han dejado para cada país los procesos de evaluación/acreditación de la calidad, es útil tener presentes aspectos menos favorables que pueden ayudar a hacer los cambios deseables, o a evitar los riesgos implicados, entre ellos:

• Los excesivos formalismos en la ejecución de los procesos pueden impedir poner sobre la mesa de discusión lo que es sustancia en materia de cambio cultural dentro de las instituciones.

• Las instituciones pueden aprender el juego de la evaluación/acreditación y desarrollar una cultura de la conformidad, sin mejorar efectivamente su desempeño.

• Las instituciones mejores pueden aprovechar el mecanismo para desarrollarse aún más, mientras las menos aventajadas pueden distanciarse todavía más.

• La evaluación/acreditación puede establecerse como un sistema relativamente cerrado, impermeable a los avances que experimentan las instituciones y —con eso— terminar por frenar su desarrollo o sujetarlo a un patrón homogéneo.

• Es necesario hacer estudios de impacto por país y en una perspectiva comparada para dimensionar exactamente el significado y alcance de la evaluación/acreditación en la región.

 

4. PREOCUPACIONES HACIA EL FUTURO

Las consideraciones hechas hasta aquí conducen a otra dimensión del problema que puede ayudar a proyectar creativamente este esfuerzo en el que vienen empeñados los países en la última década. De cara al futuro, es preciso vigilar aspectos como los enumerados a continuación.

• Politización de los consejos o comisiones orientadores y coordinadores de los procesos de valuación/acreditación en cada país.

• El grado de autonomía de los organismos o entes acreditadores.

• El papel de los gremios profesionales.

• Los cambios de política de los gobiernos que, por carencia de reflexión teórica, generen cambios que signifiquen un retroceso de los avances hechos. O, simplemente, por preferencia dada a otros enfoques metodológicos de la intervención del Estado que signifiquen incrementar control y vigilancia versus autorregulación en favor de la calidad.

• Conversión de los procedimientos de la autoevaluación en práctica de circunstancia sin generar aprendizaje institucional.

• Valoración de los sistemas de evaluación/acreditación en función del tipo de estándares utilizados.

• Que la lucha por la calidad, mediada por la acreditación de alta calidad, se vuelva una lucha contra los pobres; en la medida en que buscar calidad exija ser selectivos y la selección conlleve que los egresados de los mejores colegios sean los que pueden pasar las pruebas y mecanismos de selección.

• Inmovilidad de supuestos, enfoques, metodologías y técnicas utilizadas en los procesos de evaluación/acreditación, que comuniquen tal inmovilidad a las instituciones frente a escenarios cambiantes que las torne poco pertinentes.

• Ausencia de la sociedad civil en la discusión de las políticas de educación superior, incluido el tema de la evaluación/acreditación de la calidad. Para evitar la intervención verticalista del Estado será necesario que la sociedad civil exprese sus intereses, los cuales no necesariamente coincidirán con los de los gobiernos.

• Costos crecientes del funcionamiento de los sistemas de evaluación/acreditación en relación con el impacto de su acción sobre el mejoramiento de la calidad. Cada vez los organismos de planeación y financiamiento se preguntan por la relación entre inversión e impacto en materia de la política de acreditación, lo que los lleva equivocadamente a buscar con afán que estos organismos sean autofinanciados.

• Carencia de sistemas de información adecuados que hace que el mercado educativo sea cada vez más lleno de asimetrías y que los usuarios del servicio carezcan de la información mínima necesaria para la toma de decisiones.

En general, parecería que se está en un camino sin retorno; paulatinamente se ha ido incrementando una cultura de la evaluación del desempeño como valor institucional y como instrumento de planeación estratégica para avanzar en la dirección correcta de mayor calidad, pertinencia y equidad de los sistemas de educación superior en la región.

 

5. HACIA UN MODELO DE AUTOEVALUACIÓN DE PROGRAMAS ACADÉMICOS

La UNESCO ha tenido una preocupación constante por el mejoramiento de la calidad del servicio público de la educación y dirigido muchos de sus esfuerzos a incentivar la creación de una voluntad política en las instituciones para introducir en su gestión el rendimiento de cuentas como un valor reconocible por propios y extraños. Esta preocupación estuvo presente en las diferentes reuniones regionales y preparatoria de la Conferencia Mundial sobre la Educación Superior, realizada en París en 1998, y se mantiene como una constante en las reuniones académicas posteriores realizadas en los diferentes países.

En esta dirección, la UNESCO ha adelantado también una acción orientada a poner en perspectiva la experiencia latinoamericana al respecto mediante encuentros internacionales que han propiciado los diferentes organismos responsables de adelantar las políticas de los gobiernos en este ámbito.

Ha sido una constante en la reflexión latinoamericana la necesidad de ayudar de manera decidida a que la política de rendimiento de cuentas ayude a consolidar las instituciones y a mejorar la calidad de la educación en la región. Por ello se ha pensado aconsejable que la UNESCO comprometa sus esfuerzos en incentivar acciones en este sentido y, consecuentemente, se propone a las instituciones de educación superior un instrumento de autoevaluación conducente o no a la acreditación de los programas académicos.

El modelo UNESCO/RAP (UNESCO: Reporte de Autoevaluación de Programa) constituye una propuesta de esquema de descripción de programas de educación superior. El modelo pretende servir de guía para que una institución pueda elaborar un reporte de autoevaluación que permita a la misma institución estimar su estado de madurez académica. Naturalmente, si es el caso, dicho reporte podría servir a los organismos reguladores correspondientes como un elemento esencial para otorgar licencias de funcionamiento, acreditación, etcétera.

El modelo UNESCO/RAP resulta de una consulta amplia a diferentes modelos que se han propuesto y ensayado. Una vez analizadas identidades y diferencias que tales modelos poseen entre sí, se llegó a un esquema que se espera sirva como referencia para la evaluación/acreditación de programas de pregrado.

El esquema escogido permite valorar la situación de cada programa respecto de un conjunto de características que lo describen y que, a su vez, hacen visible su calidad. Las características expresan cualidades esenciales que deben tener los programas y que constituyen el nivel de logro esperable en cada uno de los factores considerados. Es así como se hará visible el grado de excelencia académica que posee el programa.

El objetivo central de esta propuesta es propiciar la consolidación académica de las instituciones de educación superior en la región, propiciando un aprendizaje institucional, en el marco del ejercicio de la autonomía responsable.

 

Componentes del modelo

El modelo UNESCO/RAP descansa sobre tres conceptos básicos: calidad, servicio público y efectividad de las instituciones y programas académicos:

• Calidad es el grado de consistencia entre el contenido de la misión y la práctica diaria de la institución o programa académico.

• Servicio público: hace referencia a una propiedad del servicio educativo. Éste constituye un bien público, por cuya calidad última debe responder el Estado. En cuanto al bien público, todas las instituciones privadas que lo presten deben obedecer las políticas existentes en cada país, en el marco de su respectiva legislación.

• Efectividad: consiste en la capacidad de la institución y del programa para cumplir con los objetivos que se propone y proceder a ello con una máxima optimización de los medios y recurso de que dispone.

El modelo propuesto busca ser un instrumento útil a las instituciones para identificar el grado de calidad y excelencia de los programas académicos que ofrece a la comunidad. El modelo comprende características y variables de tipo cuantitativo y cualitativo, en el entendimiento de que el proceso educativo tiene como finalidad última la formación integral de la persona del estudiante. Asume, igualmente, que las instituciones de educación superior tienen responsabilidades respecto a la producción del conocimiento y al desarrollo de cada país, en razón de lo cual procuran ser un factor de equidad social y cumplir con sus funciones propias en un marco de integridad, competencia, equidad y consistencia con su respectiva misión y visión de futuro que se proponen.

El foco de análisis es el de los programas académicos de pregrado. En éstos, y dado que se trata de una propuesta, es posible que se encuentren características, variables o indicadores que no aplican en un caso dado; o que, por el contrario, se identifiquen algunos que faltan. En tales casos, es aconsejable que se inserten los nuevos y se supriman los que se estimen innecesarios. En todos los casos deberá manifestarse las razones de ello y destacar explícitamente todas las variaciones hechas con el fin de mantener transparente e integrable la información suministrada.

 

Criterios

Se trata de referentes universales que iluminan el juicio acerca del grado en que el programa posee de modo visible las características de calidad que expresan la excelencia académica del mismo.

Tales criterios serían: universalidad, integridad, consistencia, competencia y efectividad. En su conjunto, se trata de criterios éticos que iluminan el juicio respecto de la calidad y excelencia del programa. Se entiende por calidad el grado en que el programa realiza en la práctica el contenido de su misión.

 

Características y factores

Las características expresan atributos de calidad y excelencia que ostenta el programa. Se consideran características de dos tipos:

• Las que se refieren a la institución que ofrece el programa, como un todo, y

• las que corresponden a las condiciones internas de operación del programa en sí.

Una característica corresponde a una propiedad que es deseable para el programa. Por lo anterior se habla de que una característica se cumpla o se satisfaga, y de que esto suceda en algún grado.

La sección 6 describe en detalle cada una de las características consideradas.

Las características pueden agruparse en factores, los cuales corresponden a aspectos generales de los programas y su entorno que el esquema estima relevantes. Los factores considerados son:

• El proyecto institucional.

• Estudiantes y profesores.

• Currículo.

• Bienestar institucional.

• Organización y estructura del programa.

• Egresados e impacto sobre el medio.

• Recursos físicos y financieros.

 

Variables

Cada característica considerada en el modelo UNESCO/RAP se entiende descrita por un conjunto de variables. Las variables son dimensiones de las características, de manera que los valores de las variables dan una idea clara del grado en que el programa posee la característica.

La noción de valor de una variable debe entenderse en un sentido amplio, en cuanto a que el valor de una variable puede ser, en varios casos, de tipo cualitativo.

 

Indicadores

Además de las variables, cada característica considerada se mide, de nuevo en un sentido amplio, por medio de indicadores. Éstos son referentes empíricos de las variables, de modo que la observación de un indicador permite emitir un juicio de calidad y excelencia sobre las variables involucradas y, consecuentemente, sobre la característica en cuestión.

La ponderación que se utilice para obtener las calificaciones de factores y de programa depende de un perfil al que, a priori, se estime que el programa corresponda. Más adelante (véase documento completo, en página web) se explica más en detalle cómo puede establecerse un tal perfil y cómo puede incidir en las calificaciones obtenidas.

 

Acciones para el mejoramiento

La valoración del grado de cumplimiento de cada característica da lugar, en el caso general, para pensar en acciones que se puedan emprender para conseguir, en el futuro, mejores valores.

Una descripción sucinta y concreta de tales acciones da lugar a una base sólida y sustentada de acciones para un plan estratégico que sirva de hoja de ruta a la institución con el fin de mejorar la calidad del programa.

 

Perfiles

El modelo UNESCO/RAP no pretende ser un metro universal para estimar, de manera uniforme, toda la variedad de programas académicos que puedan ser considerados. Este sería un proceder que desconocería diferencias razonables de enfoques y valoraciones que se puedan dar, dependiendo del entorno mismo del programa.

 

NOTA

* Instituto Internacional para la Educación Superior en América Latina y el Caribe (IESALC-UNESCO)

** Agradecemos al director del IESALC, Claudio Rama, su amable permiso para la publicación de este documento. Para consultar la versión completa, el lector puede ir a: www.iesalc.unesco.org