Artículos

 

El impacto de la evaluación externa en dos instituciones de educación superior en México: La Universidad Autónoma Metropolitana-Azcapotzalco y la Universidad Iberoamericana*

 

Gloria del Castillo**

 

** Profesora-Investigadora de la Facultad Latinoamericana de Ciencias Sociales, Sede Académica de México.

 

Recibido en agosto de 2004.
Aceptado en octubre de 2004.

 

Resumen

El propósito de este artículo es abordar el impacto de la evaluación externa en dos instituciones de educación superior de distinto régimen jurídico: la Universidad Autónoma Metropolitana-Unidad Azcapotzalco (UAM-A) y la Universidad Iberoamericana (UIA). Se analiza el cambio institucional universitario desde la perspectiva de la política mexicana de educación superior en cuanto al financiamiento y la calidad, para verificar la centralidad de dicha política como el principal detonador del cambio institucional en el ámbito de las universidades.

El artículo comprende tres partes centrales: en la primera se aborda la estrategia gubernamental de evaluación como detonador del cambio universitario; en la segunda se describen los casos de la UAM-A y la UIA, en función de la relación entre su singularidad organizativa y el cambio; y, por último, en la tercera se presenta, a manera de conclusión, un balance del impacto de la evaluación externa con base en la experiencia de la UAM-A y de la UIA. El artículo termina con algunas prescripciones y líneas de investigación susceptibles de formar parte de una agenda de investigación en un futuro próximo.

Palabras clave: evaluación externa, impacto, cambio institucional, calidad educativa.

 

Abstract

The aim of this article is to look closely at the impact of external assessment in two higher education institutes with differing legal structures: the Universidad Autónoma Metropolitana-Unidad Azcapotzalco and the Universidad Iberoamericana. The article analyzes university institutional change since the Mexican higher education policy of quality and financing, with a view to verifying the role played by this policy as a key detonator of institutional change in the University sphere.

The article comprises three main parts. The first looks at the government assessment strategy as instrumental in university change. The second analyses the cases of the UAM-A and the UIA, that is to say, the relationship between each university's particular form of organization, as well as the relationship between this form and the change implemented. Finally, the third part offers, in the form of a conclusion, a balance of the impact.

Key words: external evaluation, impact, institutional change, educational quality.

 

Presentación

El propósito de este artículo es abordar el tema del impacto de la evaluación externa en dos instituciones de educación superior de distinto régimen jurídico: la Universidad Autónoma Metropolitana-Unidad Azcapotzalco y la Universidad Iberoamericana. En este trabajo, el impacto de la evaluación externa se mira como una manifestación del cambio universitario. Se describe el cambio institucional en el contexto de estas dos universidades a partir de una perspectiva analítica que vincula el análisis de la complejidad organizativa interna de las universidades¹ (la fisonomía institucional) con factores externos² (estrategia gubernamental de evaluación), como se muestra en la figura 1.

Se analiza el cambio institucional universitario en dos dimensiones analíticas, una macro, en la que se ubican la política de educación superior de financiamiento, la calidad, y las agencias nacionales responsables del diseño y la implementación de la evaluación externa; y una micro que corresponde al análisis del cambio institucional en las universidades. En el espacio de las universidades, el análisis se relaciona con las unidades académicas operativas básicas: los departamentos, y se enfoca particularmente en los cambios que tienen lugar en los planes y programas de estudio, donde para su renovación y actualización, la evaluación externa tiene una incidencia significativa.

Nuestro punto de partida es que en México la política educativa de financiamiento y calidad de la década de los noventa, donde la evaluación ocupa un lugar privilegiado, representa el principal detonador del cambio institucional en el ámbito de las universidades, en espacios donde la propia dinámica interna no ha logrado instrumentar reformas en favor de la calidad educativa. En las dos universidades que elegimos se registra una dinámica particular entre una alta o una baja legitimidad y una alta o una baja eficiencia instrumental, de tal forma que el desequilibrio entre ambas dificulta la dinámica de cambio. Uno de los resultados esperables de la evaluación externa es la existencia, en el mediano y largo plazos, de un escenario donde converjan la homogeneidad en términos de la calidad educativa, y la heterogeneidad en relación con la singularidad organizativa de las universidades.

Las hipótesis que orientan este trabajo sugieren que la factibilidad del cambio institucional al interior de las universidades guarda una estrecha relación con el patrón de dependencia que se establece entre las instituciones educativas y el Estado mexicano. En el caso de la UAM-A se plantea que a mayor dependencia de recursos públicos, mayores probabilidades de adopción de reglas externas de evaluación, mientras que en la UIA es esperable que a menor dependencia de recursos públicos, haya menores probabilidades de adopción de reglas de evaluación externas. Así mismo, el patrón de dependencia financiera, junto con el modelo de gobierno universitario y de estructura académica, da lugar a una fisonomía pro-activa o resistente al cambio.

El argumento central que contribuye a la comprobación de estas hipótesis es que la política de educación superior de financiamiento y calidad logra permear a la UAM-A y a la UIA, a partir de un isomorfismo burocrático³ que da cuenta del tipo de relación que se establece entre gobierno e IES, y de un isomorfismo disciplinario⁴ que muestra la particularidad de la evaluación externa y del tipo de incentivos asociados con ella. Dicho de otra forma, la política gubernamental de evaluación logra equilibrar la constante tensión entre legitimidad y eficiencia instrumental presente en estas universidades.

El artículo comprende tres partes centrales. En la primera se aborda la estrategia gubernamental de evaluación como detonador del cambio universitario, poniendo énfasis en la relación entre el cambio y los sistemas de incentivos asociados con la evaluación diagnóstica y de acreditación. En la segunda parte se describen los casos de la UAM-A y la UIA en función de la relación entre su singularidad organizativa y la relación de ésta con el cambio⁵. En ambas universidades se indaga de qué manera la complejidad inherente a la configuración institucional de las universidades delinea la fisonomía institucional del cambio, y por qué en ambas universidades un cambio de origen externo logra atravesar las fronteras de algunas de sus estructuras organizativas, generando cambios específicos que no se habían logrado por una vía interna.

Por último, se presentan, a manera de conclusión, un balance del impacto de la evaluación externa con base en las experiencias de la UAM-A y la UIA, así como algunas de las principales tendencias de cambio que se vislumbran a partir de la evaluación externa como estrategia de una política pública orientada al mejoramiento de la calidad en las instituciones de educación superior mexicanas; para finalizar con algunas prescripciones y líneas de investigación susceptibles de formar parte de una agenda de investigación en el futuro próximo.

 

La estrategia gubernamental de evaluación, acreditación y aseguramiento de la calidad

La política gubernamental de los noventa en México, que privilegia la evaluación como el eje articulador del financiamiento y la calidad educativa, comprende el conjunto de reglas y organizaciones gubernamentales y no gubernamentales que participan en el diseño, la coordinación y la implementación de una nueva regulación gubernamental de la evaluación. Esta política, que implementan de manera conjunta las distintas instancias para orientar el cambio universitario, está constituida por un conjunto de restricciones a través de la introducción de diversos mecanismos de evaluación asociados con la asignación de incentivos positivos ("premios") y negativos ("castigos"), a fin de racionalizar la asignación y el uso de los recursos públicos, y mejorar la calidad en el ámbito de las universidades.

El impulso a la evaluación⁶ nace de la iniciativa gubernamental a fines de la década de los ochenta, en el marco de un contexto caracterizado, por un lado, por la expansión y el crecimiento del sistema educativo superior⁷ con controles de calidad casi nulos, y, por el otro, por una astringencia presupuestaria resultante de una de las crisis económicas más agudas de México, registrada en 1982, que implicó una disminución significativa en el gasto federal asignado a la educación⁸. En este contexto, se observa una mayor preocupación por la diversificación del financiamiento con nuevos esquemas para supervisar la calidad de las instituciones de educación superior, que da lugar a lo que se denomina "fondos condicionados".

La evaluación se ha convertido gradualmente en la principal apuesta gubernamental para el cambio universitario⁹, lo que se observa en las distintas etapas por las que la política de la educación superior ha transitado de la década de los noventa a la actualidad. Durante el sexenio salinista (1989-1994), se propone la evaluación como elemento estratégico del paradigma modernizador de la educación superior, a fin de emprender el cambio en las IES y alcanzar niveles más elevados de eficiencia en el uso de los recursos públicos. En el siguiente periodo de gobierno, que corresponde al sexenio zedillista (1995-2000), si bien hay signos de continuidad, se pone un mayor énfasis en la evaluación del personal académico, y se avanza hacia el establecimiento de un sistema de acreditación; por último, en el gobierno actual (2001-2006) se observa, al menos en un principio, la intención de consolidar los procesos de evaluación y acreditación para dar lugar a una política de aseguramiento de la calidad.¹⁰

 

Las instancias responsables del Sistema Nacional de Evaluación y Acreditación

Uno de los principales indicadores del cambio institucional impulsado por el gobierno mexicano como parte de una nueva estrategia de evaluación, es la creación de nuevas instancias gubernamentales y no gubernamentales responsables de la evaluación externa, como se sintetiza en el cuadro 1. Entre las primeras, destacan dos programas especiales diseñados e implementados por la Subsecretaría de Educación Superior e Investigación Científica (SESIC): el Fondo para la Modernización de la Educación Superior (FOMES), orientado a evaluar proyectos específicos para fortalecer la infraestructura de apoyo al trabajo de los cuerpos académicos y de los alumnos, y el Programa de Mejoramiento del Profesorado de las Instituciones de Educación Superior (PROMEP), orientado a evaluar los planes de desarrollo de los cuerpos académicos que constituyan una determinada unidad básica de operación en una institución, y apoyar a los cuerpos académicos que mejoren la calidad de la enseñanza superior.

Por su parte, los nuevos organismos evaluadores no gubernamentales son varios y están orientados a evaluar las distintas dimensiones de las actividades de docencia en una IES. El papel de este conjunto de instancias comprende el diseño y la implementación de los lineamientos de la evaluación externa. Y puesto que llevan a cabo la evaluación externa impulsada por el gobierno mexicano, ocupan un punto intermedio en la relación gobierno-IES.

Estos organismos evaluadores se distinguen entre sí porque unos se orientan a la evaluación diagnóstica y otros a la acreditación, como se muestra en la Figura 2. Con la primera, se intenta constituir un sistema nacional de evaluación; con la segunda, establecer las bases para la creación de un sistema nacional de acreditación; y, en su conjunto, conformar una política de aseguramiento de la calidad.

 

La estrategia de evaluación diagnóstica

La estrategia de evaluación diagnóstica está orientada a identificar los logros y aciertos en el desempeño de las IES públicas y privadas. En ambos casos la evaluación es voluntaria; sin embargo, en las universidades públicas es requisito indispensable para obtener fondos extraordinarios, con lo que lo volitivo queda desdibujado. De ahí que pueda esperarse que las universidades públicas se interesen más que las privadas en solicitar "voluntariamente" la evaluación diagnóstica; algunos datos así lo confirman: del total de los programas evaluados en las universidades públicas y privadas (2122), sin considerar los institutos tecnológicos, el 98% son programas de universidades públicas y el resto son de universidades privadas¹¹.

Esta estrategia consta de distintos tipos de evaluación: a) la autoevaluación que hacen las propias universidades de acuerdo con lineamientos establecidos por la SEP y la CONAEVA; b) la evaluación-SESIC, responsabilidad de esta Subsecretaría, que se implementa a través de dos programas especiales, el FOMES y el PROMEP; c) la evaluación interinstitucional, o evaluación-CIEES, orientada a diagnosticar la situación que guardan los planes y programas de estudio, algunas de las funciones de las IES y proyectos específicos; y, d) la evaluación individual, centrada en medir el desempeño de los estudiantes y certificar su conocimiento. Las diferencias entre estos tipos de evaluación se establecen a partir de quién evalúa, qué se evalúa, y los incentivos asociados, como se muestra en el Cuadro 2.

Las nuevas exigencias que enfrentan en general las IES decididas a competir por fondos adicionales se relacionan con el cumplimiento de: a) requisitos relacionados con sus actividades sustantivas de docencia, investigación y difusión y extensión de la cultura, así como con su desarrollo institucional y su infraestructura física y académica; b) requisitos relativos a la normativa, entre los que destacan los reglamentos para el ingreso y la promoción de los docentes, y para el ingreso, la permanencia y el egreso de los estudiantes; c) parámetros a través de indicadores específicos, relativos al número de programas que ofrecen; la matrícula por carrera; el número de profesores por tipo de contratación y por grados académicos; la infraestructura que comprende el número de computadoras por estudiante, y de títulos y volúmenes por estudiante, del acervo de la biblioteca; y, d) indicadores del desempeño de sus estudiantes (entre los que los más importantes están las tasas de titulación, reprobación, deserción; estudios de egresados), y de sus profesores (los porcentajes de profesores que imparten tutorías, con perfil PROMEP, y con grado de doctorado).

De los distintos tipos de evaluación diagnóstica, la evaluación-SESIC y la evaluación-CIEES nos interesan especialmente. La primera porque es la única vinculada directamente con un sistema de incentivos monetarios y, sobre todo, porque este tipo de evaluación funciona como eje articulador de la estrategia de evaluación diagnóstica en su conjunto, en tanto que los demás tipos funcionan como instrumentos de generación de información sistemática del desempeño de las IES. La evaluación-CIEES nos interesa por dos razones: una, por estar asociada indirectamente con la asignación de fondos condicionados, y la otra, por ser el origen del isomorfismo disciplinario. Estos elementos contribuyen a que la evaluación-CIEES sea uno de los mecanismos de evaluación externa más efectivos en las universidades.

La evaluación-SESIC se aplica básicamente a las instituciones educativas públicas a través de dos programas especiales, el FOMES y el PROMEP. Ambos representan alternativas de financiamiento condicionado al cumplimiento de lineamientos específicos de evaluación. El FOMES está orientado al mejoramiento de la infraestructura académica, mientras que el PROMEP se enfoca en la formación de la planta docente y en la consolidación de los cuerpos académicos de las instituciones de enseñanza superior. Actualmente ambos forman parte de un Programa más amplio, como se detalla a continuación.

A casi diez años de la creación de estos nuevos esquemas de financiamiento, en 2001 se registra un cambio sustantivo e innovador en el sector educativo superior, que se concreta en la creación de dos programas estratégicos de la política de educación superior, los Programas Integrales de Fortalecimiento Institucional (PIFI) en el nivel de licenciatura, y el Programa de Fortalecimiento del Posgrado (PIFOP) en el de posgrado¹². Aunque ambos programas son muy similares en sus propósitos y su operación, una diferencia sustancial es que el PIFI es responsabilidad de la SESIC, en tanto que el PIFOP es ejecutado conjuntamente por la SESIC y el Consejo Nacional de Ciencia y Tecnología (CONACyT).

El PIFI y el PIFOP buscan que las IES cuenten con las competencias pertinentes para revertir los problemas que dificultan su consolidación institucional, para mejorar la calidad de su oferta educativa; el PIFOP se propone revertir en particular los problemas que obstaculizan el ingreso de los programas educativos al Padrón Nacional de Posgrado SEP-CONACyT en el 2006, a fin de impulsar el fortalecimiento de los programas de posgrado que ofrecen las IES y los centros de investigación, e incrementar así la capacidad científico-tecnológica del país (PECyT 2001-2006).

Las competencias que deben generarse y consolidarse en las IES y en los centros de investigación a través del PIFI y PIFOP son las directamente asociadas con una perspectiva estratégica institucional de los problemas y su solución. En este sentido, el PIFI y el PIFOP son instrumentos de evaluación con un doble propósito: impulsar una visión estratégica al interior de las IES para identificar sus fortalezas y debilidades, y apuntalar la rendición de cuentas como parte fundamental de una cultura democrática.

Los criterios que se utilizan en el dictamen final de los programas PIFI y PIFOP están asociados con el cumplimiento de los requisitos en tiempo y forma, pero también y con la misma importancia, con el requisito de que la auto-evaluación refleje una clara consistencia entre el diagnóstico de la institución (problemas), las políticas institucionales, y las estrategias y acciones orientadas al mejoramiento de la calidad educativa. En pocas palabras, el requisito central es la presentación de un buen ejercicio de planeación estratégico donde, además, se haga explícito un compromiso institucional por alcanzar en 2006 las metas propuestas.

Con respecto al tema del financiamiento y la evaluación, es importante considerar que un análisis retrospectivo de los distintos esquemas de financiamiento permite visualizar una evolución que da cuenta de dos procesos: el avance en el perfeccionamiento de los distintos mecanismos de evaluación considerados de manera individual, y la articulación de los distintos mecanismos de evaluación del PIFI y el PIFOP, a fin de mejorar los ejercicios de autoevaluación desde una visión estratégica institucional. Al respecto cabe señalar que tanto en el PIFI como en el PIFOP se registran avances considerables en torno a la importancia otorgada al fortalecimiento de la planeación a través de mejoras en la gestión institucional (organización, normativa).

Por su parte, la evaluación-CIEES, o interinstitucional, es la evaluación de los comités colegiados denominados Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES). Estos comités son órganos colegiados formados por los llamados "pares evaluadores", que provienen de distintas IES del país¹³. Actualmente existen nueve CIEES, siete de los cuales corresponden a las distintas disciplinas del conocimiento¹⁴; los otros dos se enfocan en las funciones de gestión, difusión y extensión de la cultura de las instituciones¹⁵.

La importancia de los CIEES disciplinarios en el marco del Sistema Nacional de Evaluación y Acreditación radica en que con su creación se inicia un cambio institucional que se registra en las relaciones IES-gobierno a partir de un nuevo esquema de asignación de fondos; esquema donde los CIEES hacen las veces de enlace entre las instituciones educativas y la autoridad gubernamental en asuntos relacionados con la evaluación educativa, y en el espacio de las propias IES, dado que las nuevas exigencias derivadas de la evaluación externa propician una reorganización asociada especialmente con la gestión de la calidad educativa.

El trabajo de los CIEES se orienta a evaluar los programas de estudios, a desempeñar algunas funciones de las IES, y a dictaminar puntualmente los proyectos y programas que buscan apoyo económico adicional (como el FOMES y el PROMEP). El ámbito de su competencia son las IES públicas y privadas; en las IES privadas las recomendaciones de los Comités son indicativas, y en las públicas son un requisito para la asignación de fondos adicionales.

Entre los principales objetivos de los CIEES destacan: contribuir al mejoramiento de la calidad a través de la evaluación externa, y generar información pertinente del desempeño de las IES en su conjunto (planta docente, planes de estudio, estudiantes, gestión institucional y administrativa), que contribuya a facilitar la toma de decisiones de las instituciones educativas y gubernamentales (CIEES, www.ciees.edu.mx).

En relación con las dimensiones de la evaluación, cada uno de los siete CIEES disciplinarios ha establecido marcos de referencia y sus respectivos criterios, para respetar la lógica disciplinaria de los distintos ámbitos del conocimiento; sin embargo comparten un esquema de evaluación de cuatro dimensiones:

•La evaluación de la normativa y la planeación académica del programa.

•La evaluación del desarrollo y de los resultados del programa.

•La evaluación del proceso académico y de sus insumos.

•La evaluación de la administración académica.

De acuerdo con la descripción que hemos hecho hasta aquí, podemos identificar dos características esenciales de la evaluación-CIEES. La primera, que el interés de las IES en la evaluación está asociado con el tipo de recompensas que obtienen, y con el tipo de dependencia que establecen con el gobierno, de tal forma que es esperable que a mayor dependencia (de recursos o de la normativa para su operatividad), haya una mayor aceptación de las reglas que corresponden a este tipo de evaluación diagnóstica.

En relación con el tipo de recompensas, es importante considerar que si bien la evaluación diagnóstica permite a las IES públicas acceder a fondos condicionados como parte de las recompensas que otorga, no considera sanciones específicas y explícitas en los casos de incumplimiento, lo que limita las posibilidades de cambio en la oferta educativa de las universidades. Sin embargo, esta situación se modifica ligeramente en 2001 con dos cambios importantes en la regulación gubernamental: a) la incorporación de un seguimiento y monitoreo después de la evaluación interinstitucional; y, b) el cumplimiento de las recomendaciones-CIEES se vuelve requisito para acceder a fondos a través de los programas PIFI/PIFOP.

La segunda característica esencial de la evaluación-CIEES es el patrón de organización de las reglas de evaluación, que se asemeja a un modelo burocrático sometido a la autoridad de cuerpos académicos disciplinarios; por un lado, el cumplimiento de los requisitos ocupa un lugar privilegiado entre las exigencias implícitas en la evaluación externa, lo que da lugar a un proceso de burocratización en la observancia de las reglas de la evaluación diagnóstica; y por el otro, las reglas de evaluación se sustentan en criterios disciplinarios con base en los cuales se organizan las distintas disciplinas del conocimiento, lo que da cuenta de una alta participación de la comunidad académica en el diseño de estas reglas.

 

La estrategia de acreditación

La estrategia de acreditación consiste en una evaluación de los organismos acreditadores y de los programas de estudio de los niveles de licenciatura y posgrado de distintas disciplinas. De acuerdo con el propósito de este trabajo, nuestro interés se centra en la acreditación de estos últimos. Esta estrategia corresponde tanto a las IES públicas como a las privadas. La acreditación es voluntaria y no está asociada con ningún tipo de recompensa económica, aunque sí social; una evaluación positiva se traduce en reconocimiento público, lo que da prestigio y competitividad a los programas, y con ellos a las universidades que los imparten.

La acreditación de un programa académico de nivel superior implica el reconocimiento público de un organismo no gubernamental certificado por el COPAES, con base en marcos de referencia diseñados por estos mismos organismos, entre los que destaca la participación de los Colegios Académicos y las Asociaciones de Profesionales. Este reconocimiento se hace de acuerdo con el perfil disciplinario o profesionalizante del programa de estudios en cuestión. Los distintos marcos de referencia están construidos de conformidad con el Marco General para los Procesos de Acreditación de Programas Académicos emitido por el COPAES.

Entre los principales objetivos de la acreditación destacan los siguientes: obtener el reconocimiento público de la calidad del desempeño de los programas; propiciar una comunicación interactiva entre los diferentes sectores de la sociedad, en busca de una educación de mayor calidad y pertinencia social, para propiciar una convergencia ad hoc entre la formación de recursos humanos y las necesidades de la sociedad (es decir, de los estudiantes, los padres de familia, y los empleadores públicos y privados); promover cambios significativos en las IES y el SES en su conjunto, acordes con las necesidades sociales presentes y futuras; y, proveer a la sociedad información sobre la calidad de los programas educativos (COPAES, www.copaes.edu.mx).

De acuerdo con la descripción que hemos hecho hasta aquí, podemos concluir que el marco institucional de la acreditación da cuenta de un modelo de operación de marcada orientación al mercado, independientemente del perfil específico de las disciplinas. Esta orientación se observa a partir de sus principales rasgos, entre los que destacan, por ejemplo: a) la constitución de los órganos acreditadores por individuos que mantienen un estrecho contacto con las actividades profesionales relacionadas con sus disciplinas; b) su capacidad de informar a los distintos sectores de la sociedad sobre la calidad de los programas que conforman la oferta educativa superior mexicana; y, c) la orientación de algunos de los principales criterios de evaluación, entre ellos la vinculación con el entorno social.

Si tomamos en consideración los perfiles específicos de las disciplinas, vemos que la acreditación favorece no solamente los vínculos entre la educación superior y el mercado, sino también los vínculos con el Estado y con otros cuerpos académicos sólidamente cohesionados, en función de la naturaleza y el desarrollo de las disciplinas. En este sentido, las disciplinas más profesionalizantes (como la Ingeniería) guardan una estrecha relación con el mercado, en tanto que las disciplinas de las ciencias naturales y exactas y de las humanidades (como la Física, la Química, la Filosofía o la Sociología) establecen vínculos más estrechos con grupos académicos fuertemente cohesionados por una lógica disciplinaria que les otorga legitimidad, e incluso autonomía, en sus tareas. Las carreras como la Administración Pública y la Medicina se distinguen por sus vínculos con el Estado, que representa su principal empleador.

 

Semejanzas y diferencias entre la evaluación diagnóstica CIEES y la acreditación

Las principales semejanzas de la evaluación diagnóstica CIEES y la acreditación están en: a) su carácter externo, ya que la evaluación es responsabilidad de organismos ajenos a las IES, voluntaria e integral (consideran las distintas dimensiones de las IES); y, b) su metodología: ambas consideran referentes similares, así como la visita de evaluadores a las IES para verificar la información recopilada y recoger información adicional a través de la opinión de los distintos miembros de la comunidad universitaria (autoridades, profesores, estudiantes), ver Cuadro 3.

Las diferencias entre la evaluación diagnóstica CIEES y la acreditación están en: a) sus objetivos: la evaluación diagnóstica busca asistir la toma de decisiones de las instituciones educativas y del gobierno, mientras que la acreditación se propone informar a la sociedad (estudiantes, padres de familia, gobierno, empleadores) sobre la calidad del desempeño de los programas de estudios; b) los organismos evaluadores: la evaluación diagnóstica se distingue por una marcada intervención de los académicos de carrera; en la acreditación hay una mayor participación de individuos vinculados estrechamente con las actividades profesionales de sus disciplinas; c) el sistema de incentivos: la evaluación diagnóstica está asociada indirectamente con la asignación de fondos extraordinarios, mientras que la acreditación se vincula con el reconocimiento público de la calidad del desempeño de los programas, lo que favorece el prestigio y la competitividad de las IES; y, d) los criterios de evaluación: aunque ambas exigen el cumplimiento de requisitos cualitativos y cuantitativos, la acreditación demanda parámetros estandarizados del desempeño de los programas y de las IES en general.

Del conjunto de las diferencias entre la evaluación diagnóstica y la acreditación, concluimos que la primera guarda un estrecho vínculo con el Estado, puesto que representa un instrumento de la política para asignar fondos condicionados con una orientación disciplinaria que permite una visión endógena de la calidad educativa, visión que resulta de las características de las reglas que rigen este tipo de evaluación y de sus propósitos.

La acreditación, en cambio, se vincula con el mercado no sólo por las características de sus órganos acreditadores, sino también por su interés en mantener un contacto estrecho con el conjunto de la sociedad, ya sea a través de la provisión de información pertinente de la calidad de los programas, o mediante la comunicación constante con órganos homólogos de otros países, lo que permite una visión exógena de la calidad educativa, visión que resulta de considerar lo que sucede más allá del ámbito propio de la educación superior como responsable de la generación, transmisión y difusión del conocimiento.

De acuerdo con lo anterior, podemos sugerir que la evaluación diagnóstica genera condiciones pertinentes para un tipo particular de cambio en torno a la relación gobierno-IES, lo que favorece la homogeneidad o convergencia de las distintas instituciones de enseñanza superior, en tanto que el tipo de cambio que la acreditación favorece no es necesariamente en torno a dichas relaciones gobierno-IES, porque sus referentes son diversos, lo que favorece un patrón de cambio que da cuenta de la diversidad inter-organizativa.

Así, la política de la educación superior de los noventa diversifica las posibilidades de cambio de acuerdo con la particularidad de los contextos universitarios. De ahí la oportunidad de coexistencia entre la homogeneidad y la heterogeneidad interorganizativas, lo que en la práctica permite encontrar patrones de cambio mixtos cuyo rasgo esencial consista en que la evaluación, diagnóstica o acreditativa, ocupe un lugar central como detonador del cambio.

 

La UAM-A y la UIA: trayectorias, tensiones y cambio¹⁶

La comparación de la UAM-A con la UIA responde a nuestro propósito de mostrar la factibilidad del cambio institucional a través de la convergencia de factores internos y externos, ya que, sostenemos, el cambio al interior de las universidades no se explica solamente a partir de unos u otros, sino que su origen es multi-causal. El ejercicio comparativo comprende dos aspectos centrales: las trayectorias institucionales, y el impacto de la evaluación externa en función de sus respectivas singularidades organizativas. La comparación nos permite evidenciar que la incidencia de reglas externas en las estrategias internas de evaluación (diagnóstica o acreditativa) no sólo está sujeta a la dependencia de recursos y de cierta normativa, sino que también se explica por la singularidad organizativa de cada una de estas universidades.

 

Las trayectorias institucionales de la UAM-A y la UIA

El ejercicio comparativo toma como referencia la trayectoria institucional de cada universidad, para comprender el impacto de la evaluación externa en función de la lógica institucional a la que responden los respectivos procesos de cambio de la UAM-A y la UIA. Al respecto, cada una de estas universidades tiene una historia y perfiles peculiares, que nos permiten entender la lógica del cambio en su interior, y explicar sus respuestas en la asimilación de reglas externas de evaluación. Las trayectorias institucionales nos permiten identificar el carácter innovador de ambas universidades, y el origen de las tensiones en sus respectivos modelos decisorios.

 

El carácter Innovador de la UAM-A y la UIA

La UAM-A y la UIA son de gran interés desde la perspectiva del cambio institucional, ya que las dos universidades son innovadoras de acuerdo con sus respectivos orígenes y patrones de desarrollo. Los rasgos del gobierno y la organización académica de ambas forman parte de las nuevas prácticas y cambios que han modernizado el sistema educativo superior en su conjunto. Pero además, por ser las primeras universidades en incorporar patrones innovadores al desarrollo de su vida institucional, se las ha considerado como instituciones pioneras.

Los rasgos innovadores en ambas son evidentes, por ejemplo, en las características de sus respectivos gobiernos, que se distinguen por la presencia de órganos colegiados. Si bien la participación de este tipo de instancias de decisión es actualmente más común en las instituciones públicas que en las privadas, cuando nació la UAM-A, los gobiernos colegiados no eran un modelo generalizado. En la UIA la creación de órganos colegiados y su constitución fueron graduales.

Ambas universidades se distinguen, así mismo, por su organización académica departamental. Si bien este tipo de organización caracteriza a la UAM-A desde sus orígenes, ya que fue la primera universidad pública en adoptarlo, no sucede lo mismo en la UIA, donde la estructura departamental se implanta en 1975, después de poco más de treinta años de existencia. La UIA fue, sin embargo, una de las dos primeras instituciones particulares (la otra fue el Instituto Tecnológico de Estudios Superiores de Monterrey) en adoptar una organización departamental.

Otro de los rasgos distintivos de la UAM-A y la UIA está relacionado con la articulación de sus dos actividades sustanciales: la docencia y la investigación. La UAM-A se constituye desde sus orígenes como una institución donde ambas actividades se vinculan en la figura del "profesor-investigador"; en cambio en la UIA la figura del "profesor investigador" se instaura en 1982 y, si bien aún no termina de concretarse, la investigación tiende a adquirir mayor relevancia entre las actividades docentes, así como en la propia institución, a través de instancias creadas especialmente para realizar investigaciones de interés público, como las ya divulgadas sobre los temas de la educación y la pobreza¹⁷.

Un rasgo que distingue a la UAM-A no sólo como una universidad innovadora sino pionera en relación con el conjunto de las IES públicas, y especialmente con respecto a la UIA, es que ofrece condiciones laborales extraordinarias a los académicos en lo que toca a los salarios. La UAM en su conjunto, y por tanto la UAM-A, fue la primera universidad pública que estableció medidas que incentivaran la permanencia y la productividad de los académicos, incluso antes de que el Gobierno Federal implementara programas especiales de evaluación de la calidad de la planta docente (Valenti y Varela, 1998: 367-386). La UAM tiene actualmente una estructura de incentivos salariales conformada por "estímulos y becas" orientados principalmente a la investigación, y en menor medida a la docencia¹⁸, que permite a sus académicos obtener ingresos adicionales a su salario.

Los recientes procesos de cambio de la UAM-A y la UIA dieron lugar a sendas reflexiones internas que se tradujeron en reformas de gran alcance en sus principales funciones y estructuras organizativas. En la UAM destaca la "reflexión sobre la docencia" y en la UIA la "planeación estratégica". La "reflexión" de la UAM-A involucró a toda la comunidad universitaria en la construcción de consensos y acuerdos; así, el cambio resultante, aunque impulsado desde la Rectoría General, se discutió desde el interior de los departamentos hasta los niveles superiores, lo que favoreció la implantación de reformas de "abajo arriba". En la UIA, el cambio fue parte de una planeación cuyo contenido no se discutió en la comunidad universitaria, por lo que la dinámica de las reformas implantadas fue de "arriba abajo".

El proceso de cambio en estas universidades no ha terminado pero da cuenta de la capacidad institucional de reflexionar sobre ellas mismas, incluso cuando la propia dinámica de la reflexión demore los resultados concretos, tales como la creación de instancias de organización o la implementación de políticas. Además de este tipo de reformas, en el camino se registran otras que, como Clark las describe, son casi invisibles, porque no se traducen en reglamentos u otros documentos oficiales, o en una política específica. Se trata de cambios en la actitud de los propios grupos académicos, que se manifiestan en la discusión de aspectos que durante muchos años permanecieron al margen de las respectivas agendas universitarias.

La tensión entre legitimidad¹⁹ y eficiencia instrumental²⁰ que se registra en los modelos decisorios de la UAM-A y la UIA, guarda una estrecha relación con el origen y la historia institucionales de ambas universidades.

El gobierno de la UAM-A se caracteriza por una estructura colegiada, estructura donde la participación de la comunidad universitaria y la deliberación colectiva en los distintos niveles decisorios ocupan un lugar privilegiado, a diferencia de lo que ocurre en un modelo decisorio tradicional jerárquico. Desde sus orígenes, este modelo decisorio fundamenta la legitimidad de la UAM-A y determina su sentido. Por esto la UAM-A tiene un superávit de legitimidad propio de los modelos decisorios colegiados —a costa de una baja eficiencia instrumental—, donde las relaciones de coordinación de las distintas instancias responsables de la toma de decisiones ocupan un lugar preponderante frente a las relaciones verticales de autoridad.

Consideramos, por ello, que en la UAM-A el cambio endógeno es factible solamente en la medida en que éste responda al modelo decisorio que sustenta su legitimidad. Dicho de otra manera, el cambio en esta universidad depende de la deliberación colectiva, aunque ello demore la eficiencia instrumental. Parte importante de la legitimidad de la UAM-A se sustenta en un modelo decisorio donde el acuerdo y el convencimiento pesan más que la necesidad de instrumentar cambios con mayor velocidad. Cuando se opta por una mayor eficiencia a costa de una menor deliberación colectiva, la implementación de los cambios no sólo se torna más compleja sino que pierde legitimidad²¹.

La UIA se fundó, en cambio, con una estructura organizativa tradicional donde las decisiones descansan en instancias jerárquicas que admiten poca participación de los distintos sectores de la comunidad universitaria. Esta universidad hizo, por tanto, un gran esfuerzo para construir y consolidar un modelo decisorio sustentado en una mayor participación de la comunidad universitaria, a través de estructuras colegiadas de gobierno. Sin embargo, la persistencia de las relaciones jerárquicas y la destacada participación de los órganos personales, le conceden un reducido espacio a la deliberación colectiva respecto de los asuntos relacionados con el desarrollo institucional.

Dados el déficit de legitimidad y el superávit de eficiencia instrumental que definen el nacimiento de la UIA, la instrumentación tiene mayor peso en la toma de decisiones que la deliberación colectiva. De aquí que el cambio en la UIA sea factible sin una amplia deliberación colectiva, lo que si bien lo favorece, también obstruye su consolidación. Esta obstrucción es notable cuando el cambio corresponde al desarrollo institucional, por ejemplo, a la planeación estratégica; en los cambios relativos al desempeño en la docencia, la tensión entre la alta legitimidad y la baja eficiencia se desdibuja aparentemente: el mercado recompensa la instrumentación efectiva del control y la supervisión de los servicios educativos que la UIA ofrece. El cambio al interior de la UIA no se ve, sin embargo, obstaculizado del todo, lo que se explica por los rasgos que distinguen sus estructuras académica y de gobierno.

 

La UAM-A y la UIA: dos casos altamente diferenciados y una misma vía de cambio

El elemento explicativo que nos permite mostrar las diferencias entre la UAM-A y la UIA es la fisonomía institucional de cambio que comprende, a su vez, tres variables explicativas: el origen del financiamiento, la estructura de gobierno y la estructura académica. La primera da cuenta del tipo de dependencia que ambas universidades establecen con respecto a sus principales fuentes de financiamiento, mientras que las otras dos variables nos permiten delinear el modelo decisorio de la toma de decisiones de cada una de ellas, modelo que contiene un particular desequilibrio entre legitimidad y eficiencia instrumental.

El siguiente cuadro sintetiza las principales diferencias entre estas contrastantes instituciones.

La UAM-A es una institución pública porque la mayor parte de su financiamiento proviene de fondos federales, lo que no incentiva procesos de cambio dinámicos y radicales, ya que el subsidio público no está asociado con ningún tipo de incentivos. Y es una institución autónoma porque cuenta con las facultades legales que la Constitución Mexicana le otorga para gobernarse a sí misma. El modelo decisorio que la rige se caracteriza por la participación de órganos personales y tres órganos colegiados académicos (los Consejos Divisionales, los Consejos Académicos y el Colegio Académico), que involucran a los diferentes miembros de la comunidad universitaria, a través de sus respectivos representantes, en la toma de decisiones. Los órganos personales que operan en un esquema de coordinación versus subordinación, son los responsables de llevar a la práctica las decisiones tomadas en el seno de los diferentes órganos colegiados.

En la estructura organizativa académica departamental de la UAM-A, la toma de decisiones se caracteriza por una alta deliberación colectiva y una baja eficiencia instrumental, ya que las decisiones se discuten al interior de los departamentos y de ahí fluyen hacia arriba. Esto es, de los Consejos Divisionales al Colegio Académico.

La estructura de gobierno y académica de la UAM-A se distingue, además, por ser colegial y horizontal. Tanto en los órganos colegiados como en los personales prevalecen las relaciones de coordinación más que de autoridad, en particular cuando se trata de asuntos académicos que competen a la universidad en su conjunto; tal es el caso de las reglas que norman los procesos de evaluación en la docencia, donde las posibilidades de cambio están en función de la aprobación de los tres órganos colegiados que constituyen la estructura decisoria de esta universidad (Colegio Académico, Consejo Académico y Consejo Divisional). Así, el modelo decisorio de la UAM-A desfavorece la rectificación de la falla en la estrategia interna de evaluación y se propicia una baja eficiencia instrumental que obstruye el mejoramiento de la calidad educativa de su oferta.

Poner en marcha nuevas reglas del juego implica un proceso complejo debido a que las Divisiones y los Departamentos de la UAM-A, que forman parte de la organización departamental, cuentan con un alto grado de libertad. El mecanismo de la toma de decisiones es descentralizado hasta tal grado que un rector no puede obligar a un director de división a adoptar un determinado programa; en su lugar asiste, coordina y hace cumplir los acuerdos del Colegio Académico o de los Consejos Académicos; su capacidad ejecutiva no implica la delegación de funciones en instancias inferiores. En este sentido, el funcionamiento de la UAM-A no se basa en "lineamientos" y sino en líneas de dirección que cada División y Departamento adopta y adapta a través de un proceso de discusión al interior de las unidades básicas. Esta situación propicia una tensión permanente entre una alta legitimidad y una baja eficiencia, lo que generalmente obstruye o demora los cambios al interior de la universidad.

En suma, la característica distintiva del modelo decisorio de la UAM-A, es el lugar privilegiado que ocupan las decisiones de tipo colegiado, mientras que las funciones de los órganos personales se subordinan a los acuerdos y consensos de la deliberación colectiva, como parte de un sistema administrativo y funcional desconcentrado.

De esta forma, observamos que la fisonomía institucional del cambio en la UAM-A da cuenta, por un lado, de que su gran dependencia de los recursos públicos le brinda la certidumbre de un ingreso seguro que recibe a través del subsidio público, lo cual no estimula la necesidad del cambio. Y por el otro, de que la complejidad de su modelo decisorio propicia las condiciones para realizar cambios poco dinámicos, en particular los asociados con la calidad educativa de sus programas, donde se registra la ausencia de reglas formales que incentiven su revisión y actualización sistemática. De tal forma que al interior de la UAM-A se conjugan las condiciones que propician una baja eficiencia instrumental, a partir del signo de la relación que se establece entre los elementos de su fisonomía institucional y el cambio, como se muestra en el Cuadro 5.

En este contexto institucional, la importancia de la evaluación externa reside en que permite destrabar la tensión entre una alta legitimidad y una baja eficiencia instrumental, en particular en aquellos cambios relativos a los planes de estudio. Las reglas de evaluación externa, diagnóstica y de acreditación, no entran en contradicción con la estrategia interna de evaluación —que deja un importante vacío en torno a la revisión sistemática de los planes de estudio— ni con la lógica disciplinaria de los departamentos, de tal forma que logra articularse con las reglas internas de evaluación, dando lugar al cambio institucional.

Facilita esta articulación el hecho de que el subsidio público de fondos federales sea la principal fuente de financiamiento de la UAM-A. Su vínculo de dependencia con el Estado mexicano favorece la incidencia de la política gubernamental en la universidad a través de la evaluación externa; evaluación cuyas las reglas se asocian con un sistema de incentivos económicos. Así, al seguir las reglas de la evaluación externa, la UAM-A se ve recompensada con ingresos públicos adicionales.

La UIA, a diferencia de la UAM-A, es una institución de educación superior de inspiración cristiana, sustentada en un modelo educativo jesuítico que busca ofrecer una formación integral a sus estudiantes a través de la transmisión de valores humanistas en la formación técnico-profesional. La mayor parte del financiamiento de esta institución privada proviene de lo que Clark denomina la "economía de la matrícula", lo que da lugar a un estrecho vínculo de la UIA con el mercado. Esto favorece los procesos de cambio dinámicos al interior de la universidad, especialmente en los niveles operativos básicos, puesto que los cambios en la calidad representan una vía directa para incrementar su competitividad en el mercado de las instituciones, lo que se traduce en un incremento directo en sus ingresos.

La UIA también es una institución relativamente autónoma. La oferta de sus planes de estudio se sujeta al Reconocimiento de Validez Oficial de Estudios (RVOE) que otorga la Secretaría de Educación Pública. De ahí que consideremos que funciona con una autonomía relativa, acotada por el RVOE, lo que no es impedimento para que se gobierne a sí misma de acuerdo con sus propias estructuras y autoridades.

El proceso de toma de decisiones de la UIA, a diferencia del de la UAM-A, descansa en un modelo de participación de órganos personales y órganos colegiados en el que se distinguen claramente las funciones propias del gobierno universitario —conformado por dos órganos colegiados (la Asamblea General de Asociados de la Universidad Iberoamericana A.C. y el Senador Universitario) relacionados jerárquicamente— y las funciones de los órganos colegiados académicos (el Comité Académico, los Consejos Académicos de Departamento y los Consejos Técnicos de Programa).

Es, pues, responsabilidad del gobierno universitario "velar por la viabilidad y el bien de largo plazo" de la UIA, así como garantizar "el cumplimiento cotidiano" de los principios del modelo educativo jesuítico que esta universidad adoptó desde su fundación. La responsabilidad y las funciones de los órganos colegiados de tipo académico se concentran, en cambio, en el ámbito académico. Cabe señalar, sin embargo, que los objetivos académicos que orientan las funciones sustantivas de la universidad, entre ellas la docencia, están sujetos a la aprobación del Senado Universitario.

Si bien la estructura de decisiones de la UIA es colegiada, incide en ella una dirección de mando proveniente de las estructuras superiores que forman parte del gobierno universitario. Consideramos, por ello, que —a diferencia de la UAM-A— el modelo decisorio de esta universidad se distingue por una estructura organizativa y de funcionamiento vertical, donde los órganos personales ocupan un lugar privilegiado en los procesos operativos, pues tienen facultad legal para intervenir y supervisar procesos académicos concretos, en particular los correspondientes a la supervisión de la calidad en la docencia y al diseño de nuevos planes de estudio. Resultado de este modelo decisorio es un constante desequilibrio entre una alta eficiencia instrumental y una baja legitimidad.

La estructura académica de la UIA, al igual que la de la UAM-A, se caracteriza por una organización departamental en la que el proceso de toma de decisiones enlaza órganos personales y órganos colegiados de tipo académico. En la UIA, la estructura de esta organización departamental está diseñada y orientada para atender principalmente las actividades de docencia, lo que la hace un poco menos compleja que la estructura departamental de la UAM-A, donde se conjugan las actividades de investigación y docencia.

La estructura departamental de la UIA se caracteriza también por su división del trabajo. Los directores de departamento y los coordinadores de carrera asumen funciones claramente delimitadas que no comparten con otras instancias, lo que les permite supervisar el desempeño de las actividades docentes y rectificar las fallas operativas de los departamentos. La estructura jerárquica al interior de los departamentos, de directores, coordinadores de carrera y profesores, favorece la puesta en marcha de los acuerdos derivados de los órganos colegiados de tipo académico.

Cabe señalar, sin embargo, que aun cuando la toma de decisiones al interior de los departamentos es colegiada, ya que en ella participan los órganos colegiados pertinentes, las discusiones internas no se traducen en una alta legitimidad porque los asuntos que ahí se discuten están relacionados con temas académico-administrativos, casi siempre ajenos a los asuntos relativos al desarrollo institucional de la universidad, que son competencia del gobierno universitario.

A pesar de lo anterior, los procesos de cambio en la UIA no se ven obstaculizados del todo, especialmente en el nivel de los departamentos, ya que la tensión entre una baja legitimidad y una alta eficiencia instrumental es poco visible por dos razones: porque la discusión de los órganos colegiados en el nivel de los departamentos se limita a los asuntos académico-administrativos, y porque la necesidad de implantar cambios operativos en su interior guarda una estrecha relación con su dependencia de los recursos que provienen del pago de las colegiaturas.

De acuerdo con la fisonomía institucional del cambio de la UIA, parecería que la evaluación externa no debería tener ningún impacto o que éste debería ser de menor magnitud que la registrada en la UAM-A, pues la UIA es una institución privada que guarda una débil relación con el gobierno mexicano a través del RVOE. Pero sobre todo porque en la UIA se conjugan aparentemente los elementos adhoc para favorecer los procesos de cambio dinámicos (ver Cuadro 5); es decir, porque la principal fuente de ingresos de la UIA está en las colegiaturas, lo que incentiva los procesos de cambio asociados con la calidad educativa, y porque su modelo decisorio favorece la rectificación de fallas en su estrategia interna de evaluación.

Sin embargo, la evaluación externa sí ocupa en la UIA un lugar importante dada la conjugación de diversas circunstancias entre las que destacan: a) la posibilidad de cambiar los planes de estudio manteniendo el equilibrio entre una baja legitimidad y una alta eficiencia: los procesos de evaluación externa exigen la participación de los distintos miembros de un programa de estudios, lo que propicia el trabajo colectivo; y, b) la posibilidad de rectificar faltas o fallas en el funcionamiento de los planes de estudio, que la evaluación interna no identifica. Así, la evaluación externa en la UIA representa un incentivo para reforzar su prestigio y por lo tanto, su competitividad en el mercado de instituciones de educación superior.

Por último, debemos señalar que el estudio de la UAM-A y la UIA nos permite afirmar que la capacidad de incidencia del gobierno mexicano a través de la evaluación externa, da lugar a que las instituciones públicas y privadas asimilen las mismas reglas externas de calidad educativa; dicho de otra manera, da lugar a semejanzas entre la UAM-A y la UIA favorecidas tanto por la relación de ambas universidades con el gobierno, lo que produce un isomorfismo burocrático, como por la naturaleza disciplinaria de la propia evaluación externa, lo que propicia un isomorfismo disciplinario.

En la UAM-A los isomorfismos burocrático y disciplinario tienen un mayor peso, mientras que en la UIA el isomorfismo disciplinario explica en gran medida la asunción de reglas externas de evaluación (ver Cuadro 6). De donde se infiere que el cambio institucional en la UAM-A responde a su dependencia de los recursos públicos y a la legitimidad reconocida a las agencias de evaluación en función de la importancia de la lógica disciplinaria en los procesos decisorios, en tanto que en la UIA refleja la estrecha relación entre la evaluación y la orientación al mercado; al interior de esta institución, la evaluación es un incentivo que favorece su competitividad en el mercado de las instituciones, el mercado la recompensa a cambio de un control efectivo de la calidad de su oferta educativa.

De acuerdo con la tipología del uso sobre los resultados de la evaluación externa de Westerheijden y Massen 1998 (citado por Brennan et al., 2000), podemos afirmar que en la UAM-A se registra un uso activo (ver Cuadro 7) ya que la decisión sobre la revisión de los planes de estudio, especialmente en las carreras de Ingeniería en su conjunto, y en la de Ingeniería civil en particular, se tomó fundamentalmente en función del conjunto de las recomendaciones derivadas de la evaluación externa de tipo diagnóstico. Así mismo, los ejercicios de autoevaluación que forman parte de las exigencias de la evaluación externa, propiciaron en la UAM-A el perfeccionamiento de sus sistemas de información para detectar a tiempo las fallas en la docencia, asociadas al desempeño de profesores y estudiantes.

Podemos considerar, así mismo, que en la UIA se registra un uso pasivo porque, si bien los resultados de la evaluación (la acreditación) se consideraron para hacer un ajuste en la carrera de Ingeniería civil, éstos no se consideraron, en cambio, en las decisiones que dan lugar a la revisión integral del plan de estudios.

Lo anterior nos permite afirmar que la magnitud del impacto de la evaluación externa es, en términos generales, mayor en la UAM-A que en la UIA; en la UIA se registra que la evaluación externa en los programas de posgrado es similar a la de la UAM-A, pues en este caso la decisión de actualizar algunos de los programas de posgrado se hizo estrictamente en consideración a las reglas de la evaluación externa.

Esto último nos permite afirmar que la magnitud del impacto de la evaluación externa es similar en la UAM-A y en la UIA cuando existen fallas en la estrategia de evaluación interna asociadas con la ausencia de reglas específicas que favorezcan la revisión sistemática de planes los de estudio. En este sentido, las reglas de evaluación externa se incorporan a la estrategia interna de evaluación y funcionan como guía para la actualización de los planes de estudio.

De esta manera, el análisis del resultado de la intervención gubernamental en la calidad educativa de nivel terciario en este estudio revela semejanzas entre instituciones no sólo de distinto régimen jurídico sino altamente contrastantes en su organización y funcionamiento.

El que la intervención gubernamental sea capaz de traspasar estructuras legales distintas nos parece indicio de que la brecha entre las instituciones públicas y privadas puede abreviarse en el largo plazo.

 

Conclusiones

Pese a las múltiples críticas y al rechazo que ha recibido en los ambientes institucionales de las universidades, la evaluación externa produce un impacto positivo en dos instituciones de educación superior altamente contrastantes. El impacto se observa en la actualización de los planes de estudio que pasaron por un ejercicio de evaluación externa diagnóstica o de acreditación y, en menor medida, en la gestión de la calidad educativa.

Este impacto se debe a que, a través de la evaluación, la política de financiamiento y calidad ha inducido cambios fundamentales: a) en la asignación de recursos públicos, a través de mecanismos de cuasimercado que permiten a las IES públicas competir por ingresos adicionales a cambio de adoptar reglas de evaluación; y, b) en la estrategia de evaluación nacional, a través de mecanismos de acreditación que permiten a las universidades consolidar e incrementar su prestigio mediante el reconocimiento público de la calidad educativa de sus planes de estudio.

La importancia de la estrategia gubernamental de evaluación como detonador del cambio universitario está en que da cuenta de un nuevo tipo de intervención gubernamental. La evaluación propicia el cambio ya que, si bien gira en torno a las relaciones gobierno-IES, la información que genera facilita la toma de decisiones gubernamentales y de las IES. Y propicia también el cambio en consideración a las exigencias y necesidades del mercado, especialmente en el caso de la acreditación.

A través de la evaluación externa, la política gubernamental está impulsando nuevos mecanismos de seguimiento y evaluación al interior de las IES, que generan indirectamente ajustes en la gestión institucional orientada al cuidado de la calidad. Con ello, la evaluación externa comienza a ocupar un lugar privilegiado al interior de las universidades, derivado de su asociación con incentivos tanto positivos como negativos. La efectividad del conjunto de incentivos, positivos y negativos, se debe a la asignación de premios y castigos, pero también a la estrecha relación que éste guarda con el contexto nacional de ambas universidades, contexto que se caracteriza por un ambiente altamente competitivo.

Actualmente las universidades en México, públicas y privadas, están inmersas en un contexto de fuertes presiones externas vinculadas con las exigencias de una economía más abierta y competida que utiliza crecientemente el conocimiento para motivar su dinamismo. La correspondiente demanda de recursos humanos altamente calificados, con nuevos perfiles laborales, requiere nuevos aportes de las instituciones de educación superior, lo que propicia a su vez, una diversificada demanda de estudiantes que buscan incrementar sus probabilidades de inserción en un mercado laboral cada día más competitivo.

Si bien la evaluación externa propicia reformas y ajustes significativos en el cuidado de la calidad de la educación, ésta no representa la solución del conjunto de problemas que enfrentan actualmente a las IES públicas y privadas, por lo que no podemos cantar victoria. De ahí que debamos: a) hacer un balance de la capacidad del Estado mexicano para generar, con la evaluación externa, cambios de mayor alcance en las universidades; y, b) preguntarnos en qué medida será positivo el efecto de la competitividad generada por la propia evaluación externa. Uno de los retos de la estrategia gubernamental es el de crear sistemas de evaluación que incentiven la realización de diagnósticos reales y no recompensen apariencias.

Es posible que la evaluación, en tanto estrategia de la política pública, reduzca en el largo plazo la brecha que, en términos de calidad, separa las instituciones públicas de las privadas, lo que no haría desaparecer sus diferencias en términos organizativos. La evaluación externa sí propicia, sin embargo, una diferenciación entre "buenas y malas" en términos de calidad, que en el largo plazo sustituiría la tradicional diferenciación entre universidades públicas como "las malas" y las universidades privadas como "las buenas".

Para llegar a este punto, se requiere el cumplimiento de varias condiciones, entre las que están:

•El desarrollo paulatino de una cultura de la evaluación, no sólo entre las universidades sino entre los estudiantes que solicitan ingresar a la educación superior, para que su criterio de elección incluya la consideración de si una carrera ha sido evaluada o acreditada.

•El incremento de becas en el nivel de la licenciatura, en las instituciones elegidas por los propios estudiantes.

•El desarrollo de un sistema de información público en donde los padres de familia y los estudiantes se enteren de qué carreras y qué instituciones han sido evaluadas o acreditadas, con lo que los incentivos ya existentes se fortalecerán, y la evaluación externa de las IES públicas y privadas se promoverá aún más.

•La generación de las condiciones que permitan a las instituciones más rezagadas mejorar sus competencias institucionales para poder ser evaluadas; es decir, que les permitan superar los obstáculos para ser evaluadas y competir entonces por recursos adicionales.

 

La agenda pendiente

Si bien los hallazgos de este trabajo de investigación representan avances modestos, ratifican la importancia estratégica de la política de evaluación. Sin embargo, quedan aspectos centrales por investigar para poder obtener una mayor evidencia de los límites y alcances de la política educativa de financiamiento y calidad. Entre estos aspectos centrales destacan los siguientes:

Indagar hasta qué punto la evaluación externa puede mantenerse como la única alternativa factible de cambio institucional de las IES. Para ello habrá que explorar casos específicos donde el cambio intraorganizativo haya desafiado la ruta de la evaluación externa y, con base en ello, comparar el tipo de cambio generado por una vía alternativa, así como sus alcances y sus límites. Habrá que preguntarse sobre los elementos organizativos que posibilitan una vía alternativa de cambio, y por los beneficios y el costo asociados con el desafío a la estrategia gubernamental de la evaluación externa.

Investigar más profundamente sobre la base de una muestra más amplia de las IES públicas y privadas, si la evaluación externa es capaz de filtrar, en el mediano y largo plazos, la cultura organizativa de las instituciones de educación superior, o si su capacidad de incidencia se limita al ambiente técnico-operativo de las universidades. Por consiguiente, deberíamos indagar si la evaluación externa basta para impulsar cambios de mayor alcance asociados con la calidad del desarrollo institucional de las IES, y considerar los hallazgos en el diseño de las políticas públicas. Hoy se apuesta casi de manera absoluta a la evaluación como la solución de múltiples problemas; de aquí que esta indagación pueda proporcionar elementos suficientes para desafiar de manera sustentada la posición de la perspectiva organizativa de la educación superior, según la cual los cambios "fundamentales" en las IES sólo son posibles como resultado del cambio endógeno.

Explorar detalladamente los límites de la competencia como motor del cambio institucional en las universidades, pues si bien observamos que ésta es capaz de desencadenar cambios, no conocemos sus alcances ni sus límites en el mediano plazo. La investigación de experiencias internacionales revela que la evaluación externa se convierte, después de un determinado tiempo, en un mecanismo burocrático que pone el mayor peso en cumplir de exigencias y no en la efectividad del control de la calidad en la educación superior; se pierde, pues, el efecto detonador de la evaluación externa. En este sentido, es conveniente dar seguimiento a los procesos de cambio universitario después de haberse adoptado la evaluación externa; este seguimiento puede proporcionar elementos suficientes para calificar o descalificar esta estrategia como parte de una política de aseguramiento de la calidad.

Evaluar, mediante un seguimiento sistemático en las instituciones que han sido evaluadas por reglas externas, si los indicadores de desempeño que dan cuenta de la calidad educativa se modifican y, en qué medida esos cambios —de haberlos— son imputables a la observancia de reglas externas de evaluación.

 

Bibliografía

Brennan, John y Tarla Shah, 2000, Managing Quality in Higher education. An International Perspective on Institutional Assessment and Change. Reino Unido, OECD, SRHE y Open University Press.         [ Links ]

Centro Nacional de Evaluación para la Educación Superior. www.ceneval.edu.mx

Clark, Burton, 1991, El Sistema de Educación Superior. Una visión comparativa de la organización académica, México, Nueva Imagen.         [ Links ]

----------, Creating Entrepeneurial Universities: Organizational Pathways of Transformation, Reino Unido, IAU Press.         [ Links ]

Comités Interinstitucionales para la Evaluación de la Educación Superior. www.ciees.edu.mx

Consejo de Acreditación de la Enseñanza de la Ingeniería. www.cacei.org

Consejo para la Acreditación de la Educación Superior. www.copaes.org.mx

Di Maggio, Paul y Walter Powell, 1999, "Retorno a la Jaula de Hierro: el isomorfismo institucional y la racionalidad colectiva en los campos organizacionales", en El Nuevo Institucionalismo en el Análisis Organizacional, México, FCE.         [ Links ]

Gil Antón, Manuel, 1998, "Observaciones sobre el caso de la UAM. Una Apreciación Interna", en La Educación Superior en México. Una comparación internacional, México, UNAM-Porrúa.         [ Links ]

Harvey, Lee y Diana Green, 1993, 'Defining Quality ", en Assessment andEvaluation in Higher Education, vol. 18, núm. 1.         [ Links ]

Kent, Rollin, 1997, "Las Políticas de Evaluación", en Los temas Críticos de la educación superior en América Latina. Los años 90. Expansión privada, evaluación y posgrado, México, FCE, FLACSO y UAS.         [ Links ]

Ornelas, Carlos, 1995, El sistema educativo mexicano. La transición de fin de siglo, México, CIDE, Nafinsa y FCE.         [ Links ]

Pérez Rocha, Manuel, 1997, "La experiencia de los Comités Interinstitucionales para la Evaluación de la Educación Superior", en La Educación Superior en México. Una comparación internacional, México, UNAM-Porrúa.         [ Links ]

Rodríguez Gómez, Roberto, 1998, "Expansión del sistema educativo superior en México 1970-1995", en Tres Décadas de políticas de Estado en la educación superior, México, ANUIES.         [ Links ]

Valenti Nigrini, Giovanna y Gonzalo Varela, 1998, "La experiencia de la Universidad Autónoma Metropolitana", en La Educación Superior en México. Una comparación internacional, México, UNAM-Porrúa.         [ Links ]

Varela, Gonzalo, 1997, "La política de la educación superior en la década de los 90: grandes esperanzas e ilusiones perdidas", en Políticas Públicas y Educación Superior, México, ANUIES.         [ Links ]

 

Notas

* Este artículo es una síntesis de la tesis doctoral "Dos modelos diferenciados de configuración institucional bajo el impacto de la evaluación externa: la UAM-A y la UIA", premiada por la ANUIES como la mejor tesis de doctorado sobre educación superior, en octubre de 2004. La versión completa será publicada próximamente como libro en la editorial ANUIES.

¹ Desde esta perspectiva se sostiene que los patrones y dinámicas de cambio en las universidades son, en parte importante, una función de la articulación entre elementos organizativos centrales como: la división del trabajo, la distribución de la autoridad y las creencias como parte de la cultura organizativa. Esta perspectiva es abordada principalmente por Burton Clark, 1991: 421.

² En la literatura de la evaluación se afirma que las políticas institucionales de evaluación, especialmente las de tipo externo, promueven y facilitan las dinámicas de cambio al interior de las instituciones de educación superior. Para mayor detalle, se sugiere la lectura de Brennan y Sha, 2000: 159.

³ Se entiende por isomorfismo burocrático la acción de asimilar o cumplir una norma o regla externa de evaluación en función de la dependencia del financiamiento público, o reglas para la operación de programas educativos. Cabe señalar que este concepto es una adaptación propia del ofrecido desde el nuevo institucionalismo sociológico por Di Maggio y Powell, 1999: 104-125.

⁴ Se entiende por isomorfismo disciplinario la acción de asimilar o cumplir una norma o regla de evaluación externa con una orientación disciplinaria (Comités Interinstitucionales para la Evaluación de la Educación Superior).

⁵ El ejercicio comparativo se hace tomando como referencia tres carreras en ambas universidades: Ingeniería civil, Diseño gráfico y Economía.

⁶ En este contexto la evaluación se define como el uso de cualquier mecanismo orientado a: a) verificar la observancia de la normativa a través del cumplimiento de requisitos; y, b) medir el desempeño de las instituciones de educación superior con indicadores específicos que comprenden las distintas dimensiones que participan en el desarrollo de la docencia, como son: la planta docente, los planes de estudio y los estudiantes.

⁷ Durante la década de los setenta, el gobierno mexicano puso especial atención en la educación superior, particularmente en el aspecto cuantitativo, con un débil énfasis en el aspecto cualitativo. Derivado de lo anterior, el sistema de educación superior creció en términos absolutos en matrícula, número de instituciones y programas. Entre 1970 y 1980, la matrícula de educación superior en el nivel de licenciatura creció un 330%, y en el nivel de posgrado el incremento fue del 550% (Valenti, 1990: 367-386). En este contexto se registra un crecimiento en la tasa de absorción del grupo de edad entre 20 y 24 años, que pasó del 5.2% al 11.8% (Rodríguez, 1998: 167-205). Así mismo, entre 1970 y 1980, el universo de las instituciones creció y se diversificó sustancialmente: de 100 instituciones en 1970 a 373 dos décadas después, lo que representa una tasa de crecimiento del 273%, en su mayoría instituciones privadas (Kent, 1997: 94-99).

⁸ A partir de 1982 se registra una caída del gasto federal destinado a la educación en términos de su participación en el Producto Interno Bruto (PIB). Es decir que, mientras que el gasto en educación como proporción del PIB había alcanzado el 5.3% en 1982, en 1988 se observa una disminución más drástica que muestra que el gasto en educación cae al 3.5% (Ornelas, 1995: 262). Sin embargo, a diez años de una de las crisis económicas más agudas, se registra una recuperación del gasto federal en educación, a partir de 1993.

⁹ Es importante considerar que la centralidad de la evaluación en la educación superior forma parte de un proceso más amplio, denominado nueva gestión pública, que se origina en la administración pública federal a raíz de problemas y crisis recurrentes de orden fiscal, cuyo principal impacto se registra en la falta de crecimiento económico, donde la evaluación ocupa un lugar estratégico que favorece el control, seguimiento, y verificación de los cambios en la organización de la administración pública y su funcionamiento, derivados de esa nueva visión.

¹⁰ El aseguramiento de la calidad (quality assurance) no está referido a un mecanismo específico de evaluación a través del cual se busque medir los niveles de calidad en un sistema o en una institución de educación superior, sino que comprende un conjunto de mecanismos, procedimientos y procesos existentes en un SES o en una IES, con el propósito de asegurar el tipo de calidad deseada (Harvey y Green, 1993: 19), de acuerdo con la misión específica de cada sistema o IES. En este trabajo, se da por sentado que el aseguramiento de la calidad constituye una política institucional de la calidad, a través del diseño y la implementación de dos tipos básicos de evaluación: la evaluación diagnóstica y la acreditación.

¹¹ Cálculos propios con datos de los CIEES de diciembre del 2001.

¹² El PIFOP forma parte de un programa más amplio del CONACyT, el Programa de Fortalecimiento para el Posgrado Nacional (PFPN). En este último, además del PIFOP está inscrito el Padrón Nacional de Posgrado (PNP-SEP- CONACyT).

¹³ Se crearon en 1991, en el marco de la Coordinación Nacional para la Planeación de la Educación Superior (CONPES), con el objeto de complementar los procesos de evaluación que conforman el Sistema Nacional de Evaluación de la Educación Superior.

¹⁴ El Comité de Ciencias Agropecuarias, el de Ingeniería y Tecnología, el de Ciencias Naturales y Exactas, el de Ciencias de la Salud; el de Ciencias Sociales y Administrativas, el de Educación y Humanidades, y el de Arquitectura, Diseño y Urbanismo (CIEES/www.ciees.edu.mx).

¹⁵ Los Comités responsables de supervisar estas funciones al interior de las IES son: el Comité de Administración y Gestión Institucional, y el Comité de Difusión y Extensión de la Cultura.

¹⁶ Esta sección está sustentada en un trabajo de investigación documental y empírico que comprende la revisión de documentos oficiales y la realización de entrevistas a autoridades académicas de ambas instituciones.

¹⁷ Actualmente la UIA cuenta con dos institutos de investigación, el Instituto de Investigaciones para el Desarrollo de la Educación, creado en 2001, y el Instituto de Investigaciones sobre Desarrollo Sustentable y Equidad Social, creado en marzo de 2003.

¹⁸ Para mayor detalle se sugiere consultar Valenti y Varela, 1998:367-389, "La experiencia de la Universidad Autónoma Metropolitana", en Malo y Velásquez (coord.), La Educación Superior en México. Una comparación internacional, México, UNAM-Porrúa.

¹⁹ En este trabajo, la legitimidad se refiere a la capacidad institucional de construir acuerdos entre los distintos miembros de la comunidad universitaria. En este sentido, la legitimidad tiene sustento en la deliberación colectiva de los asuntos que competen a una universidad en su conjunto, de tal forma que a mayor deliberación colectiva, mayor legitimidad del proceso decisorio, y viceversa. Así, la deliberación colectiva incrementa las probabilidades de que las decisiones resultantes sean reconocidas, y por tanto se lleven a la práctica.

²⁰ En este trabajo, adoptamos el concepto weberiano de eficiencia instrumental o técnica, que se refiere a la capacidad institucional de cumplir en la práctica objetivos específicos a través de medios diseñados para ello. En este sentido, nos referimos a una eficiencia racional con arreglo a fines.

²¹ Se sugiere consultar Adrián De Garay (1998), "El proceso de evaluación de las áreas de investigación en la Universidad Autónoma Metropolitana, Unidad Azcapotzalco", en Sociológica, núm. 36, año 13, enero-abril: 141-164.