Estudios e investigaciones

 

Evaluación institucional y factores de cambio. La percepción de los académicos de tres universidades del noroeste de México

 

Santos López Leyva*

 

* Universidad Autónoma de Sinaloa Correo e: santos@uas.uasnet.mx.

 

Ingreso: 28/11/06
Aprobación con correcciones: 16/03/07

 

Resumen

El presente trabajo se encarga de recoger la opinión de los profesores de tres universidades del noroeste de México en torno a las percepciones que éstos tienen acerca de los factores de cambio observados en estas instituciones, como producto de los procesos de evaluación introducidos en la educación superior a partir de la década de los noventa. El mecanismo para obtener la información fue la aplicación de un instrumento a 402 académicos, el cual consistió en calificar el comportamiento de 16 factores presentados en una lista, los cuales se ordenaron de mayor a menor de acuerdo a la opinión recabada.

Palabras clave: Evaluación institucional, universidades, modelos de evaluación y acreditación.

 

Abstract

The evaluation process of higher education has been increasing since 1990 and it continued through out the nineties decade and the first decade of the XXI century. The Norwest universities of Mexico are not the exception of the rule. The main task on the current research is to have the teacher's professional opinion about the influence that this evaluation mechanism has had within its own institution and their role as a process of institutional change. Therefore, a segmented instrument was applied in 16 variables to 402 teachers from three universities.

Key words: Institutional evaluation, universities, models of evaluation and accreditation.

 

Introducción

El objetivo de este artículo es analizar las percepciones que tienen los profesores pertenecientes a tres universidades ubicadas en el noroeste de México acerca de transformaciones experimentadas en estas instituciones, como consecuencia de los procesos de evaluación institucional impulsados en forma más activa a partir de 1991, donde una de sus principales manifestaciones fue la creación de los Comités Interinstitucionales de Evaluación de la Educación Superior (CIEES). El instrumento para recoger la opinión se constituyó con un grupo de 16 indicadores que fueron elaborados con tal fin.

Se puede decir que los diez últimos años del siglo pasado constituye la década de la evaluación en México ya que tuvieron una fuerte influencia en las instituciones de educación superior (IES) hacia la práctica de ejercicios de este tipo, como bien señala un autor que a partir de la década de los noventa se inicia una presión hacia las instituciones por introducir procesos de evaluación, esto ha sido desde varios frentes, tales como organismos internacionales, gubernamentales y, en general, de la propia sociedad (Díaz Barriga, 2000:15).

Desde 1978 la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) había propuesto la creación del Sistema Nacional de Planeación Permanente de la Educación Superior (Sinappes), constituido en 1979; a partir de ahí se derivaron un conjunto de políticas relacionadas con la planeación y la evaluación de este nivel.

La evaluación institucionalizada de los investigadores se inicia en 1984 con el surgimiento del Sistema Nacional de Investigadores (SNI), para ello se forman comités responsables de revisar la producción académica de quienes desean ser reconocidos como investigadores nacionales y bajo ciertos indicadores se les otorga dicha categoría. Este también constituye un mecanismo para evaluar instituciones y programas, ya que aquella institución que cuenta con un mayor número de investigadores reconocidos por el SNI, es considerada de mayor calidad en cuanto a la investigación; entonces, el número de miembros en el SNI se convierte en un indicador para evaluar un programa de posgrado y a una institución en general.

El Programa para la Modernización Educativa 1989-1994 planteó la evaluación como un medio para lograr un consenso en la definición de la calidad en la educación superior. A partir de este hecho, se dibujó un nuevo modelo de relación entre las universidades y el Estado, donde la evaluación es una de las variables centrales en esta relación, pasando del Estado planificador surgido en los años 70, al Estado evaluador que predominaría en los 90 y en lo que va de la primera década del siglo XXI (Mendoza, 1997: 316; 2003: 2).

Con la finalidad de instrumentar las políticas anunciadas en este programa, en 1989 se revivió la Comisión Nacional para la Planeación de la Educación Superior (Conpes), en cuyo seno se ubicó la Comisión Nacional de Evaluación de la Educación Superior (Conaeva), instalándose como una instancia de concertación entre las dependencias del gobierno federal e instituciones de educación superior, cuya función es llegar a puntos de convergencia y acuerdos sobre criterios y lineamientos generales de acción, definir y buscar los grandes objetivos, diseñar políticas y prioridades en lo relativo a las funciones y tareas de la educación superior, las cuales constituyen marcos de orientación o programas indicativos para el desarrollo nacional de dicho nivel educativo (Mendoza, 1997: 319; Rodríguez, 2002 y 2003).

Para el establecimiento de un Sistema Nacional de Evaluación, se acordó realizar tres procesos: a) autoevaluación institucional, b) estudios de especialistas sobre el funcionamiento del sistema de educación superior en su conjunto y c) evaluación interinstitucional sobre las funciones, servicios, programas y proyectos de las instituciones de educación superior a través del mecanismo de evaluación por pares.

En este marco institucional y de políticas es que se lleva a cabo la presente investigación donde, como elemento de observación, se recoge y analiza la opinión de los profesores de tres universidades ubicadas en el noroeste de México, las cuales son: Universidad Autónoma de Sinaloa (UAS) que llamamos institución I; Universidad de Sonora (UniSon), institución II, y Universidad Autónoma de Baja California (UABC), institución III. Se recurrió a la aplicación de un cuestionario a 402 académicos de las instituciones antes mencionadas, distribuidos de la manera siguiente: institución I, 138 profesores; institución II, 134, y la institución III, 130. El instrumento fue aplicado en el segundo semestre de 2005 y primero de 2006.

La hipótesis de investigación que se maneja es que los procesos de evaluación han introducido cambios positivos en las instituciones de educación superior, estos cambios han sido diferentes en cada una de las IES de tal manera que se han formado grupos entre ellas. Las políticas de impulso a la evaluación promovidas en las universidades mexicanas han suscitado un deseo de contar con programas reconocidos por diferentes organismos, además se manifiesta por todos los medios la inquietud por aparecer como instituciones de calidad.

La hipótesis de trabajo se sustenta en que los profesores son los que mejor conocen el ambiente académico e institucional de las universidades, por tanto, la información que éstos proporcionen cuenta con alto grado de aproximación a lo que está sucediendo en las instituciones. El conjunto de conocimientos derivados de este artículo están respaldados en la opinión de estos actores y sólo resultan válidos en el marco institucional al que se hace referencia.

Los cambios se miden a través de un conjunto de factores, los cuales se seleccionaron considerando, en forma central, el marco de referencia del Comité de Administración y Gestión Institucional de los CIEES (CIEES, s/f). También se revisó otro grupo de 37 indicadores presentado y analizado por Heywood (2000: 71)

Cuatro apartados componen este trabajo. En primer lugar, se hace una revisión teórica donde se repasan un conjunto de aportaciones para la comprensión de los procesos de evaluación institucional, esta revisión aborda trabajos desde la perspectiva del estudio de los métodos; los usos y propósitos de la evaluación, sobre todo para la toma de decisiones, y los mecanismos de establecimiento de indicadores y la búsqueda de información. Un segundo apartado se encarga de explicar los métodos utilizados y presentar los datos encontrados. Después, se hace una discusión a estos datos conforme a la hipótesis planteada, y por último, se presentan algunas conclusiones finales.

 

Una revisión teórica de la evaluación

Atendiendo una perspectiva histórica del proceso de evaluación es posible encontrar las aportaciones de Guba y Lincoln (1989: 21-49); Madaus, Stufflebean y Scriven (1994: 23-38) y Fitzpatrick y colegas (2004: 30-44). Los dos últimos trabajos proponen una serie de etapas más apegadas al tiempo, la dividen por años; en cambio la propuesta de Guba y Lincoln está centrada en cuatro modelos que corresponden al mismo número de generaciones, sin especificar el periodo de tiempo, por tal motivo se toma esta visión, con la aclaración que algunos mecanismos de evaluación de las primeras generaciones se continúan usando por las generaciones posteriores.

La evaluación de primera generación estuvo encaminada a medir el grado en que los conocimientos trasmitidos a un estudiante eran realmente absorbidos por éste, es decir, evaluar el grado de aprendizaje alcanzado por un alumno en una asignatura determinada en un periodo dado. Estas evaluaciones se aplican con motivos de promoción y los indicadores son las calificaciones de los estudiantes, el mejoramiento del programa se observa por el número de alumnos aprobados y por el mejoramiento en el promedio de calificaciones obtenido por ellos.

Una segunda generación también tomó al estudiante como objeto central de la evaluación y se interesó en investigar si el alumno que había cursado un nivel, por ejemplo: secundaria, tenía los conocimientos suficientes para ingresar al siguiente nivel. La idea central consistía en evaluar el grado en que los objetivos eran conseguidos en cada uno de los niveles educativos. La calidad se refleja en el número de egresados y el grado de conocimientos con que cuente el alumno para acceder al siguiente nivel.

En las dos anteriores generaciones las instituciones son evaluadas con base en las calificaciones obtenidas por los alumnos en cada grado escolar y al término del nivel educativo correspondiente. Las notas logradas por los estudiantes son los indicadores principales para una evaluación institucional o de programa.

Una tercera generación surge a raíz de los intentos de los Estados Unidos de América por mejorar los niveles educativos, ya que perciben un rezago en la carrera espacial frente a los rusos puesto que estos últimos fabricaron el Sputnik, primer satélite artificial lanzado al espacio. Las instituciones encargadas de la política en educación, ciencia y tecnología en aquel país promovieron la formación de equipos de diversas especialidades científicas para que se encargaran de investigar el nivel de conocimientos que en esos momentos se estaban transmitiendo en las escuelas, buscando con ello conocer la profundidad científica alcanzada en cada una de las disciplinas. El objetivo central era definir los contenidos educativos que se les debía ofrecer a los estudiantes con la finalidad de que egresaran con una mejor preparación y así poder ganar la carrera científica y bélica a la Unión Soviética. Este tipo de evaluación es practicada en la actualidad por organismos como la Organización para la Cooperación y el Desarrollo Económicos (OCDE), la cual impulsa el Programme for International Student Assessment (PISA), que se encarga de comparar el nivel alcanzado por estudiantes de diferentes países. En el contexto institucional, esta generación se caracteriza por utilizar un método que se denomina evaluación iluminativa, es decir, los evaluadores se encargan de llamar la atención de las "zonas grises" o como se dice, "iluminar" los espacios oscuros de las instituciones mediante un ejercicio que comprende tres fases: observación de las variables que afectan el programa o institución; investigación del comportamiento de estas variables, y explicación de los principios generales y de los modelos causa-efecto que se pueden registrar en la institución. (Parlett y Hamilton, 1977). En este modelo se consideran como elementos a evaluar: las condiciones de la infraestructura y el ambiente en que se desenvuelve la institución o programa.

Haciendo un conjunto de observaciones a las generaciones anteriores, Guba y Lincoln (1989: 38-48) proponen un nuevo modelo de evaluación al cual denominan evaluación constructivista y corresponsable, el cual constituye la cuarta generación y se distingue por: a) las conclusiones y recomendaciones son construidas por consenso entre los participantes; b) los hechos y factores a considerar deben ser definidos en un marco de acuerdo entre los involucrados; c) los fenómenos sólo pueden ser entendidos dentro del contexto donde se lleva a cabo el estudio; d) los cambios no pueden ser calculados o definidos mediante un proceso lineal; e) el proceso de evaluación produce datos, los cuales se encuentran relacionados y es difícil establecer conclusiones en forma parcelada; f) la rendición de cuentas es una responsabilidad de cada uno de los involucrados; g) los evaluadores se convierten en buscadores de consensos, y h) los datos e información encontrados no representan un estado especial o un estado a ser legitimado, sino sólo son construcciones mediante las cuales el sistema se puede mover a otros consensos. En esta cuarta generación, las instituciones tienen una gran responsabilidad en el proceso al considerarse como agentes participativos, no como simples receptoras de los evaluadores que tienen la obligación de atender las observaciones e instrumentar las recomendaciones. Los indicadores son aceptados de manera corresponsable al ser atendidos por los diferentes actores participantes en el proceso.

Un proceso de esta naturaleza puede verse desde diferentes ángulos; por ejemplo, Gardner (1994: 7-19), aprecia la evaluación inscrita en cinco marcos relacionados de la forma siguiente: a) es considerada como un juicio profesional; b) funciona como medida de alguna cosa; c) se usa para llevar a cabo una comparación entre los logros obtenidos y los objetivos propuestos; d) constituye un instrumento valioso para la toma de decisiones, y e) puede verse como un ejercicio libre de metas y estándares preestablecidos.

En los cinco marcos propuestos por este autor se pueden distinguir tres elementos centrales de un proceso de evaluación: a) el método y los mecanismos para llevar a cabo la evaluación; b) el proceso de cuantificación y medición de las variables, y c) la utilización de la evaluación en la toma de decisiones a partir del análisis de estos datos.

Autores como Tyler (Madaus, 2004: 69-77), propone un ejercicio de evaluación orientado al cumplimiento de objetivos de una institución o programa. Como método, una institución debe formular sus objetivos, los cuales se convierten en guía de acción y metas a lograr; clasificarlos respondiendo a diferentes variables; proponer una definición y explicación de los objetivos en términos del comportamiento institucional; identificación de situaciones relacionadas con cada uno de los objetivos; selección e implementación de métodos para el logro de los objetivos, y alcanzar el perfeccionamiento de los métodos para obtener mejores resultados. No en vano, este autor es considerado el iniciador de la planeación y evaluación por objetivos. El mejoramiento de una institución o programa sólo se observa cuando se logran los objetivos propuestos.

Otro autor cuyo trabajo está centrado en la metodología es Thomas Cook (Alkin y Christie, 2004: 23) quien insiste en la necesidad de evaluar la investigación, o sea el proceso mismo de realización de la evaluación, y en la necesidad de recomendar e introducir modificaciones sociales a través de la evaluación. Hay que resaltar la preocupación de este autor por los factores contextuales en los que se lleva a cabo el proceso y la atención a los factores que pueden afectar la realización de estudios donde el objeto es la sociedad. Consecuentemente, su preocupación estuvo centrada en que los contratantes de una evaluación deben trabajar junto con los evaluadores para decidir lo que una evaluación debe examinar, sin olvidar el contexto en que se desarrolla el programa y por consiguiente, atender los factores que afectan la evaluación. Desde la perspectiva contextual de la planeación y la evaluación, estos ejercicios son más flexibles y dinámicos; se abordan desde una perspectiva más holística y se atiende tanto el contexto interno como externo de las instituciones (Peterson, 1997: 132).

Pero sin duda, el principal metodólogo de la evaluación es Donald Campbell, que insiste en tres elementos en el planteamiento adecuado de una evaluación: a) la existencia de condiciones necesarias para conducir un verdadero estudio experimental en el marco de variables aleatorias; b) la validación interna y externa del fenómeno, y c) el experimento no es perfecto y no puede ser usado en todas las situaciones, cada uno tiene sus circunstancias especiales (Shadish y Luellen, 2004: 80).

Los autores anteriores insisten en que la forma ideal de mejorar un ejercicio de evaluación es a través del uso de métodos más adecuados.

En la evaluación como medición de variables y construcción de indicadores, destacan posiciones como las de Scriven (Gardner, 1994) quien insiste en el establecimiento de los juicios de valor sustentados en verdaderos ejercicios de medición de los objetos evaluados.

En la opinión de Ernest House (Alkin y Christie, 2004: 41), la evaluación tiene como propósito proveer de información a los tomadores de decisiones para que puedan llevar a cabo una legítima distribución de los recursos, si la evaluación no funciona para este fin entonces tiene poca razón de ser. En este proceso de búsqueda de información y en la toma de decisiones menciona la existencia de seis "falacias éticas" que llevan a una deformación del proceso, por tanto, la evaluación no funciona para el mejoramiento de las instituciones o programas. Ellas son: el clientelismo (considerar en forma primordial la opinión del cliente en el juicio de la evaluación); contraictualismo (hacer contratos inflexibles con modelos inflexibles); administracionismo (poner los intereses de los administradores por encima de todo); metodismo (creer que la metodología resuelve los problemas éticos de la evaluación); elitismo (incluir sólo los intereses de los contratantes de la evaluación); y relativismo (considerando que todos los puntos de vista tienen igual mérito). El mecanismo central para combatir estas deformaciones en un proceso de evaluación está relacionado con el diseño y aplicación de instrumentos que permitan realizar una buena medición y posibiliten establecer adecuados juicios de valor.

En cuanto a la utilización de la evaluación Stufflebeam y Webster (1994: 331-346), al realizar un estudio de las diferentes aproximaciones alternativas bajo las cuales se lleva a cabo un estudio denominado evaluación de la educación, encontraron trece direcciones diferentes o, como ellos llamaron, "aproximaciones alternativas". Éstas las divide en tres grupos: el primero incluye las evaluaciones orientadas políticamente, que son de dos tipos. El segundo está constituido por las evaluaciones orientadas a contestar preguntas, que son de cinco tipos, y el tercero donde los estudios están orientados a conocer y realmente mejorar la calidad de lo evaluado.

Aunque todos los ejercicios de evaluación tienen su orientación política, los autores anteriores señalan que hay algunos donde predominan las motivaciones de este tipo y se refiere a aquellos estudios que son políticamente controlados y algunos que pueden estar inspirados sólo en relaciones públicas. También Weiss (2004: 154) dio todo el peso de su propuesta a la perspectiva política de la evaluación por tres razones: 1) los programas son creados y mantenidos por fuerzas y motivaciones políticas; 2) altos rangos del gobierno, los cuales toman decisiones de los programas, se inscriben en organizaciones políticas, y 3) las variadas leyes de evaluación tienen connotaciones políticas. Las evaluaciones no toman lugar en el vacío sino que siempre son de naturaleza política.

Otra visión desde la perspectiva política es el enfoque de Fetterman (2004: 305) el cual parte de lo que denomina el "empoderamiento de la evaluación", mejor dicho, el empoderamiento de los evaluadores y en general de quienes son los encargados de conducir el proceso de evaluación. Para este autor, la práctica de la evaluación implica un ejercicio de poder de unos agentes sobre otros, el cual tiene sus manifestaciones bajo formas muy variadas.

Daniel Stufflebean junto con Guba (Alkin y Chrstie, 2004: 44), inicialmente desarrollaron el modelo CIPP, el cual es una aproximación a la evaluación enfocada a la toma de decisiones. CIPP es el acrónimo de cuatro tipos de evaluación: Contexto, Insumos, Procesos y Productos. La evaluación del contexto envuelve la identificación de las necesidades de los contratantes para decidir sobre los objetivos del programa y en general el marco en que éste se desenvuelve. Insumos, conduce una evaluación de recursos, estrategias y diseños. Proceso, definición de la implementación del programa. La evaluación de producto mide los resultados y encamina la evaluación hacia la redefinición del programa.

Todos los autores analizados concuerdan en que los procesos de evaluación mejoran las instituciones y programas de educación superior, aunque insisten en diferentes variables como las que tienen mayor peso en el mejoramiento de estos ejercicios. Enfatizan en lo que se refiere a la definición de una metodología adecuada como lo más importante del proceso; otros lo hacen en aspectos de la utilización de la evaluación, y hay quienes tienen mayor preocupación en los tipos de información, tratamiento de la misma, medición de los fenómenos y construcción de indicadores.

A pesar de todas estas visiones y enfoques sobre este proceso, para el caso de nuestro país se menciona que no es posible encontrar evidencias de los beneficios de la evaluación en programas, instituciones e investigadores (Bensimon, 2004: 94). No obstante que el gobierno federal ha tomado la evaluación como el "eje central de la reforma", las observaciones realizadas —señala la autora— son de sentido común ya que no se encuentra ningún trabajo empírico para sustentar la influencia de la información emanada de las evaluaciones con el aprendizaje institucional, pero se puede observar la existencia de trabajos que buscan estudiar la influencia en los profesores, la misión de las instituciones y el mejoramiento de la cultura académica. Algunos autores citados por Bensimon señalan que en Estados Unidos los cambios en las instituciones han sido reducidos a pesar de las visitas de los pares a los diferentes programas.

Desde la perspectiva teórica nuestro trabajo maneja la idea de que los procesos de evaluación han mejorado a las IES en México, esto a pesar de que se han presentado los vicios manejados por House y señalados en este mismo trabajo.

 

Métodos

Como se explicó en la introducción, los profesores seleccionados fueron de tres universidades públicas del noroeste de México. Para la definición del número de profesores de cada institución se aplicó la fórmula de determinación de la muestra cuando se conoce el tamaño de la población, considerándose como población los profesores de tiempo completo de cada una de las universidades, se trabajó a un nivel de confianza del 95%. Los parámetros utilizados fueron una Z=2.5; p=q=0.5, o sea probabilidad de fracaso y éxito en iguales condiciones, con el máximo valor que de manera similar pueden tomar estos parámetros; error estándar e=0.1. El cuestionario aplicado contenía 16 factores los cuales se calificaron en una escala de -3 hasta 3; los números positivos indican que un factor ha mejorado su posición con la introducción de procesos de evaluación; por el contrario, una calificación negativa significa que el comportamiento de ese factor ha empeorado, el cero indica que el factor se mantiene invariable.

Para la selección de estos factores se llevó a cabo un análisis de los indicadores presentados en el marco de referencia del Comité de Evaluación de la Administración y Gestión Institucional de los CIEES. Este comité reconoce nueve categorías centrales de indicadores, lo cual va de acuerdo con las funciones que debe atender una institución de educación superior, en total incluyen 233 indicadores (CIEES, s/f). Considerando estas nueve categorías más una agrupación de los indicadores más significativos se llegó a establecer los 16 factores utilizados. Existe un estudio donde se anuncian 410 indicadores para la efectividad de una institución, de ellos la Universidad de Carolina del Sur seleccionó 37 para realizar sus autoevaluaciones, también se revisó este grupo de indicadores. Cuando la cultura de la evaluación se ha establecido en las universidades, estas mismas instituciones pueden seleccionar y definir cuáles son los indicadores que consideran prioritarios, atendiendo sus necesidades de desarrollo y las condiciones de la región de ubicación (Heywood, 2000: 71).

Para la determinación del nivel de consistencia de los factores se aplicó el método de las alfas de Cronbach encontrándose un valor de 0.942, lo que implica un alto nivel de consistencia. Para recopilar la información y elaborar el Cuadro 1, se utilizó Excel y para el análisis de esta información se recurrió a SPSS versión 14.

Una persona se encargó de visitar a los profesores en sus respectivos centros de trabajo y les aplicó el cuestionario, en las instituciones que tienen más de un campus el instrumento se aplicó en todos los campi. Teniendo las calificaciones emitidas por los profesores, éstas se sumaron y se obtuvo el promedio para cada uno de los factores y para cada una de las instituciones. Al final, se ordenaron los resultados de mayor a menor considerando el promedio de las tres universidades, todo ello aparece en el Cuadro 1.

En dicho cuadro se manifiesta que la institución que alcanzó el mayor promedio fue la III; en cambio la I obtuvo el menor promedio. En el caso de esta última institución se presentan cuatro factores negativos, es decir, que estos factores empeoraron su comportamiento, los cuales fueron: claridad en el manejo de los recursos financieros, confianza de la comunidad en el manejo de los recursos, facilidad en el acceso a los recursos por parte de las dependencias y procesos de selección de las autoridades. Como se puede ver son tres los factores relacionados con lo recursos financieros, lo cual es cierto para esta institución, pues de manera continua se ve involucrada en movimientos de presión hacia los gobiernos federal y estatal para la consecución de los apoyos financieros. Estos cuatro factores negativos no resultan tan fuertes para que fijen el límite mínimo de la distribución de la media en un valor negativo, pues este límite alcanza 0.061. En la institución II se presentó un factor negativo y es el que se refiere al proceso de selección de autoridades; en este aspecto hay que hacer notar que las formas de nombramiento de autoridades son muy diferentes en ambas instituciones, mientras que en la I, cuando se aplicó el cuestionario, el nombramiento de rector y directores se hacía mediante elección directa por voto universal de profesores y estudiantes, en la II el rector y los directores sigue el procedimiento de elección a través de una Junta de Gobierno. También para la III este factor fue uno de los más bajos, aunque no negativo. En el ordenamiento de los factores, el primero de ellos es "Presencia y reconocimiento de la universidad" que alcanzó el mayor promedio, lo cual también se presentó en cada una de las instituciones.

Para revisar el comportamiento por grupos de factores se hizo una división por cuartiles (Cuadro 5).

Al llevar a cabo un análisis de los resultados presentados en el Cuadro 1, se puede apreciar que la variable promedio fue diferente para las tres instituciones, la más baja se alcanzó en la institución I que fue de 0.327 y la más alta fue en la institución III que alcanzó 1.20, por lo que al hacer una comparación entre universidades arroja los resultados presentados en el Cuadro 2. También es posible observar una dispersión mayor en los datos de la institución I al contar con una desviación de mayor tamaño, lo que significa que las opiniones de los profesores de la institución I cuentan con una mayor dispersión; en cambio la institución III tiene una dispersión menor que alcanza el 0.305, lo que indica que existe mayor homogeneidad en las opiniones de los profesores de la institución III.

En el Cuadro 2 se presentan las medias de las tres instituciones y la media total que es de 0.851, con un límite inferior de 0.691 y uno superior en 1.011 que son los intervalos donde se encuentra a la verdadera media del conjunto. Observamos que ninguna de las medias de la UAS se encuentra en ese intervalo. Por otra parte, el intervalo observado para la institución III coloca sus medias por encima del intervalo de la media general, pero tiene cruce con el intervalo de la institución II. Por lo que se empieza a observar la formación de dos grupos en las instituciones, por tal motivo, se procedió con otras pruebas. Después, al hacer un análisis de varianza muestra que existen diferencias significativas en la variable promedio de las universidades, para ello se usó la prueba HSD de Tukey. Al comparar la institución I con la institución II se encuentra que la diferencia de medias es significativa (p = .000) con una diferencia de -0.699, a favor de la institución II, haciendo lo mismo con la institución III se encuentra una diferencia significativa (p=.000) equivalente a -0.873. Los intervalos de confianza al 95% se encuentran entre valores negativos en ambos extremos de la diferencia de la institución I con la institución II. En cambio, no existe diferencia significativa entre la institución II y la institución III (p=.456) con un valor de 0.174, esto introduce una prueba más de que se configuran dos grupos de instituciones. Todo ello se observa en el Cuadro 3.

En el Cuadro 4 se muestran las medias para los grupos en los subconjuntos homogéneos. Con la ayuda de este cuadro podemos concluir que se forman dos grupos de magnitud de cambio, el primero donde está la institución I cuyo promedio de cambio es bajo pues apenas alcanza 0.327; y un segundo grupo donde están la institución II con 1.096 y la institución III con un promedio de cambio de 1.199.

La misma demostración se encuentra a través de la aplicación de la prueba T, donde se puede afirmar que en las tres instituciones hubo un cambio positivo, pero no de iguales dimensiones.

 

Análisis y discusión de resultados

Por la información presentada en el apartado anterior, en consideración a la opinión de los profesores se concluye que los procesos de evaluación han introducido cambios positivos en las IES, pero no de la misma dimensión, ni en los mismos factores. Se concluye lo anterior a pesar de que algunos indicadores resultaron negativos en las instituciones I y II, pero a nivel general ninguno de ellos presentó medias negativas de cambio, pues todos los límites inferiores de las medias se ubicaron en valores positivos.

La observación de cambios en los diferentes factores seleccionados contradice los autores referidos por Bensimon (2004), quienes opinan que no existe ninguna evidencia de que se hayan introducido cambios en el aprendizaje institucional.

El factor más débil fue el proceso de elección de autoridades universitarias, el cual resultó negativo en las dos primeras instituciones. Las formas de elección de autoridades es el factor que más permanece en el tiempo. En este aspecto, resulta un dato interesante que los procesos de elección de autoridades sean diferentes en las tres instituciones, pues el caso de la institución I, cuando se aplicó el cuestionario tenía como forma de elección la votación universal y secreta de toda la comunidad universitaria, no así las otras dos instituciones que el nombramiento de autoridades se hace mediante una Junta de Gobierno. En este caso, tanto la institución I como la II observan calificaciones negativas en este factor, lo cual significa que las políticas de evaluación no han introducido modificaciones positivas en los procesos de nombramiento de autoridades en las primeras dos instituciones y sí cambios muy modestos en la institución número III. En la segunda mitad del año 2005 y la primera de 2006, la institución I llevó a cabo todo un movimiento para introducir cambios en las formas de elegir autoridades, ya el voto universal estaba siendo duramente cuestionado por la sociedad, en la actualidad el rector y los directores son electos por el H. Consejo Universitario, y se seleccionan de una terna propuesta por la Comisión de Postulación.

Por otra parte, al intentar un agrupamiento en los factores de cambio, esto se hace por cuartiles, los cuales se presentan en el Cuadro 5.

Al dividir los datos del promedio total en cuartiles se encuentra otra distribución, donde el primero de ellos comprende los valores de 0.0 a 0.5, que denominamos cuartil I con los valores bajos y se refiere al nombramiento de autoridades y la consecución de recursos financieros por parte de las dependencias de la universidad. Estos fueron los dos factores que menos han cambiado en las instituciones. Ya se habló en lo que respecta a la elección de autoridades unipersonales. Otro de los factores que menos cambio ha tenido se refiere a la forma de asignar los recursos a las dependencias universitarias por parte de la administración central. En este aspecto se ha insistido de parte de los CIEES en la necesidad de que los planes anuales de trabajo de las diferentes dependencias vayan acompañados de los correspondientes costos de cada actividad, en la idea que desde la administración central se fijen los presupuestos para cada una de las dependencias y para cada una de las acciones a realizar, situación que no se ha conseguido en algunas instituciones. La asignación de presupuestos por parte de la SEP también ha estado encaminada a lograr una asignación de recursos en forma directa a las unidades académicas, lo que se conoce con el nombre de entrega de recursos etiquetados.

El cuartil II que queda en el valor medio bajo que va de 0.5 a 1.0 comprende ocho factores y es el cuartil de los procesos administrativos, legislación, gobierno, recursos financieros y vinculación. En esta parte, se encuentra el factor de menos calificación de la institución III, que es la calidad de los servicios administrativos y el factor más bajo de la institución I que fue la confianza de la comunidad en el manejo de los recursos. La percepción de los profesores de la institución III, es que ésta ha mejorado en todos los órdenes; sin embargo, en lo que se refiere a los servicios administrativos, alcanzó la calificación más baja por parte de los profesores. La administración 2003-2006 de la institución entendió en forma clara este fenómeno y en lugar de insistir en una reforma académica se insistió en una reforma administrativa para eficientar los servicios, lo cual derivó en una transformación de la institución, que trascendió en la mejora de los indicadores. En cuanto a la institución I, donde el factor más bajo es la confianza de la comunidad universitaria en el manejo de los recursos, esto se percibe adecuado pues esta institución ha tenido serios cuestionamientos en cuanto al manejo de recursos a tal grado que se nombró una contraloría social, la cual está compuesta por representantes de diversos sectores de la sociedad.

Los indicadores incluidos en los anteriores cuartiles están relacionados con la evaluación para la toma de decisiones, donde podemos concluir que la instrumentación de procesos de evaluación poco ha sido utilizada con este fin.

El cuartil III corresponde al mejoramiento de la academia que está en el rango medio alto que va de 1.0 a 1.5 y donde se encuentran factores como eficiencia en la planeación, calidad de la docencia, calidad en la investigación, eficiencia en la evaluación y mejora en los servicios de apoyo académico. Aquí, la percepción de los profesores es el mejoramiento en los procesos de planeación, lo cual se refleja en las instituciones II y III que fue el segundo factor en importancia. Este elemento también se relaciona con la cuestión metodológica de que hablan Cook (Alkin y Christie, 2004); Peterson (1997) y Campbell (Shadish y Luellen, 2004). En cambio, en la institución I el segundo factor en importancia fue la mejora en la investigación. Esta institución, realmente no cuenta con indicadores fuertes en investigación, sin embargo, los profesores consideran que los cambios son relevantes en este aspecto ya que a inicios de la década de los noventa, prácticamente, la investigación era casi nula.

El cuarto cuartil que denominamos cuartil alto, que va de 1.5 a 2.0, en el que sólo aparece el factor "presencia y reconocimiento de la universidad", fue el de mayor calificación en las tres instituciones. Sin duda, este es un factor de carácter político ya que con los procesos de evaluación y acreditación las instituciones adquieren un cierto prestigio que se traduce en "empoderamiento" de las autoridades universitarias en la dirección marcada por Weiss (2004), Fetterman (2004), Stufflebean y Guba (Alkin y Christie, 2004), quienes señalan que las motivaciones fundamentales para una evaluación son de carácter político y de búsqueda de reconocimiento por parte de las instituciones.

En este sentido, todas las IES se han preocupado por incrementar su presencia ante la sociedad, y de buscar el reconocimiento tanto por organismos locales como nacionales e internacionales. En el contexto local, se busca el reconocimiento de los ayuntamientos y los gobiernos de los estados, así como organizaciones privadas, por ejemplo la Cámara Nacional de la Industria de Transformación (Canacintra) y diversas agrupaciones, como los comités de vinculación y de planeación de las ciudades. En el contexto nacional, la preocupación es lograr el reconocimiento de organismos acreditadores de instituciones y programas, entre otros. Con respecto al ámbito internacional, los organismos reconocidos por el Consejo para la Acreditación de la Educación Superior, A. C. (Copaes), se acogen a ciertos estándares como el ISO 9001-2000, la Foods and Drugs Administration (FDA) y la Environmental Protection Agency (EPA), sobre todo aquellas instituciones que desean certificar sus laboratorios. Las instituciones II y III han aparecido en primer lugar en la Zona Pacífico en cambio, en distintas fechas de la revista Guía Universitaria, dependiente de la empresa Reader's Digest, la institución número I apareció en tercer lugar en las publicaciones de 2005 y 2006; para 2007 ya aparece en segundo lugar, sólo atrás de la Universidad Autónoma de Baja California que ocupó el primer lugar en los años 2006 y 2007.

Muchos elementos hacen dudar de la seriedad de las publicaciones antes mencionadas, uno de ellos es que la institución II, aparece en primer lugar en un año y para el siguiente se va hasta al 11°; una institución no puede bajar tanto en una escala de este tipo en el periodo de un año, sin embargo, son indicadores que las autoridades universitarias atienden, les preocupan y toman muy en cuenta. La institución III ha llegado a ser la universidad pública con más programas acreditados en el país y en noviembre de 2004 recibió de manos del Presidente de la República un reconocimiento por contar con más del 70% de sus programas acreditados ante Copaes. Las instituciones II y III participaron en la convocatoria 2004 del premio SEP-ANUIES al Desarrollo y Fortalecimiento Institucional, quedando la Universidad de Sonora dentro del grupo de los cuatro ganadores, que fueron tres universidades públicas y un instituto tecnológico, también público. Para el año 2005, la institución III fue galardonada con el mismo premio SEP-ANUIES como producto de su desarrollo y fortalecimiento institucional alcanzados, en ese año participaron 22 instituciones de educación superior tanto públicas como privadas. Lo anterior indica la preocupación de las instituciones por lograr el mayor número de reconocimientos posible, por lo que es indudable que la educación superior en México, a partir de la introducción de ejercicios de evaluación institucional, ha arribado a otra etapa, donde es muy fuerte la inquietud de las autoridades universitarias por aparecer en los primeros lugares en diferentes publicaciones o ser consideradas como instituciones de excelencia por los distintos órganos evaluadores.

Al realizar el análisis por universidad se concluye que las tres instituciones experimentaron cambios positivos aunque no en la misma dimensión, ni de los mismos factores, pero sí es posible establecer grupos de factores quedando en primer lugar —de mayor a menor— la búsqueda de reconocimiento; en segundo lugar, los factores de carácter académico; en el siguiente puesto se encuentra los de tipo administrativo, y por último el nombramiento de autoridades y los de tipo financiero.

Otro elemento que se desprende del estudio es la formación de grupos entre las instituciones de educación superior, lo cual se hace patente en el apartado de métodos mediante la aplicación de varias pruebas. Esto se ha observado en los CIEES y se le ha dado calificaciones a los programas ubicándolos en tres niveles, donde el nivel 3 es el más bajo y se refiere al programa con más debilidades; un nivel 2 que es intermedio y el nivel 1, cuando el programa se considera de calidad. En cuanto al nivel de las instituciones, se considera de calidad aquella que tiene el 70% de su matrícula en programas de calidad, nivel 1 de los CIEES o acreditados por Copaes. El establecimiento de niveles también se ha dado como un instrumento para calificar los programas e instituciones, por ejemplo la Higher Learning Commission of the North Central Association configuró una matriz de tres niveles de calidad, divididos en tres departamentos, por tanto, son nueve posibles celdas donde se puede ubicar el programa. Esta matriz ha sido mejorada en los años 2000 y 2003 (López, 2006: 63-65). Al respecto de la formación de grupos tienen razón varios investigadores (Glazman, 2001: 59-60) cuando señalan que la evaluación ha traído como consecuencia una segmentación de las instituciones. La diferencia es que en los Estados Unidos los grupos están establecidos de antemano y existen indicadores que cada uno de los grupos debe atender o bien, se califican de acuerdo con la escala alcanzada en cada indicador.

La evaluación se ha ligado a los recursos, por tanto, también ha fortalecido a los organismos evaluadores ya que, difícilmente, la institución o programa que no cumple con los parámetros establecidos por los organismos evaluadores accede a recursos extraordinarios.

 

Conclusiones

Por la opinión de los profesores se puede observar que los mayores cambios que ha introducido la evaluación en las instituciones de educación superior provienen del deseo de las propias instituciones de aparecer con grados de reconocimiento y acreditación por parte de organismos externos. En un segundo lugar se encuentran las actividades de planeación, para después ubicar las labores relacionadas con el quehacer académico donde se encuentran la investigación, la docencia y la extensión. En el tercer sitio se ubican cuestiones relacionadas con administración, gestión y normatividad y, por último, lo relacionado con el manejo de recursos y la elección de autoridades. Aunque se observa una variación diferente en las tres instituciones, a nivel general se puede llegar a una tipología como la anterior.

Otro elemento que verifica este trabajo es la existencia de grupos de universidades por sus niveles de calidad, según la apreciación de los investigadores, hecho que ya habían detectado algunos autores tanto en el espacio mexicano como en los Estados Unidos.

Para observar cambios de mayor trascendencia en las instituciones es necesario introducir modelos de planeación y evaluación que privilegien el trabajo de los profesores y, en general, de la comunidad universitaria, buscando un mayor involucramiento de ésta en la toma de decisiones.

Es recomendable introducir un nuevo modelo de evaluación donde tengan una mayor participación los actores universitarios, esto en la dirección recomendada por Guba y Lincoln (1989) donde se observa una responsabilidad compartida y un constante mejoramiento en los procesos de evaluación. También es necesario atender los factores contextuales propuestos por Cook (Alkin y Christie, 2004) y Peterson (1997). Es necesario desterrar los vicios marcados por Ernest House (Alkin y Christie, 2004: 41)

 

Referencias

ALKIN, Marvin C. y Christina A. Christie (2004). "An evaluation theory tree", en Marvin C. Alkin, Evaluation roots. Tracing theories views and influences, Thousand Oaks-London-New Delhi, Sage publications.         [ Links ]

BENSIMON, Estela Mara y Bauman Georgia (2004). "¿Aprenden las universidades de la rendición de cuentas?", en Imanol Ordorica, La Academia en jaque. Perspectivas políticas sobre la evaluación de la educación superior en México, México, Cámara de Diputados-Porrúa-UNAM.         [ Links ]

CIEES (s/f), Marco de referencia general de los CIEES para evaluar las funciones y los programas educativos de las instituciones de educación superior, México, ed. CIEES.         [ Links ]

DÍAZ BARRIGA, Ángel (2000). "Evaluar lo académico. Organismos internacionales, nuevas reglas y desafíos", en Teresa Pacheco Méndez, y Ángel Díaz Barriga (Coord.) "Evaluación Académica", México, CESU-UNAM, FCE.         [ Links ]

FETTERMAN, David M. (2004), "Branching out or standing on a limb. Looking to our roots for insight", en Marvin C. Alkin (2004), Evaluation roots. Tracing theories views and influences, Thousand Oaks-London-New Delhi, Sage publications.         [ Links ]

FITZPATRICK, Jody L. et al. (2004). Program Evaluation. Alternative Approaches and Practical Guidelines, Boston, Pearson.         [ Links ]

GARDNER, Don E. (1994). "Five evaluation frameworks: implications for decision making in higher education", en Joan Stark y Thomas Alice, Assessment program evaluation, Ashe Readers Series, Needham Heights MA, Simon and Schuster Custom Publishing.         [ Links ]

GLAZMAN NOWALSKI, Raquel (2001). Evaluación y exclusión en la enseñanza universitaria, México, Paidós educador.         [ Links ]

GUBA, Egon G. y Lincoln, Yvonna S. (1989). Fourth Generation Evaluation, London y New Delhi, Sage Publications.         [ Links ]

HEYWOOD, John (2000). Assessment in Higher Education. Student learning, teaching, programs and institutions, London and Philadelphia, Jessica Kingsley publishers.         [ Links ]

LÓPEZ, Cecilia L. (2006). "The assessment matrix: providing evidence of sustainable commitment to student learning", en Peter Hernon, et al. (2006), Revisiting outcomes assessment in higher education, Westport, Connecticut y London, Libraries Unlimited.         [ Links ]

MADAUS, George F. et al. (1994). "Program evaluation", en Joan Stark y Alice Thomas, Assessment program evaluation, Ashe Readers Series, Needham Heights MA, Simon and Schuster Custom Publishing.         [ Links ]

----------(2004). "Ralph W Tyler's Contribution to Program Evaluation", en Marvin C. Alkin, Evaluation roots. Tracing theories views and influences, Thousand Oaks-London-New Delhi, Sage publications.         [ Links ]

MENDOZA ROJAS, Javier (1997). "Evaluación, acreditación, certificación: instituciones y mecanismos de operación, en Alejandro Mungaray Lagarda, y Giovanna Valenti Nigrini (Coord.), Políticas públicas y educación superior, México, ANUIES.         [ Links ]

----------(2003), "La evaluación y acreditación de la educación superior mexicana: las experiencias de una década", ponencia en el VIII Congreso Internacional de la CLAD sobre la reforma del Estado y la Administración Pública, oct. 2003, Panamá         [ Links ].

PARLETT, M. & D. Hamilton (1977). Evaluation as illumination: a new approach to the study in innovative programs, Londres, McMillan.         [ Links ]

PETERSON, Marvin W (1997). "Using contextual planning to transform institutions", en Marvin W Peterson, et al, Planning and Management for a changing environment. A handbook on redesigning postsecondary institutions, San Francisco, Jossey-Bass Publications.         [ Links ]

RODRÍGUEZ GÓMEZ, Roberto (2002). "Continuidad y cambio de las políticas de educación superior", en Revista Mexicana de Investigación Educativa, México, enero-abril de 2002, vol. 7, No. 14.         [ Links ]

---------- (2003). "Acreditación de la educación superior. El caso de México", en Campus Milenio No. 50, septiembre 25 de 2003.         [ Links ]

SHADISH, William R. y Luellen, Jason (2004). "Donald Campbell: The accidental evaluator", en Marvin C. Alkin, Evaluation roots. Tracing theories views and influences, Thousand Oaks-London-New Delhi, Sage publications.         [ Links ]

STUFFLEBEAM, Daniel L. y Webster, William (1994). "An analysis of Alternative Approaches to Evaluation", en Joan Stark y Thomas Alice, Assessment program evaluation, Ashe Readers Series, Needham Heights MA, Simon and Schuster Custom Publishing.         [ Links ]

WEISS, Carol H. (2004). "Rooting for evaluation", en Marvin C. Alkin, Evaluation roots. Tracing theories views and influences, Thousand Oaks-London-New Delhi, Sage publications.         [ Links ]