Artículos

 

Debilidades de la evaluación de la calidad en la universidad española. Causas, consecuencias y propuestas de mejora

 

Weaknesses of the Quality Evaluation Process in the Spanish Universities: Causes, Consequences and Improvement Proposals

 

Clemente Rodríguez Sabiote^* y José Gutiérrez Pérez^**

 

^* Departamento de Métodos de Investigación y Diagnóstico en Educación Facultad de Ciencias de la Educación Universidad de Granada. Campus de Cartuja s/n, 18071 Granada, España. clerosa@ugr.es.

^** Departamento de Métodos de Investigación y Diagnóstico en Educación Facultad de Ciencias de la Educación Universidad de Granada. Campus de Cartuja s/n, 18071 Granada, España. jguti@ugr.es.

 

Recibido: 11 de febrero de 2002
Aceptado para su publicación: 16 de enero de 2003

 

Resumen

El proceso de evaluación de la calidad que está viviendo la universidad española desde comienzos de la década de los noventa ha generado avances incuestionables. Sin embargo, se han detectado una serie de debilidades que han afectado el proceso con consecuencias a priori imprevisibles. En este artículo se revisan algunas debilidades, sus posibles causas y consecuencias y se presentan sugerencias para la mejora del proceso de evaluación de la calidad de las instituciones universitarias.

Palabras clave: Evaluación de la calidad en la universidad, indicadores de rendimiento en la universidad.

 

Abstract

The quality evaluation process in the Spanish universities, which has been going since the beginning of 90's it has generated indisputable advantages. Nevertheless, a whole series of problems affecting the process has been detected, whose consequences are hard to predict a priori. The paper examines some of the detected weaknesses, their causes and consequences; and a number of suggestions are given in order to improve the quality evaluation process in those institutions.

Key words: Quality evaluation in higher education, performance indicators in higher education.

 

Introducción

Actualmente, la evaluación de las instituciones universitarias es una práctica generalizada en los países del entorno europeo y, desde luego, tiene una larga tradición en los de cultura anglosajona. También en determinados países latinoamericanos empiezan a implantarse experiencias en esta dirección.¹ De hecho, el creciente interés por la calidad ha generado una situación de evaluación permanente de los sistemas universitarios (Neave, 1997). En el entorno europeo, la mayoría de los países que están inmersos en procesos de evaluación institucional han desarrollado, durante las dos últimas décadas, modelos que implican un cambio de rol del Estado sobre el control de los centros de enseñanza superior. En poco más de una década se ha pasado de un Estado controlador a uno supervisor. Las propias instituciones de enseñanza superior, en el ejercicio de sus responsabilidades, rinden cuentas de sus logros, tanto a las autoridades administrativas y entidades que las financian, como al resto del sistema de enseñanza superior y a la sociedad que las sustenta, y tratan de articular actuaciones operativas de mejora en los ámbitos de mayor debilidad. La gestión de la calidad de las universidades pasa irremediablemente por el desarrollo de su autonomía institucional e implica potenciar los procesos de autorregulación (Neave y Van Vaught, 1991). Esta nueva visión demanda, no sólo una mayor y mejor evaluación de las instituciones, sino una perspectiva diferente que supone, además de una verificación fiscalizadora del funcionamiento del sistema, la implantación de procedimientos para su mejora (Hüfner y Rau, 1987).

Concretamente, en España, el proceso de evaluación institucional se remonta, primero, al Programa Experimental de Evaluación de la Calidad del Sistema Universitario, desarrollado durante 1992 y 1994 y cuyas directrices fundamentales están recogidas en el informe del I Programa Experimental de Evaluación de la Calidad Universitaria, y segundo, al Proyecto Piloto Europeo desarrollado entre 1994 y 1995, cuyos objetivos y resultados más relevantes pueden consultarse en el documento titulado "Projects pilots européens pour l'évaluation de la qualité dans l'enseignement supérieur: lignes directrices pour les établissements participants" (Donaldson, Staropoli, Ottenwaelter, Thune y Vroeijenstijn, 1994).

Finalmente, en 1995, a través de la promulgación del Real Decreto 1947/95 se pone en marcha el I Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU) valedero para los años 1996-2000. Destacamos la utilidad orientativa y su contribución a la extensión de una cierta "cultura de la evaluación" en los niveles superiores del sistema educativo español. Anotamos algunas de las debilidades demostradas empíricamente y sus consecuencias durante estos años de funcionamiento con un enfoque predominantemente descriptivo-fiscalizador. Con la puesta en marcha del II Plan de Calidad de las Universidades (PCU), de 2001 a 2006 mediante el Real Decreto 408/2001, se abre un nuevo horizonte en la evaluación de la calidad universitaria española. Nos conduce hacia sistemas de acreditación de las titulaciones que permiten verificar que se superan unos mínimos de calidad (para consumo interno) y exhibir un distintivo (para consumo externo) que posibilite competir en las mejores condiciones en todo tipo de mercados (Coba, 2001), desde un enfoque evaluador más moderno y altamente preocupado por la operativización de medidas correctoras internas de los sistemas. Aun así, resulta conveniente apuntar las debilidades que afectaron al PNECU de cara a tratar de evitarlas en experiencias futuras.

 

1. Algunas causas de la debilidad en el proceso evaluativo de las instituciones universitarias españolas

En la universidad española se dan una serie de condicionantes que han impedido el desarrollo integral del extinto I Plan Nacional de Evaluación de la Calidad de las Universidades con la amplitud y extensión que pretendía. A pesar de habernos incorporado al conjunto de países desarrollados que están implantando, actualmente, procesos de evaluación de la calidad de sus instituciones universitarias; la universidad española sufre un cierto retraso respecto a países de nuestro entorno inmediato: Reino Unido, Holanda y Francia, por ejemplo. Además, la universidad española está afectada por una serie de condicionantes que han contribuido a la debilidad del proceso de evaluación de la calidad universitaria en estas primeras fases. Entre las causas citadas por De Miguel (1999, p. 105) y Gutiérrez (2000, p. 2) destacamos algunas que consideramos fundamentales:

• La dudosa capacidad ejecutiva de los órganos de dirección de la universidad pública respecto a sus iguales del sector privado.

• La desconexión entre el gobierno central, la universidad y los gobiernos autonómicos en la determinación y formulación de objetivos comunes.

1.1. La dudosa capacidad ejecutiva de los órganos de dirección de la universidad pública respecto a sus iguales del sector privado

Este aspecto se refiere a la difusa y débil capacidad de autonomía y liderazgo que predomina en muchas instituciones universitarias españolas por desarrollos estatutarios que obvian o tratan superficialmente estos aspectos. La enquistada tendencia corporativista de la estructura universitaria, por una parte, y el complejo entramado de órganos colegiados, por otra,² contribuyen a la aparición de un filtro amortiguador que ralentiza los procesos de decisión, los complejiza y dilata a tal extremo que impide la ejecución práctica y operativa de cualquier resolución prolongándola por tiempo indefinido. Afirma Vicente (2001, p.1):

Las auditorías se limitan a autoevaluaciones y evaluaciones externas que llevan a cabo "amigos" de otras "sucursales", pero lo cierto es que nadie sabe con precisión si hay "pérdidas" o "beneficios", y lo que es peor, nadie los exige; no se conoce caso alguno en que una autoridad académica haya dimitido o haya sido sancionada como consecuencia del bajo rendimiento de una universidad.

Así pues, y en contra de uno de los objetivos generales del PNECU:

Proporcionar a las administraciones educativas y al Consejo de Universidades una información objetiva sobre el nivel de calidad alcanzado por las universidades que pueda servir de base para la adopción de decisiones en el ámbito de las respectivas competencias (Real Decreto 1947/95, artículo 1, apartado 3, p. 35,473).

Afirmamos que ni la información se ha transmitido con la fluidez que sería deseable (De Miguel, 1999a, p.110), ni los informes emitidos han servido como fundamento para adoptar decisiones encaminadas a rendir cuentas, mejorar la situación o adquirir compromisos con el cambio social (De Miguel, 1999c).

Además del entramado de órganos colegiados que constituyen la estructura de órganos de gobierno y representación de la universidad española, a pesar de la puesta en marcha de la Ley Orgánica de Universidades (LOU)³ en el 2001, se da otra serie de condicionantes y circunstancias que coadyuvan en la aparición y sostenimiento de una capacidad ejecutiva débil. En este sentido, destacamos la presencia de tres niveles diferenciados que participan, a veces con escasa coordinación, en los procesos de evaluación de la calidad: nivel 1, constituido por el Consejo de Universidades y la Secretaría General del Consejo de Universidades, dependientes del Ministerio de Educación, Cultura y Deporte; nivel 2, conformado por las Agencias Autonómicas para la Calidad Universitaria que supervisan las Comunidades Autónomas; nivel 3, estructurado por las Comisiones de Evaluación, los Comités de Autoevaluación y los Comités de Evaluación Externa; los dos primeros dependientes de la unidad evaluada, y los terceros del Consejo de Universidades.

Tal estructura ha determinado la lentitud de la burocracia administrativa y diferentes desajustes derivados de la falta de organización y coordinación entre los niveles de actuación descritos, así como de los insuficientes medios para llevar a cabo las tareas que era necesario realizar en los plazos previstos. La consecuencia de este cúmulo de disfunciones ha sido la escasa toma de decisiones una vez conocidos los desajustes que figuran en los informes de evaluación. Al respecto, Coba (2001, p. 386) ha comentado que "las limitaciones del PNECU, por resumirlas en una frase, han sido la escasa implicación y repercusión que los resultados de evaluación ha tenido más allá de las propias unidades evaluadas". Finalmente, destacamos las dificultades de extrapolar las técnicas de gestión de la calidad del sector empresarial a cualquier tipo de organización de servicios; en nuestro caso, la universidad. En este sentido entre Quintanilla (1999, p. 88) diferencia entre:

a) Problemas conceptuales: referidos a las dificultades para transferir los conceptos de calidad y ejecución del mando empresarial a la universidad, así como las dificultades para identificar claramente a los clientes del servicio de la enseñanza superior.

b) Problemas metodológicos: relacionados con la necesidad de articular diferentes dimensiones y niveles en la evaluación de la calidad de las universidades y de encajar la metodología de la evaluación de la calidad con otras prácticas usuales en el seno de la cultura académica.

1.2. La desconexión entre el Estado, la universidad y los gobiernos autonómicos en la determinación y formulación de objetivos comunes

Este aspecto puede contribuir de entrada a la disolución de los derechos y deberes existentes sobre y para las universidades, ya que ni las universidades son capaces de tomar la iniciativa por su propia cuenta, ni los gobiernos autonómicos llegan a asumir de forma inmediata las directrices del gobierno central. Así pues, en muchos casos, la desconexión se debe a fuertes discrepancias en los planteamientos políticos de fondo de la administración central y de las administraciones autonómicas.

La organización administrativa de España se distribuye geográficamente en comunidades autónomas con amplias competencias en las diferentes áreas de la realidad social, política y económica (sanidad, servicios sociales, educación, etc.) y conforma un heterogéneo mosaico donde no siempre es fácil el entendimiento.⁴ Ello, aunque conveniente en un estado democrático, genera algunos desajustes producto del mal entendimiento entre el Estado, las comunidades autónomas y las instituciones universitarias, por descoordinación entre los poderes públicos y los fines universitarios. Aunque estos enfrentamientos no han sido particularmente virulentos -al menos, individualmente- cuando las universidades se reúnen y plantean sus problemas de forma colectiva al conjunto de las administraciones públicas, en el seno del Consejo de Universidades, se producen fricciones de mayor calado que se evidencian en interminables debates y violentas confrontaciones verbales (Pérez Rubalcaba, 1997). En este sentido, parece razonable un acercamiento de posturas, aséptico a toda ideología, en el proyecto común de articular una colección de objetivos, estrategias y actividades de evaluación de la calidad universitaria que esté totalmente consensuado desde las instituciones universitarias, los gobiernos autonómicos e incluso el gobierno central.⁵ Alguna de las conclusiones a las que se llegó en el grupo de trabajo dedicado a la universidad y los poderes públicos del seminario "Los objetivos de la Universidad ante el Nuevo Siglo" (Conferencia de Rectores de las Universidades Españolas [CRUE], 1997, p.1), ya apuntaban en esta dirección:

Es necesario encontrar, con lealtad mutua y servicio al interés general, un equilibrio satisfactorio entre la autonomía de las Universidades, reconocida constitucionalmente, y las competencias de los Parlamentos y Gobiernos Autónomos. Debe, además, revisarse el marco de relaciones entre las Universidades y los poderes públicos a través de los organismos de coordinación, de forma que se garantice una satisfactoria relación entre los aspectos académicos y político económicos del sistema universitario español. Es urgente contar con un marco estable, a la vez que flexible, que evite continuas y costosas reformas parciales de las normas relativas a los planes de estudio y otros aspectos de las enseñanzas universitarias.

No obstante, y a pesar de todo lo dicho, no podemos obviar las esperanzadoras medidas que se han tomado con la LOU tras la creación de nuevos órganos de gestión y coordinación entre las tres administraciones implicadas en el devenir universitario. Así, puede leerse en la exposición de motivos de la citada ley, apartado IV, lo siguiente:

El Consejo de Coordinación Universitaria será el máximo órgano consultivo y de coordinación del sistema universitario, y se configura como el foro de encuentro y debate entre las tres administraciones que convergen en el sistema universitario: Estatal, Autonómica y Universitaria (Ley Orgánica de Universidades [LOU], apartado IV, p. 49,402).

 

2. Debilidades de la evaluación de la calidad universitaria en el contexto español

Conocidas dos de las causas fundamentales que pueden contribuir al debilitamiento de la evaluación de la calidad universitaria en España, pasamos a mostrar algunas debilidades:

• La ausencia de un método sistemático de recopilación de datos que sustente la evaluación.

• La falta de mecanismos de análisis y validación de la información recogida.

• La inexistencia de acciones ejecutivas de implantación de mejoras inmediatas y la ausencia de un soporte financiero que las operativice.

• Los desajustes que afectan al proceso de selección y formación de evaluadores.

• El inadecuado funcionamiento de los comités de evaluación.

• El cuestionamiento de los indicadores de rendimiento en términos de su confección y aplicación.

2.1. La ausencia de un método sistemático de recopilación de datos que sustente la evaluación

Con esta debilidad nos referimos a la falta de información que existe respecto a los instrumentos de recogida de información que debieran ser utilizados en el proceso de evaluación de las universidades. Si bien las guías del PNECU y del actual PCU dejan bien claro qué indicadores deben medirse, queda difuso con qué instrumentos y a través de qué estrategias metodológicas. Las indicaciones son demasiado genéricas⁶ y, desde luego, poco clarificadoras para un conjunto de agentes, por lo general, escasamente formados en investigación. ¿Deben utilizarse instrumentos estandarizados o elaborados ad hoc? Los agentes participantes en el autoestudio de los centros se encuentran perdidos y ello ralentiza, sin duda, el proceso de evaluación; salvo en aquellos casos en que sistemáticamente dichos agentes hayan participado como evaluadores externos y hayan elaborado un mecanismo de autoinforme propio.

Recientemente se han iniciado procesos sistemáticos de trabajo centrados en algún aspecto específico del sistema universitario (por ejemplo, la evaluación de las titulaciones y de la docencia); sin embargo, estamos lejos de disponer de un sistema integrado de indicadores que atienda la complejidad del sistema. A ello se añade la necesidad de explicitar los modelos de referencia teóricos que sustentan dichos sistemas de indicadores.

2.2. La falta de mecanismos de análisis y validación de la información recogida

Si se logra vencer este primer escollo (de la recolección sistemática de información) nos encontramos ante otros:

• La ordenación, tabulación y análisis de los datos. Tareas laboriosas no siempre fáciles, máxime cuando la mayor parte de los datos, salvo algunos específicos, son de carácter cualitativo basados en entrevistas individualizadas con diferentes agentes: profesores, estudiantes, personal de administración y servicios, equipo de gobierno de la facultad o centro universitario.

• La carencia de criterios de validación de la información recogida. Los datos cualitativos requieren de estrategias de triangulación sistemáticas que permitan contrastar la información de uno y otro tipo de agentes, lo cual no siempre es factible porque suele generarse más información de la que es posible procesar; además, los equipos no suelen tener un entrenamiento específico en el análisis de datos cualitativos y su triangulación.

Ambos aspectos tienen mucho que ver con la formación metodológica en la que no necesariamente han sido entrenados los evaluadores internos y externos implicados en el proceso de evaluación. Formación que implica saber sobre los criterios técnicos de calidad de los instrumentos utilizados en la recogida de información, así como con las características y el tipo de muestreo utilizado en las exploraciones desarrolladas, los parámetros de validez y fiabilidad (confiabilidad), ya sea desde la perspectiva de la teoría clásica de test o criterios más cualitativos (credibilidad, transferibilidad).

2.3. La inexistencia de acciones ejecutivas de implantación de mejoras inmediatas y ausencia de un soporte financiero que las operativice

La publicación del informe de evaluación y la obtención de una serie de conclusiones podrían activar diferentes tipos de acciones: rendición de cuentas (accountability), procesos de mejora (development), servir como fuente de conocimiento y compromiso con el cambio social.

Desgraciadamente, los informes de resultados presentados hasta la fecha⁷ no toman de forma seria y decidida ninguna de las funciones explicitadas, lo cual denota el importante déficit ejecutivo que sufre la universidad española. Se conoce mucho acerca de los desajustes que aquejan a nuestra universidad, pero poco o nada se hace para solucionarlos. En este sentido, Pérez García (1998, pp. 123-124) indica que para que la evaluación dé sus frutos ha de ser, en primer lugar, posible y, además, contribuir a la mejora de información y a la elaboración de documentos de planificación estratégica que sirvan de base para acciones ejecutivas con los resultados obtenidos en el proceso de evaluación. Finalmente, Harman (1999) opina que las actividades de información y seguimiento son elementos vitales de cualquier programa de garantía de la calidad considerado valioso, aunque, el mayor cambio reside en trazar métodos efectivos y capaces de ser ejecutados para alcanzar mejoras. En algunas comunidades autónomas se están experimentando modelos operativos de contratos-programas para la implantación de mejoras progresivas en diferentes universidades,⁸ pero hasta que no se estructuren y consensuen planes estratégicos globales y locales para evaluar la calidad de la educación superior todas estas medidas no dejarán de ser actuaciones puntuales de poca trascendencia.

Nada más ilustrativo de este argumento que los procesos de evaluación institucional de la docencia,⁹ por parte de los alumnos, a partir de escalas de valoración de formato Likert¹⁰ más o menos estandarizadas sobre el cumplimiento general de obligaciones del profesorado, las metodologías de trabajo, la capacidad de motivación, la pertinencia de los programas de las asignaturas, la adecuación de los modelos de evaluación. Aun cuando un profesor obtenga una valoración baja en estas escalas, dichos resultados no afectarán las retribuciones derivadas de los quinquenios docentes, concedidas automáticamente, ni tampoco su futura promoción y estabilización. Así, cabe preguntarse ¿qué razones impulsan a una universidad a poner en marcha prácticas de evaluación de la calidad docente si los resultados obtenidos no tendrán repercusión alguna? Como apunta Tejedor (2000), de los resultados obtenidos deberían derivarse procesos de toma de decisiones y pautas de renovación, cuando sean necesarias. El sentido formativo de la evaluación reside en el supuesto de la virtualidad que la información proporcionada estimule al conjunto de profesionales (docentes, investigadores y técnicos) a realizar los cambios pertinentes.

Al respecto, se han barajado diferentes criterios en la evaluación del profesorado que De Miguel (1998, pp. 70-72) sistematiza en tres criterios: de productividad, de competencia docente y de excelencia o desarrollo profesional. En el primero, criterio de productividad, podemos situar los merit pay models y los pay for performance; en ambos casos las remuneraciones del profesorado quedan supeditadas a la productividad docente según los resultados académicos del alumnado. Estos modelos de remuneración gozaron de un cierto resurgimiento en Estados Unidos durante la administración Reagan; sin embargo, debido a los desalentadores resultados alcanzados por muchos programas, estos modelos han sido modificados o eliminados.

Así, existen experiencias que han demostrado empíricamente su falta de eficacia. En este sentido, Ladd y Clofelter (1996, citados por Muir, s.f.), constataron que en un conjunto de escuelas de Dallas donde se aplicó el merit pay model los alumnos habían aumentado su rendimiento escolar antes de la puesta en práctica del modelo, razón por la que no podía asociarse el merit pay model con el aumento del rendimiento académico. Otro ejemplo recogido por Muir (s.f.) habla de la puesta experimental de los pay for performance durante la administración Nixon en Estados Unidos. En esta experiencia el profesorado era retribuido con base en el rendimiento lector del alumnado; entonces, para maximizar su remuneración algunos profesores centraron sus intereses en los alumnos de rendimiento medio, obviaron a los mejores estudiantes por considerarlos habilidosos por sí mismos, y a los peores, porque requerían demasiada atención y aportaban poca rentabilidad.

Éstas y otras experiencias y estudios desaconsejan, pues, la implantación de dichos modelos, que a pesar de ello se ejecutan en algunos países. En definitiva, no hay evidencias empíricas que demuestren que los merit pay models mejoran el rendimiento del estudiante y, sin embargo, sí pueden generar efectos colaterales perversos. Kirkpatrick (2001) y Muir (s.f.) repasan algunos de ellos:

• Los merit pay models pueden promover competitividad entre los profesores que, en virtud de sus roles, deben trabajar a menudo en equipo.

• Los merit pay models pueden "castigar" a los buenos profesores con alumnado poco motivado, escasamente habilidoso, etcétera; en suma, malos estudiantes.

• La investigación sobre la puesta en práctica de los merit pay models demuestra que los programas bajan la moral del profesorado.

• Los merit pay models pueden deteriorar las relaciones entre profesorado y administradores.

Baste recordar las palabras del famoso economista liberal Milton Friedman, recogidas por Kirkpatrick (2001, p. 1), respecto a los merit pay models: "Merit pay works in a competitive marketplace, not in a socialism enterprise such as the public school system".

2.4. Los desajustes que afectan al proceso de selección y formación de evaluadores

La metodología de trabajo del PNECU se ha basado en un modelo que conjuga la autoevaluación (Maassen,1987; Vroeijenstijn y Acherman,1990; Van Vught y Westerheijden, 1995) con la revisión por colegas (Kells,1992; Vroeijenstijn,1995) y los indicadores de rendimiento recomendados por la agencia evaluadora (Frazer, 1997).

En sintonía con ello, Harman (1999, p. 1) opina que el aseguramiento de la calidad en la evaluación de la universidad depende de:

A combination of a limited number of key methodology, the most important of which are: self-studies; peer review by panels of experts, usually involving at least some external members; the use of relevant statistical information and performance indicators; and surveys of key groups, such as students, graduates and employers.

Así pues, esta estructura de trabajo generó la selección y formación de comités de evaluación internos (CA) y externos (CEE). En ambos casos su proceso de selección no estuvo exento de problemas. De Miguel (1999a, p. 107) destaca los siguientes:

• En los CA se ha apreciado que los nombramientos de los miembros han recaído con demasiada frecuencia en las autoridades de las propias unidades y personas muy afines a los equipos de gobierno. Tampoco parece conveniente que la composición de estos CA se establezca totalmente de forma participativa, ya que se corre el riesgo de constituir una comisión más con poca capacidad operativa.

• En relación con los evaluadores externos, la falta de tradición de evaluación institucional en España ha dificultado la composición de los CEE con participantes que reunieran las condiciones establecidas y que además mantuvieran una actitud favorable para participar en estos procesos. A esto debemos añadir la disponibilidad de los participantes: obligaciones, agenda, etcétera.

• Por otra parte, la falta de experiencia evaluativa de unos y otros (CA y CEE) exigía establecer programas de formación con el objetivo de informar a los miembros de estos comités acerca de la finalidad de los procesos de la evaluación y orientarlos sobre el uso de las guías y recursos que puedan utilizar para llevar a cabo la tarea encomendada. Desafortunadamente, la experiencia nos dice que los futuros miembros de los comités, por lo menos de los de autoevaluación, son formados escasa e indebidamente. Su contacto con el proceso de evaluación puede catalogarse como un reto ante lo desconocido.

2.5. El inadecuado funcionamiento de los comités de evaluación

En términos generales la actuación de los CA puede definirse como poco satisfactoria. A la falta de publicidad de los informes, aspecto ajeno a los miembros de estos comités, debe añadirse su carácter meramente descriptivo y políticamente correcto. De Miguel (1999a, p. 108) destaca algunos problemas que condicionan la tarea de los CA:

• En muchas universidades españolas no existen unidades técnicas de evaluación (y si existen trabajan en condiciones precarias).

• Muchas instituciones adolecen de bases de datos fiables, actualizadas e informatizadas razón por la cual muchas veces se elaboran informes devaluados que se alejan de una realidad más actual.

• La coordinación e integración de información procedente de diferentes unidades a evaluar se convierte en una tarea ardua debido a la incomprensión, escepticismo y falta de colaboración de quienes tienen que facilitarla.

• La falta de disponibilidad de tiempo y ayudas concretas ha supuesto que la mayoría de los miembros de estos CA hayan vivido esta experiencia como una sobrecarga de trabajo, lo cual les ha impedido dedicar el esfuerzo que la tarea exige.

Nosotros, por nuestra parte, añadiríamos un problema común a ambos comités: el dilema entre voluntariedad versus obligatoriedad de los miembros de dichos comités. Si la participación es voluntaria corremos el peligro de la baja implicación, la desmotivación en las tareas, la inclusión de datos sesgados poco o nada verificados. Por otra parte, si la participación es obligatoria vulneramos el principio de autonomía profesional de algunos agentes universitarios. Si además no se establecen los adecuados mecanismos de compensación (económica o académica), la actividad de los miembros de los comités puede verse afectada por la incompetencia, la desmotivación y la descoordinación. En definitiva, la dialéctica sobre el tipo de participación en el proceso de evaluación es evidente y la solución no resulta nada fácil. De hecho, Harman (1999, p. 1) opina que:

An important variation between quality assurance systems is whether participation is voluntary or compulsory. Many countries began with institutional audits on a voluntary basis [...]. Generally, however, with national reviews of disciplines participation is compulsory. Even when participation in such reviews is voluntary, strong moral and professional pressures of an operate on institutions.

2.6. El cuestionamiento de los indicadores de rendimiento en relación con su confección, aplicación e interpretación

La primera idea importante sobre este aspecto es que los indicadores de rendimiento, aunque constituyen una de las herramientas más conocidas para evaluar la enseñanza, pueden entrañar cierto peligro en tres aspectos diferenciales (De Miguel, 1999b, pp. 1-4; Mora, 1999, pp. 2-3):

a) Calidad de su elaboración.

b) Uso más o menos acertado que se haga de éstos.

c) Ámbito al que hace referencia la evaluación.

Los dos primeros aspectos conformarían lo que denominamos dificultades de carácter técnico. Así, sobre la calidad de los indicadores se habla de problemas centrados en cuestiones relativas a cómo se construyen, con qué criterios deben seleccionarse y cuál es el fundamento teórico que justifica su elaboración y aplicación. Conforme a estos aspectos Wyatt, Ruby, Norton, Davies y Shrubb (1989, p. 65) y Osoro y Salvador (1994, p. 279) establecieron una serie de criterios, aún válidos para la actualidad, en la selección de indicadores.¹¹ Éstos son:

1) Importancia y uso: valor de la información para el desarrollo político, el interés de la audiencia y la rendición de cuentas.

2) Calidad técnica: basada en la validez del contexto y en la fiabilidad de la información recopilada.

3) Fiabilidad: en función del cuidado en la recogida de datos, de su coste, del análisis e informe y de la simplicidad de la información.

Sobre su uso y aplicación, la mayor parte de las críticas se centran en aspectos políticos y prácticas de los mismos en varias cuestiones:

• Falta de criterios consensuados sobre las informaciones pertinentes en relación con la calidad del objeto a evaluar (Levesque, Bradby, y Rossi, 1996).

• Cuestionamiento sobre su idoneidad y oportunidad como herramienta para la toma de decisiones, ya que un uso indiscriminado por parte de los responsables políticos puede acarrear efectos perversos sobre el sistema (De Miguel, 1999b).

• Existe el peligro de convertir los indicadores en estándares de calidad. Los indicadores de rendimiento se pueden convertir en una meta por sí mismos, y no en lo que realmente son una manifestación parcial de una realidad compleja en continua transformación y cambio (Vroeijenstijn, 1995).

• Los indicadores de rendimiento son ambiguos por naturaleza, a menos que sean utilizados en un contexto de diálogo (Bormans, Brouwer, In't Veld, y Mertens, 1987; Cuenin, 1987; Frackman, 1989). En este sentido, deben articularle procedimientos rigurosos para prever los potenciales conflictos que pudieran surgir entre los diferentes agentes implicados (Grao y Winter, 1999).

• Existe una tendencia a obtener indicadores fácilmente medibles (Weert, 1990; In't Veld, 1990; Kells, 1992); lo correcto sería tratar de medir lo que debe ser evaluado y recurrir, si es necesario, a sistemas no numéricos (Dochy, Segers y Wijnen, 1990a, 1990b). El conjunto de indicadores debe contemplar de forma sopesada información cuantitativa y cualitativa (Barnetson, 1999).

• La calidad y, por tanto sus indicadores, no es un "absoluto" de validez universal y en consecuencia fuera del lugar y del tiempo. La concreción del ámbito de la calidad la hace ser real y realista; impide que se someta a patrones rígidos de aplicación generalizada, desconectados de una realidad fáctica que impone su propia configuración (Raga, 1998). Por tanto, sin negar que los rankings tienen una utilidad periodística de interés para los medios de comunicación, son cuestionables su fiabilidad metodológica y la validez de los constructos utilizados en su elaboración son cuestionables (Berry, 1999; Morrison Magennis y Carey, 1995).

• El uso de indicadores relacionados con la asignación de fondos y elaboración de rankings puede ser especialmente problemático. Si los indicadores son malos, los recursos disminuirán y los indicadores serán malos por escasez de recursos; en suma, un círculo vicioso (Williams, 1986). La financiación ajustada a indicadores estándares que no atiende el principio de equidad es injusta, irreal y equivocada. La situación de partida de cada universidad resulta crucial. No se puede exigir lo mismo a todos los escenarios evaluados. Un tratamiento equitativo, para mejoras iguales en su financiación y posición en el ranking, implicaría que cada universidad, tuviera requerimientos distintos en función de su posición relativa de partida (Villarreal, 1999). Si no se actúa en esa dirección mucho nos tememos que:

- La financiación se vea afectada por el llamado efecto "San Mateo": se dará más a quienes más tienen y menos a quienes menos poseen.

- La clasificación de instituciones universitarias será irreal, al igual que la ganancia de un grupo cuando en un experimento no se ha partido de grupos equivalentes.

• Finalmente, resulta conveniente advertir sobre la confusión que puede producirse entre indicadores de calidad y otros aspectos como, por ejemplo: informaciones de síntesis de gestión y estadísticas, que son muy importantes para la gestión institucional pero que no son verdaderos indicadores de la calidad de una institución (Escudero, 2000). Lo cierto es que muchas veces discernir unos y otros se convierte en una tarea ardua y difícil (Dochy et al., 1990a, 1990b; Segers y Dochy, 1996). Sin embargo, como indica Escudero (1999), el evaluador debe afinar en su consideración qué es indicador de calidad y lo que parece, pero no puede ser considerado como tal. Resulta habitual confundir indicadores con estadísticas cuando en realidad los primeros (indicadores) son cuantificaciones de los recursos utilizados o los resultados obtenidos en áreas relacionadas con los objetivos de una determinada organización (Sizer, Spee y Bormans, 1992) y los segundos (estadísticas) características numéricas de una descripción empírica. Por todo ello, como bien indica Vidal (2001), los indicadores no deben ser tomados como medidas absolutas, sino que adquieren su significado en el proceso de operacionalización y acaso (añadimos nosotros) contextualización.

El tercer aspecto es el referido al ámbito de la evaluación. En este sentido encontramos que el contexto evaluado es menos controvertido en unos casos que otros. Hay disciplinas, por ejemplo la economía, donde la evaluación, per se, se considera algo consustancial y necesario; sin embargo, en otras disciplinas, como la educación, la evaluación no es siempre un proceso bien recibido. Por otra parte, y ya dentro de esta última disciplina, encontramos ámbitos donde la evaluación institucional es menos controvertida (la investigación y la gestión) y otros donde es mucho más problemática (procesos de enseñanza-aprendizaje). La explicación de tales fenómenos, quizá pueda residir en que los procesos de enseñanza-aprendizaje sean difíciles de operativizar y, en consecuencia, surgen dudas sobre si es apropiado recoger informaciones sobre los mismos utilizando indicadores de rendimiento construidos con planteamientos objetivos.

 

3. Propuestas de mejora

Con todo el catálogo de consecuencias explicitado, producto de una evaluación institucional ciertamente debilitada, parece conveniente que en torno a cada universidad se defina un marco de actuación que garantice la continuidad de las iniciativas tomadas. Es la sociedad, representada por las administraciones autonómicas, la que debe exigir la aplicación continua de estas herramientas de evaluación facilitando los medios que permitan atender, al menos, una serie de objetivos básicos:

1) Formar a los agentes voluntarios participantes en los procesos de autoevaluación interna y externa (profesorado, alumnado y el personal de administración y servicios [pas]) en el proceso de evaluación de la calidad universitaria con un conjunto de nociones y estrategias básicas de investigación.

El concepto de evaluación institucional de la calidad propuesto por De Miguel, Mora y Rodríguez, 1991; Vroejenstijn, 1995; Rodríguez, 1995 y Van Vught y Westerheijden, 1995) constituye un modelo que postula la integración de distintas modalidades de evaluación: autoevaluación más evaluación externa, es decir, la utilización de indicadores internos procedentes de la autorregulación y las revisiones por colegas (peer review).

Lo realmente capital de esta concepción de evaluación de la calidad universitaria, según De Miguel (1997a, p. 172), es su dimensión comprensiva, ya que aborda tanto procesos como productos, eficacia y eficiencia, mejora, calidad de la gestión y los procedimientos establecidos para asegurarla. La evaluación asume, desde estos parámetros, un triple enfoque: quality control, quality managament y quality assurance superando la exclusividad de las modalidades: quality audit y quality assessment de clara tendencia externa (Rodríguez, 1995; De Miguel, 1997b).

Para establecer diversas estrategias metodológicas sobre este proceso de evaluación se ha elaborado una serie de modelos con distintas fases y procedimientos (House, 1993; Van Vught, 1995; Westerheijden, 1996; Rodríguez Espinar, 1997). A nuestro juicio, el "talón de Aquiles" de la mayoría de estos modelos es la primera fase de sensibilización y preparación de dicho modelo: la selección del personal interno a la institución que tendrá a su cargo el proceso evaluativo, así como el nombramiento de las personas que tendrán a su cargo la dirección del proceso (comité de evaluación). Y si así lo consideramos es porque en la selección de dichos miembros no se tienen en cuenta algunos criterios que debieran contemplarse:

a) Criterios previos de competencia de los participantes acerca de la evaluación institucional.

b) Grado de conocimiento de sus integrantes en los procesos de investigación.

c) Nivel de implicación e interés personal de los participantes sobre la evaluación de la calidad.

De esta forma, se pueden conocer los objetivos de la evaluación: fortalezas y debilidades de la institución, y oportunidades y amenazas en relación con su desarrollo futuro; pero poco o nada se sabe acerca de la secuencia de investigación para la consecución de los mismos, las metodologías planteadas, los instrumentos de recogida de información, las estrategias de análisis de datos a utilizar o los criterios de calidad de los instrumentos de recogida de información empleados, por ejemplo.

2) Tener en cuenta indicadores objetivos para poder medirlos, pero a la par recoger observaciones, opiniones y valoraciones que hayan sido contrastadas (evidencias) y aplicarlas equitativamente según la situación de partida de cada escenario evaluado.

Nos referimos a la conveniencia de seguir manteniendo los indicadores objetivos que contempla la propia guía del PCU y el modelo de indicadores propuesto por De Miguel (1999b), pero complementar ambos aspectos con las aportaciones que pueden generar las estrategias más cualitativas. El énfasis en un mayor protagonismo de los indicadores de rendimiento (cuantitativos) en los procesos de evaluación parece estar más orientado a sustituir los procesos de evaluación propiamente dichos, como juicios de valor contextualizados y compartidos por los agentes, por procedimientos burocráticos y conclusivos que prestarían escasa atención al entorno, a las características específicas de cada unidad y a la opinión y participación de los implicados (Apodaca, 2001, p. 371). Con esta orientación metodológica se gana en transparencia y claridad, aunque es posible confundir datos estadísticos con verdaderos indicadores de rendimiento que acaso deben estar referidos a objetivos, valores, contexto y tiempo determinados (Dochy et al., 1990b). Más lejos va Frackmann (1991) al indicar que se corre el riesgo de igualar los objetivos de las instituciones con los indicadores. Así pues, resulta conveniente considerar los juicios de valor y las evidencias (datos cuantitativos, documentos, opiniones, etc.) de los agentes implicados en el proceso de evaluación, así como los indicadores objetivos que se decida contemplar (Shadish, Cook y Levinton, 1991; Apodaca y Grao, 1996).

3) Establecer criterios técnicos de selección de los indicadores de medida.

La elección de indicadores de rendimiento en la evaluación institucional universitaria debe estar sustentada por una serie de criterios técnicos como los que proponen Cave, Hanney, Henkel y Kogan (1988) y Tognolini (1991):

• Tipo de indicador: entrada-proceso-producto.

• Relevancia: objetivos y misión de la institución o departamento.

• Claridad: evitar la ambigüedad.

• No manipulable.

• Costo de recogida de información y facilidad para compararla.

• Nivel de situación: departamento, disciplina y profesor.

• Relación con otros indicadores.

Además, Osoro y Salvador (1994) proponen los siguientes:

• Coherencia: equilibrio entre indicadores de docencia, investigación y servicios.

• Confiabilidad: válido y fiable en otras instituciones o departamentos.

• Durabilidad: válido y fiable a través del tiempo.

4) Dotar a los organismos de evaluación de capacidad ejecutiva y vinculante (una vez conocidos los resultados) a fin de poner en práctica medidas correctivas, bien en la línea de rendición de cuentas, la de mejora o ambas.

La última fase del modelo de evaluación considerado contempla la elaboración de un plan de mejora que incluiría objetivos a alcanzar, acciones a emprender para conseguirlos, previsión de sistemas de control, provisión de recursos necesarios. Hasta el momento, desconocemos si se ha diseñado o implantado algún plan de mejora

Las instituciones de educación superior, pues, se han de comprometer a pasar por evaluaciones internas y externas transparentes, realizadas abiertamente por especialistas independientes (Mateo, 2001, pp. 642-643). En este sentido, la posible creación de la Agencia Nacional de Evaluación de Calidad, propuesta en el Informe Universidad 2000¹² y en la reciente LOU contribuya a la ejecución efectiva de mejoras mediante un proceso de acreditación centralizado en un organismo independiente de la institución universitaria. Al respecto, autores como De la Plaza y Peces-Barba opinan que esta independencia es insuficiente por el excesivo mecenazgo de la administración central, y la opacidad de su proceso de creación ("Creación de la Agencia Nacional de Evaluación", 2002).

En cualquier caso parece razonable, como indica Mora (2001, p. 393), emprender vías de acción en paralelo a los actuales procesos de evaluación:

• Establecer un sistema de acreditación que lleve a la calificación de las titulaciones.

• Crear un sistema de información pública sobre las titulaciones (indicadores).

• Instituir un mecanismo financiero para la mejora de la calidad.

• Organizar un sistema de certificación institucional.

Respecto al modelo de acreditación supone una distinción entre los términos certificación y acreditación. El primero (certificación) alude al proceso que garantiza que una organización reúne los requisitos establecidos para el aseguramiento de la calidad; el segundo (acreditación) incide directamente en el proceso de validación de las agencias de certificación.

Frente a este modelo se sitúa el de evaluación institucional con similares objetivos al anterior (modelo de acreditación), pero con evidentes diferencias: se orienta a formular juicios no veredictos; no siempre está determinado por estándares y fundamentalmente se sitúa en el marco de autorregulación que se genera al interior de la organización. Así, la diferencia fundamental de ambos procedimientos puede plantearse en términos de estándares frente a propósitos.

No es lo mismo evaluar una institución o programa académico en función de unas normas de calidad establecidas por determinadas agencias, que estimar la adecuación de los procesos y la calidad de los resultados obtenidos por una institución en función de los objetivos que se propone alcanzar. (De Miguel, 2001, p. 399)

Ambos modelos son compatibles y pueden establecerse conjuntamente con la utilización de indicadores de rendimiento y el establecimiento de un mecanismo financiero para la mejora de la calidad. En ambos casos deben considerarse los efectos indeseables de un mal uso de los indicadores de rendimiento y la financiación, tomando la calidad como fin. Sobre la elaboración, el uso y la interpretación de indicadores hemos desarrollado una completa disertación en líneas anteriores. En cuanto a la financiación como acicate para la calidad nos encontramos con la opción denominada utilización estratégica de la financiación (Villarreal, 1998), que responde a la preocupación creciente de las administraciones públicas de incrementar la eficacia y eficiencia del funcionamiento de las instituciones universitarias (Wagner, 1996). Tal preocupación puede encontrar cauce a través de diferentes estrategias. Con Villarreal (1998, pp.170-171) proponemos las siguientes:

1) La utilización de incentivos vinculados al nivel de rendimiento, medido en relación con la consecución de determinados objetivos (indicadores de calidad), en programas de financiación accesibles a todas las universidades.

2) El uso de contratos-programa bilaterales, en los cuales la administración determina los objetivos que pretende alcanzar para cada universidad en concreto y la financiación que va ligada a tales objetivos.

3) El establecimiento de programas competitivos de financiación. El recurso complementario está ligado a procedimientos competitivos, con un proceso de evaluación de carácter objetivo y un seguimiento de los resultados obtenidos con de dar o no continuidad en la asignación de tales recursos.

 

Referencias

Apodaca, P. (2001). Calidad y evaluación de la educación superior: situación actual y prospectiva. Revista de Investigación Educativa, 19 (2), 367-382.         [ Links ]

Apodaca, P. y Grao, J. (1996). Autoevaluación, planificación estratégica y calidad total en la evaluación y mejora de la educación superior. En J. Tejedor y J. Rodríguez (Eds.). Evaluación educativa. II Evaluación Institucional (pp. 90-110). Salamanca: Universidad de Salamanca.         [ Links ]

Barnetson, B. (1999). Key performance indicators in higher education. Alberta: Alberta Colleges and Institutes Faculties Association.         [ Links ]

Benítez, C. (2002). Los estímulos académicos ¿instrumentos de superación o medios de compensación salarial? [Reseña del libro: La experiencia institucional con los programas de estímulos: La UNAM en el periodo 1990-1996]         [ Links ]. Revista Electrónica de Investigación Educativa, 4 (1). Consultado el 5 de agosto de 2002 en: http://redie.ens.uabc.mx/vol4no1/contenido-benitez2.html        [ Links ]

Berry, C. (1999). University league tables: artefacts and inconsistencies in individual rankings. Higher Education Review, 31 (3), pp. 3-10.         [ Links ]

Bormans, M., Brouwer, R., In't Veld, R. J. y Mertens, F. J. (1987). The role of performance indicators in improving the dialogue between government and universities. International Journal of Management in Higher Education, 11 (2), 181194.         [ Links ]

Bricall, J. M. (2000, 3 de abril). Si los gobiernos no reforman la universidad, lo harán los mercados. El País, pp. 41-43        [ Links ]

Caparrós, J. (2001, 22 de enero). Por una ley de autonomía universitaria. El País. Consultado el 15 de enero de 2002 en: http://www.elpais.es/suplementos/educa/20010122/01edu22a.html        [ Links ]

Cave, M., Hanney, S., Henkel, M. y Kogan, M. (1988). The use of performance indicators in Higher Education: a critical analysis of developing practice. Londres. Jessica-Kingsley.         [ Links ]

Coba, E. (2001). La evaluación de la calidad de las universidades. Revista de Investigación Educativa, 19 (2), 383-388.         [ Links ]

Creación de la Agencia Nacional de Evaluación de la Calidad y Acreditación de las Universidades. (2002). Comunidad Escolar, 20 (704). Consultado el 12 de enero de 2003 en: http://comunidad-escolar.pntic.mec.es/704/univer1.html        [ Links ]

Conferencia de Rectores de las Universidades Españolas (1997, 17-18 de noviembre). Resultados del grupo de trabajo: Universidad y poderes públicos. Trabajo presentado en el Seminario "Los objetivos de la universidad ante el nuevo siglo". Consultado el 18 de enero de 2003 en: http://www.crue.org/confsal.htm        [ Links ]

Conferencia Mundial sobre la Educación Superior (1998). Declaración mundial sobre la educación superior en el Siglo XXI: Visión y acción. Consultado el 18 de enero de 2003: http://www.unesco.org/education/educprog/wche/declarationspa.htm        [ Links ]

Consejo de Universidades (1994). Informe final del comité técnico. Programa experimental de la evaluación de la calidad del sistema universitario (Documento No.13). Madrid: Secretaría General.         [ Links ]

Cuenin, S. (1987). L'utilisation des indicateurs de performance dans les universités: une enquéte internationale. Revue Internationale de Gestion des Établissements de Enseignement Supérieur, 11 (2), 146-169.         [ Links ]

De la Orden, A., Asensio, I., Carballo, R., Fernández Díaz, J., Fuentes, A., García Ramos, J.M, et. al. (1997). Desarrollo y validación de un modelo de calidad universitario como base para su evaluación. Revista Electrónica de Investigación y Evaluación Educativa, 3 (1), 1-24. Consultado el 5 de agosto de 2002 en: http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n12.htm        [ Links ]

De Miguel, M. (1995). Revisión de programas académicos e innovación en la enseñanza superior. Revista de Educación, 306, 427-453.         [ Links ]

De Miguel, M. (1997a). La evaluación de los centros educativos. Una aproximación a un enfoque sistémico. Revista de Investigación Educativa, 15 (2), 145-178.         [ Links ]

De Miguel, M. (1997b). La evaluación de los centros educativos. En H. Salmerón (Ed.), Evaluación educativa. Teoría, metodología y aplicación en áreas de conocimiento (pp. 151-175). Granada: Grupo Editorial Universitario.         [ Links ]

De Miguel, M. (1998). La evaluación del profesorado universitario. Criterios y propuestas para mejorar la función docente. Revista de Educación, 315, 67-83.         [ Links ]

De Miguel, M. (1999a). El Plan Nacional de Evaluación de la Calidad de las Universidades. Problemas y alternativas. Revista Interuniversitaria de Formación del Profesorado, 34, 99-114.         [ Links ]

De Miguel, M. (1999b). La evaluación de la enseñanza. Propuesta de indicadores para las titulaciones. Manuscrito no publicado.         [ Links ]

De Miguel, M. (1999c). La evaluación de programas: entre el conocimiento y el compromiso. Revista de Investigación Educativa, 17 (2), 345-348.         [ Links ]

De Miguel, M. (2001). Modelos académicos de evaluación y mejora de la enseñanza superior. Revista de Investigación Educativa, 19 (2), 397-400.         [ Links ] De Miguel, M., Mora, J. G. y Rodríguez, S. (1991). La evaluación de las instituciones universitarias. Madrid: Consejo de Universidades.         [ Links ]

Dochy, F. J., Segers, M. S. y Wijnen, W. H. (Eds.). (1990a). Management information and performance indicators in higher education: An international issue. Assen, Países Bajos: Van Gorcum.         [ Links ]

Dochy, F. J., Segers, M. S. y Wijnen, W. H. (1990b). Selecting performance indicators. En L. C. Goedegebuure, P. A. Maasen y D. I. Westerheijden (Eds.). Peer review and performance indicators (pp.27-45). Utrecht: Uitgeverij Lemma.         [ Links ]

Donaldson, J., Staropoli, A., Ottenwaelter, M.O., Thune, C. y Vroeijenstijn, T. (1994). Projects pilots européens pour l'évaluation de la qualité dans l'enseignement supérieur: lignes directrices pour les établissements participants. Bruselas: Comisión de las Comunidades Europeas.         [ Links ]

Escudero, T. (1997). Enfoques modélicos y estrategias en la evaluación de los centros educativos. Revista Electrónica de Investigación y Evaluación Educativa, 3 (1), 1-22. Consultado el 5 de agosto de 2002 en: http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n11.htm        [ Links ]

Escudero, T. (1999). Los estudiantes como evaluadores de la docencia y de los profesores: nuestra experiencia. Revista Interuniversitaria de Formación del Profesorado, 34, 31-37.         [ Links ]

Escudero, T. (2000). Evaluación de centros e instituciones educativas: las perspectivas del evaluador. En D. González, E. Hidalgo y J. Gutiérrez (Coords.), Innovación en la escuela y mejora de la calidad educativa (pp. 57-76). Granada: Grupo Editorial Universitario.         [ Links ]

Frackmann, E. (1991). Lecciones que deben aprenderse de una década de discusiones sobre indicadores de rendimiento. En M. de Miguel, G. Mora y S. Rodríguez (Eds.), La evaluación de las instituciones universitarias (pp.399-422). Madrid: Consejo de Universidades.         [ Links ]

Frazer, M. (1997). Report on the modalities of external evaluation of higher education in Europe (1995-1997). Higher Education in Europe, 22 (3), 349-401.         [ Links ]

García, E. (1992, mayo). Evaluación de la Enseñanza en la Universidad. Trabajo presentado en el simposio de Evaluación de las Reformas Educativas, Madrid.         [ Links ]

Grao, J. y Winter, R. (1999). Indicadores para la calidad de los indicadores. En J. Vidal (Coord.), Indicadores en la universidad, información y decisiones (pp. 81-87). Madrid: Consejo de Universidades.         [ Links ]

Gurrutxaga, A. (2001, 4 de junio). La reforma universitaria que no queremos. El País. Consultado el 5 de julio de 2001 en: http://www.elpais.es/suplementos/educa/20010604/aula.html

Gutiérrez, F. (2000, 2 de octubre). Debilidades en la evaluación universitaria. El País, p. 38

House, E. (1993). Professional evaluation. Social impact and political consequences. Londres: Sage.         [ Links ]

Harman, G. (1999, primavera). Management of quality assurance. International Higher Education, 15, 8-9. Consultado el 18 de enero de 2003 en: http://www.bc.edu/bc_org/avp/soe/cihe/newsletter/News15/text5.html        [ Links ]

Hüfner, K. y Rau, E. (1987). Measuring performance in higher education: problems and perspectives. Higher Education in Europe, 12 (4), 5-13.         [ Links ]

In't Veld, R. (1990, septiembre). Threats and opportunities for evaluation in higher education. Trabajo presentado en la 10^th General Conference of Member Institutions of Progamm on Institutional Management in Higher Education, Paris.         [ Links ]

Kells, H. R. (1992). Self-regulation in higher education: a multi-national perspective on collaborative systems of quality assurance and control. Londres. Jessica Kingsley Publishers.         [ Links ]

Kirkpatrick, D. W. (2001, 7 de noviembre). Merit pay: Theory and practice. Consultado el 18 de julio de 2002 en: http://schoolreformers.com/editorials/2001/meritpay.html        [ Links ]

Levesque, K., Bradby, D. y Rossi, K. (1996, mayo). Using data for program improvement: how do we encourage schools to do it? Centerfocus, 12, 59-76.         [ Links ]

López, P. (1998). Evaluación institucional: hacia un modelo europeo. En F. Michavila (Ed.). Experiencias y consecuencias de la evaluación universitaria (pp. 95-110). Madrid: Fundación Universidad-Empresa.         [ Links ]

Maassen, P. A. M. (1987). Quality control in Dutch higher education: Internal versus external evaluation. European Journal of Education, 22 (2), 161-170.         [ Links ]

Mateo, J. (2001). La evaluación institucional universitaria. Una nueva cultura de la evaluación en un contexto de cambio. Revista de Investigación Educativa, 19 (2), 641-647.         [ Links ]

Menéndez, J. (2001, 16 de julio). Sobre la proyectada reforma de las universidades. ABC, p. 40.

Michavila, F. (2001, 25 de junio). La ley universitaria se ha hecho con la vista en el retrovisor. El País. Consultado el 14 de noviembre de 2001 en: http://www.elpais.es/suplementos/educa/20010625/42francis.html

Mora, J. G. (1991). Calidad y rendimiento en las instituciones universitarias. Madrid: Consejo de Universidades.         [ Links ]

Mora, J. G. (1998). La evaluación institucional de la universidad. Revista de Educación, 315, 29-44.         [ Links ]

Mora, J. G. (1999, julio). Indicadores y decisiones en las universidades. Trabajo presentado en el Primer Seminario de Indicadores en la Universidad: información y decisiones, León, España.         [ Links ]

Mora, J. G. (2001). El marco español y europeo en las políticas de calidad. Revista de Investigación Educativa, 19 (2), 389-395.         [ Links ]

Morrison, H. G., Magennis, S. P. y Carey, L. J. (1995). Performance indicators and league tables: a call for standars. Higher Education Quaterly, 49 (2), 128-145.         [ Links ]

Muir, E. (s.f.). Merit pay and pay for performance. Consultado el 18 de julio de 2002 en: http://aft.org//newmembers/K12/merit.html        [ Links ]

Neave, G. (1997, septiembre). The evaluative State: the moment of truth from an imagined Spanish perspectives. Trabajo presentado en las jornadas Retos presentes y futuros de la Universidad, IVIE y Consejo de Universidades, Valencia, septiembre de 1997.         [ Links ]

Neave. G. y Van Vught, F. A. (1991). Prometheus bound. Oxford: Pergamon.         [ Links ]

Osoro, J. M. y Salvador, L. (1994). Criterios y procedimientos para la selección de indicadores de rendimiento en evaluación institucional universitaria. Revista de Investigación Educativa, 23, 279-282.         [ Links ]

Pérez García, F. (1998). Causas y consecuencias de la evaluación de las universidades: para qué debe servir. Revista de Educación, 315, 109-124.         [ Links ]

Pérez Rubalcaba, A. (1997, septiembre). Ley de Reforma Universitaria, Universidad y poderes públicos. Trabajo presentado en el seminario Objetivos de la Universidad ante el Nuevo Siglo. Consultado el 18 de enero de 2003 en: http://www.crue.org/pperezru.htm        [ Links ]

Quintanilla, M. A. (1998). En pos de la calidad: notas sobre una nueva frontera para el sistema sobre el sistema universitario español. Revista de Educación, 315, 85-95.         [ Links ]

Raga, J. (1998). Claros y oscuros en el proceso de evaluación de la calidad de las Universidades. En F. Michavila (Ed.). Experiencias y consecuencias de la evaluación universitaria (pp. 111-121). Madrid: Fundación Universidad-Empresa.         [ Links ]

Rodríguez , S. (1995). La evaluación de la enseñanza universitaria. En E. Oroval (Ed.). Planificación, evaluación y financiación de los sistemas educativos (pp. 150175). Barcelona: Civitas.         [ Links ]

Rodríguez, S. (1997). La evaluación institucional universitaria. Revista de Investigación Educativa, 15 (2), 179-214.         [ Links ]

Rodríguez Gómez , R. (2000). La reforma de la educación superior. Señas del debate internacional a fin del siglo. Revista Electrónica de Investigación educativa, 2 (1). Consultado el 14 de noviembre de 2001 en: http://redie.ens.uabc.mx/vol2no1contenido-rodgo.html        [ Links ]

Segers, M. y Dochy, F. (1996). Quality assurance in higher education: Theoretical considerations and empirical evidence. Studies in Educational Evaluation, 22 (2), 115-137.         [ Links ]

Sizer, J., Spee, A. y Bormans, R. (1992). The role of performance indicators in higher education. Higher Education, 24 (2), 133-155.         [ Links ]

Shadish, W. R., Cook, T. D. y Levinton, L. C. (1991). Foundations of program evaluation: theories of practice. Newbury Park, CA: Sage.         [ Links ]

Tejedor, J. (2000). Evaluación de la calidad de la docencia. En D. González, E. Hidalgo y J. Gutiérrez (Coords.), Innovación en la escuela y mejora de la calidad educativa (pp.21-57). Granada: Grupo Editorial Universitario.         [ Links ]

Tognolini, J. (1991, septiembre). Performance indicators in education: some practical problems and issues. En J. Hewton, Performace indicators in education: what can the tell us? Trabajo presentado en Third National Conference, Camberra.         [ Links ]

Van Vught, F. (1995). Managament forquality. Paris: Organización para la Cooperación y Desarrollo Económicos.         [ Links ]

Van Vught, F. y Westerheijden, D. (1995). Evaluation institutionelle et gestion de la qualité. Ginebra: Programme CRE.         [ Links ]

Vicente, J. (2001, 2 de abril). Universidad: primero evaluar; luego aumentar la financiación. El País. Consultado el 18 de enero de 2002 en: http://www.elpais.es/suplementos/educa/20010402/aula.html

Vidal, J. (2001, noviembre). ¿Cómo se utiliza la información estadística en las Instituciones de Educación Superior en España? Trabajo presentado en el V Encuentro Internacional de Responsables de Información Estadística de las Instituciones de Educación Superior. México, D. F.         [ Links ]

Villarreal, E. (1998). La financiación del sistema universitario. En J. M. De Luxán (Ed.). Política y Reforma Universitaria (pp. 159-174). Barcelona: Centro de Estudios de Derecho, Economía y Ciencias Sociales.         [ Links ]

Villarreal, E. (1999, junio). La utilización de indicadores de rendimiento en la financiación de la Educación Superior. Trabajo presentado en el Primer Seminario de Indicadores en la Universidad: información y decisiones, León, España.         [ Links ]

Vroejenstijn, A.I. (1995). Improvement and accountability: navigating between Scylla and Charybdis. Londres: Jessica Kingsley.         [ Links ]

Vroejenstijn, A. I. y Acherman, H. (1990). Control-oriented quality assessment vs improvement-oriented quality assessment. En L. C. Goedegebuure, P. A. Maasen y D. I. Westerheijden (Eds.), Peer review and performance indicators (pp.81-101). Utrecht: Uitjeverij Lemma.         [ Links ]

Wagner, A. (1996). Le financement de l'enseignement supérieur: nouvelles méthodes, nouveaux problémens. Gestion de l'enseignement supérieur, 8 (1), 719.         [ Links ]

Weert, E. (1990). A macro-analysis of quality assessment in higher education. Higher Education, 19, 57-62.         [ Links ]

Westerheijden, D. (1996). Use of quality assessment in Dutch universities. En P. A. M. Maassen y F. Van Vught (Eds.), Inside Academia. New challenges of the academic profession (pp. 269-289). Enschede, Países Bajos: Center for Higher Education Policy Studies.         [ Links ]

Williams, G. (1986). The missing bottom line. En G. C. Moodie (Ed.), Standards and criteria in Higher Education (pp. 110-125). Guildford, Reino Unido: Society for Research into Higher Education.         [ Links ]

Wyatt, T., Ruby, A., Norton, S., Davies, B. y Shrubb, S. (1989, marzo). Reporting on educational progress: performance indicators in education. Trabajo presentado en Conference of Directors-General of Education, Sidney.         [ Links ]

 

Referencias legislativas

Ley Orgánica de Universidades 6/2001, de 21 de diciembre de 2001, de Universidades. Boletín Oficial del Estado No. 307 (24 de diciembre de 2001). Real Decreto 1947/1995 de 1 de diciembre, por el que se establece el Plan Nacional de Evaluación de la Calidad Universitaria, Boletín Oficial del Estado No. 294. (9 de diciembre de 1995).

Real Decreto 408/2001 de 20 de abril, por el que se establece el II Plan de Calidad de las Universidades, Boletín Oficial del Estado No. 96 (21 de abril de 2001).

 

Notas

¹ Por ejemplo, en México a través del documento elaborado por la ANUIES titulado: "La educación superior en el siglo XXI. Líneas estratégicas de desarrollo" (Rodríguez Gómez, 2000).

² Claustros, juntas de gobierno, otro tipo de órganos de segundo orden (juntas de facultad, consejos de departamento) y finalmente las comisiones que se constituyen al amparo de éstos últimos (de docencia, economía, etc.).

³ Aprobada el 20 de enero de 2002.

⁴ Bien sea por el color político de unos y otros, bien por la evidente desconexión entre universidad y los gobiernos autonómicos y central.

⁵ Si así se hubiese actuado es posible que la actual LOU no fuese tan controvertida. En tal sentido reproducimos las palabras de Ander Gurrutxaga Abad, viceconsejero de Universidades e Investigación del gobierno vasco (Gurrutxaga, 2001):

El ministerio ha elaborado un anteproyecto de ley que tiene como objetivo transformar la estructura de la universidad sin preguntar, sin escuchar y sin consultar a la Comunidad Autónoma Vasca, que, paradójicamente debe gestionar y financiar el coste de esta ley.

⁶ Autoestudio y evaluación externa basados en el peer review en congruencia con la metodología utilizada en el marco general de buena parte de los países de la Unión Europea.

⁷ Acerca de este aspecto hay autores como De Miguel (1999a, p.110) quien opina que:

La mayoría de los informes elaborados no han tenido difusión alguna a pesar de que entre las recomendaciones explicitadas en el PNECU se estableció la necesidad de dar publicidad a toda la documentación que se genere a efectos de otorgar credibilidad al proceso de evaluación realizado.

⁸ La Unidad para la Calidad de las Universidades Andaluzas (UCUA), ha puesto en marcha para el curso académico 2002-2003 una iniciativa de este tipo que da prioridad a una serie de titulaciones dentro de las diferentes universidades andaluzas, comprometiéndose con una estructura de financiación que haga viable la implantación de mejoras.

⁹ Procesos que se están desarrollando en la actualidad en diversas especialidades de la Universidad de Granada.

¹⁰ Tipo de escala de actitud conformada por una colección de ítems o frases relacionadas con una dimensión o rasgo y sobre las que se emite un juicio de acuerdo o de desacuerdo. Lo habitual es contemplar cinco posibles opciones de valoración, que se distribuyen en un continuo bipolar desde el menor al mayor acuerdo o viceversa.

¹¹ El lector interesado podrá encontrar una amplia y detallada descripción de las tipologías de indicadores que se contemplan en el PNECU (Plan Nacional de Evaluación de la Calidad en la Universidad) en la página web: www.mec.es/consejou/indicadores/index.html.

¹² En esencia el Informe Universidad 2000 es un extenso catálogo de recomendaciones acerca de diversos aspectos de la vida universitaria española que ha tomado como referencia reportes anteriores como: los informes Attali de Francia, Dearing de Gran Bretaña o Boyer de Estados Unidos de América. Las recomendaciones más novedosas que se articulan en el documento son aquéllas que tratan sobre un nuevo sistema de acreditación de las universidades y titulaciones, otro nuevo sistema más flexible sobre las enseñanzas, el refuerzo de la financiación pública, el aumento de las becas, la modificación del sistema de acceso del profesorado universitario, el gobierno y la administración, y la creación de empresas que exploten la investigación universitaria.