La evaluación de la investigación universitaria en ciencias jurídicas en el marco general español

Gustavo de las Heras* y Gema Polo**

* Catedrático de Derecho Romano, Universidad de Castilla–La Mancha, Correo e: Gustavo.heras@uclm.es

** Profesora de Derecho Romano, Universidad de Castilla–La Mancha, Correo e: Gema.polo@uclm.es

Ingreso: 26/02/08 ]]> Aprobado: 29/11/08

Resumen

Se analiza el marco legislativo español que regula la actuación de las distintas agencias estatales de evaluación, su adecuación con la realidad investigadora de las disciplinas jurídicas y los expertos que la ejecutan. El mayor problema ubicado es la escasez de criterios e instrumentos de evaluación que permitan hablar de una actividad evaluadora para el ámbito jurídico. Se ponen de relieve los graves problemas que aquejan a la evaluación realizada por las distintas agencias de gran importancia para el caso de la investigación jurídica: la falta de especialización o la aplicación de criterios de otras disciplinas.

Palabras clave: universidad, educación superior, educación y Estado, evaluación, legislación universitaria, desempeño del profesor, investigación jurídica.

Abstract

The aim of this report is to analyze the legislative Spanish frame that regulates the performance of different state agencies of evaluation, and their adequacy with the investigative reality on the juridical disciplines and their investigators. The major located problem is the shortage of both criteria and evaluation tools, which enable to talk about the specific evaluation activity of the legal framework. Serious difficulties arose from the evaluation done by the Agencies, as well as the lack of specialization and the implementation of criteria coming from different scientific disciplines.

Key words: universities, higher education, education and State, evaluation, university legislation, professor's acting, juridical research.

La potenciación de la universidad como espacio primordial y estratégico en el desarrollo de la investigación, la consideración de esta última como un indicador relevante de su grado de modernización y la confianza en la competencia para la distribución de recursos financieros escasos como garantía del mejoramiento de la calidad, han dado lugar a la implantación de sistemas que, articulados en el trípode evaluación del desempeño de la actividad investigadora, rendición de cuentas y remuneración diferenciada, pretenden construir nuevos patrones de comportamiento e institucionalizar y legitimar una nueva cultura institucional. Situación que, en tanto establece una serie de condicionantes a quienes ejercen la profesión académica, cualquiera que sea el área disciplinar de procedencia, afecta valores históricamente arraigados a quienes la ejercen, tales como la autonomía, la libertad de cátedra y la originalidad y la creatividad en la investigación científica (Araujo, 2003).

No obstante, la evaluación de la investigación ha existido siempre en el ámbito de la comunicación científica. En este sentido, la evaluación es consustancial a la investigación, forma parte de su propia esencia. Sin embargo, es relativamente reciente la evaluación que podríamos llamar institucionalizada de la investigación, que buscaba la declaración de "conocimiento válido" o "certificado de calidad". Por regla general, se atribuye el origen de esta práctica institucionalizada, a través de pares o expertos, al procedimiento establecido en 1665 por la Royal Society para la publicación en Philisophical Transactions, según el cual debía contarse con el informe favorable de un miembro de la Royal Society.

A partir de ese momento se ha desarrollado la evaluación de la investigación dentro de la propia comunidad científica, crecientemente universitaria, fundamentalmente a través de la evaluación por pares expertos de los artículos científicos (para su publicación) o de los méritos investigadores (para la contratación, promoción o mejora retributiva de los investigadores). Pero conforme se fueron destinando más recursos, públicos y privados, a la financiación de proyectos de investigación, la evaluación ex ante, mediante pares expertos, va ganando terreno y se percibe una creciente preocupación por la metodología de la evaluación científica. De este modo, al finalizar los años setenta ya existía en los Estados Unidos una cierta preocupación por los procedimientos de evaluación utilizados por las agencias en la asignación de fondos de investigación.

Sin embargo, es en la década de los años ochenta, como consecuencia de la crisis económica mundial, cuando se impone internacionalmente la llamada "cultura de la evaluación", que va penetrando con intensidad en todos los ámbitos, especialmente en el de la investigación y de la educación superior¹. En efecto, ante la citada crisis económica, los Estados y la propia sociedad se vuelven más exigentes, especialmente Estados en los que en ese periodo se asistía además a un proceso de creciente descentralización de las instituciones universitarias y de investigación. Se exige un mayor conocimiento de los procesos de investigación y de educación superior; mayor rigor en la rendición de cuentas y la asunción de responsabilidad, queriendo introducir criterios de eficacia y eficiencia (accountability). También se pide un mayor control sobre la investigación y sobre la educación superior y, con ello, sobre el conocimiento, con la finalidad (o justificación) de que sirva mejor al bienestar de la sociedad.

Así, en gran parte de estos países surgió el concepto "Estado evaluador", expresión dada a una política hacia el sistema, la ciencia y la tecnología, que liga la financiación a la evaluación de resultados, con un fuerte control del gasto y de las prioridades de las instituciones de educación superior (IES) por parte del Estado (Neave, 1990).

Efectivamente, la evaluación de la investigación, como consecuencia de esa actitud social y política, se convierte en un instrumento político de primera magnitud, mediante el que se pretende determinar la asignación de recursos o de incentivos, conforme a lo que se consideran las necesidades nacionales; para cambiar estructuras organizativas, métodos, actitudes; incluso para incidir en la dirección del desarrollo del conocimiento de las diversas disciplinas, como, por ejemplo, las disciplinas jurídicas.

No obstante, el propio sistema de evaluación de la investigación provee de interesantísimos datos para apreciar la situación y las tendencias de investigadores, programas e instituciones de investigación, que sirven para apreciar también las propias políticas públicas y debería servir fundamentalmente para orientar a esos investigadores, programas e instituciones hacia una mejora permanente.

En este contexto internacional, España se introduce, en los años ochenta, en esa llamada "cultura de la evaluación", con la aparición de las políticas propias del "Estado evaluador", centradas, en un primer momento, en un control sobre los fondos estatales asignados a proyectos de investigación y en reorientar el sistema español de ciencia y tecnología.

El panorama de la evaluación de la investigación en España ha estado dominado, casi en exclusiva, por la evaluación ex ante de los proyectos de investigación (a los efectos de obtener financiación) y la evaluación de la actividad investigadora de los individuos (a los efectos de los sexenios²) (Sanz, 1995). En España la evaluación de la investigación sigue centrada en tales aspectos, mientras que en otros países la evaluación de los proyectos de Investigación y Desarrollo (I+D) está interiorizada en el sistema y se debate más sobre la evaluación de otros objetos, tales como los centros de investigación, las universidades o los programas de I+D, tanto desde el punto de vista de su calidad o excelencia como de sus impactos socioeconómicos.

En la actualidad, como veremos, la evaluación de la labor investigadora del profesorado universitario, tal y como se contempla en la vigente legislación española, es llevada a cabo por diversas Agencias estatales y autonómicas, sobre la base de una serie de criterios e instrumentos establecidos, igualmente, dentro del marco legal correspondiente, sirviendo esta evaluación a muy distintos fines (complementos retributivos, financiación de proyectos, contratación, acreditación), aunque con un pretendido objetivo común a todos ellos: acreditar la calidad de la investigación y la experiencia investigadora del evaluado.

Precisamente, una de las conclusiones de la "I Jornada sobre la evaluación de la investigación jurídica en España", fue el problema que supone la existencia de diferentes valoraciones sobre un mismo currículum (Facultad de Derecho de la Universidad de Barcelona, 2006).

Objeto de estudio en el presente trabajo será, por tanto, el análisis del marco legislativo que regula la actuación de las distintas agencias estatales de evaluación, así como los instrumentos y los criterios e indicadores establecidos para la evaluación de la investigación, a fin de examinar su adecuación con la realidad investigadora de las disciplinas jurídicas sometidas a evaluación y de quienes llevan a cabo esa investigación.

Remontándonos a los antecedentes de la evaluación centralizada del profesorado universitario en España, se suele admitir que tal evaluación tiene origen en el artículo 45, párrafo 3° de la Ley Orgánica 11/1983, de 25 de agosto, de Reforma Universitaria: "Los Estatutos de la Universidad dispondrán los procedimientos para la evaluación periódica del rendimiento docente y científico del profesorado, que será tenido en cuenta en los concursos a que aluden los artículos 35 a 39, a efectos de su continuidad y promoción".

La repercusión práctica de la citada normativa fue bastante escasa. En realidad, la consideración de los méritos docentes e investigadores del profesorado universitario siempre se había tenido en cuenta a efectos de su "continuidad y promoción", por lo que no se añadía nada nuevo. La novedad estribaba en que la Ley pretendía que esa consideración se basara en una previa evaluación por parte de la universidad, dentro de un respeto a la autonomía universitaria, que guiaba como principio los preceptos legislativos. Pero las distintas universidades realizaron las evaluaciones de muy distinta manera y con muy distinta intensidad. En cualquier caso, comenzaron las evaluaciones y proliferaron las encuestas a los estudiantes universitarios.

ANEP: evaluación para la financiación

No obstante, la primera acción decidida y con importantes repercusiones prácticas del "Estado evaluador" español, centrada, en un primer momento, como dijimos, en un control sobre los fondos estatales asignados a proyectos de investigación y en reorientar el sistema español de ciencia y tecnología, fue la creación, en el año 1986, de la Agencia Nacional de Evaluación y Prospectiva (ANEP)⁵, una unidad dependiente de la Secretaría de Estado de Universidades e Investigación, del Ministerio de Educación y Ciencia.

Dos son las funciones encomendadas a la ANEP:

a) Evaluación científico–técnica –objetiva e independiente– de las unidades, equipos humanos y las propuestas de investigación, para participar en los programas y proyectos del Plan Nacional, así como el seguimiento de los resultados. Asimismo, evaluar cuantas propuestas científico–técnicas le sean encomendadas por el Secretario de Estado de Universidades e Investigación.

b) Estudios y análisis prospectivos en materia de investigación científica y desarrollo tecnológico.

Se pretendía establecer un mecanismo de evaluación científica realizada con el máximo rigor e independencia, que ayudara a tomar decisiones relacionadas con la financiación de proyectos de investigación y otras ayudas a la I+D. Las evaluaciones científicas de la Agencia debían ser realizadas por expertos anónimos, basándose esencialmente en el sistema de "evaluación por pares" (peer review) y serían utilizadas por los organismos gestores para decidir mejor acerca de la financiación de ayudas y subvenciones.

Desde su creación, la ANEP aporta uno de los dos elementos necesarios para la selección de actividades que pueden ser financiadas: la supuesta evaluación científico–técnica. El otro elemento, un informe sobre la oportunidad de la financiación y la adecuación a los objetivos de política científica, es de la competencia directa del gobierno.

No obstante, el hecho de que la evaluación se realice por una institución distinta de la institución responsable de la financiación, no significa la independencia, aunque añada un mecanismo adicional de garantía en la evaluación que, en su momento, supuso un cierto avance: de hecho la institución evaluadora es un organismo dependiente del gobierno. Por otra parte, el nombramiento de los supuestos pares expertos, encargados de la evaluación científico–técnica, depende directa o indirectamente del gobierno. Además, al tratarse de nombramientos secretos, no existe garantía sobre la idoneidad curricular o disciplinar de los supuestos pares⁶. Todo ello es especialmente grave en la evaluación de Proyectos del ámbito jurídico, al tratarse de materias que pueden estar muy ligadas a las acciones del gobierno, de ahí la especial importancia de la independencia y de materias cuya especialización se remonta a muchos años atrás, de ahí la importancia de la especialidad y cualificación de los pares, que es especialmente determinante.

Sería muy conveniente, por tanto, asegurar la existencia de organismos de evaluación científico–técnica verdaderamente independientes respecto del gobierno, con participación institucionalizada por parte de la comunidad científica; igualmente, resultaría de interés asegurar que la evaluación la realizaran pares idóneos, por su currículum y por su especialidad, y en número suficiente. En cualquier caso, hace falta (y resulta especialmente grave en un organismo evaluador) una evaluación, preferiblemente externa, que ponga de relieve los posibles sesgos o deficiencias en la actuación de la ANEP, sus debilidades y fortalezas, así como los datos significativos, positivos y negativos, de sus evaluaciones⁷. Igualmente necesaria es una encuesta a los usuarios sobre el grado de satisfacción respecto de las actuaciones de la Agencia y que recoja la opinión de los mismos sobre las garantías de una evaluación justa, sobre las deficiencias del procedimiento, etc.

En cuanto a los criterios de evaluación para un proyecto de investigación, están incluidos los siguientes: 1.– Interés de los objetivos; 2.– Experiencia del equipo; 3.– Viabilidad de la propuesta y Coordinación; 4.– Adecuación del Presupuesto.

Se trata de criterios generales para todas las áreas temáticas y muy genéricos, lo que, unido al desconocimiento sobre quiénes son los evaluadores y su grado de especialización, genera una gran inseguridad y hace inservible el sistema para una función formativa y orientadora con relación a la actividad investigadora.

Lo deseable, por tanto, sería elaborar un documento de criterios de evaluación precisos, con inclusión de estándares e indicadores, para cada una de las áreas temáticas y, preferiblemente, para cada una de las subáreas, por ejemplo Área de Derecho, subárea de Derecho romano.

CNEAI: evaluación del desempeño investigador para un pago por mérito

Con posterioridad, fue el Real Decreto 1086/89, de 28 de agosto, sobre Retribuciones del Profesorado Universitario⁸, el que estableció dos sistemas independientes para la evaluación de la docencia y de la investigación, mediante la introducción, en su artículo 2, de dos nuevos conceptos retributivos: complemento por méritos docentes (conocido como quinquenio) y complemento de productividad investigadora (conocido como sexenio), incardinados en un mecanismo incentivador de la labor docente e investigadora individualizada⁹ (Legislación, 1989). A fin de iniciar la evaluación de la actividad investigadora del profesorado universitario que así lo solicitara, para dar plena efectividad a la aplicación del nuevo sistema retributivo establecido por el Real Decreto 1086/89 y como desarrollo de su artículo 2.4.2, anteriormente citado, la Comisión Nacional Evaluadora de la Actividad Investigadora del Profesorado Universitario (CNEAI) fue creada por Orden Ministerial de 28 de diciembre de 1989.

La función de la CNEAI consiste en llevar a cabo la evaluación de la actividad investigadora de los profesores universitarios –sobre la base de una solicitud voluntaria, al tratarse de conseguir un complemento de productividad, por periodos de seis años– y su finalidad, la misma que la atribuida al complemento de productividad: "fomentar el trabajo investigador de los profesores universitarios y su mejor difusión, tanto nacional como internacional"¹⁰, con un objetivo esencial, fomentar la investigación que produce resultados científicos o socioeconómicos relevantes entre los investigadores.¹¹

En todo caso, cabría advertir, siguiendo a Janey (1996), que el sistema de pago por desempeño o merit pay, como el que se implantó con el citado Real Decreto, no debe utilizarse para sustituir o completar un salario considerado insuficiente, puesto que operaría como herramienta coercitiva¹² y no como instrumento incentivador, además de resultar inservible para una evaluación formativa. En un sentido similar, señala Zapata (2004) que los incentivos docentes e investigadores sean del origen que sean (nacionales, autonómicos, de la propia universidad) deben de servir para premiar la calidad, no para complementar salarios exiguos y, en cualquier caso, nunca deberían perderse con la jubilación.

Además, el sistema de merit pay puede llevar a consecuencias indeseadas, sin que necesariamente responda a los fines perseguidos. Así, consecuencias de tal sistema son el privilegio de la norma sobre la creatividad (Olmedo, 2001) y la pérdida de la ética para efectuar un trabajo de calidad (Gil, 1998).¹³ Por su parte, Ibarra señala que el profesorado se enfoca a realizar actividades que le proporcionan más puntos para obtener mayores ingresos, pero así es despojado de su capacidad para concebir y desarrollar su propio trabajo (2001). También se puede mencionar la falta de compromiso del académico con la institución y la sociedad, puesto que sólo realiza actividades o proyectos de trabajo que le proporcionan mayores estímulos económicos. Además, esto propicia la comercialización y el proceso de evaluación se desvirtúa (Silva, 2007).

De otra parte, como dijimos, el sistema puede no responder a los fines propuestos. Así, Comas (1999) estudió los estímulos al desempeño docente en la Universidad Autónoma Metropolitana en México y concluyó que: a) la evaluación indujo al profesorado a la dosificación de su producción anual para mantenerse en el programa de estímulos y optó por trabajos menos ambiciosos; b) no aumentó la calidad del trabajo, la obsolescencia de planes ni de programas de estudio; c) no mejoró la vinculación con la empresa.

Algunos autores han dado un papel central a la CNEAI en el fomento de la investigación científica en España, señalando a la evaluación del desempeño realizada por esta institución, como uno de los elementos esenciales en el aumento de la producción científica española en los últimos años. Parecería que se ha dado un considerable cambio de tendencia en la producción científica española a partir de la introducción del complemento salarial que coloquialmente llamamos "sexenios" y de la evaluación de la CNEAI. Sin embargo, no está demostrada la vinculación de la actividad evaluadora del desempeño investigador por parte de la CNEAI y, en consecuencia, del sistema del merit pay con el aumento de la producción científica en España.

De este modo, si tenemos en cuenta la evolución de otras variables en los años anteriores y posteriores a la creación de la CNEAI y, por tanto, de la implantación del sistema del pago por mérito, comparándolas con la evolución de la producción científica, tendremos que admitir que siguen patrones de tendencia bastante similares. Se confirma así una hipótesis de partida bastante simple, también: "a mayores recursos materiales y humanos, mayor producción" (De las Heras y Polo, 2008).

La evaluación de la actividad científica en el seno de la CNEAI es un proceso reglado que se rige, de un lado, por los criterios generales de evaluación, incluidos en el artículo 7 de la Orden del Ministerio de Educación y Ciencia, de 2 de diciembre de 1994.¹⁴ Años más tarde se comprendió la dificultad de aplicación práctica de dichos criterios generales a la totalidad de los campos científicos y, a pesar de mantenerlos, se complementaron con los criterios específicos establecidos, para cada uno de los campos de evaluación.

En cualquier caso, los criterios específicos por campos científicos se plasmaron en la Resolución de 25 de octubre de 2005, de la Presidencia de la CNEAI,¹⁶ criterios específicos respecto de los que, desde su publicación, en cada nueva convocatoria anual, la CNEAI acuerda introducir algunos cambios que recogen la experiencia de la última convocatoria, tal y como ocurre en la presente, acordada por Resolución de 6 de noviembre de 2007, de la Presidencia de la CNEAI, por la que se establecen los criterios específicos en cada uno de los campos de evaluación.¹⁷

La introducción de los criterios específicos en 2005 supone un cambio significativo en la orientación de la actividad evaluadora llevada a cabo por la CNEAI. Pero, además, se aplica con carácter retroactivo a las actividades de investigación que, desde hacía años, se venían realizando exclusivamente sobre la base de los criterios generales anteriormente existentes. Si ello es grave, mucho más grave es perseverar en esa aplicación retroactiva de criterios (Resolución de 2007), que puede suponer graves perjuicios para los afectados. Además, es falso que se trate de cambios no sustanciales. Si nos fijamos en el texto de la anteriormente citada Resolución de 6 de noviembre de 2007 (n.17) y lo comparamos con la anterior Resolución de 2005 (n.16), vemos que las diferencias son esenciales.

No obstante, cuando se habla, con la terminología que utilizan en la Comisión, de criterios específicos, no son claramente discriminadores y concretados en indicadores precisos, sobre la base de estándares adecuados. Son simplemente referencias más abundantes y propias de los campos establecidos. Y con ellas se pretende dar apariencia de regladas y objetivas a actuaciones necesariamente discrecionales, lo que conduce a generar un mayor clima de desconfianza y desconcierto.

Junto a esos llamados criterios generales y específicos, es fundamental tener en cuenta que, siguiendo el texto literal del preámbulo de la anteriormente citada Resolución de 6 de noviembre de 2007, dentro de la tarea general de orientación y actualización de los criterios con los que actúa la CNEAI, como se señalaba en la Resolución de 25 de Octubre de 2005, un aspecto importante es determinar las condiciones formales que se deben exigir a un medio de difusión de los resultados de la investigación, para que pueda esperarse un impacto aceptable de los mismos.

En algunos de los distintos ámbitos del saber, científico, técnico y social existen índices internacionales que ordenan, por grado de difusión, las publicaciones de reconocido prestigio. No es el caso del ámbito jurídico, en el que apenas unas cuantas revistas americanas aparecen en los índices generales de Ciencias Sociales y muy pocas, a pesar de su indiscutible prestigio, asumen los llamados "criterios de calidad".

La CNEAI asume que aparecer en dichos índices es garantía para que los contenidos publicados en esa revista tengan suficiente calidad. Más complicado resulta determinar cuándo existe una garantía de calidad en un medio de difusión que no aparece en índices internacionales, como hemos dicho es el supuesto general de las publicaciones jurídicas internacionales.

La Resolución deja abierta la posibilidad para que los autores comuniquen a la Comisión evaluadora las citas y reconocimientos independientes que han tenido hasta ese momento las publicaciones que refrendan la actividad investigadora realizada. Además, para paliar la dificultad señalada, esta Resolución incluye, en el Apéndice 1, una lista de criterios formales mínimos que debe cumplir un medio de difusión de la investigación para que pueda ser reconocido a priori como de suficiente garantía. La lista de criterios está inspirada en los que rigen en las publicaciones que forman parte de los índices internacionales consolidados.

Pero, en este punto, sería muy conveniente recordar las palabras de uno de los más importantes especialistas en Bibliometría, Luis Ferreiro (1986), que resumía las observaciones de precedentes trabajos (Ferreiro, 1984a y 1984b): "Cualquier intento de definir, a través del método objetivo bibliométrico, la calidad científica de un trabajo carecería de sentido, pues la valoración de aquella tendrá siempre un carácter subjetivo y, por tanto, no científico en sentido estricto" (358).

La aplicación de estos criterios de la evaluación de la investigación en el campo de las ciencias jurídicas, al igual que para el resto de los campos, se realiza a través de comités asesores. Y es que, según el artículo 3.2 de la Orden de 2 de diciembre de 1994, por la que se establece el procedimiento para la evaluación de la actividad investigadora, en desarrollo del Real Decreto 1086/1989, de 29 de agosto, sobre retribuciones del profesorado universitario:

La Comisión Nacional podrá recabar, para desempeñar su cometido, el oportuno asesoramiento de los miembros de la comunidad científica, articulándolo a través de Comités asesores por campos científicos. El nombramiento de los miembros de estos Comités asesores lo realizará el Presidente de la Comisión Nacional, a propuesta de ésta. Cuando la especificidad de un área de conocimiento determinada o de la actividad investigadora a evaluar lo haga aconsejable, la Comisión Nacional podrá recabar, además, el asesoramiento de otros especialistas vinculados con esa área o actividad específica. Las circunstancias de estos especialistas deberán ser comunicadas a los interesados a efecto de lo previsto en el número 4 de este artículo.¹⁸

Por lo tanto, salvo que concurran circunstancias especiales (que en la práctica no se contemplan), la actividad investigadora del profesorado universitario en el ámbito jurídico no será juzgada, en el caso de la CNEAI, por pares expertos en el Área de conocimiento del evaluado. Por lo que la actividad investigadora de un romanista puede ser evaluada por civilistas, procesalistas, administrativistas, etc.

ANECA: evaluación del desempeño investigador para el acceso a contratos o cuerpos de funcionarios

Una vez expuestos los criterios de evaluación de la investigación del profesorado universitario, dedicado a las disciplinas jurídicas, en relación con el complemento de productividad (sexenios) que lleva a cabo la CNEAI y los de la ANEP, encaminados a la evaluación de proyectos, a continuación nos centraremos en el sistema ideado para la evaluación de la investigación del profesorado universitario, como condición previa a su acceso a los cuerpos docentes universitarios y a las figuras contractuales de profesorado universitario.

Y es que lo peor del "Estado evaluador" estaba por descubrirse y vino de la mano de la Ley Orgánica de Universidades (LOU), Ley Orgánica 6/2001, de 21 de diciembre, a través de las llamadas acreditaciones para el profesorado contratado. Así, mientras que su artículo 31 establecía que los objetivos de la promoción y garantía de calidad se cumplirán mediante la evaluación, certificación y acreditación por Agencias de Evaluación de Calidad (nacional o autonómicas) de las actividades docentes, investigadoras y de gestión del profesorado universitario; los artículos 50–52 señalaban que para la contratación del profesorado, por parte de las universidades, se requiere previamente una evaluación positiva de su actividad por parte de una agencia de evaluación. Para llevar a cabo esta acreditación, se crea una agencia estatal más: la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Pero además se están creando tantas agencias de acreditación como comunidades autónomas, que podrán realizar esa misma evaluación y con los mismos fines, pero con eficacia limitada a las universidades que se encuentren en el ámbito geográfico de su competencia. Todo lo cual supone, desde nuestro punto de vista, una seria limitación, cuando menos, de la autonomía universitaria (Clemente, et al., 2008).Todo este sistema de acreditación ha sido ratificado e incrementado por la nueva Ley Orgánica 4/2007, de 12 de abril, de modificación de la Ley Orgánica de Universidades, que lo extiende al acceso a los cuerpos de funcionarios de universidad y lo mantiene para las figuras contractuales subsistentes a la reforma. En nuestra opinión, para ambas situaciones, este sistema de acreditaciones previas ha supuesto un importantísimo cambio en las reglas del juego una vez que los "corredores" habían tomado la salida, afectando gravemente al diseño de la carrera académica.

De esta forma, nuestro ordenamiento jurídico presenta dos grandes modalidades en la acreditación: A) acreditación nacional para el acceso a cuerpos de funcionarios; B) acreditación nacional o autonómica para el acceso a los contratos. Acreditación nacional para el acceso a cuerpos de funcionarios

El artículo 60 de la citada Ley Orgánica 4/2007, establece que el artículo 57 de la LOU queda redactado del siguiente modo: 1. El acceso a los cuerpos de funcionarios docentes universitarios mencionados en el artículo 56.1 exigirá la previa obtención de una acreditación nacional que, valorando los méritos y competencias de los aspirantes, garantice la calidad en la selección del profesorado funcionario. El Gobierno, previo informe del Consejo de Universidades, regulará el procedimiento de acreditación que, en todo caso, estará regido por los principios de publicidad, mérito y capacidad, en orden a garantizar una selección eficaz, eficiente, transparente y objetiva del profesorado funcionario, de acuerdo con los estándares internacionales evaluadores de la calidad docente e investigadora.

La acreditación nacional para el acceso a los cuerpos docentes universitarios está regulada en el Real Decreto 1312/2007, de 5 de octubre,¹⁹ en cuyo preámbulo, expresamente, queda recogido que, uno de los ejes vertebradores de la reforma universitaria es el relativo a la nueva configuración de la docencia universitaria, que se manifiesta, por un lado, en la estructuración del personal docente universitario en dos únicos cuerpos y, por otro, en el establecimiento de un nuevo modelo de acreditación de elegibles, lo cual permitirá que las universidades puedan elegir a su profesorado, de manera mucho más eficiente, entre los previamente acreditados.

Sólo con fijarnos en las frases remarcadas, ya podemos observar en la normativa reguladora de la selección del profesorado universitario un marcado tono de desconfianza respecto de la situación actual y de la actuación de las universidades. Desconfianza en la calidad del actual profesorado universitario, si bien los datos de los sucesivos informes de la OCDE nos indican que esa calidad está por encima del esfuerzo económico que el Estado español realiza en cuanto a remuneración y medios disponibles.

Es el nuevo sistema el que pretende garantizar una calidad que antes no debía estar suficientemente garantizada, según la nueva legislación. La diferencia fundamental es que el sistema anterior recaía en un proceso de selección protagonizado por las universidades, mientras que el actual sistema recae en un proceso de selección protagonizado por la ANECA y, por tanto, desde el poder político.

De otra parte, el citado artículo 57 de la modificada LOU señala: 2. La acreditación será llevada a cabo mediante el examen y juicio sobre la documentación presentada por los solicitantes, por comisiones compuestas por al menos siete profesoras y profesores de reconocido prestigio docente e investigador contrastado pertenecientes a los cuerpos de funcionarios docentes universitarios... Igualmente, podrán formar parte de estas comisiones expertos²⁰ de reconocido prestigio internacional o pertenecientes a centros públicos de investigación. En todo caso, deberá ajustarse a los principios de imparcialidad y profesionalidad de sus miembros, procurando una composición equilibrada²¹ entre mujeres y hombres... Asimismo, en el mencionado Real Decreto se dice que el sistema planteado se inspira en la tradición académica de la evaluación por los pares, tradición que se incorpora a todo el proceso y, de manera explícita, en el requerimiento de informes de especialistas en la disciplina de cada uno de los candidatos. El modelo de evaluación por los pares del profesorado, continúa en su redacción del Preámbulo, se ha venido utilizando por diversas instituciones en España a lo largo de los últimos años. La experiencia acumulada permite ahora plantear este nuevo modelo de acreditación de profesorado, como paso previo a los concursos de acceso dentro de las universidades. De este modo, en el artículo 15 se especifica que deberán informar al menos dos expertos del ámbito científico y académico correspondiente.

Preferimos pensar que no se quiere confundir deliberadamente la evaluación por pares expertos con el informe de dos expertos. Nada se dice de si los expertos serán secretos, como ya ocurre en la ANEP. Nada se dice de si el "ámbito científico y académico" de esos expertos serán las actuales áreas de conocimiento. Nada se dice de que estos informes vayan a ser públicos o, al menos, conocidos por el interesado. Todo esto, entre otros muchos aspectos problemáticos (Clemente, et al., 2008). Pero, sobre todo, la valoración de los méritos y competencias de los aspirantes a la obtención de la acreditación se realizará por comisiones de acreditación, sin que necesariamente hayan de someterse al parecer de los expertos informantes, y se constituirán al menos una Comisión para cada una de las acreditaciones a que se refieren los artículos 12 y 13 y para cada una de las ramas del conocimiento siguientes: Artes y Humanidades; Ciencias; Ciencias de la Salud; Ciencias Sociales y Jurídicas, e Ingeniería y Arquitectura.²²

Por lo tanto, dicha valoración no se realiza por pares expertos, ya que los méritos y competencias de un romanista podrán ser valorados por un penalista o, lo que es muchísimo más grave, por un sociólogo o un economista.

Para la valoración positiva se evalúan la experiencia investigadora, además de la docente, la formación académica, experiencia profesional y otros méritos. Así, los criterios para esa evaluación, sin distinción por campos del conocimiento, áreas o disciplinas, vienen incluidos en un Anexo al Real Decreto. Centrándonos en los que sirven para evaluar la actividad investigadora, estos son: a) Calidad y difusión de resultados de la actividad investigadora (publicaciones científicas, creaciones artísticas profesionales, congresos, conferencias, seminarios, etc.); b) Calidad y número de proyectos y contratos de investigación; c) Calidad de la transferencia de los resultados. Patentes y productos con registro de propiedad intelectual, transferencia de conocimiento al sector productivo, etc.; d) Movilidad del profesorado, estancias en centros de investigación, etc.; e) Otros méritos. Al respecto, si se analizan los criterios descritos y los estándares, se puede comprobar que no se garantiza la objetividad, pues por una parte, los criterios son muy generales y no se definen de manera operativa (por ejemplo, publicaciones científicas) y, por otra parte, no se conoce el valor de cada criterio (Buela–Casal, 2007a).

En cualquier caso, respecto del procedimiento de evaluación para la acreditación de la calidad del profesorado universitario, llevada a cabo por la ANECA, habría que recordar las palabras de Peter Williams, Director de la QAA y presidente de ENQA: "no son lo mismo los criterios o estándares que la calidad; la calidad necesita tiempo y es cara; y la garantía de la calidad no es la respuesta a todos los problemas" (Williams, 2006: 8).

Además, las diferentes agencias evaluadoras no deben convertirse en meros agentes de control y, por el contrario, con sus evaluaciones deben orientar y ayudar a los evaluados, personas o instituciones, en sus procesos de mejora actuando, por tanto, como agencias valoradoras más que meramente evaluadoras; y para hacer efectivos los procesos de mejora, es preciso desarrollar procesos de evaluación sobre espacios de confianza, basados en la colaboración y la coordinación con las universidades (Gabilondo, 2005).

Con respecto a la contratación del profesorado, la Ley Orgánica 4/2007, de 12 de abril, establece, siguiendo las pautas de la Ley Orgánica 6/2001, de 21 de diciembre, una serie de modalidades contractuales especificas del ámbito universitario que, por las características propias del trabajo y por las condiciones de la relación laboral, no pueden subsumirse en las figuras previstas en la legislación laboral general. Dentro de estas figuras contractuales, dos necesitan la previa evaluación positiva por parte de la ANECA o del órgano de evaluación externa que la legislación de la Comunidad Autónoma determine: Profesores Ayudantes Doctores y Profesores Contratados Doctores.²³

Por lo tanto, la legislación española impide que las universidades públicas o privadas, en uso de su autonomía, tal y conforme es práctica habitual en la inmensa mayoría de los Estados democráticos, puedan contratar libremente a su profesorado.

Centrándonos en la evaluación que lleva a cabo la ANECA, para la consecución de estas figuras contractuales, cabría tener en cuenta, por un lado, el Real Decreto 1052/2002, de 11 de octubre, por el que se regula el procedimiento para la obtención de la evaluación de la Agencia Nacional de Evaluación de la Calidad y Acreditación, y de su certificación, a los efectos de contratación de personal docente e investigador universitario; por otro, que los criterios de evaluación se hicieron públicos en el Anexo IV de la Resolución de 18 de febrero de 2005, de la Dirección General de Universidades por la que se modifican determinados aspectos de presentación de solicitudes de evaluación o informe de la ANECA para la contratación del personal docente e investigador, así como los criterios de evaluación establecidos en las Resoluciones de 17 de octubre de 2002 y de 24 de junio de 2003, de la Dirección General de Universidades.

Digno de ser tenido en cuenta es el apartado sexto de la citada Resolución de 18 de febrero de 2005, en el que literalmente se contempla que: los principios y orientaciones para la aplicación de dichos criterios de evaluación, de tal forma que se adapten continuamente a la realidad docente e investigadora de la universidad española, se mantendrán públicos a través de las páginas web de la Dirección General de Universidades (www.univ.meed.es) y de la Agencia Nacional de Evaluación de la Calidad y Acreditación (www.aneca.es).

De este modo, se publica un documento sobre principios y orientaciones para la aplicación de los criterios de evaluación, realizado por los Comités de Evaluación del Profesorado de la ANECA²⁴ Comités que abarcan campos científicos extraordinariamente amplios, y cuya última actualización es de 15/05/2007, que incluye la baremación de los criterios de evaluación y la concreta puntuación de cada uno de los instrumentos que se utilizan para ello, en función de las figuras contractuales (Profesor Contratado Doctor, Profesor de Universidad Privada, Profesor Ayudante Doctor) y los campos científicos a los que pertenece el profesor universitario evaluado.

Para todos los procesos de evaluación y, por tanto, también para éste, se está imponiendo cada vez con más fuerza un sistema de evaluación y clasificación de las revistas científicas que, con diferentes criterios, determina la propia evaluación de la actividad investigadora. No es este el momento de adentrarnos en la densa problemática que plantea la bibliometría, pero quizá convenga recordar, como hicieran Gómez et al. (1996), que tanto la evaluación de la investigación como la evaluación de revistas, para llevar a buen término sus propósitos, han de contar con un punto de partida fundamental: la agrupación de los investigadores y de los medios de publicación en conjuntos disciplinarios coherentes y homogéneos desde el punto de vista de los criterios e instrumentos de evaluación.

Conforme a todo lo expuesto, por poner un ejemplo, para ser acreditado como Ayudante Doctor (en el campo del Derecho, da igual Derecho civil, administrativo, procesal o romano) se exige, además del doctorado, experiencia docente, experiencia profesional, estancias de investigación en Centros extranjeros, participación en congresos, la tesis doctoral publicada en editorial de prestigio y un mínimo de cuatro artículos en revistas acreditadas, dos de los cuales en revistas de las llamadas "de impacto". Todo ello para un contrato de tres años, cobrando un poco más del Salario Mínimo Interprofesional. Al tratarse de un procedimiento evaluador similar al de las acreditaciones para los Cuerpos de funcionarios docentes, habría que señalar similares defectos. Pero en este caso, tales defectos se convierten en especialmente graves si consideramos que de ese procedimiento depende la vida de muchos jóvenes (casi todos extraordinariamente dotados en cualidades y valores), sus ilusiones, sus proyectos de vida personal y familiar; especialmente graves si recordamos que estamos tratando simplemente de la estabilidad en el empleo, que tanto se exige para la empresa privada, y si consideramos lo que se ofrece a cambio (Clemente, et al., 2008).

Pero es que la respuesta a la pregunta "qué tipo de profesorado requiere la universidad y para qué", implica la necesidad de una nueva definición de las funciones del profesorado, referidas tanto a la docencia, como a la investigación. Y esta respuesta deben darla autónomamente las propias universidades. Las universidades, que en modo alguno son iguales ni parten de los mismos condicionantes, deben establecer a priori qué enseñanza quieren para poder saber cuál es el mejor profesorado para impartirla (Zapata, 2004).

En cualquier caso, la evaluación debe ser un proceso sistemático, bien organizado y contextualizado de recogida y análisis de información para tomar decisiones tales como la selección y el perfeccionamiento y promoción profesional de los profesores, pero también su control, incentivación, sanción, reconocimiento social, etc. Es decir, la evaluación es un proceso intermedio, la selección y la promoción son dos de sus potenciales y múltiples consecuencias. Pero tras decidir la finalidad de la evaluación y sus consecuencias, es obligado seleccionar sus contenidos, esto es, qué aspectos relacionados con las características de los profesores, sus conductas y sus logros se van a tener en cuenta para fundamentar las decisiones. Las fuentes y agentes de la evaluación, la temporalización, las garantías y los aspectos deontológicos son otros elementos definitorios del modelo final (Escudero, 2004).

Para terminar, podemos concluir con una reflexión de Guy Neave (2001: 174), quien afirma que la evaluación puede tener dos salidas en un futuro. En primer lugar, se puede reforzar como motor de la planificación estratégica de la propia universidad y, en segundo lugar, y éste es el temor de muchas universidades, puede servir para alargar la cadena de control y permitir al gobierno usarla como "mando a distancia."

Referencias

Araujo, S. (2003). "Efectos sistémicos de la evaluación de la investigación basada en incentivos: El caso argentino," en Revista de la Educación Superior, vol. XXXII (2) No. 126 Abril–Junio de 2003        [ Links ]

Buela–Casal, G (2007a). "Consideraciones metodológicas sobre el procedimiento de acreditación y del concurso de acceso a cuerpos de funcionarios docentes universitarios," en Revista Electrónica de Metodología Aplicada 2007, Vol. 12 No. 2, http://www.psico.uniovi.es/REMA/        [ Links ]

Buela–Casal, G (2007b). "Reflexiones sobre el sistema de acreditación del profesorado funcionario de Universidad en España," en Psicothema 2007. Vol. 19, No. 3, http://www.psicothema.com         [ Links ]

Clemente, A. I., De las Heras, G., Polo, G. y Valmaña, A. (2008). "La evaluación de la investigación y de la enseñanza del Derecho Romano," en Actas de la Asociación Iberoamericana de Derecho Romano, http://www.aidrom.com         [ Links ]

Comas, O. (1999). Movilidad Académica y efectos no previstos de los estímulos económicos durante el periodo de la modernización educativa: El Caso de la UAM. Cuernavaca, Tesis (Doctorado en Educación), Universidad Autónoma del Estado de Morelos.        [ Links ]

Facultad de Derecho de la Universidad de Barcelona (2006) Documento de síntesis sobre la evaluación de la investigación jurídica en España. I Jornada sobre evaluación de la investigación jurídica en España, Barcelona, Facultad de Derecho de la Universidad de Barcelona.        [ Links ]

De las Heras, G. y Polo, G. (2008). "Merit Pay, Scientific Production, and the Comisión Nacional Evaluadora de la Actividad Investigadora del Profesorado Universitario," en Journal of Multidisciplinary Evaluation, Western Michigan University, Volume 5, Number 10 (Julio), http://evaluation.wmich.edu/jmde/        [ Links ]

Escudero, T. (2004). "Selección, evaluación y carrera profesional." I Foro ANECA: El profesorado universitario. Agencia Nacional de Evaluación de la Calidad y Acreditación, 2004.        [ Links ]

Ferreiro, L. (1986). "Bibliometría y seudobibliometría," en Boletín de la ANABAD . Vol. XXXVI, No. 1–2. (1986).        [ Links ]

Ferreiro, L. (1984a). "La investigación científica a examen. Apuntes en torno a su posible evaluación," en Arbor. Vol. CXVII, No. 459        [ Links ]

Ferreiro, L. (1984b). "Evaluaciones subjetivas de la labor científica: más reparos," en Revista Española de Documentación Científica. Vol. 7. No. 1        [ Links ]

Gabilondo, A. (2005). "Demandas desde la Universidad a las Agencias de calidad," en II Foro ANECA: El papel de las agencias de calidad en la mejora de la educación superior, Agencia Nacional de Evaluación de la Calidad y Acreditación, 2005.        [ Links ]

Gil, M. (1998). "Observaciones al caso de la UAM. Una apreciación interna," Salvador Malo y Arturo Velásquez (Coord.), La calidad en la educación superior en México. Una comparación internacional, México, UNAM–Porrúa.        [ Links ]

Ginés, J. (2004). "Salarios, incentivos y condiciones de trabajo," en I Foro ANECA: El profesorado universitario, Agencia Nacional de Evaluación de la Calidad y Acreditación, 2004.        [ Links ]

Gómez, I.; Bordons, M.; Fernández, M.T.; Méndez, A. (1996). "Coping with the problem of subject classification diversity," en Scientometrics. Vol. 35 (1996), No. 2.        [ Links ]

Ibarra, E. (2001). La universidad en México hoy: gubernamentalidad y modernización, México, UNAM–UAM–ANUIES.        [ Links ]

Janey, C. (1996). "Incentive pay," en Education Week, 16, 10. http://www.edweek.org.        [ Links ]

Neave, G. (1990). "La educación superior bajo la evaluación estatal. Tendencias en Europa Occidental, 1986–1988," en Universidad Futura, vol. 2, No. 5.        [ Links ]

Neave, G. (2001). Educación superior: historia y política sobre la universidad contemporánea, Barcelona: Gedisa.        [ Links ]

OCDE (1987). Universities under scrutiny, París.        [ Links ]

Olmedo, R. (2001). La Universidad en la era de la globalización Neoliberal, México, Comuna.        [ Links ]

Palazón, J. (2006). "Evaluación y consecuencias: la perspectiva sindical," en VI Foro ANECA: consecuencias de las políticas de evaluación de la docencia y la investigación del PDI, Agencia Nacional de Evaluación de la Calidad y Acreditación, 2006.        [ Links ]

Sanz–Menéndez, L. (1995). "Research actors and the state: research evaluation and evaluation of science and technology policies in Spain," en Research Evaluation, Vol. 5 (1): 79–88.        [ Links ]

Sanz–Menéndez, L. (2004). "Evaluación de la investigación y sistema de ciencia," en Unidad de Políticas Comparadas del CSIC, Madrid. http://www.iesam.csic.es/doctrab2/dt–0407.pdf        [ Links ]

Silva, C. (2007). "Evaluación y burocracia: medir igual a los diferentes," en Revista de la Educación Superior, Vol. XXXVI (3), No. 143, Julio–Septiembre        [ Links ]

Williams, P. (2006). "La garantía de la calidad en la enseñanza superior del Reino Unido" en V Foro ANECA: Acreditación de instituciones vs titulaciones, Agencia Nacional de Evaluación de la Calidad y Acreditación, febrero, 2006.        [ Links ]

Zapata, A. (2004). "Docencia e Investigación," en I Foro ANECA: El profesorado universitario, Agencia Nacional de Evaluación de la Calidad y Acreditación, 2004.        [ Links ]

Notas

¹ En el informe de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) La Universidad bajo Escrutinio, se achacaba a la crisis económica (la crisis del petróleo, la inflación, la recesión, el desempleo, el control del gasto público) el que la sociedad volviera sus ojos para cuestionar el uso de los recursos destinados a la educación superior, "demandando la rendición de cuentas, una evaluación sistemática de los resultados educativos, evidencias de 'desempeño',..." (OCDE, 1987: 24).

² El llamado sexenio es un complemento salarial al que más tarde nos referiremos.

³ Agencia Nacional de Evaluación y Prospectiva.

⁴ Pertenecientes a las distintas Comunidades Autónomas (regiones) españolas.

⁵ En España, tanto la entrada en vigor de la Ley 13/1986, de 14 de abril, de Fomento y Coordinación general de la investigación científica y técnica, la denominada Ley de la Ciencia, como la puesta en marcha del primer Plan nacional de investigación y desarrollo 1988–1991, supusieron un empuje en las actividades de evaluación de la investigación.

⁶ La ANEP comprende 27 áreas temáticas, al frente de cada una de las cuales hay un coordinador. En su selección se pretende una representación equilibrada desde el punto de vista territorial y de los centros de investigación Los coordinadores son los responsables de la evaluación en sus respectivas áreas y seleccionan los expertos para cada proyecto de investigación. Una de estas 27 áreas temáticas es el Área Derecho y, a su vez, comprende, nada más y nada menos: Derecho administrativo, Derecho civil, Derecho constitucional, Derecho del trabajo y seg. Social, Derecho eclesiástico del estado, Derecho financiero y tributario, Derecho internacional privado, Derecho internacional público, Derecho mercantil, Derecho penal, Derecho procesal, Derecho romano, Filosofía del derecho, Historia del derecho y las instituciones.

⁷ "Por ejemplo, la ANEP ha funcionado durante 15 años y jamás se ha hecho una evaluación, revisión y auditoria de sus procedimientos" (Sanz, 2004).

⁹ Preámbulo del Real Decreto 1086/89, de 28 de agosto, sobre Retribuciones del Profesorado Universitario.

¹⁰ Orden de 2 de diciembre de 1994, por la que se establece el procedimiento para la evaluación de la actividad investigadora en desarrollo del Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario. Las funciones de la CNEAI vienen descritas en su propia página web: ver http://www.mec.es/ciencia/cneai/

¹¹ Preámbulo de la Resolución de 25 de octubre de 2005, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación.

¹² Y, precisamente, es este el caso del sistema español, en su origen. En el momento en que se implantaron los nuevos complementos, creados por el Real Decreto 1086/89, de 28 de agosto, sobre Retribuciones del Profesorado Universitario, se venía reclamando una subida salarial que compensase la grave pérdida de poder adquisitivo que venían acumulando los profesores universitarios durante años de alta inflación, mayor que la de otros colectivos de funcionarios. Tuve el privilegio de asistir a la reunión de la Comisión Académica del Consejo de Universidades en la que el Ministro anunció las inminentes medidas y en la misma el Ministro adujo que se trataban de incrementos salariales para compensar la mencionada pérdida de poder adquisitivo, pero que debía presentarlas como complementos de productividad para que las aceptara el Ministerio de Hacienda. De hecho, el conocido "sexenio" se denominó "complemento de productividad investigadora". Así, José Palazón (2006), asesor de la Confederación Sindical de Comisiones Obreras (CCOO), recuerda cómo la central sindical se opuso en solitario al R.D. 1086/1989 de retribuciones, que introdujo un sistema de complementos que dejaba fuera a una gran parte del profesorado y que, por otra parte, no satisfacía ni la demanda de compensación de la pérdida de poder adquisitivo, ni la homologación con el resto de la Administración Pública. Debe revisarse profundamente el sistema retributivo del profesorado universitario haciéndolo equiparable al de los funcionarios del mismo nivel o al del entorno profesional, evitando la multiplicación de complementos y facilitando la motivación del profesorado. Por su parte, Ginés (2004) señalaba que es cierto que el nivel salarial del profesorado ha disminuido comparativamente con el de niveles semejantes de la Administración Pública, pero también es cierto que esos otros puestos no tienen las mismas oportunidades de incrementar sus salarios que tienen los profesores universitarios, al menos los más activos.

¹³ Un ejemplo es lo sucedido con Eusebio Juaristi y Omar Muñoz Muñiz del Centro de Investigación y Estudios Avanzados, quienes publicaron tres artículos en revistas internacionales, reportando un nuevo procedimiento para mejorar la síntesis de un compuesto químico, pero se descubrió que el procedimiento descrito no pudo reproducirse, lo que los forzó a publicar en las mismas revistas las correcciones y a retirar uno de sus trabajos. Por estos estudios Muñoz Muñiz obtuvo el grado de doctor en ciencias y el ingreso al Sistema Nacional de Investigadores y Juaristi ingresó a El Colegio Nacional. Según la comunidad científica suelen pesar más las relaciones humanas y no sólo el contenido académico de los proyectos (Silva, 2007).

¹⁴ http://www.mec.es/ciencia/cneai/files/normativa/om0212–94.pdf

¹⁵ En este sentido, once son los campos científicos contemplados y el Campo número 9 es, nada más y nada menos, el de Derecho y Jurisprudencia.

¹⁶ http://www.boe.es/boe/dias/2005/11/07/pdfs/A36470–36476.pdf

¹⁷ http://www.boe.es/boe/dias/2007/11/23/pdfs/A48065–48067.pdf

¹⁹ http://www.aneca.es/active/docs/papf_rd_1312_071005.pdf

²⁰ No se habla de expertas y no se dice si tales expertos han de ser profesores universitarios.

²¹ ¿Qué significa "equilibrada"? ¿Proporcional al número de mujeres y hombres entre los elegibles? ¿Proporcional al número de mujeres y hombres entre los pertenecientes a un Campo científico? ¿Paritaria? ¿Todo ello, con independencia de los méritos?

²² Art. 4. 2 del Real Decreto 1312/2007, de 5 de octubre.

²³ Estas figuras son las contempladas en los artículos 50 y 52 de la LOU, conforme a la Ley Orgánica 4/2007, de 12 de abril.

²⁴ Cinco son los campos científicos y cinco los comités de evaluación, un comité por cada uno de los campos científicos: Comité de Ciencias Experimentales; Comité de Enseñanzas Técnicas; Comité de Ciencias de la Salud; Comité de Humanidades y Comité de Ciencias Sociales y Jurídicas.