Objetivos de la investigación

Los objetivos de este trabajo de investigación se concretan en los siguientes:

Objetivo 1. Realizar un acercamiento a las actitudes del estudiantado y el profesorado universitario implicados en procesos de innovación educativa en la Universitat Jaume I de Castellón (España).

Objetivo 2. Construir y validar un cuestionario-escala para medir las actitudes del estudiantado y el profesorado universitario frente a la innovación educativa.

Proceso de elaboración del cuestionario-escala QUACINE

Los pasos seguidos para la elaboración del cuestionario-escala QUACINE, atendiendo a los criterios de aplicación general al diseño y confección de escalas actitudinales y a las propuestas formuladas por autores como ^{Hennerson et al. (1978}), ^{Morales (1984}), ^{Rodríguez (1989}), ^{Arce (1994}) o ^{Bolívar (1995}), fueron los siguientes:

Identificación de los rasgos que caracterizan la innovación educativa en la enseñanza superior

La técnica elegida para identificar los rasgos fue el grupo de discusión (^{Bisquerra, 2009}). Para llevarla a cabo organizamos un grupo de discusión mixto formado por estudiantado y profesorado universitario vinculado a experiencias de innovación educativa perteneciente a las tres facultades y la Escuela Superior de la Universitat Jaume I de Castellón. La finalidad era abordar cuestiones relacionadas con los procesos de innovación educativa en la enseñanza superior y las actitudes que manifiestan el profesorado y el estudiantado universitario frente a los mismos, sin dirigir la exposición de ideas. El grupo estuvo formado por 12 personas: seis profesores universitarios y seis estudiantes. Un moderador presentó el tema de discusión y lanzó una serie de preguntas para el debate. El grupo de discusión se realizó alrededor de cuatro núcleos temáticos: 1) innovación educativa y enseñanza universitaria; 2) innovación educativa y profesorado universitario; 3) innovación educativa y estudiantado universitario; 4) innovación educativa y mundo universitario/universidad. La sesión fue grabada en video y audio y transcrita posteriormente para poder realizar un análisis del contenido de la misma. A partir de las ideas recogidas identificamos los rasgos que nos permitieron generar los ítems del cuestionario-escala.

Categorización de los rasgos

Después de realizar el grupo de discusión recopilamos la totalidad de los rasgos en un listado de declaraciones y realizamos su categorización. Agrupamos los rasgos recogidos en los principales núcleos que identifican la opinión mayoritaria del profesorado y el estudiantado participantes en el grupo de discusión. La categorización de los rasgos fue realizada por el equipo investigador. Como resultado de este proceso surgieron 11 categorías diferentes. Posteriormente, ordenamos las categorías y elaboramos una pequeña plantilla de valoración para recoger la opinión de jueces o expertos.

Valoración por parte de los jueces

La plantilla con el listado de categorías resultante se pasó a un jurado compuesto por 11 profesionales y estudiosos de la educación, expertos en innovación educativa en la enseñanza superior y no implicados ni directa ni indirectamente en la investigación, para que valoraran la adecuación de las características relacionadas respecto al constructo que pretendíamos medir. A los miembros del jurado se les pidió que valoraran cada una de las categorías resultantes, puntuándolas de 1 a 10 según el grado de relación que a su juicio guardaban con la innovación educativa en la enseñanza superior. Para ello les facilitamos una hoja de valoración anónima.

El criterio de jueces ha sido utilizado de manera exitosa en otras ocasiones tanto para la medida actitudinal (^{Escámez et al., 1987}; ^{Pérez, 1999}; ^{Hirsch, 2005}; ^{Traver-Martí y García, 2007}; ^{Gargallo et al., 2007a}; ^{Tejedor et al., 2009}; ^{Rodríguez-Martín et al., 2015}), como en otras temáticas del ámbito educativo (^{Porta y Ferrández-Berrueco, 2009}; ^{Prado et al., 2010}, entre otros) favoreciendo una mayor precisión en la elaboración del constructo.

Elección de los rasgos o categorías más significativas

Una vez realizada la valoración, elegimos los rasgos con mayor puntuación media en el criterio de jueces. Del listado escogimos aquellas categorías con una puntuación media mayor o igual a siete.³ Como resultado de esta operación eliminamos tres categorías (4, 5 y 10).

En el Cuadro 1 se recogen las categorías con el valor medio otorgado por los jueces.

Cuadro 1 Categorías en función de la valoración de los jueces 

Fuente: elaboración propia.

Construcción del cuestionario-escala

La depuración realizada a partir de la puntuación otorgada por los jueces reduce el número de categorías a ocho dimensiones que relacionamos en el Cuadro 2.

Una vez seleccionadas las categorías/dimensiones que obtuvieron un mayor grado de valoración las redactamos, en términos actitudinales, mediante la elaboración de los ítems correspondientes. En su formulación partimos del marco teórico sobre las actitudes de la teoría de la acción razonada de Fishbein y Ajzen. Para precisar con mayor amplitud su significado redactamos un mínimo de dos ítems por cada categoría. Además, buscando una mayor implicación del profesorado, y para evitar que se pudiera dar una respuesta mecánica, alternamos formulaciones en sentido positivo con otras en sentido negativo. Para garantizar la validez de contenido, este primer listado de ítems actitudinales fue analizado por un grupo de cuatro estudiantes y cinco profesores universitarios del Departamento de Educación implicados en procesos de innovación educativa, que valoraron la claridad en la redacción y la vinculación entre lo afirmado en cada ítem y el objeto de estudio. Los enunciados de los ítems definitivos, así como su relación con las dimensiones que los originan, se pueden observar en el Cuadro 3.

A partir de la relación de los ítems, se elaboró el primer borrador del QUACINE. Una vez validado, se elaboró el cuestionario definitivo.

Objetivo 1: acercamiento a las actitudes del estudiantado y el profesorado

Tras administrar el cuestionario piloto pasamos a analizar la muestra con el fin de determinar si los dos colectivos podían ser tratados como parte de una misma población -y con ello validar un único instrumento- o si ambos colectivos pertenecían a poblaciones diferentes y por tanto debía realizarse una validación por separado.

El cuestionario fue respondido por 688 sujetos, de los cuales 133 pertenecían al colectivo de profesores, y 555 al de estudiantes. En cualquier caso, la muestra por colectivos era suficiente para la validación por separado, dada la recomendación de contar al menos con 5 sujetos por ítem (^{Ferrando y Anguiano-Carrasco, 2010}).

Para todos los análisis se utilizó el paquete estadístico SPSS V.22. De este modo se procedió a realizar la prueba de bondad de ajuste, así como la comparación entre ambas distribuciones (alumnado y profesorado), de manera que el resultado nos informara sobre la idoneidad de tratarlos de manera conjunta o por separado.

En primera instancia se realizaron descriptivos univariados de todos los ítems y total (Tabla 1 y Tabla 2) que nos dieran una primera información sobre las actitudes que presentaban ambos colectivos. Así, para el profesorado, en términos generales, los resultados son siempre elevados, con unos grados de acuerdo también dentro de la normalidad, si bien presentan mayor heterogeneidad que los del estudiantado. Este hecho podría significar que el profesorado, mejor conocedor de la realidad universitaria, es más crítico y presenta mayor diversidad de opiniones.

La excepción a las valoraciones elevadas la muestra el ítem 11 sobre la idoneidad de la estructura departamental, de la que se desprende que el profesorado opina que dicha estructura, lejos de facilitar, más bien dificulta la innovación.

En cuanto al alumnado, presenta valoraciones siempre por encima del punto medio y grados de acuerdo mucho más elevados, lo que indica la perspectiva globalizadora con la que el estudiantado percibe el mundo universitario.

Para realizar la prueba de bondad de ajuste se calculó una media global de las respuestas y se aplicó la prueba de Kolmogorov-Smirnov, con lo que pudo constatarse la no normalidad de la distribución (Tabla 3).

Posteriormente, dada la no normalidad de la distribución, se realizó la prueba U de Mann-Whitney para contrastar las respuestas de cada colectivo; se observó que si bien al considerar una única media global, no aparecían diferencias significativas, al realizar el análisis por ítems únicamente no aparecían diferencias en 4 de los 17 ítems (Tabla 4). Por esta razón se confirmaba que ambos colectivos pertenecen a dos poblaciones diferentes, y por ello se decidió realizar una validación por separado.

Objetivo 2: validación del cuestionario

Para este análisis se utilizó la prueba a de Cronbach, que es de 0.87 para los profesores y de 0.85 para los estudiantes; de modo general, parece que la escala presenta índices de fiabilidad muy elevados en ambos colectivos.

Al realizar el análisis por ítems se observa que los valores no aumentan significativamente al eliminar cualquiera de ellos (Tabla 5 y Tabla 6), siendo únicamente los ítems 10 y 11 para profesores, y 11 para estudiantes, los que parecen mostrar un ligero descenso en la fiabilidad si se mantienen en el instrumento.

No obstante, dado que los valores se mantienen igualmente muy elevados, no parece justificarse la pérdida de información que supondría la eliminación de dichos elementos del cuestionario.

Validez de contenido

En cuanto a la validez de contenido, nos remitimos al apartado de elaboración del cuestionario (Método), en el que se muestra el proceso de validación por jueces seguido tanto para determinar las categorías de innovación educativa, como los ítems que conforman el instrumento. Por otra parte, el propio equipo investigador actuó desde su rol de experto para analizar la relevancia y coherencia de los ítems con respecto a los presupuestos de la teoría de la acción razonada de Fishbein y Ajzen y su vinculación con las categorías de innovación.

Validez de constructo

Para el análisis de la validez de constructo se utilizó el análisis factorial de componentes principales con rotación oblicua mediante el método oblimin directo. Este método es muy habitual en este tipo de investigaciones cuando no se asume la independencia de los factores y sus resultados no difieren de otros métodos como el PROMAX (^{Robins et al., 2007}). La idoneidad de este análisis viene avalada tanto por estudios de la propia técnica en sí (^{Ferrando y Anguiano-Carrasco, 2010}) como por numerosas aplicaciones en el terreno del análisis de actitudes (véase ^{García et al., 2006}; ^{Ferrández-Berrueco et al., 2006}, entre otros). Por otra parte, tampoco quería forzarse la estructura en factores a las ocho dimensiones contempladas inicialmente (ver apartado de elaboración del cuestionario) por cuanto se trata de un estudio exploratorio y entendemos que deben existir relaciones entre las diversas categorías propuestas que favorezcan una estructura factorial menor a las ocho categorías de contenido.

Así, una vez realizado dicho análisis, encontramos unos índices KMO de adecuación muestral (0.905 y 0.845 para profesores y estudiantes respectivamente) y esfericidad (99 por ciento) significativos para ambos colectivos, por lo que este análisis resulta adecuado.

Pese a las semejanzas iniciales en las soluciones en cuanto a la estructura en cuatro factores, y la semejanza en la varianza explicada por ambos colectivos, al profundizar en la composición de los factores encontramos grandes diferencias entre ambos: la perspectiva de los estudiantes parece ser más global que la del profesorado, que evidentemente, al ser mejor conocedor de la realidad universitaria, tiende a separar y aislar de manera más pormenorizada los diferentes elementos y variables del cuestionario. Esto vuelve a demostrar la idoneidad de considerar ambos colectivos de manera separada.

La solución factorial para el colectivo de profesores

La solución encontrada con los 17 ítems muestra únicamente cuatro factores que explican el 59.76 por ciento de la varianza.

La correlación entre los factores (Tabla 7) avala la utilización del método oblicuo, dada la existencia de correlaciones de tipo medio entre algunos factores, como el 1 y el 4.

En cuanto a la caracterización de los factores, la saturación de los ítems (Tabla 8) nos muestra la siguiente composición:

Factor 1. Tutorización, investigación y cambio. Se trata de un factor unipolar que explica 35.95 por ciento de la varianza con siete ítems (ver sombreados en gris). Todos ellos hacen referencia a la necesidad de renovación mediante la investigación y la formación (ítems 1, 15, 16 y 17) así como la tutorización y el acercamiento al alumno (ítems 2 y 4). Este último ítem también satura prácticamente lo mismo en el factor 4.

Factor 2. Revalorización de la docencia. Factor unipolar que explica 9.74 por ciento con dos ítems (10 y 12), ambos referentes a la necesidad de que la docencia sea valorada y equiparada a la investigación para lograr un auténtico interés por la innovación.

Factor 3. Aspectos organizativos. Factor bipolar que explica 7.40 por ciento con dos ítems (11 y 13) relativos a la organización por departamentos y la reducción de la ratio por aula. La estructura bipolar parece indicar tendencias inversas en ambos ítems, de tal manera que uno se muestra como un cambio positivo (a la vista de los descriptivos, ver Tabla 1, ítem 13) para la innovación y el otro no (ítem 11).

Factor 4. Dedicación al alumnado y a la docencia. Factor unipolar que explica 6.67 por ciento con seis ítems (3, 5-9). Todos ellos hacen referencia a la necesidad de que el profesorado dedique tiempo a la materia y al estudiantado. Se trata de un factor relacionado con el factor 1 y que parece solapar mucha información en el ítem 4, y en menor medida en los ítems 3 y 8. Sin embargo, consideramos que a la vista de las restantes características técnicas del instrumento, no se justifica una eliminación de los mismos.

La solución factorial para el colectivo de estudiantes

La solución encontrada con los 17 ítems muestra también únicamente cuatro factores que explican el 51.27 por ciento de la varianza. Esta menor explicación podría abundar en la idea de que el estudiante no es capaz de diferenciar adecuadamente algunos de los elementos que se cuestionan en el instrumento, y que manifiesta una perspectiva más global que, a su vez, se constata en mayores relaciones entre los factores que en el caso del profesorado.

Así, la correlación entre los factores (Tabla 9) avala asimismo la utilización del método oblicuo, dada la existencia de correlaciones de tipo medio de nuevo entre los factores 1 y 4 y también con el 2, si bien esta vez, el coeficiente es sensiblemente inferior.

En cuanto a la caracterización de los factores, la saturación de los ítems (Tabla 10) muestra la siguiente composición:

Factor 1. Motivación y dedicación docente. Se trata de un factor unipolar que explica 31.46 por ciento de la varianza con los nueve primeros ítems (ver sombreados en gris). Todos ellos se refieren a la necesidad de que el profesorado dedique tiempo a la docencia y a su estudiantado.

Factor 2. Nuevas metodologías. Factor unipolar que explica 7.21 por ciento con los tres últimos ítems (15 al 17), que se refieren a la necesidad de que el profesorado cambie las metodologías docentes y se acerque más a la nueva realidad tecnológica y los nuevos retos.

Factor 3. Oportunidad de contexto. Factor unipolar que explica 6.6 por ciento con dos ítems (11 y 14) relativos a la organización por departamentos y a la idoneidad del contexto universitario para innovar en docencia. Parece evidente que el alumnado considera la estructura departamental como centro facilitador de la investigación en innovación.

Factor 4. Revalorización de la docencia. Factor unipolar que explica 6 por ciento con tres ítems (10, 12 y 13). Todos ellos hacen referencia a la necesidad de revalorizar la docencia, considerándola igual (ítem 10) o incluso superior a la investigación (ítem 12). Este hecho se demostraría, por ejemplo, con una reducción de las ratios de aula (ítem 13), que conllevaría una inversión de recursos superior.