Objetivos

La elaboración del instrumento recayó en una comisión integrada por personal académico de la Universidad y ha sido aplicado en dos periodos lectivos en el 2020, trimestres de otoño y de primavera. El método para medir la validez y confiabilidad del instrumento considera calcular la confiabilidad del instrumento: los reactivos en lo individual y las dimensiones como agregados de reactivos. Enseguida se realiza el análisis de datos para obtener el análisis factorial exploratorio del instrumento y confirmatorio del instrumento.

Población y muestra

La población de alumnos activos de la UAM durante el trimestre de otoño, que corresponde a la población objeto de esta investigación fue de 47,371, incluyendo estudiantes de licenciatura y posgrado. La muestra de estudiantes que participó en el estudio fue de 18,992, la cual es adecuada al tamaño de la población, ya que supera el tamaño de muestra esperado de 12,316 con un nivel de confianza del 99% y un nivel de error del 1%. El hecho de que un mismo alumno o alumna, participó en la evaluación de más de una unidad de enseñanza aprendizaje (UEA)¹ hizo que el total de registros de encuestas que fueron contabilizadas para efectos de los análisis reportados en este artículo, fuera de 53,192.

Una de las estrategias para avanzar en las propuestas fue la renovación del instrumento para obtener la opinión del alumnado con respecto a la docencia remota. El diseño y validación del mismo estuvo a cargo de un equipo de académicos de la UAM, con la asesoría de un experto en evaluación docente de la Universidad Nacional Autónoma de México². La versión final del cuestionario quedó constituida por un reactivo dicotómico (ítem1), un reactivo de escala numérica 1-10 (ítem 25), un reactivo de respuesta abierta (ítem 26), y 23 reactivos de formato Likert (ítems 2 a 24, los cuales fueron clasificados en cuatro dimensiones (ver Tabla 1):

En esencia, el nuevo instrumento de evaluación se basó en el modelo universitario de la UAM, y su validación permitiría asegurar que cumple con las características suficientes y necesarias para valorar las actividades que el profesor debe realizar en función de lo que este modelo plantea.

1. Validación por jueces expertos

En el diseño del instrumento participó un investigador experto en evaluación de la docencia y externo a la Universidad. Su apoyo consistió en revisar las modificaciones realizadas y en validar con un grupo de expertos su pertinencia.

2. Consistencia interna (prueba total)

Para realizar los análisis de consistencia interna, se trabajó con los 23 ítems de formato Likert y con el ítem de escala. De esta manera, a partir de las respuestas de los y las alumnas, se pudo estimar la consistencia interna a partir de los métodos de mitades equivalentes (Spearman Brown) y alfa de Chronbach.

Los resultados de este análisis para la prueba total se exhiben en la Tabla 2, los cuales muestran una consistencia muy buena (superior a 0.9) en los dos tipos de análisis, lo cual refleja que lo que mide el instrumento en su totalidad lo hace de manera consistente.

3. Consistencia interna (dimensiones)

Adicionalmente, se realizaron análisis mediante el método de a de Chronbach, para estimar la consistencia interna de cada una de las dimensiones del cuestionario. El análisis de todas las dimensiones se muestra en la Tabla 3.

Como puede apreciarse en la tabla, todos los índices de consistencia fueron superiores a 0.8, indicando una buena consistencia interna.

4. Análisis de ítems

El análisis del poder discriminativo de los ítems, es decir de su capacidad para distinguir opiniones favorables de las desfavorables, se realizó mediante los métodos de distribución de frecuencias, correlaciones ítem-prueba total, correlaciones ítem-dimensión y diferencia de medias entre grupos extremos. Se reportarán los resultados referentes a los ítems 2 a 24, que son los que utilizan formato Likert. Los ítems 1 y 25, que utilizan otros tipos de formato, serán analizados por separado.

a) Distribución de frecuencias de las opciones por ítem

El primer método, de distribución de frecuencias, verifica el sesgo que pudiera tener un ítem, basado en la forma como se distribuyen sus respuestas en sus diferentes niveles. De esta manera, cuando uno de los niveles es elegido por el 80% o más de los respondientes, se considera que el ítem puede tener un sesgo importante y, en consecuencia, debe ser modificado o sustituido por uno nuevo.

Los resultados de este análisis se presentan en la Tabla 4, los cuales muestran que en ningún caso los ítems mostraron una concentración mayor al 80% en alguno de sus niveles. El ítem 6 y el ítem 15 fueron los únicos que superaron el 70%, lo cual está aún dentro de los límites aceptables.

b) Correlaciones ítem-prueba total (o dimensiones)

El segundo método de análisis de reactivos consistió en correlacionar, mediante la prueba Rho de Spearman para variables ordinales el puntaje asignado a cada ítem con la calificación total obtenida en la combinación de todos los ítems de formato Likert, así como con la puntuación obtenida en cada dimensión.

Como puede advertirse en la Tabla 5, todas las correlaciones fueron significativas y a excepción de los ítems 19, 20 y 21, superiores a 0.7.

En la Tabla 6 se aprecia un comportamiento similar en las correlaciones de la dimensión Organización de la UEA, con correlaciones significativas y superiores a 0.8.

Los resultados correspondientes a la dimensión Práctica Docente, presentados en la Tabla 7, nuevamente manifiestan valores de correlación y niveles de significación adecuados para todos los ítems.

Algo similar ocurre en la dimensión Autoevaluación. Todos los ítems revelan valores aceptables como se puede observar en la Tabla 8. Este hecho es interesante, si se toma en consideración que los ítems 19, 20 y 21 habían mostrado correlaciones con el puntaje total inferiores a 0.7.

Finalmente, las correlaciones de los ítems pertenecientes a la dimensión Evaluación Global con el puntaje de esta dimensión, evidencian valores y niveles de significación adecuados, como puede apreciarse en la Tabla 9.

Dado que los reactivos 1 y 25 utilizaron una escala diferente a la escala Likert, su análisis se realizó por separado. En el caso del ítem 1, se empleó el coeficiente de correlación biserial puntual para correlacionar el puntaje nominal (si/no) del reactivo con el puntaje intervalar de la dimensión Evaluación Organización y del puntaje total del cuestionario. Como puede apreciarse en la Tabla 10, aunque en los dos casos las correlaciones fueron inferiores a 0.5, presentaron buenos niveles de significación.

En el caso del ítem 25, dado que tanto la escala del ítem como de la dimensión global y del puntaje total son intervalares, se utilizó el Producto Momento de Pearson. Como se indica en la Tabla 11, el ítem 25 exhibe correlaciones significativas tanto con el puntaje total del instrumento, como con la dimensión global.

c) Contrastación de grupos alto y bajo (diferencias significativas)

Con el fin de analizar el poder discriminativo de los ítems se compararon los puntajes arrojados por cada ítem, en sujetos con una opinión general muy favorable y sujetos con una opinión muy desfavorable. Para este fin, Se conformaron dos grupos a partir de los puntajes totales en el cuestionario: Un grupo Alto, constituido por los sujetos cuyo puntaje se ubicó dentro del 30% de los puntajes más altos (opinión más favorable) y un grupo Bajo, constituido por los sujetos cuyo puntaje se ubicó dentro del 30% de los puntajes más bajos (opinión más desfavorable).

Una vez conformados estos dos grupos, se procedió a analizar las diferencias, entre los grupos alto y bajo, de los puntajes de cada reactivo. Dado que la escala Likert no es, en rigor, una escala de intervalo sino una escala ordinal, el análisis de comparación de medias se realizó con dos pruebas. La prueba no paramétrica U de Mann Whitney, para escalas ordinales, y la prueba t de Student para escalas de intervalo, que es la que con mayor frecuencia se usa, a pesar de las limitaciones mencionadas.

Los resultados de la comparación de medias para la prueba total, se despliegan en la Tabla 12,. Como puede apreciarse en la tabla, las diferencias de medias en todos los ítems fueron significativas en ambas pruebas y para todos los ítems del cuestionario.

Los resultados de la comparación de medias de los reactivos pertenecientes a la dimensión de Organización de la uea se muestran en la Tabla 13. Nuevamente, puede apreciarse que la diferencia entre los grupos alto y bajo fue significativa tanto en la prueba t de Student como en la prueba U de Mann Whitney, evidenciando un adecuado poder discriminativo de estos reactivos en relación con la dimensión a la que pertenecen.

Algo similar a lo anterior, ocurrió con respecto a los ítems de la dimensión Práctica docente, cuyos resultados se presentan en la Tabla 14. Nuevamente los ítems mostraron un buen poder discriminativo en relación con su dimensión, como lo atestigua el hecho de que todas las pruebas de diferencia de medias realizadas para todos los ítems arrojaron valores significativos.

La Tabla 15 permite apreciar los resultados de las comparaciones de medias de los reactivos de la dimensión Autoevaluación. Nuevamente las pruebas t de Student como U de Mann Whitney arrojaron diferencias significativas para cada uno de los ítems.

Finalmente, el análisis correspondiente a los ítems de la dimensión Evaluación global se ilustra en la Tabla 16. En este análisis, el ítem 25, que está expresado en una escala de intervalo, solamente se analizó con la prueba t de Student. Nuevamente, este análisis nos permite constatar el poder discriminativo de los tres ítems correspondientes a la dimensión de Evaluación global.

d) Análisis Factorial Exploratorio

Se realizó un Análisis Factorial Exploratorio con el fin de reducir las dimensiones e identificar si las dimensiones se agrupan y conforman factores.

En primera instancia, se calculó la prueba de kmo y Bartlett, y se obtuvo el siguiente resultado:

Tenemos que el valor es de .971, lo cual habla de una alta correlación entre reactivos, y esto permitirá identificar los factores que se forman.

En la Tabla 18, que aparece a continuación, se presentan los resultados del análisis factorial exploratorio; se optó por los buscar la agrupación de los cuatro factores que se indican en la página 7 de este artículo.

De estos cuatro componentes se tiene el 69.085% de la varianza total explicada, como aparece en la Tabla 18, a continuación.

Este total de 69.085% acumulado supera lo que algunos autores han indicado como óptimo, que debería ser mayor a 50% en las ciencias sociales (Hair et al, 1998).

Por otro lado, tenemos los factores que pueden hacerse en la Tabla 19. En ella se observa que cada uno de los tres grupos que se generan como factores superan correlaciones de .460, lo cual es alto de acuerdo con la literatura especializada. El valor más alto que se encuentra es de 0.870, que refleja un acuerdo importante de los participantes por ubicar en este factor a este reactivo.

En esta tabla no se incluyen los reactivos que forman parte del factor de la autoevaluación global, ya que solamente cuenta con dos reactivos Likert, y en esa medida no cumple con criterios cuantitativos de número de reactivos.

El instrumento final queda conformado por 21 reactivos, prácticamente todos los que contienen escala Likert, y se muestran en la Tabla 2. La prueba de esfericidad de Bartlett fue significativa (912769, gl=210, sig > .001), y el indicador de adecuación del tamaño de la muestra Kaiser-Meyer-Olkin fue adecuado (0.971). La varianza explicada total ascendió a 69.085%.

e) Análisis Factorial Confirmatorio

La Figura 1 muestra la información y el gráfico resultante del Análisis Factorial Confirmatorio, que se calculó con ayuda del software para ecuaciones estructurales EQS. Este análisis permitió confirmar los factores que el Análisis Factorial Exploratorio propuso. Los mismos reactivos que en este análisis agrupan factores también lo hacen en el confirmatorio, con lo cual se valida el instrumento que se aplicó con el fin de evaluar a los profesores del trimestre 2020-O (Trimestre de Otoño del 2020) de la UAM.

En la Figura 1 se muestra, en la parte superior, que aun cuando la X² es significativa, y no debería serlo, pues el modelo puesto a prueba no debería ser significativamente diferente del modelo de la realidad, es un hecho que cuando la muestra es amplia (que es el caso) los valores identificados pueden ser significativamente diferentes en este parámetro. Descartado esto, los valores que nos parecen importantes son: el CFI, que debe ser mayor o igual a 0.95, y el RMSEA, que debe ser menor o igual que 0.08 (^{Byrne, 2008}). En este caso contamos con un valor de CFI de 0.95 y de RMSEA de 0.07, por lo que el modelo de tres factores se valida.