Los criterios que emplean los estudiantes universitarios para evaluar la in-eficacia docente de sus profesores

The criteria used by university students to evaluate the teaching effectiveness of their tutors

José María García Garduño^*, Amira Medécigo Shej^**

* Doctor en Educación por la Ohio University. Profesor-investigador de la Universidad Autónoma de la Ciudad de México. Es miembro de la Red Internacional para el Estudio de los Nuevos Directores, Internacional Study of Principal Preparation. Líneas de investigación: administración y organización escolar; evaluación educativa; currículo. Publicación reciente: (2010, en coautoría con C.L. Slater y G. López Gorosave), "El director escolar novel de primaria: problemas y retos que enfrenta en su primer año", Revista Mexicana de Investigación Educativa, vol. XV, núm. 47, pp. 1051-1073. CE: josemariagarduno@yahoo.com.mx

Recepción: 25 de octubre de 2012
Aceptación: 4 de abril de 2013

Resumen

El objetivo del presente trabajo fue investigar de manera exploratoria los criterios que los estudiantes emplean para evaluar la eficacia e ineficacia docente a través de los cuestionarios de evaluación en una universidad pública mexicana. Participaron 163 estudiantes de siete carreras de Ciencias Sociales y Humanidades de una universidad pública de la región central de México que cursaban del séptimo al noveno semestre en siete licenciaturas. La población participante se seleccionó por medio de muestreo aleatorio por cuotas, con base en grupos intactos. Las respuestas que dieron los estudiantes se analizaron conforme al modelo de investigación docente propuesto por Dunkin y Biddle (1974). Los resultados indican que las variables o criterios para determinar la eficacia de sus profesores están relacionados con el proceso, presagio y escasamente con los resultados o productos del aprendizaje. Para determinar la ineficacia los estudiantes emplean principalmente criterios de presagio y proceso.

Palabras clave: Estudiantes universitarios, Evaluación de la docencia, Eficacia docente, Cuestionarios de evaluación de la docencia, Profesores universitarios.

Abstract

Keywords: College students, Teacher evaluation, Teacher effectiveness, Teaching evaluation questionnaires, University professors.

Los criterios que emplean los estudiantes universitarios para evaluar la in-eficacia docente de sus profesores

El objetivo del presente trabajo fue identificar, de manera exploratoria, los criterios que los estudiantes universitarios emplean para calificar la eficacia docente de sus profesores, a través de los cuestionarios de la evaluación de la docencia (CEDA). Los CEDA se originaron en Estados Unidos de América (Centra, 1993) y su uso se ha generalizado a todos los continentes, así como el interés por investigar su empleo en las instituciones universitarias. Marsh (1984) resume sus propósitos: a) permite diagnosticar y retroalimentar a los profesores sobre su desempeño o efectividad docente; b) es una medida de eficacia docente para emplearse como información para la toma de decisiones sobre la permanencia y promoción a los profesores; c) provee información para que los alumnos seleccionen cursos e instructores; y d) constituye una investigación sobre los resultados y procesos docentes. El interés del presente estudio se enfocó en los CEDA como una medida de eficacia docente, tal como lo señala este autor.

Aunque originalmente los CEDA tenían como función la retroalimentación de la actividad docente (Mckeachie, 1979), hoy en día, en México y otros países, su función principal es sumativa o administrativa. En México, su uso se ha generalizado a casi todas las instituciones de educación superior: 81 por ciento de las instituciones los emplea y los resultados son utilizados en los programas de estímulos (Rueda et al., 2010). Los CEDA son los instrumentos por antonomasia para evaluar la eficacia docente de los profesores universitarios. Asimismo, hablar de los CEDA es referirse prácticamente al único instrumento que se emplea para evaluar a decenas de miles de profesores de las instituciones de educación superior mexicanas y de otros países. Aunque desde la década de los noventa se ha procurado emplear instrumentos y criterios alternativos, como portafolios y opinión de pares, el uso de éstos ha sido marginal; la limitación principal de las formas alternativas para evaluar la docencia es que su uso masivo no es viable.

Durante las décadas de los setenta y ochenta en los países anglosajones se crearon muchos instrumentos para medir la eficacia docente. Los dos más importantes, por su empleo dentro y fuera del mundo anglosajón, son el Student Evaluation of Educational Quality (SEEQ) de Marsh (1984) y el Instructional Development and Effective Assessment (IDEA) desarrollado por Hoyt y Cashin (1977). Las dimensiones originales de la eficacia docente que mide el SEEQ son nueve: 1) aprendizaje/valor de lo aprendido, 2) entusiasmo del instructor, 3) organización, 4) rapport, 5) interacción con el grupo, 6) cobertura del curso, 7) exámenes/evaluación, 8) tareas/lecturas, y 9) carga de trabajo del curso/dificultad. España fue el primer país iberoamericano en hacer investigación con el SEEQ (Marsh et al., 1985) y recientemente ha realizado adaptaciones del instrumento (Verdugo y Cal, 2010).

Por su parte el IDEA se enfoca a apreciar la eficacia docente en las siguientes dimensiones: 1) objetivos de aprendizaje, 2) estímulo del interés de los estudiantes, 3) apoyo a la colaboración de los estudiantes, 4) establecimiento de rapport, 5) estímulo del compromiso de los estudiantes y 6) estructura de las experiencias en el aula (organización). De ambos instrumentos existen versiones cortas y largas: las cortas tienen 14 (SEEQ) y 15 (IDEA) reactivos. No se identificaron antecedentes de investigación con IDEA fuera de Estados Unidos.

En México, la mayoría de los CEDA han sido adaptaciones de otros instrumentos o diseñados dentro de la institución (Rueda et al., 2010); se aprecia que pocos de esos instrumentos han sido sometidos a un análisis sistemático de sus características psicométricas, aunque recientemente tal tendencia se ha comenzado a revertir. Salvo algunos instrumentos nuevos como el SEEQ y el IDEA, señalados arriba, es común que los CEDA mexicanos y de otros ámbitos no incluyan alguna dimensión para evaluar las percepciones de los alumnos de lo que aprendieron en el curso. No obstante, recientemente estos últimos comenzaron a incluir ese aspecto (Acosta, 2012). Asimismo, también en contados y recientes casos, a nivel nacional, estos instrumentos empezaron a incluir reactivos globales para evaluar el curso y al profesor (Mazón et al., 2009). Cashin y Downey (1992) han demostrado que los reactivos globales son importantes en los CEDA, ya que explican más de 50 por ciento de la varianza en esos instrumentos.

El hecho de centrarse en los medios de la enseñanza y no en los fines, es decir, en que sólo se obtenga información sobre el nivel de satisfacción de los estudiantes, implica dejar de lado un dilema aún no resuelto: ¿los estudiantes son clientes o productos de las instituciones universitarias? (Emery et al., 2003). Se podría responder que son ambos: clientes y productos. Si los estudiantes son ambas cosas entonces ¿por qué no se pone más énfasis en los productos del aprendizaje, en la percepción que los estudiantes tienen de lo aprendido en los cursos? Al respecto, Díaz-Barriga (2004: 66) señalaba hace casi una década:

Podemos afirmar que se consignan los aspectos formales de la docencia, se obtienen opiniones de los estudiantes en una escala estimativa y dejan "como en una caja negra" las funciones sustantivas de la tarea docente... ya que antes de elaborar instrumentos hay que tener claridad sobre lo que es la docencia.

Sin fines claros sobre la docencia y la evaluación, los CEDA se limitan a evaluar fundamentalmente los medios y condiciones en que se lleva a cabo el proceso de enseñanza-aprendizaje en un curso dado. Si se quisiera evaluar la eficacia docente y cumplir con un fin auténticamente formativo, e incluso sumativo, estos instrumentos deberían hacer más énfasis en evaluar, al menos, las percepciones de los estudiantes sobre lo aprendido en el curso, y darle menor peso o ignorar reactivos del tipo: si el profesor presentó el programa, usó material didáctico o envío a los alumnos a la biblioteca; si estuvo disponible, dio asesoría, revisó sus trabajos o si le gustaría tomar otro curso con el mismo docente, los cuales no son relevantes para evaluar el desempeño docente (Feldman, 1997; Seldin, 1993). Evaluar estos aspectos, más que los resultados, es una clara indicación de que lo que más importa a las instituciones y a sus administradores es el viaje, más que el destino. Es decir, a las instituciones de educación superior parece importarles más los medios que los fines: el énfasis en el proceso y no en los resultados confirma que los cuestionarios de evaluación son para medir el nivel de satisfacción de los estudiantes, lo cual denota que ese nivel de satisfacción es más importante que lo que pudieron aprender en el curso.

La intención, al menos formal, de las instituciones de educación superior para que los resultados sean empleados no sólo de manera sumativa, sino también formativa, de retroalimentación de la labor docente, es poco viable en las instituciones de tamaño mediano o grande. Imaginemos una institución universitaria mexicana de tamaño mediano, de unos 20 mil estudiantes, y unos 3 mil profesores de tiempo completo y asignatura, que imparten 3 mil o más cursos al semestre. La institución con dificultades puede procesar la información y enviarla, generalmente en el siguiente periodo académico, a los profesores y consejos técnicos y autoridades. Eso es lo único que puede hacer; la finalidad formativa de los instrumentos es difícil de cumplir. Investigaciones recientes señalan que en México los resultados de la evaluación de la docencia se usan principalmente con fines administrativo-sumativos: para otorgar promociones y estímulos salariales (Rueda et al., 2010). Asimismo señalan que los profesores no están satisfechos con tal uso (Silva, 2007) y que los estudiantes son sometidos cada semestre a evaluar tantos cursos como hayan tomado. La tarea se ha vuelto burocrática para la institución, y aburrida para los estudiantes.

Por otro lado, los resultados de la investigación también indican que ante la situación arriba descrita, los profesores intentan lograr buenas notas en los CEDA para obtener mejores niveles salariales (Silva, 2007). A pesar del malestar que provoca la evaluación docente, todo parece indicar que llegó para quedarse. Mientras esté vigente el sistema de incentivos salariales será difícil retornar a una política de evaluación con un uso meramente formativo de los resultados de los CEDA; si esos resultados son usados con fines sumativos que afectan las retribuciones salariales de los docentes, entonces los docentes tendrán que hacer esfuerzos para conseguir mejores evaluaciones de sus estudiantes. En este sentido, sería deseable que los docentes conocieran los criterios que los estudiantes toman más en cuenta para valorar su eficacia. Los estudios realizados (como se verá más adelante) se han enfocado a investigar los criterios que emplean los estudiantes para evaluar la eficacia; la literatura es escasa sobre los criterios que los estudiantes emplean para evaluar la ineficacia. Estudiar los criterios que los estudiantes emplean para valorar tanto la eficacia como la ineficacia de sus profesores puede resultar útil para los mismos docentes que se ven obligados a rendir cuentas, obtener mejores evaluaciones y, potencialmente, para que las instituciones puedan mejorar el diseño de esos cuestionarios. De ahí que el objetivo de esta investigación fue investigar de manera exploratoria los criterios que los estudiantes emplean para evaluar la eficacia e ineficacia de sus docentes a través de los cuestionarios elaborados para tal fin en una universidad pública mexicana.

La pregunta de la que partió el presente estudio fue: ¿qué criterios toman en consideración los estudiantes para valorar la eficacia e ineficacia de sus docentes a través de los cuestionarios de evaluación de la docencia?

Antecedentes

La mayoría de las investigaciones relacionadas con el tema se han enfocado a identificar las características de la eficacia docente con base en las dimensiones y variables que miden los CEDA. Feldman (1997) investigó este tópico desde la década de los setenta. Los amplios e influyentes meta-análisis realizados por el autor concluyen que las ocho dimensiones que tienen las más altas correlaciones entre la eficacia docente y el aprendizaje de los estudiantes son: preparación del docente, organización del curso, claridad y entendimiento, impacto percibido de los resultados de la instrucción, estimulación del interés por el curso y la materia por parte del docente, esfuerzo por animar la discusión y estar abierto a las opiniones de otros, habilidades oratorias del docente y claridad de los objetivos del curso y sus requisitos.

Molero y Ruiz (2005) realizaron una investigación con 15 mil 291 estudiantes universitarios españoles con el fin de determinar cuáles son las principales dimensiones y variables que constituyen una docencia universitaria eficaz. Los hallazgos señalan que las dimensiones más importantes son: 1) obligaciones docentes (cumplimiento) y evaluación, 2) metodología, 3) medios y recursos, e 4) interacción con el alumnado.

Se han producido algunas investigaciones que dan luz sobre los aspectos que valoran los estudiantes para considerar a un profesor eficaz sin referirse a las dimensiones de los CEDA. La primera publicación en México, y posiblemente en español, sobre las características del profesor eficaz, fue la de Ernesto Meneses (1977), de la Universidad Iberoamericana, a quien le debemos la introducción en México —y probablemente en Iberoamérica— de los CEDA (1968), la departamentalización (1968/1969) y el currículo flexible (1974). Meneses se basó en los trabajos de Hildebrand para analizar el perfil ideal del profesor universitario, y llegó a la conclusión de que un profesor eficaz se caracteriza por: 1) transmitir sus conocimientos, 2) comunicar un método, y 3) comunicar su personalidad. El estudio de Meneses resume las dimensiones más importantes que están relacionadas con la eficacia docente: el dominio del conocimiento, la didáctica (método y condiciones en que se lleva a cabo el proceso de enseñanza aprendizaje) y la personalidad del docente.

Las dimensiones que señala Meneses (1977) se confirmaron en una investigación empírica realizada en la siguiente década.

García Garduño y Rugarcía (1985) pidieron a 33 estudiantes de semestres avanzados de una universidad mexicana que describieran al mejor y al peor profesor que hubieran tenido durante sus estudios. Los autores le llamaron al primero "motivante", y al segundo "desmotivante". De acuerdo con las caracterizaciones, el profesor motivante o eficaz (en la acepción más reciente del término) se caracteriza por: 1) un método de enseñanza claro y sistemático, 2) es agradable e interactúa positivamente con los estudiantes, 3) tiene dominio de la materia que enseña, 4) puntual y 5) exigente. En cambio el profesor desmotivante o ineficaz fue descrito como: 1) carece de un método de enseñanza claro, 2) desinteresado en los estudiantes, 3) falta de dominio de la materia, 4) hostil, agresivo, 5) impuntual, 6) aburrido, 7) presumido y 8) desaliñado.

En investigaciones más recientes Celdrán y Escartín (2008), en una muestra de 167 alumnos de Psicología españoles, los autores estudiaron la percepción que tienen los estudiantes de sus profesores por medio de una descripción de la mejor y peor experiencia que hubieran tenido con ellos. Las experiencias positivas de los estudiantes se dividieron en académicas y personales. Las mejores experiencias académicas que identificaron fueron: resolución de dudas y flexibilidad; de experiencias personales: el trato y la comunicación. En cuanto a las experiencias negativas en la esfera académica encontraron: indiferencia al preguntar una duda, no atender ninguna tutoría, y falta de interés en querer mejorar. En el aspecto personal la experiencia negativa fue haber sido humillado en clase por parte del profesor. Garza (2012) empleó la técnica de redes semánticas con 23 profesores y 37 estudiantes de una universidad agrícola mexicana para identificar los elementos que deben considerarse para la evaluación de la docencia desde la perspectiva de los estudiantes y de los docentes. La autora encontró que las dimensiones que consideran de mayor importancia son: método de enseñanza, puntualidad, asistencia, conocimiento, respeto, actualización, responsabilidad y forma de evaluar. Otras dos dimensiones o características mencionadas son la tolerancia y la actitud.

Las investigaciones internacionales y nacionales analizadas arriba coinciden en que el método o didáctica del profesor, su nivel de conocimientos y ciertos rasgos de personalidad son los aspectos más importantes que determinan la eficacia docente. Con excepción de la investigación de García Garduño y Rugarcía (1985) y en cierta medida la de Celdrán y Escartín (2008), son escasos los estudios sobre los aspectos que emplean los estudiantes para valorar la ineficacia de sus docentes. Asimismo, los estudios identificados que han investigado sobre la ineficacia docente no han indagado la ineficacia docente tomando como fuente de referencia los criterios que emplean los estudiantes para valorar a sus profesores en los CEDA.

Método

Población

Participaron 163 estudiantes de siete carreras de Ciencias Sociales y Humanidades de una universidad pública de la región central de México; cursaban del séptimo al noveno semestre en siete carreras de licenciatura en los campos de las Ciencias sociales y Humanidades: Ciencias políticas y administración pública (25), Ciencias de la comunicación (24), Derecho (26), Ciencias de la educación (34), Enseñanza de la lengua inglesa (21), Sociología (9) y Trabajo social (24). Cinco de los estudiantes no habían tenido la experiencia de evaluar a sus profesores a través de los CEDA; a pesar de ello se decidió tomar en cuenta sus opiniones. La población participante se seleccionó por medio de muestreo aleatorio por cuotas, con base en grupos intactos. Se seleccionó al azar un grupo de cada carrera. Se estimó que los estudiantes de semestres avanzados podrían expresar con más fundamento sus percepciones sobre los criterios. Se sabe que los estudiantes de semestres avanzados tienen opiniones diferentes sobre la eficacia de sus profesores; le dan más importancia al conocimiento. En cambio los estudiantes de los primeros semestres valoran más la calidad de la interacción con el docente (Smith y Cranton, 1992). Los estudiantes que participaron en el estudio estaban cursando los últimos semestres de la carrera; tienen conocimiento del (los) campo(s) disciplinar(es) en el que está inserta su carrera y tenían un conocimiento amplio de sus profesores; por consiguiente, sus juicios están más fundamentados que los de estudiantes que están en los inicios de su carrera.

Se diseñó un cuestionario abierto para indagar los criterios que toman en cuenta los estudiantes para valorar la eficacia e ineficacia de sus profesores. Las preguntas-tema que se incluyeron fueron dos: una de las preguntas indagó sobre los criterios que toman en cuenta para valorar positivamente a sus profesores en los cuestionarios de evaluación, y la segunda sobre los criterios que toman en consideración para valorarlos negativamente. En el presente estudio los criterios positivos se equipararon con la eficacia y los negativos con la ineficacia. Una función de los cuestionarios de evaluación es medir la eficacia docente (Marsh, 1984); en todos los casos la opinión positiva dada por los estudiantes en los CEDA está asociada con la eficacia docente; por el contrario, una opinión negativa se expresa en puntajes bajos en dichos cuestionarios, lo cual refleja la ineficacia.

El cuestionario fue previamente piloteado en un grupo diferente de 20 estudiantes del octavo semestre de la licenciatura en Educación de la institución donde se llevó a cabo el estudio. Se confirmó que las preguntas-tema eran adecuadas para explorar el objeto de estudio de la evaluación.

Procedimiento y análisis

Se identificaron las materias y grupos de las carreras mencionadas que cursaban del séptimo a noveno semestre de la carrera en la institución donde se realizó el estudio. De esa lista se seleccionó al azar un grupo. Los coordinadores de las carreras fueron informados de la aplicación de los instrumentos pero no de los grupos específicos con los que se llevó a cabo el estudio. La aplicación fue grupal, cuando los estudiantes se encontraban tomando clase. Se solicitó el permiso correspondiente a los profesores en turno. Se les informó a los grupos de los fines de la investigación; que su participación era voluntaria y anónima. Para asegurar el completo anonimato y la apertura de los estudiantes, el único dato demográfico que se solicitó fue el nombre de la carrera que cursaban. La recogida de datos se llevó cabo durante los semestres de otoño de 2007 y primavera de 2008, antes de que los estudiantes tomaran parte en la evaluación ón acostumbra realizar.

Se efectuó un análisis cuantitativo y cualitativo de los datos. El cuantitativo se empleó para determinar el peso y distribución de los criterios identificados para valorar la eficacia e ineficacia. El análisis cualitativo tuvo mayor importancia en el presente estudio; buscó dar cuenta en detalle de los criterios que emplean los estudiantes en la valoración de sus profesores. Se transcribieron textualmente las respuestas abiertas de los 163 estudiantes; posteriormente se obtuvieron códigos, y finalmente categorías y subcategorías por carrera, y categorías centrales (axiales) y subcategorías de toda la población estudiada (Saldaña, 2009). Para agrupar las categorías que emergieron del análisis se empleó el modelo de investigación de la docencia de Michael Dunkin y Bruce Biddle (1974). Los autores señalan que la finalidad de su modelo es organizar los hallazgos sobre la investigación docente. Este modelo se ha convertido en uno de los más importantes paradigmas de investigación docente (Shulman, 1986). De acuerdo con el modelo, la docencia se puede estudiar a través de cuatro tipos de variables: contexto, presagio, proceso y producto (Dunkin y Biddle, 1974). En este análisis se emplearon las variables o criterios de presagio, proceso y producto para agrupar las respuestas de los estudiantes dentro de este paradigma. Debido a la naturaleza cualitativa del estudio, en lo sucesivo se le denominarán indistintamente criterios o variables, lo cual parece congruente con Shulman (1986); este autor señala que el modelo se puede catalogar como del tipo naturalista. Asimismo, en el análisis se asociaron los criterios positivos para evaluar la docencia como indicadores de la eficacia de los profesores, y los negativos con la ineficacia.

Análisis de resultados

Contrastes cuantitativos

Criterios de eficacia docente

Criterios de ineficacia docente

En la Tabla 2 se observa la distribución de las respuestas que dieron los estudiantes acerca de los criterios que emplean para valorar la ineficacia docente. Se observa que el peso de los criterios es diferente a los que se emplean en la valoración de la eficacia: los estudiantes le dan mayor peso a los criterios presagio —la personalidad del docente— para determinar su ineficacia; en segundo lugar, los criterios proceso son los más relevantes; el conocimiento/dominio de la materia que despliega el profesor en el aula es ligeramente más importante que el método/didáctica del profesor. Al igual que en la valoración de la ineficacia, la puntualidad y asistencia son más importantes para los estudiantes que la manera de evaluar el curso. Los criterios producto —los resultados percibidos del aprendizaje percibido— tiene escasa importancia.

Análisis cualitativo

Criterios para evaluar la eficacia docente

Criterios de proceso

Los criterios de proceso se refieren a las actividades reales que el profesor y los alumnos despliegan dentro del aula, así como a los cambios observables en el comportamiento de los alumnos; se refiere a todos los tipos de actividades, tanto aquellas que promueven el aprendizaje y crecimiento de los alumnos como las que lo obstruyen (Dunkin y Biddle, 1974). Aunque de acuerdo con este modelo el conocimiento y capacitación del docente se pueden considerar como variables presagio (Dunkin y Bidlle, 1974), en este estudio se agrupó dentro de las variables proceso, pues se estimó que el dominio/conocimiento de la materia es un comportamiento que el profesor despliega en el aula. En un estudio más amplio (y no del tipo exploratorio como el presente) podría identificarse con claridad la influencia de la preparación previa del docente y el dominio de la materia, y eso también podría considerarse como criterio presagio.

Los hallazgos indican que el orden de importancia en que los estudiantes consideran los criterios de proceso para evaluar la eficacia de sus profesores es: 1) el método de enseñar/didáctica, 2) el dominio/conocimiento de la materia, 3) su puntualidad y asistencia, y 4) la manera de evaluar. Los dos primeros factores (método de enseñar y conocimiento de la materia) tienen un peso muy semejante en las valoraciones de los estudiantes.

El método de enseñar/didáctica. Dentro del proceso el método de enseñar/didáctica es el criterio más importante para determinar la eficacia docente. Los estudiantes lo expresaron de las siguientes maneras:

La forma en que imparte su clase, la manera en como prepara la misma y el material que utiliza (CO, 15).

La forma de explicar los temas (CP, 03).

Su forma de dar la clase (DE, 22).

Su forma de dar la clase, que tenga dominio de la materia (TS, 07).

Planeación de las clases, utilización de material didáctico, técnicas, estrategias... (ED, 17).

Dominio de contenidos, uso de recursos didácticos, el uso de estrategias didácticas, facilidad del proceso de enseñanza (ED, 14).

La forma de transmitir sus conocimientos y técnicas para hacer más fácil el aprendizaje (TS, 16).

Los estudiantes valoran positivamente a los profesores que emplean métodos activos, innovadores y no tradicionales:

Conocimiento en la materia, innovador, el que no sea un tradicionalista. Abierto a diferentes puntos de vista... (LI, 10).

Que le entienda a su clase sin la necesidad de memorizar las cosas sino comprenderlas, que le tengamos confianza (TS, 03).

La calidad de enseñanza y que no sólo venga a clases. Pedir que los alumnos expongan temas porque ese es su trabajo de ellos (LI, 13).

...la manera en como da la clase, si el tema es de gran importancia, si se apoya en experiencias de la vida (DE, 03).

Dominio/conocimiento de la materia. Los estudiantes creen que el conocimiento o dominio de la materia que imparte el docente es casi tan importante como el método de enseñanza cuando otorgan evaluaciones positivas:

Su desempeño en clase en cuanto conocimiento sobre el tema.... (LI, 05)

Si realmente sabe sobre su materia (LI, 07).

Su desempeño en el salón de clases, así como sus conocimientos en la materia que imparten (LI, 21).

Su desempeño en clases y la forma en que imparte la materia (DE, 19).

El grado de conocimiento que tiene sobre la materia (CO, 01).

Su calidad y conocimientos para impartir clase (CP, 02).

Su conocimiento o dominio de la asignatura (ED, 07).

Se encontró con frecuencia que los estudiantes no disocian esos dos criterios:

Su forma de dar la clase, que tenga dominio de la materia (TS, 07).

Algunos estudiantes señalan que lo que más toman en cuenta es "su desempeño". Con ello, al parecer, se refieren al hecho de evaluar todos los aspectos en conjunto, principalmente el conocimiento y la manera de transmitirlo:

Su desempeño en clase en cuanto conocimiento sobre el tema y sus técnicas de enseñanza (LI, 05)

La evaluación del aprendizaje aparece en este estudio como el último de los criterios importantes en la eficacia de los docentes. Un estudiante de Ciencias Políticas señaló: "pienso que en la forma de evaluar todos los aspectos a criticar son positivos, pues se trata de reconocer errores y aciertos". Otro de Derecho expresó: "que sus exámenes tengan armonía con el programa".

Los criterios presagio: actitud, valores y personalidad

Las variables (criterios) presagio se refieren a las características de los profesores que pueden afectar el proceso de la docencia: experiencia formativa del profesor (edad, sexo, clase social), su educación y desarrollo profesional y las propiedades del profesor, esto es: sus habilidades docentes, rasgos de personalidad, inteligencia y motivación (Dunkin y Biddle, 1974).

En el presente estudio, estos criterios fueron los segundos en importancia, después de los de proceso, para evaluar positivamente a los profesores; en esta investigación los criterios presagio se circunscribieron a los rasgos de personalidad, actitudes/valores y motivación de los docentes. Los criterios que emplean los estudiantes se enlistan a continuación.

La actitud y valores en la interacción con los estudiantes. Los estudiantes valoran positivamente a los profesores que tienen un buen trato con ellos: "forma de ser o un buen trato" (CP, 04); "la forma como se dirige al alumno" (TS, 23); si es buena onda, si es barco, si es alivianado, etc."; "que sea alivianado" (DE, 25); "la forma en que se lleva con los alumnos" (TS, 19). Varios respondientes señalaron que lo que valoran "es la actitud" de los docentes. Cuando señalan tal cosa lo entremezclan con otros aspectos, como valores y dominio de la materia.

La actitud a la que hacen mención los estudiantes se puede desplegar en los rasgos de personalidad que observan en sus profesores. Entre los mencionados con más frecuencia están: responsabilidad, respeto hacia los alumnos, objetividad, accesibilidad, comunicación, flexibilidad y simpatía. Incluso algunos de esos estudiantes valoran la exigencia del profesor. Otros, como un estudiante de Derecho, toman en consideración la apariencia y el aliño de los profesores, propiedad congruente con los estereotipos profesionales de esa carrera. Los rasgos más mencionados fueron responsabilidad y respeto, lo cual parece congruente con la valoración que le dan a la puntualidad y asistencia a clases; parecería que este último aspecto es considerado por los estudiantes como actos que conllevan responsabilidad y respeto.

La motivación/interés del profesor por enseñar. El segundo aspecto más mencionado dentro de los criterios presagio es la motivación y el interés de los docentes; eso se manifiesta en dos vertientes, en el interés por los alumnos y en el interés que tiene por su materia:

]]> Creo que uno sabe [o por lo menos] percibe cuando un maestro es bueno, principalmente porque se interesa en la materia y en el desarrollo y desempeño de cada alumno. El que domine el tema, el que tenga una buena conducta hacia los alumnos (SO, 01).

La atención hacia el alumnado (CP, 18).

Los productos

Las variables o criterios producto comprenden los resultados de la enseñanza en términos del crecimiento y efecto en los alumnos (actitudes, habilidades profesionales); es posible que los estudiantes puedan tener experiencias negativas como producto de lo experimentado en el salón de clase, y eso también se puede considerar productos (Dunkin y Biddle, 1974).

Una de las limitaciones de los cuestionarios de evaluación es que no es frecuente que incluyan ítems dedicados a explorar la percepción de los estudiantes sobre qué tanto aprendió en el curso; estos instrumentos se dedican fundamentalmente a evaluar las variables/criterios proceso relacionadas con el acto de enseñar. De ahí que no sea extraño que dentro de los criterios que emplean los estudiantes la percepción de los productos del aprendizaje sea el de menor importancia. Con excepción de unos cuantos estudiantes (7) de las carreras de Ciencias de la Educación, Comunicación y Sociología, el resto no menciona a los productos del aprendizaje como criterio para evaluar positivamente a sus docentes. Ciencias de la Educación fue la carrera en que este criterio se mencionó con más frecuencia:

Si enseña bien para que aprenda... (ED, 01).

Su forma de enseñanza para permitirme aprender (ED, 22).

Lo que aprendo en clase (ED, 23).

Lo aprendido en el curso (CO, 04).

]]> Que sepan transmitir la información correctamente pero que haya retroalimentación y aprendizaje significativo... (CO, 09).

Pues todo lo bueno que ofreció en clase... sobre todo si aprendí y supo enseñar (SO, 06).

Criterios para evaluar la ineficacia docente

Si bien los criterios que emplean los estudiantes para evaluar negativamente son semejantes a los que usan para evaluar positivamente, el orden cambia. Los criterios presagio juegan un papel más importante que el resto. En segundo lugar los estudiantes emplean criterios relacionados con el proceso. Los criterios relacionados con los productos del aprendizaje apenas fueron señalados por dos estudiantes y no tienen importancia en la evaluación negativa de los docentes.

Criterios presagio

Dentro de estos criterios los estudiantes señalan la calidad de la interacción del docente con los estudiantes, el interés que demuestran hacia su materia y su simpatía. El trato, la calidad de la interacción de los docentes, es decisiva para calificarlos negativamente. Dicho trato está básicamente relacionado con la percepción de que los docentes son rígidos, autoritarios, déspotas, intolerantes, irrespetuosos, petulantes, descorteses e incluso groseros:

Su falta de relación positiva con los alumnos (DE, 24).

Muchas veces su forma de comportarse ante los alumnos (TS, 12).

La forma de comportarse en el grupo (ED, 16).

]]> Falta de respeto a los alumnos... la terquedad, inflexibilidad (SO, 01).

Apatía hacia el grupo/materia o hacia su misma profesión. Hay maestros que sólo trabajan por el dinero, pero dudo mucho en su vocación (LI, 09).

Que pasa lista siempre y en punto sin dar espacio de retraso. Que no escuche puntos de vista y se moleste con otras opiniones. Que sea enojona, demasiado estricta (CP, 04).

Que sea intolerante o que no esté abierto a debatir lo que propone (CO, 11).

Que sea déspota o petulante, que no sepa dar clase (DE, 05).

Que sea grosero. Que cuando te dirijas a él, te dé el avión, te ignore (TS, 23).

Otro criterio importante para evaluar negativamente es el interés y compromiso de los docentes con el curso. Los estudiantes lo expresan a través de la falta de responsabilidad e interés por el curso:

Apatía hacia el grupo o hacia su misma profesión. Hay maestros que sólo trabajan por el dinero, pero dudo mucho en su vocación (LI, 09).

La falta de responsabilidad que tiene respecto con la materia (CP. 16).

]]> ...hay profesores que no cumplen con su trabajo, sólo vienen a sentarse y a dar copias para leer (LI, 18).

Que es irresponsable y no sabe desempeñar de manera correcta su función (DE, 12).

Aunque los cuestionarios de evaluación no incluyen ítems relacionados con qué tan agradable fue el docente, la percepción de antipatía también influye en la valoración negativa del curso:

Que sea un mal profesor, que me caiga mal (TS, 03).

Que me caiga mal o que sea prepotente (ED, 06).

El aliño, la presentación del profesor fue mencionado ocasionalmente.

Criterios proceso

Los criterios o variables proceso son los segundos en importancia para determinar la ineficacia del profesor. Son semejantes a los que emplean los estudiantes en la valoración positiva. Sin embargo, el conocimiento/dominio del tema tiene una importancia mayor que el método/didáctica del profesor.

]]> Su falta de conocimientos, inseguridad ante algún tema (TS, 20).

Inasistencias. Podría ser su falta de preparación en el tema (SO, 04).

Que no sepa lo que está diciendo (LI, 15).

Cuando el docente falta mucho y no domina los temas, por lo que pone actividades que no tienen que ver con la materia (ED, 01).

Que no cuente con conocimientos sobre la materia que imparte (DE, 26).

Si considero que no sabe de su tema, o que sólo habla y no enseña buenos o nuevos conocimientos (CO, 21).

No tiene el perfil para impartir la materia (CP, 08).

Cuando se le pregunta algo del tema y no sabe (CP, 03).

La puntualidad y asistencia es el cuarto criterio más importante para juzgar a un profesor como ineficaz. Tal parece que los estudiantes asocian la impuntualidad e inasistencia con la falta de respeto e irresponsabilidad de parte de los docentes.

]]> Que falta mucho a clases, no le pone el empeño que debería (LI, 16).

Que no le importe impartir clase, que no asista (CP, 13).

Su impuntualidad, sus inasistencias (CO, 16).

La manera de evaluar el aprendizaje apareció como otro criterio empleado, pero por la frecuencia con que se mencionó, ocupa el último lugar dentro de los criterios de proceso y no es tan determinante como los otros mencionados en la valoración negativa de los profesores:

Que no aprendí, que fue poco exigente, la forma en como me evaluó, la dificultad de los trabajos (ED, 03).

Si se manchó en los exámenes (TS, 24).

Su forma de evaluar... (ED, 08).

Productos

Los productos, en este caso la percepción de lo aprendido en el curso, no fue un criterio importante para evaluar negativamente a los docentes; sólo fueron mencionados por dos estudiantes de Ciencias de la Educación.

Que no aprendí, que fue poco exigente, la forma en como me evaluó, la dificultad de los trabajos (ED, 03).

El que no, es decir, de contar al final del curso con aprendizaje significativo (ED, 24).

Discusión y conclusiones

El propósito de este estudio fue indagar los criterios que los estudiantes de carreras de Ciencias sociales y Humanidades emplean para determinar la eficacia e ineficacia de sus profesores al evaluar la docencia a través de los CEDA. En los estudios revisados existe acuerdo en las dimensiones que, por ser importantes, deben incluir estos instrumentos para evaluar el desempeño del profesor. Sin embargo, en general los instrumentos empleados en México y otras latitudes se limitan a medir aspectos relacionados con el proceso de la enseñanza e ignoran sus resultados. Asimismo, no es común que incluyan ítems que valoren globalmente al curso y al profesor.

Para llevar a cabo el análisis cuantitativo y cualitativo de las respuestas de los estudiantes se empleó el modelo de contexto, presagio, proceso y producto de Dunkin y Biddle (1974), el cual se ha convertido en uno de los principales paradigmas para investigar la docencia (Shulman, 1986). Los resultados señalan que los criterios que emplean los estudiantes para evaluar la eficacia son, en ese orden: proceso, presagio y escasamente los productos o resultados del aprendizaje. Los criterios de proceso que consideran para evaluar positivamente a sus profesores son: 1) el método de enseñar/didáctica, 2) dominio/conocimiento de la materia, 3) su puntualidad y asistencia y 4) la manera de evaluar. Los dos primeros factores (método de enseñar y conocimiento de la materia) tienen un peso semejante en las valoraciones de los estudiantes.

El orden que los estudiantes asignan a los criterios para valorar la ineficacia docente es distinto a los que emplean cuando valoran la eficacia. Para valorar la ineficacia los criterios presagio son los más importantes; los estudiantes los asocian con la calidad percibida de la interacción de los docentes (trato), el interés y la motivación por enseñar. Dicho trato está básicamente relacionado con la percepción de que los docentes son rígidos, autoritarios, déspotas, intolerantes, irrespetuosos, petulantes y descorteses. Los criterios o variables proceso son los segundos en importancia para determinar la ineficacia del profesor pero el conocimiento/dominio del tema tiene una importancia mayor que el método de enseñar del profesor.

Los criterios de producto tienen poco peso en la eficacia de los docentes y son casi imperceptibles en la valoración negativa o de la ineficacia. Esto podrá deberse a que los CEDA no consideran los productos percibidos del aprendizaje como una dimensión importante de evaluar. Los estudiantes parecieran estar condicionados a evaluar a sus profesores de acuerdo con las dimensiones incluidas en los CEDA, las cuales dejan de lado la evaluación de los resultados percibidos del aprendizaje.

Finalmente, cabe señalar que la presente investigación tuvo limitaciones debido a su carácter exploratorio, al tamaño de la muestra estudiada y al uso de un cuestionario abierto; ello imposibilitó profundizar en el significado más detallado que los estudiantes le dan a los criterios estudiados y al contexto o situaciones en que los emplean. Por otro lado, el estudio se llevó a cabo con estudiantes de semestres avanzados de carreras de Ciencias sociales y Humanidades. Sería conveniente realizar investigaciones semejantes con alumnos de otras disciplinas como las de ciencias e ingeniería, con estudiantes que cursen semestres menos avanzados y emplear datos más recientes para corroborar los hallazgos. No obstante, cabe señalar que la revisión de los antecedentes de las investigaciones relacionadas con el tema es consistente con los hallazgos del presente estudio.

Referencias

Acosta, Beatriz (2012), "Evaluación de las propiedades psicométricas del cuestionario de evaluación docente (Docentia) para su uso en una muestra mexicana", Revista Iberoamericana de Evaluación Educativa, vol. 5, núm. 2, pp. 181-197.         [ Links ]

Cashin, William E. y Ronald G. Downey (1992), "Using Global Student Rating Items for Summative Evaluation", Journal of Educational Psychology, vol. 84, núm. 4, pp. 563-572.         [ Links ]

Celdrán, Montserrat y Jordi Escartín (2008), "¿Qué piensan los alumnos universitarios sobre las competencias interpersonales de su profesorado? Un estudio cualitativo", ponencia presentada en el Congreso Internacional Univest 08, Girona, 2-3 de junio de 2008, en: http://web2.udg.edu/ice/memories/2007–2008/contingut_CD/12/univest.pdf (consulta: mayo de 2012).         [ Links ]

Centra, John A. (1993), Reflective Faculty Evaluation, San Francisco, Jossey-Bass.         [ Links ]

Díaz-Barriga, Ángel (2004), "La evaluación de la docencia. Su generación, su adjetivación y sus retos", en Mario Rueda (ed.), ¿Es posible evaluar la docencia en la universidad? Experiencias en México, Canadá, Francia, España y Brasil, México, ANUIES, pp. 63-75.         [ Links ]

Dunkin, Michael J. y Bruce J. Biddle (1974), The Study of Teaching, Lanham, MD, University Press of America.         [ Links ]

Emery, Charles, Tracy Kramer y Robert Tian (2001), "Customers vs. Products: Adopting an effective approach to business students", Quality Assurance in Education, vol. 9, núm. 2, pp. 110-115.         [ Links ]

Feldman, Kenneth A. (1997), "Identifying Exemplary Teachers and Teaching: Evidence from student ratings", en R.P. Perry y J.C. Smart (eds.), Effective Teaching in Higher Education: Research and practice, Nueva York, Agathon, pp. 368-395.         [ Links ]

Feldman, Kenneth A. (1989), "Instruccional Effectiveness of College Teachers as Judged by Teacher Themselves, Current and Former Students, Colleagues, Administrators, and External (neutral) Observers", Research in Higher Education, núm. 30, pp. 137-194.         [ Links ]

García Garduño José María y Armando Rugarcía (1985), "Perfil del maestro motivante y del desmotivante en las carreras de ingeniería", Boletín Didac 13, Serie roja, México, Universidad Iberoamericana-Centro de Didáctica.         [ Links ]

Garza, Rosa María (2012), "Redes semánticas: herramienta para identificar lo que debe evaluarse en la docencia universitaria", Revista Iberoamericana de Evaluación Educativa, vol. 5, núm. 2, pp. 116-123.         [ Links ]

Hoyt, Donald P. y William E. Cashin (1977), IDEA technical Report No. 1: Development of the IDEA system, Manhattan, KS, Kansas State University-Center for Faculty Evaluation and Development.         [ Links ]

Luna, Edna (2003), La participación de los docentes y estudiantes en la evaluación de la docencia, México, Plaza y Valdés.         [ Links ]

McKeachie, Wilbert J. (1979), "Student Ratings of Faculty: A reprise", Academe, núm. 65, pp. 384-397.         [ Links ]

Marsh, Herbert W. (1984), "Students' Evaluations of University Teaching: Dimensionality, reliability, validity, potential biases, and utility", Journal of Educational Psychology, núm. 76, pp. 707-754.         [ Links ]

Marsh, Herbert W., Javier Tourón y Barbara Wheeler (1985), "Students Evaluations of University Instructors: Their applicability of American instruments in Spanish setting", Teaching and Teacher Education, vol. 1, núm. 2, pp. 123-138.         [ Links ]

Mazón, Juan José, Jorge Martínez Stack y Adrián Martínez González (2009), "La evaluación de la función docente mediante la opinión del estudiante. Un nuevo instrumento para nuevas dimensiones", Revista de la Educación Superior, vol. 38, núm. 149, pp. 113-140.         [ Links ]

Meneses, Ernesto (1977), "Un perfil del maestro universitario", Revista de la Educación Superior, vol. 6, núm. 4, en: http://www.anuies.mx/servicios/p_anuies/publicaciones/revsup/res024/ind024.htm (consulta: junio de 2012).         [ Links ]

Molero, David y Juan Ruiz (2005), "La evaluación de la docencia universitaria. Dimensiones y variables más relevantes", Revista de Investigación Educativa, vol. 23, núm. 1, pp. 57-84.         [ Links ]

Rueda, Mario, Edna Luna, Benilde García Cabrero y Javier Loredo (2010), "La evaluación de la docencia en las universidades públicas mexicanas: un diagnóstico para su comprensión y mejora", Revista Iberoamericana de Evaluación Educativa, vol. 3, núm. 1e, pp. 77-92.         [ Links ]

Saldaña, Johnny (2009), The Coding Manual for Qualitative Researchers, Thousand Oaks, CA, Sage.         [ Links ]

Seldin, Peter (1993, 21 de julio), "The Use and Abuse of Student Ratings of Professors", The Chronicle of Higher Education, p. A40.         [ Links ]

Shulman, Lee S. (1986), "Paradgims and Research Programs in the Study of Teaching: A contemporary perspective", en Merlin C. Wittrock (ed.), Handbook of Research on Teaching, Nueva York, Macmillan, pp. 6-36.         [ Links ]

Silva, César (2009), "Las encuestas de opinión en la Universidad Autónoma de Ciudad Juárez: ¿un caso de exclusión del profesorado?", Archivos Analíticos de Políticas Educativas, vol. 17, núm. 24, en: http://epaa.asu.edu/epaa/v17n24 (consulta: enero, 2013).         [ Links ]

Smith, Ronald A. y Patricia A. Cranton (1992), "Students' Perceptions of Teaching Skills and Overall Effectiveness across Instructional Settings", Research in Higher Education, vol. 33, pp. 747-764.         [ Links ]

Tirado, Felipe, Alejandro Miranda y Andrés Sánchez Moguel (2007), "La evaluación como proceso de legitimidad: la opinión de los alumnos. Reporte de una experiencia", Perfiles Educativos, vol. XXIX, núm. 118, pp. 7-24.         [ Links ]

Verdugo, María Victoria y María Isabel Cal Bouzada (2010), "Valoración de la enseñanza: SEEQ", Revista de Formación e Innovación Educativa Universitaria, vol. 3, núm. 4, pp. 182-193.         [ Links ]