La evaluación como proceso de legitimidad: la opinión de los alumnos. Reporte de una experiencia
Evaluation as legimity process: student's opinion. Report of an experience
Felipe Tirado Segura *, Alejandro Miranda Díaz ** y Andrés Sánchez Moguel***
* Doctor en Educación por la Universidad Autónoma de Aguascalientes. Miembro del SNI. Es profesor e investigador en la UNAM Campus Iztacala, donde es jefe del Proyecto de investigación psicoeducativa en la Unidad de Investigación Interdisciplinaria en Ciencias de la Salud y la Educación (UIICSE). También es profesor de la División de Estudios de Posgrado, de la Facultad de Psicología de la UNAM. Entre sus publicaciones están: (2004), Perfiles del EXANI-I, en F. Tirado (coord.), Evaluación de la educación en México. Indicadores del EXANI-I, México, Centro Nacional de Evaluación para la Educación Superior, pp. 97-148, y F. Tirado y G. Guevara Niebla (2006), Conocimientos cívicos en México: un estudio comparativo internacional, Revista Mexicana de Investigación Educativa, vol. XI, núm. 30, pp. 995-1018.
Correo electrónico: ftirado@servidor.unam.mx
*** Maestro en Psicología, por la UNAM. Ha sido Investigador de tiempo completo y después asesor de la Fundación SNTE. Actualmente es subdirector de Pruebas de Matemáticas y Ciencias Naturales del Instituto Nacional para la Evaluación de la Educación, y miembro del Consejo Técnico del EXANI I del CENEVAL.
Correo electrónico: andres.sanchez@ineemexico.org
Recepción: 20 de junio de 2007
Aprobación: 29 de octubre de 2007
RESUMEN: En este trabajo se presentan diversas consideraciones sobre la importancia de legitimar la operación social y la gestión institucional en las organizaciones educativas, considerando que uno de los elementos estriba en el derecho a opinar de los alumnos sobre el desempeño docente de sus profesores. En el trabajo se reporta el análisis de 26 010 cuestionarios contestados por los alumnos de un campus universitario sobre el desempeño docente de 1 011 de sus profesores. La conclusión del estudio lleva a delinear las características de un buen docente, de acuerdo con las opiniones mayoritarias expresadas por los alumnos. Otro aspecto relevante del trabajo consiste en el uso que se hizo de las tecnologías en línea, como medio para instituir procedimientos operativos que permitan atenuar o resolver el problema para trasparentar de manera continua y sistemática la expresión social de comunidades amplias, contribuyendo así a una cultura de la legitimidad.
Palabras Clave: Evaluación / Legitimidad / Docencia / Opinión de alumnos / Cómputo
]]>ABSTRACT: This study presents various aspects, which concern the importance of legitimating social operations and institutional gestation in educational organizations by taking into account the right of students to express their opinions regarding the performance of their teachers. The study reports the analysis of 26,010 questionnaires answered by students of a university campus regarding the quality of teaching of 1,011 professors. The conclusion of the study delineates the characteristics of a good teacher, in accordance with the opinions expressed by a majority of the students. Another relevant aspect of the study deals with the manner in which online technologies were used, as a medium for instituting operative procedures, for solving problems in a continuous and systematic manner and, for making the social expression of large communities more transparent, thus contributing towards a culture of legitimacy.
Descriptors: Evaluation / Legitimacy / Teaching / Opinion of students / Electronic media
LA LEGITIMIDAD EN LA EVALUACIÓN
Hay un consenso universal en reconocer la importancia que tienen los procesos educativos tanto para el desarrollo de las personas como para el de las sociedades; así lo expresa la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) al considerar que "la educación representa un elemento indispensable para el desarrollo y el progreso económico y humano" (UNESCO, 1997). De aquí que en las últimas décadas se han realizado enormes esfuerzos en el mundo por mejorar la calidad educativa. Un punto sustantivo para promover la calidad educativa es cómo ocurre el ejercicio docente en la escuela y el salón de clases, ya que en buena parte el resultado deriva de la manera como se ejerce la enseñanza. El desempeño de los profesores es crucial para poder llevar a cabo cualquier reforma educativa, y si ellos no modifican sus prácticas todo seguirá igual.
Un aspecto bien documentado en la investigación educativa es que el ethos o clima escolar, correspondiente al nivel de tensiones o armonía que se logra establecer en las relaciones interpersonales de todos los sujetos del proceso educativo (profesores, alumnos, directivos y administradores), constituye un factor de suma relevancia tanto para el logro de los propósitos educativos, como para el buen desempeño de la gestión educativa y la calidad de vida que se tiene en la experiencia escolar (Edmonds, 1979; Purkey y Smith, 1983; Mortimore, 1988; Posner, 2004). Un ethos escolar positivo se logra cuando se establece un ambiente de colaboración, cuando se tienen mecanismos para establecer propósitos comunes por medio de consensos, cuando se promueven y respetan los derechos de sus integrantes, cuando hay procedimientos legítimamente constituidos para resolver las diferencias y en las tomas de decisiones. Todos los procesos de evaluación para contribuir al ethos institucional deben estar legítimamente constituidos.
Entre los compromisos de toda institución educativa está promover una ética social que fortalezca la formación cívica y ciudadana de todos sus integrantes. Hay dos premisas necesarias de observancia en todo momento y lugar: el respeto y la responsabilidad. El respeto obliga a la consideración de los otros, de su integridad y dignidad como personas, de sus derechos, de su prerrogativa a opinar y ser considerados, de respetar el principio de la reciprocidad. La responsabilidad implica cumplir con nuestros compromisos, con nuestras funciones, dar cuenta de ellas, promover la transparencia. La formación cívica requiere construir alternativas de participación institucional que generen la base para consolidar una fuerza social (empowerment) tal que permita generar la exigencia de la transparencia, la rendición de cuentas, la equidad; que haya medios que den voz y presencia a todos los miembros de la comunidad, constituir procedimientos legítimos (razonables, justos y genuinos) para gestar contralorías sociales y observatorios que permitan definir demandas y darles seguimiento.
La educación es un compromiso moral, las instituciones educativas están obligadas a difundir y dar observancia a la Declaración universal de derechos humanos (ONU, 1948), derechos que son inalienables, y cuya enseñanza se logra señalándolos y observándolos en el quehacer cotidiano, en todo momento, en todo lugar, y no sólo con discursos en salones de clases. Hay principios de ética social que se deben cumplir para promover la formación cívica y ciudadana en las instituciones educativas, como son el respeto a las personas, tener consideración siempre de su dignidad e integridad, no atentar contra sus derechos.
La legitimidad de un acto se da cuando es razonable, justo y genuino; basado en hechos reales, que sean válidos y confiables, de manera tal que haya credibilidad. La toma de decisiones, para ser democrática, debe cumplir con el principio de la legitimidad.
]]> De igual manera la evaluación en una institución educativa debe responder a un proceso legítimo: ¿quién evalúa?, ¿por qué se evalúa?, ¿para qué se evalúa?, ¿a quién se evalúa?, ¿cómo se evalúa? La evaluación educativa no puede ganar legitimidad cuando se utiliza como un instrumento de control; será legítima en la medida que contribuya a alcanzar los propósitos educativos, que permita mejorar las prácticas de la enseñanza.Es importante reivindicar la figura docente; hay que evaluar la labor y no a las personas, lo que significa una mirada diferente ante el problema del desempeño escolar. Se trata de identificar las buenas prácticas docentes y arraigarlas, incidir en la calidad educativa: tal es el fondo, lo demás es la forma. Hay que tener mucho cuidado en no lesionar la autoimagen del docente, su integridad, su dignidad personal y profesional (Rueda y Rodríguez, 1996).
La evaluación debe ser sistémica, evaluar el funcionamiento de todos los factores y participantes, considerando sus funciones institucionales y no, como suele ocurrir, que se evalúa sólo a una parte de los componentes. La evaluación debería comenzar por los directivos, por cuatro razones de sólido sustento: la primera, porque su labor es la que tiene mayores repercusiones en el desempeño institucional; la segunda, porque son quienes gozan de las mejores condiciones institucionales; la tercera, porque el proceso educativo es sistémico, cada componente afecta la operación institucional con efectos circulares, y la cuarta, porque los directivos deben constituir un referente, un ejemplo a seguir, éticamente no se puede exigir lo que uno no cumple. La calidad de la evaluación institucional se logra cuando todos los involucrados en el proceso sean evaluados, cuando todos puedan participar exponiendo sus opiniones de manera que sean atendidos sus diversos puntos de vista. De esta forma se cumple el principio de reciprocidad y el proceso ganará legitimidad.
LA EVALUACIÓN DE LA DOCENCIA
Las características que constituyen a un buen docente ya están bastante estudiadas y hasta cierto punto se les podría considerar definidas; el problema ahora es cómo las pueden adquirir los docentes en servicio, lo cual consideramos que se logra si se les puede persuadir de que su desempeño es muy relevante. Primero se requiere promover el interés de los profesores por conocer los resultados de su labor, para ello es muy importante que valoren el poder de orientación que les pueden brindar las opiniones de sus estudiantes; el segundo paso será tener la voluntad de hacer esfuerzos por superar las limitaciones detectadas, y finalmente promocionarles conocimientos y estrategias para saber cómo mejorar.
Así como hay didácticas específicas para atender la diversidad de los propósitos educativos, debe haber procedimientos de evaluación específicos a las particularidades de la función docente; no es lo mismo enseñar matemáticas a literatura, tampoco puede ser lo mismo la manera en que se evalúan; de igual manera existen prácticas institucionales y culturales que deben ser consideradas dando lugar a procedimientos diferenciados de evaluación (Rueda, 2006).
Los propósitos, procesos y resultados del fenómeno educativo constituyen un sistema harto complejo en el que interviene un sinnúmero de factores, que además al interactuar generan interrelaciones complejas; por ello, al evaluar los procesos educativos se requiere contar múltiples indicadores; uno de ellos puede ser la opinión de los alumnos con respecto a la calidad de los servicios que reciben por parte de los directivos y los docentes.
En la educación se establece un binomio con dos actores centrales: los alumnos y los profesores. La interacción que se genera entre ellos es parte crucial del proceso educativo. Una buena didáctica puede representar una diferencia en la calidad y los resultados de la acción educativa. Un problema que ha enfrentado la investigación educativa es cómo poder conocer lo que ocurre en el aula. Este problema se ha referido como el de una "caja negra", en tanto no se sabe lo que ocurre en su interior; el salón de clases resulta una incógnita para todos, menos para los alumnos y el profesor. Aunque sabemos bien que es en el aula donde ocurre y se escenifica la mayor parte de las relación profesor-alumnos, es difícil introducirse en ella dado que suele haber una resistencia a ser observado, y generalmente cuando se logra tener acceso, la práctica cotidiana se altera porque se sabe que se está siendo observado, dando lugar a una actuación que no es la habitual. De aquí que los mejores agentes que tienen la posibilidad de observar la docencia de manera natural y continua sean los estudiantes, ellos pueden retroalimentar al profesor indicándole con sus apreciaciones cuándo su desempeño docente lo consideran apropiado o no.
Las observaciones de los alumnos pueden ser una buena fuente de información para saber qué es lo que ocurre en el interior del aula, en tanto ellos son parte constitutiva, pero sobre todo porque son los directamente beneficiados o afectados por la acción docente. Los alumnos no sólo pueden reportar o ayudar a tener indicadores de lo que sucede en el salón de clases, sino también pueden ofrecer sus apreciaciones y sugerencias, al evaluar o estimar el desempeño de sus profesores, emitiendo sus propias opiniones.
]]> Todos deberíamos tener una actitud crítica sobre nuestros propios actos, que nos permita reconocer tanto nuestros aciertos como nuestras limitaciones y omisiones; es la manera de poder superarlos. Para que un profesor pueda reconocer cuáles son las acciones exitosas en su ejercicio docente, así como cuáles las desacertadas, requiere de información que le permita saberlo, de aquí que sea conveniente que pueda conocer qué opinan sus alumnos al respecto. A un profesor que cuente con elementos de juicio diferentes a los suyos le será más fácil reconocer aciertos, errores y omisiones; así, si tiene interés, llegará eventualmente a determinar cuáles son las mejores estrategias didácticas, modificar su práctica educativa y ganar calidad en su labor docente.Las más de la veces la opinión de los alumnos suele ser un recurso despreciado, incluso estigmatizado, y por lo mismo desaprovechado para la búsqueda de didácticas efectivas; ya que como es natural preferimos actuar con plena libertad, sin la necesidad de asumir responsabilidades y menos tener que rendir cuentas; además muchos profesores temen llegar a tener consecuencias adversas, les preocupa que aflore un poder (empowerment) en los alumnos que generalmente no tienen, porque temen que esto dé lugar a arbitrariedades, por ello desestiman el derecho que los alumnos deben tener a opinar sobre la calidad de los servicios educativos que reciben. Habría que hacer ver que el respeto al derecho a ser considerado constituye un principio democrático del cual se derivan múltiples beneficios; es parte de la formación ciudadana.
Es muy probable que un buen profesor reconocido como tal por sus alumnos se sienta satisfecho, hasta halagado y enorgullecido de que sus esfuerzos por cumplir con sus responsabilidades de trabajo son efectivos y apreciados, lo que puede evocar una espiral virtuosa, un efecto positivo en su interés, en su entusiasmo, en sus actitudes y por consecuencia en su futuro desempeño docente. Por el contrario, si un profesor que se esmera aprecia que hay indiferencia ante sus esfuerzos, no encontrará fuentes de motivación por seguir esmerándose, incluso puede llegar a desvanecerse su interés y quedarse en la lógica del menor esfuerzo, burocratizando su trabajo.
Por otro lado, cuando hay un profesor con pobre desempeño, si sus alumnos le pueden hacer saber en qué está fallando, cuáles son sus desaciertos, en la medida en que acepte las críticas y la institución le brinde, no reprimendas, sino elementos de apoyo para superarse, podrá eventualmente atenuar o sobreponerse a sus limitaciones y llegar a ser un buen profesor; por el contrario, lo más probable es que tendremos un mal maestro dentro de una espiral viciosa que se irá deteriorando más en su desempeño a lo largo de su vida docente, sin que la misma institución se percate de ello, con todas las consecuencias que esto implica.
Ciertamente algunos profesores, a título personal, realizan ejercicios de evaluación de su docencia con sus alumnos; ello está bien, pero resultan muy limitados. Además, estas prácticas pueden estar sesgadas involuntariamente por la preferencia del profesor a explorar solamente ciertas habilidades, probablemente en las que es competente, y omitir preguntas en torno a sus debilidades; además, si el proceso no es anónimo, el alumno puede sentirse temeroso para señalarle sus deficiencias al profesor directamente y mejor optar por la adulación. Por ello resulta conveniente que existan ejercicios institucionales sistematizados que permitan reflexionar en torno a las prácticas docentes como objeto de estudio, contando para ello con la participación de todos los estudiantes, haciendo los procedimientos de gestión horizontales. Este tipo de ejercicios da la posibilidad de llevar a cabo acciones de amplio espectro que permitan investigar sistemáticamente en torno a las prácticas docentes, fortalecer la docencia institucional a la luz de los resultados, organizar seminarios de análisis, cursos y talleres sobre las competencias en didácticas específicas, que permitan a los profesores mejorar su práctica.
Se sabe bien que un efecto de la evaluación es modular el comportamiento: lo que se evalúa se torna importante en cuanto se lo diferencia, atiende y procura. La evaluación formativa busca impactar el proceso educativo de manera que pueda eventualmente mejorar la calidad misma de la educación que se imparte; éste es, o debería ser finalmente el sentido de todo proceso de evaluación.
El propósito central del trabajo que ahora se reporta es reflexionar en torno a una experiencia que, idealmente, pueda contribuir a mejorar la calidad de la práctica educativa, aprovechando para ello las opiniones de los alumnos sobre el desempeño de sus profesores.
EL USO DE CUESTIONARIOS DE OPINIÓN
El uso de los cuestionarios de opinión sobre el desempeño docente se encuentra documentado en gran parte del mundo, son de uso común en países como Estados Unidos, Canadá, Australia, Israel, India, Reino Unido y Holanda (Gilio, 2001; Canales et al., 2004; Luna et al., 2004). Rueda (2006), señala que si bien los cuestionarios de opinión de los alumnos son el recurso más utilizado en las universidades del mundo, también son los más criticados.
]]> En 1997 en Estados Unidos, la National Association of Secondary School Principals (NASSP) realizó una encuesta nacional con casi mil jóvenes de entre 13 y 17 años, en la que se les preguntó cuales son las características que integran a un buen docente. Entre los resultados encontrados se señala que las diez características más significativas que definen una enseñanza efectiva, de acuerdo con la opinión de los alumnos de secundaria, son tener muy buen sentido del humor (79.2% lo refirieron), hacer la clase interesante (73.7%), dominar la asignatura (70.1%), explicar con claridad (66.2%), ayudar a los alumnos (65.8%), ser justo (61.8%), tratarlos como adultos (54.8%), relacionarse bien con ellos (54.2%), considerar sus sentimientos (51.9%) y no mostrar favoritismos (46.6%) (Santrock, 2004: 11).Estimamos relevante considerar que, como se puede ver en los siguientes párrafos, las diferencias culturales, el nivel de escolaridad y su correspondiente edad generan varianza en las opiniones.
En otro trabajo efectuado en Estados Unidos, Feldman (1988) comparó 31 estudios de evaluación docente, encontrando un alto grado de coincidencia respecto a la importancia otorgada en las dimensiones evaluadas; por ejemplo, para los docentes lo más importante es la sensibilidad y preocupación del profesor por el grupo y su progreso, la preparación y organización del curso, el conocimiento de la materia, la estimulación del interés, el entusiasmo por la docencia, la claridad y comprensión de la clase. Mientras que desde la opinión de los alumnos, lo más importante fue el conocimiento de la materia por parte del profesor, la estimulación del interés y la disciplina, su preocupación por el progreso del grupo, la preparación del curso y la claridad de la exposición. Nos parece que lo más relevante es observar que no hay correspondencia entre los criterios de los profesores y los alumnos.
En un estudio similar llevado a cabo en universidades españolas (García, 2004), se encontró que para los docentes las dimensiones con más importancia eran: 1) dominio de la asignatura, 2) estructuración de objetivos y contenidos, 3) organización de la clase, 4) evaluación del aprendizaje, 5) cualidades de la interacción y 6) calidad expositiva; mientras que para los estudiantes estos mismos factores se ponderaron de diferente manera (en el orden 1, 6, 3, 5, 4 y 2).
En México, Loredo y Grijalva (2000) al igual que Luna (2002), también encontraron algunas diferencias entre las opiniones de los profesores y de los alumnos sobre lo que hace a un buen docente; la mayoría de los profesores consideran que es el dominio de la asignatura, en cambio para los alumnos, como resulta comprensible, la claridad en la exposición es más relevante que para los maestros. Incluso se podría ahondar en el punto, y preguntarse cuántos conocimientos requerirá un alumno para poder reconocer si el profesor "domina" la asignatura que le está enseñando.
De acuerdo a Canales et al. (2004), en las instituciones de educación superior en México se han aplicado encuestas sobre la opinión de los alumnos desde la década de los sesenta en la Universidad Iberoamericana, en los setenta en la Facultad de Contaduría de la UNAM, en los ochenta en la Universidad Autónoma Metropolitana y la Universidad Autónoma de Aguascalientes, apreciándose un uso más generalizado a partir de la década de los noventa.
LA EVALUACIÓN MEDIADA POR CÓMPUTO
Como lo señala Luna (2002), hay un problema serio en la administración de los cuestionarios de opinión del desempeño docente, porque los estudiantes desconocen su utilidad, consideran que son rutinas administrativas que no cumplen ninguna función relevante, lo cual podría cambiar sustancialmente si el proceso y la información estuviesen disponibles en un sitio electrónico en línea.
El impacto de las nuevas tecnologías está incidiendo cada vez más en todas las acciones humanas. En la medida en que la tecnología logra tener presencia, las actividades se tornan más acordes con los tiempos actuales, lo que genera percepciones y actitudes diferentes, más favorables; esto es particularmente cierto en las nuevas generaciones. Como lo sintetizó McLuhan: "El medio es el mensaje" (1994).
]]> Parte sustantiva de la experiencia que reportamos fue montar los cuestionarios de opinión en un sistema computarizado en línea, por los múltiples beneficios que el uso de estos recursos tecnológicos puede ofrecer. Lo más relevante, consideramos, es la posibilidad de gestar procesos que permitan recoger la expresión social de grandes grupos; una de las grandes limitaciones de la democracia es precisamente, dados los grandes costos, instrumentar ejercicios de consulta ciudadana constantes y confiables. Al ofrecer métodos de evaluación en línea se fortalece la legitimidad al poder cubrir el universo, con procedimientos censales y no de muestras, que llegan a ser muy efectivos en tanto son simultáneos, casi instantáneos y confiables, ya que los cuestionarios se pueden contestar en todo momento y en cualquier lugar en que se tenga acceso a internet, en donde además se pueden consultar de manera permanente los resultados, a partir de los cortes correspondientes a la duración de los propios cursos.Un sistema computarizado de evaluación, al consolidarse, facilita la estimación longitudinal de la evolución de los procesos, de tal manera que se pueden hacer análisis de trayectorias históricas del desempeño docente individual, por asignaturas, por semestres, por carreras, por género, principiantes versus experimentados, etcétera; además, el profesor puede retroalimentarse de la opinión de sus estudiantes de manera continua, asimismo los alumnos podrían consultar sobre la opinión prevaleciente sobre los diferentes docentes, para así poder hacer su propia elección de profesores.
Desafortunadamente las potencialidades del cómputo para alcanzar procesos de evaluación horizontales y permanentes aún no han llegado a estructurarse de forma conveniente. La tecnología necesaria se encuentra disponible desde hace algunos años, lo que falta es un buen planteamiento de sus posibles usos, una buena articulación y redefinición en los intereses que persiguen las instituciones y sus actores, para así conseguir arreglos horizontales en los procesos de evaluación.
Con sistemas de evaluación en línea se podría evaluar de forma continua, cuando el estudiante desee expresar su opinión, o el profesor consultar su desempeño. También se puede conciliar el interés de autoridades, docentes y estudiantes, permitiendo elaborar, sugerir y elegir reactivos que respondan a las expectativas de cada sector, sin la necesidad de generar los grandes consensos que requieren los cuestionarios impresos; por ejemplo, a partir de un cuestionario base, digamos el institucional, un docente o un estudiante podría tener la facilidad de añadir reactivos que considere de utilidad sin la necesidad de requerir autorización, lo que se ha referido como "sistema de cafetería" (González, 1998); todo esto sin cancelar la posibilidad de opinar libremente en campos de respuesta abierta, como dice Loredo (2000), para que el estudiante tenga la oportunidad de expresar aspectos que considere relevantes y no estuvieran incluidos en los cuestionarios; además de constituir un sistema que se pueda adaptar al permitir que se enriquezca la base de datos y modifiquen los campos de las preguntas para facilitar el llenado de formatos por parte de los subsiguientes usuarios.
REPORTE DE UNA EXPERIENCIA
En lo que respecta a la Facultad de Estudios Superiores (fes) Iztacala, en 1990 se llevó a cabo una primera evaluación del posgrado desde la perspectiva de los alumnos (Tirado et al., 1990).
En el Programa Académico de Desarrollo Institucional 1995-1999 (PADI) de la FES Iztacala se contempló en uno de sus rubros atender el mejoramiento docente. Considerando la relevancia que puede tener la visión de los estudiantes para promover la calidad de la educación, se planteó como una estrategia explorar el desempeño docente a partir de la opinión de los alumnos.
En 1996 el Consejo Técnico que está integrado con la representación de profesores y alumnos de la institución aprobó el programa: Cuestionario de Opinión de los Alumnos sobre el Desempeño Docente (OASDE), considerando que, al conocer la opinión de los alumnos de manera sistemática y dándola a conocer a los profesores, las opiniones favorables los gratificarían y estimularían, y en los casos que las opiniones fueran desfavorables, les invitarían a reflexionar en ello y a hacer un esfuerzo por superar las limitaciones o carencias señaladas. La información tendría el carácter de confidencial, dándola a conocer exclusivamente al profesor evaluado, aunque los datos agrupados de todos los profesores se emplearían para estimar el desempeño docente institucional en su conjunto y esto sí sería público.
El Consejo Técnico y la Unidad de Programación y Evaluación (UPE), consultando una serie de instrumentos de experiencias antecedentes, elaboraron en conjunto el primer cuestionario de opiniones de los alumnos. Se utilizó un formato de opción múltiple en papel para poder ser procesado en lectora óptica, con lo que se haría más precisa, confiable, económica, de fácil aplicación, además de rápida lectura y eficaz procesamiento.
]]> El primer cuestionario fue evaluado en una prueba piloto. En las subsecuentes aplicaciones el Consejo Técnico auxiliado por la UPE, que era la instancia operativa del programa, valoraba y ajustaba el cuestionario, básicamente tomando en consideración las observaciones de los profesores y los alumnos que se expresaban en torno al instrumento y su aplicación. Esto se hizo desde 1997.
USO DE CÓMPUTO
Para instrumentar las ventajas antes mencionadas sobre los procesos de evaluación medidos por cómputo en línea, se hizo un esfuerzo para que el cuestionario de la versión en papel pudiera también ser operado por un sistema computarizado en un sitio electrónico dinámico, para lo cual se usó Apache como servidor, una base de datos MYSQL y lenguaje PHP para programar la encuesta (Miranda y Sánchez, 1999; Miranda y Bustos, 2001). Con el fin de que los alumnos sintieran toda la confianza para expresar libremente sus opiniones, además de ser de respuesta voluntaria, los cuestionarios siempre se resolvieron de manera anónima, en el caso de los cuestionarios en cómputo, se asignaban un nombre de usuario y contraseña de manera aleatoria, las cuales podían ser solicitadas cuantas veces deseara el estudiante, hasta optar por una dándose de alta en el sistema.
La aplicación computarizada de los cuestionarios significó múltiples ventajas, tales como disponibilidad constante en línea ampliando extraordinariamente tiempos y lugares para responderlo; aumento notable en el número de cuestionarios recopilados; obtener la captura y realizar el procesamiento de datos de manera instantánea; reducción de costos y tiempos para contestar; monitoreo del pulso de la aplicación dándole seguimiento en línea; constituir un formato más atractivo, amable y acorde para los alumnos; ofrecer un campo para respuestas abiertas más fáciles de escribir y leer (evitando manuscritos); presentar información pre-capturada con base en grupos y asignaturas, así como la posibilidad de ajustes en una configuración adaptativa del cuestionario de acuerdo con la modalidad (asignatura teórica-aplicada). Por políticas institucionales los resultados no se dejaron disponibles en línea. Tampoco el sistema llegó a consolidar todas las posibilidades antes enunciadas.
CAMBIO DE POLÍTICA
En 2001, el Consejo Técnico estableció que aquellos profesores que estuvieran en el 10% superior de las opiniones favorables, si lo deseaban podrían perder el carácter confidencial del reporte de su desempeño, informando al consejo de esta situación, el cual se comprometía a extenderle un reconocimiento y tomar en cuenta este mérito en cualquier promoción o programa de estímulos que fuera de su competencia. También acordó que todos aquellos profesores que se posicionaran en el 10% más bajo y que no estuvieran cumpliendo con las responsabilidades consignadas en los estatutos, serían requeridos por el consejo a superar esta situación.
LA EXPERIENCIA
]]> En este trabajo se reporta el ejercicio de evaluación que se aplicó en el segundo semestre del año escolar 2003, por ser la versión más refinada de las disponibles y por contar con la base de datos de los profesores del semestre en que se realizó esta aplicación, lo que permitió enriquecer los análisis con cruces de variables específicas, tales como género, edad, nombramiento, etcétera. La versión del cuestionario utilizado está integrada por cuatro preguntas de tipificación (carrera-profesor-grupo-asignatura), y 27 preguntas de opinión basadas en un modelo de opción múltiple tipo Likert, distribuidas en cuatro componentes. En el primero se estima el grado de aprecio del alumno por la asignatura, por ejemplo, se pregunta: ¿Cuánto te gusta esta asignatura o modulo?: a) mucho, b) poco, c) nada. En el segundo se exploran características específicas de la docencia, y se formulan preguntas como: ¿El profesor aclara las dudas que se presentan durante el aprendizaje?: a) siempre, b) frecuentemente, c) algunas veces, d) casi nunca, e) nunca). Y en los dos últimos componentes se hacen preguntas, en un caso para las asignaturas teóricas y en el otro para las aplicadas, explorando opinión equivalente, por ejemplo, en el caso de la teoría: En tu opinión, ¿el profesor domina los contenidos de sus clases?: a) profundamente, b) bastante, c) regular, d) poco, e) nada. En el caso de asignaturas aplicadas, el profesor ¿domina los elementos teórico-prácticos del trabajo que dirige?: a) siempre, b) frecuentemente, c) algunas veces, d) casi nunca, e) nunca).
RESULTADOS
En el semestre escolar en el que se realizó el estudio había inscritos 9 904 alumnos en las seis carreras que se imparten en el campus universitario (Biología, Enfermería, Medicina, Odontología, Optometría y Psicología). La planta académica se componía de 1 732 profesores en el momento de la aplicación.
Se obtuvieron 26 010 cuestionarios, y se procesaron en los análisis 25 877, ya que en algunos casos no se pudo identificar a qué profesor pertenecían las opiniones. Estos cuestionarios correspondían a 1 011 profesores, que equivalían a 58.4% de la planta académica, en ese momento. No todos los alumnos respondieron los cuestionarios dado el carácter voluntario del mismo, y también porque muchos estudiantes realizan sus prácticas escolares en hospitales y clínicas, por lo que tras una estimación, considerando el total de estudiantes matriculados y que el promedio de asignaturas que cursa un alumno es de 4.3 por semestre, el número de cuestionarios recolectados equivale a 65.6% del total posible. De aquí que aunque no se trabajó con una muestra probabilística significativa, el número de cuestionarios es de tal magnitud (26 010), que sí constituye un sólido indicador.
Prueba de que los resultados constituyen un buen indicador del total es que 58% de la planta docente que fueron evaluados se traduce en las distribuciones como patrones de una curva normal, pero lo más contundente es que los porcentajes en las distribuciones de número de plazas, edad y género son muy similares: no hay diferencias estadísticamente significativas entre las medias de la muestra (1 011 profesores) y las del universo (1 732 profesores).
El instrumento ofrece una alta congruencia entre todos los reactivos, estimada por el análisis Alpha de Cronbach, que arroja un puntaje de 0.947, lo que resulta muy aceptable.
Para valorar las opiniones recibidas, se hicieron diferentes modelos de puntuación. Las calificaciones obtenidas en cada modelo se transformaron en valores Z, con el propósito de estimar las diferencias entre modelos a partir de una base común, observando que la dispersión en la distribución de las calificaciones se ampliaba o compactaba, aunque todas presentaban el mismo patrón. Por ello se eligió el modelo que ofrecía la distribución más amplia, considerando que ésta podría hacer una distinción más fina. Se utilizó una escala ponderada que va de cien a menos cien, siendo 100 cuando la opinión es totalmente favorable al desempeño del profesor y de 50 cuando es sólo favorable; de manera análoga, cuando la opinión era adversa se le asignó -50, y -100 cuando era totalmente adversa.
Los valores de tendencia central que se obtuvieron son: una media de 52.8 puntos y mediana de 65.6, con una desviación estándar de 42.2, observándose una distribución sesgada hacia los puntajes altos, ya que la mayoría de las opiniones de los alumnos son favorables; incluso se presenta un "efecto de techo", dado que la moda se encuentra en el puntaje equivalente al 100, es decir, los más se pronunciaron totalmente a favor del desempeño de sus profesores; por lo que la distribución no corresponde a una curva normal.
De los profesores, 63.4% obtuvieron calificaciones por arriba de los 50 puntos. Pero 12.5% se colocan en menos de cero puntos, con lo que se puede estimar que el instrumento sí discrimina, en tanto pudo detectar que alrededor de poco más de una décima parte de los profesores tiene un desempeño no satisfactorio, estimado a partir del juicio de sus alumnos.
]]> Para valorar el peso que pudieran tener los distintos factores o variables asociadas al desempeño docente de los profesores, se hicieron correlaciones (Rho de Spearman) entre el puntaje total y las variables definidas en el instrumento por preguntas, lo que permitió apreciar cuáles de ellas eran las de mayor peso. Se encontró que las que más correlacionaron con la opinión positiva del quehacer docente fueron la claridad en la exposición, el generar clases interesantes y si se aclaraban las dudas. Como ya lo observaba Miranda (2007), en un constructo del perfil docente exitoso deberá incorporarse elementos relacionados con la motivación del profesor a sus estudiantes, hacer interesantes sus clases, ser claro y convincente en sus argumentos, y atender las dudas que se despierten en sus alumnos; lo cual apoyan los datos del estudio.Contrariamente a lo originalmente esperado, el dominio que el profesor pueda tener de su asignatura aunque sí se estima que es muy importante, no parece ser lo más relevante, y menos su puntualidad o asistencia a clases, sino más bien se aprecia que sea claro y ameno. Es interesante apreciar que la magnitud de los valores juega un papel central, por ejemplo, si la inasistencia es crítica, ésta será sin duda el aspecto más relevante.
Se sabe bien que la manera en que se formula una pregunta induce una fuente de variabilidad muy difícil de controlar (Tirado y Guevara, 2006), en la formulación de cada pregunta radican los aspectos cualitativos de todo cuestionario (Tirado, 1992); probablemente si se hubiera preguntado por la importancia de que el profesor despierte el interés hacia lo que debe enseñar, se encontraría que es uno de los aspectos más relevantes de un buen docente, tanto en la opinión de los alumnos como en la de los profesores.
A partir de la base de datos de los profesores, una vez reconocidos los puntajes que los clasificaban considerando su desempeño docente, se hicieron reagrupaciones en función de diferentes variables (género, edad, ingreso, antigüedad, tipo de nombramiento-plaza, número de horas contratadas), explorando de este modo si era posible reconocer y definir las características generales circunstanciales que tienden a caracterizar a un buen docente.
Utilizando diferentes estrategias de análisis (Correlación, T de Student, Análisis de Covarianza y Regresión lineal múltiple), no se encontró ninguna distribución que correlacionara significativamente con los puntajes obtenidos en función de los factores circunstanciales estudiados: ninguno de los factores se asoció sistemáticamente con una opinión favorable o adversa, por lo que concluimos que de los factores circunstanciales estudiados ninguno parece tipificar a un buen profesor, contrario a lo que originalmente especulamos. Creíamos que los profesores con mayor antigüedad, por tener más años de experiencia docente, habrían de tener mejor desempeño que los profesores novatos; pensábamos que quienes obtienen mejores ingresos estarían más comprometidos con sus responsabilidades docentes y por lo mismo tendrían una mejor ejecución; o en función del nombramiento, suponiendo que los profesores de mayor escalafón, con más grados académicos, tendrían más dominio de sus disciplina y serían mejores profesores; también especulábamos que las mujeres serían más sistemáticas y responsables para con su trabajo. Pero nada de esto se observa en los resultados obtenidos, no se aprecia ninguna relación sistemática entre los factores circunstanciales del profesor y los puntajes alcanzados en el cuestionario.
CONCLUSIONES
A partir del procedimiento seguido se pudo detectar que alrededor de 10% de los profesores de la institución (FES Iztacala) en que se llevó a cabo este ejercicio de evaluación tenía un desempeño no apropiado de acuerdo con la opinión de sus alumnos, lo que estimamos es una información muy valiosa. El método de análisis y reportes utilizados le permitía apreciar a cada profesor cuáles eran los aspectos específicos de su labor docente que se encontraban en niveles deficientes cuando los había, invitándole a reflexionar y tomar acciones para mejorar.
Dados los comentarios, parecería ser muy conveniente para futuras experiencias dejar un apartado en los cuestionarios de opinión en el que los profesores y alumnos agregaran o escogieran de un listado de preguntas las de su particular interés, como en un "menú de cafetería" o biblioteca de estantería abierta en la que se toman los libros que a uno le interesan, de manera que el instrumento sea flexible y acorde a los propios intereses del maestro y de los estudiantes. Este modelo permitiría que los alumnos comunicaran a sus profesores las opiniones de todo el grupo en función de sus propias inquietudes e intereses. Esto podría hacerse con relativa facilidad en tanto se utilizaran cuestionarios electrónicos por internet. Nos parece lamentable que estos valiosos recursos tecnológicos sean aprovechados todavía de maneras tan limitadas.
Es muy revelador apreciar que un grupo nutrido de profesores estaba interesado en conocer sus evaluaciones y si no les llegaban por alguna razón, las exigían. Además, muchos de ellos comparaban entre sí sus resultados y los comentaban en términos de las posibles razones de que éstos resultados fueran de tal o cual manera, lo que nos parece constructivo y revelador de los beneficios que pueden generarse con este tipo de prácticas. Esto apoya la hipótesis de que a ciertos profesores les interesa y gusta saber qué opinan sus alumnos sobre su desempeño docente. También es cierto que hubo profesores que despreciaban este proceso, a pesar de que estaba abierto a sus consideraciones; incluso algunos docentes llegaron a manifestar su inconformidad rompiendo sus resultados sin consultarlos. Consideramos que esto se debe a un malestar ante el empoderamiento (empowerment) que este ejercicio les daba a los alumnos, y las posibles consecuencias administrativas.
]]> Lo más relevante del estudio, desde nuestro punto de vista, es que se puede reconocer qué aspectos tipifican a un buen profesor de acuerdo con las opiniones emitidas de los alumnos y darles a conocer a los profesores esta conclusión. Si bien el aprecio por el dominio de la asignatura es alto, parece ser más relevante para los alumnos que el profesor despierte interés por lo que debe enseñar, que sea claro en sus exposiciones y resuelva las dudas de sus estudiantes; en otras palabras, que fomente su motivación. ¿De qué sirve que un profesor tenga gran sabiduría si sus estudiantes no logran comprender lo que expone? Recuérdese que se está considerando desde el punto de vista de un alumno de licenciatura, que apenas está aprendiendo, por lo que incluso le será difícil reconocer y por lo mismo apreciar si su profesor domina o no los contenidos.Para finalizar diremos que al tomar en cuenta la opinión de los alumnos se explicita la importancia que se les otorga al considerar y valorar sus intereses; es una manifestación de democracia, un ejercicio de educación cívica, lo que propicia una dinámica a favor del desarrollo social institucional. Qué mejor que el directamente beneficiado o afectado del proceso educativo brinde su opinión al respecto de sus profesores y que esta opinión sea tomada en cuenta. Si el alumno es evaluado él tiene el derecho a evaluar a su contraparte, a opinar y ser considerado; es un principio de reciprocidad que promueve sus compromisos y favorece su motivación; que genera cohesión y responsabilidad social.
Reconocer el derecho de los estudiantes a opinar sobre su educación es un principio de legitimidad. Esta es la evaluación formativa en que creemos.
REFERENCIAS
ABALDE, Muñoz y Ríos (2002), "Evaluación docente vs. evaluación de la calidad", en Memorias del Tercer Congreso Virtual de AIDIPE, La Coruña, España, octubre del 2002. [ Links ]
CANALES, A., E. Luna, F. Díaz-Barriga, M. Monroy, M. Díaz y G. García (2004), "Aproximaciones metodológicas al análisis y la evaluación de la docencia", en: M. Rueda y F. Díaz-Barriga, La evaluación de la docencia en la universidad. Perspectivas desde la investigación y la intervención profesional, México, UNAM/Plaza y Valdés, pp. 87-201. [ Links ]
EDMONDS, R. (1979), "Effective school for the urban poor", Educational Leadership, núm. 37, octubre, pp. 15-37. [ Links ]
FELDMAN, K. A. (1997), "Identifying exemplary teachers and teaching: evidence from student ratings", en R. Perry y J. Smart (eds.), Effective teaching in higher education: Research and practice, Nueva York, Agathon Press. [ Links ]
GARCÍA, G. J. (2004), "Los cuestionarios de evaluación de la docencia, las dimensiones de la efectividad docente y los resultados de la investigación ¿qué tan aplicables son a diferentes culturas de educación superior?", en La evaluación de la docencia en la universidad. Perspectivas desde la investigación y la intervención profesional, México, UNAM/Plaza y Valdés, pp. 37-47. [ Links ]
GILIO, M. M. (2001), "Evaluación docente en la UAQ", en: M. Rueda, F. Díaz Barriga y M. Díaz (coords.), Evaluar para comprender y mejorar la docencia en la educación superior, México, UNAM/UAM/AUBJO, pp. 89-102. [ Links ]
GONZÁLEZ, S. J. (1998), "Evaluación de la docencia universitaria", tesis de maestría, Valencia, España, Universidad de Valencia. [ Links ]
LOREDO, J. y O. Grijalva (2000), "Propuesta de un instrumento de evaluación de la docencia para estudios de posgrado", en M. Rueda y F. Díaz Barriga, Evaluación de la docencia, perspectivas actuales, México, Paidós. [ Links ]
LUNA, S. E. (2002), La participación de docentes y estudiantes en la evaluación de la docencia, México, Plaza y Valdez. [ Links ]
LUNA, S. E., E. C. Valle y V. G. Tinajero (2004), "Evaluación de la docencia. Vicisitudes de un proceso institucional", en M. Rueda (coord.), ¿Es posible evaluar la docencia en la universidad?, Experiencias en México, Francia, España y Brasil, México, UABJO/ANUIES, pp. 169-184. [ Links ]
MCLUHAN, M. (1994), Understanding media. The extension of man, Cambridge, Massachusetts Institute of Technology, The MIT Press. [ Links ]
MIRANDA, A. (2007), "Opinión de los alumnos sobre el desempeño de sus profesores. Una herramienta para obtener indicadores sobre la práctica docente", tesis de licenciatura, México, FES-Iztacala. [ Links ]
MIRANDA, A. y A. Sánchez (1999), "Encuesta de opinión de los alumnos hacia los profesores, la versión computarizada", en Memorias electrónicas del Congreso General de Cómputo, Cómputo.99@mx [CD-ROM], México. [ Links ]
MIRANDA, A. y Bustos, A. (2001), "Procesos de evaluación en WEB. La segunda etapa del cuestionario de opinión sobre el desempeño docente", (falta lugar y fecha) Sociedad Mexicana de Cómputo en la Educación, XVII Simposio Internacional de Computación en la Educación. [ Links ]
MORTIMORE, P. (1988), School matters: the junior years, Well, Open Book. [ Links ]
Organización de las Naciones Unidas (1948), Declaración universal de los derechos humanos, consultado febrero de 2007, en línea http://www.un.org/spanish/aboutun/hrights.htm [ Links ]
POSNER, C. (2004), "Enseñanza efectiva. Una revisión de la bibliografía más reciente en los países europeos y anglosajones", Revista Mexicana de Investigación Educativa, vol. 9, núm. 21, pp. 319-359. [ Links ]
PURKEY, S. y M. Smith, (1983), "Effective school: a review", Elementary School Journal, vol. 83, núm. 4, pp. 427-452. [ Links ]
RUEDA, M. (2006), Evaluación de la labor docente en el aula universitaria, México, CESU-UNAM. [ Links ]
RUEDA, M. y L. Rodríguez (1996), "La evaluación de la docencia en el posgrado de la UNAM", en M. Rueda, y J. Nieto (comps.), La evaluación de la docencia universitaria, México, Facultad de Psicología-UNAM. [ Links ]
SANTROCK, J. W. (2004), Psicología de la educación, México, McGraw Hill. [ Links ]
TIRADO F., J. Nieto, L. Reynoso y C. Carrascoza (1990), "La evaluación del posgrado desde la perspectiva del alumno", Omnia, México, Coordinación General de Estudios de Posgrado de la UNAM, año 6, núm. 18, marzo. [ Links ]
TIRADO F. (1992), "Evaluación de la educación básica con posgraduados", Ciencia y Desarrollo, México, Consejo Nacional de Ciencia y Tecnología, vol. 18, núm. 104, mayo-junio, pp. 39-53. [ Links ]
TIRADO S. F. y G. Guevara Niebla (2006), "Conocimientos cívicos en México: un estudio comparativo internacional", Revista Mexicana de Investigación Educativa, COMIE, vol. 11, núm. 30, pp. 995-1018. [ Links ]
TIRADO, F. (2007), "La escuela ante la formación ciudadana y la ética social", en I. Vidales, y R. Maggi (comps.), La democracia en la escuela. Un sueño posible, México, Colegio de Estudios Científicos y Tecnológicos del Estado de Nuevo León. [ Links ]
UNESCO (1997), Education for all, consultado septiembre del 2006 en: http://www.unesco.org/education/efa/ed_for_all/background/un_resolution_1997.shtml [ Links ] ]]>