Una mirada al núcleo central de cada capítulo

En primer término, el artículo introductorio “Las muchas funciones de la evaluación en educación”, presentado por Dennis C. Phillips, hace referencia a autores que iniciaron el estudio y la discusión de temáticas relativas a la evaluación educativa, cuyas aportaciones aparecieron sobre todo en los siglos XIX y XX. Entre sus planteamientos destaca el surgimiento de debates hasta ahora no dirimidos, expresados en términos de evaluación sumativa vs evaluación formativa, o evaluación orientada a la toma de decisiones vs evaluación orientada a los juicios de valor; debates que se extienden también a la consideración de en qué tendrá que consistir la intervención del evaluador, si se limitará solo a proporcionar información relevante o habrá de participar en una toma de decisiones ilustrada y empoderada.

Los comentarios que Rosa Nidia Buenfil hace a este artículo lo enriquecen desde varios aspectos, pues en ellos hace notar cómo, desde el siglo XVI, incluso desde la época de los clásicos griegos, fue tratado el tema de la evaluación educativa; señala la necesidad de realizar los procesos de evaluación desde distintos enfoques disciplinarios y desde diversas narrativas testimoniales; destaca el valor de desagregar y agregar como operaciones analíticas que permiten entender el nudo de las relaciones en el que tiene lugar todo proceso de evaluación; y enfatiza la trascendencia de incorporar en los procesos de evaluación la dimensión de la relación entre generalidad y particularidad, expresada, por ejemplo, en la necesidad de atender a lo nacional y a lo local, a las experiencias comunes y a las singulares de cada contexto; cuestiones que abren debates fundamentales a considerar sobre la situación actual de la educación mexicana, sobre todo en el ámbito de la evaluación.

Más adelante, William H. Schubert, en el artículo titulado “Perspectivas sobre la evaluación a partir de contextos curriculares”, sostiene como premisa básica que es indefendible tratar temas de evaluación, valoración o calificación sin tocar las complejidades del currículo dentro de las cuales están arraigados; por lo tanto, la evaluación habrá de ser un hilo central de todo el proceso de desarrollo, diseño e implementación del currículo. Ahora bien, dado que el este último es una manera de dar concreción a ciertas maneras de percibir “lo que vale la pena” en términos de formar, capacitar o habilitar individuos de acuerdo con las prioridades de las instituciones y de los grupos sociales a los que pertenecen, Schubert presenta, dando voz a conferencistas imaginarios, los principios asumidos por cinco diferentes formas de concebir la función del currículo y, por lo tanto, su orientación. Termina sus planteamientos afirmando que la evaluación, desde una perspectiva curricular, consiste en mantener vivas las preguntas sobre el currículo: ¿qué es lo que vale la pena?, ¿quiénes se benefician?, ¿qué es lo que debe determinar mejores situaciones para aquellos que no se benefician?

Los comentarios que Eduardo Weiss hace a esta presentación son de gran riqueza, en ellos hace notar que las cinco orientaciones que presentó Schubert se asemejan a la construcción de tipos ideales de Weber, y que dichos tipos nunca se encuentran en estado puro en la realidad histórica sino que existen siempre en formas concretas mezcladas; sin embargo, los tipos ideales sirven como una valiosa herramienta analítica. Justamente lo que hace Weiss es ir mostrando cómo, en los cambios curriculares promovi dos en las últimas décadas en el sistema educativo mexicano, coexisten visiones curriculares distintas, la mayoría de las veces más presentes en el discurso que en las prácticas, y cómo hay ciclos en los que las orientaciones curriculares, después de incursionar por las corrientes “de moda”, regresan a tradiciones que aparentemente habían sido superadas como es el caso del “modelo educativo” publicado por la Secretaría de Educación Pública (SEP) en 2016, en el que se vuelven a retomar los aprendizajes significativos y se disminuye el interés por las competencias como principal foco de atención.

Al referirse a la relación entre currículo y evaluación, Weiss destaca que los evaluadores saben que la evaluación también orienta a la enseñanza. En ese sentido, buscan que este proceso fomente los mejores enfoques y prácticas de enseñanza. Sin embargo, las malas prácticas evaluativas tienen influencias perniciosas sobre las prácticas de enseñanza, por ello plantea que el Instituto Nacional para la Evaluación de la Educación tendrá que pensar cómo lograr que las evaluaciones del aprendizaje influyan en la política, así como en la evaluación de los servicios educativos y de los planteles.

A continuación, Lorin W. Anderson presenta el artículo “Una crítica a las calificaciones: políticas, prácticas y asuntos técnicos” en el que, con apoyo en estudios previos realizados en diversas décadas, va sustentando afirmaciones clave como la siguiente: el significado de cualquier calificación es específico según el contexto o la situación, luego se presentan serios obstáculos a la pretensión de estandarizar procesos para calificar. A lo largo de sus planteamientos va mostrando cómo la cuestión de las calificaciones necesita ser integrada en las discusiones respecto de la forma óptima de mejorar nuestros sistemas educativos y lograr la excelencia educativa. Al examinar lo referente a la confiabilidad y validez de las calificaciones, destaca dos cuestiones que ameritan análisis y discusión: la diferencia en las calificaciones otorgadas por maestros de distintas escuelas, sobre todo de aquellas con poblaciones estudiantiles radicalmente diversas, y la inflación de las calificaciones entendida como la tendencia a otorgar notas académicas progresivamente más altas por trabajos que hubieran recibido calificaciones más bajas en el pasado. Entre sus conclusiones destaca que la forma de calificar a los estudiantes y la manera como se comunican esas calificaciones deben reexaminarse y, en última instancia, reconceptualizarse poniendo atención en dos temas: su integridad y su imparcialidad.

A la luz de los planteamientos de Anderson, Eduardo Backhoff asevera que, en México, la calificación que asigna un profesor a un alumno al final de un curso se basa en sus impresiones subjetivas y en las evidencias que tiene del desempeño del estudiante en clase. No es claro cómo y cuándo el docente combina estos dos componentes, qué peso les da y con qué consistencia aplica una regla u otra. Por otro lado, el contexto en que se enmarca una escuela y las expectativas del docente sobre los aprendizajes de sus estudiantes son dos factores que se entremezclan en el momento en que un profesor califica a sus estudiantes; por ello, en el mejor de los casos, las calificaciones pueden ser un indicador del rendimiento académico de los alumnos con respecto a otros del mismo salón de clases; rara vez representan una medida de lo que realmente se aprendió del currículo correspondiente.

Más adelante, el trabajo de Richard J. Shavelson, “Perspectivas metodológicas: ¿evaluación estandarizada (sumativa) o contextualizada (formativa)?”, sostiene como argumento fundamental que las evaluaciones deben responder a la(s) pregunta(s) sobre las políticas y las prácticas que generaron la necesidad de aplicarlas, y no al conjunto de métodos específicos empleados en su realización; de tal manera que las discusiones que pretenden apoyar algún tipo específico de evaluación, o algún método para realizarla, son prácticamente inútiles si no consideran lo que es importante, cuestión que el autor concreta en tres elementos: la política, la medición y el diseño; aspectos que tendrán que ser considerados dado que no existe por definición el modelo “correcto” para evaluar; solo se puede afirmar que algunos son más útiles que otros en ciertos contextos y con propósitos determinados.

El comentario que Margarita Zorrilla hace, a la luz de los planteamientos de Richard Shavelson, los enriquece con señalamientos clave, por ejemplo, en relación con el hecho de que es importante transitar de investigar y evaluar por el solo hecho de hacerlo, a investigar y evaluar para incidir en las realidades sociales y educativas que lo requieren y responden también a nuestro interés. No obstante, la mejor forma de llevar a cabo una investigación o una evaluación puede no ser la óptima, pero sí la que, debido a los recursos disponibles, es la más viable o la que genera los mejores resultados en un contexto de limitaciones y restricciones; situación que ilustra haciendo referencia al modelo de Evaluación del Desempeño Docente que se ha desarrollado en México y a la experiencia de su aplicación.

Continuando con el recorrido por la obra, se encuentra el trabajo que Servaas Van der Berg presenta “Lo que nos dicen las evaluaciones educativas internacionales sobre la calidad de la educación en países en desarrollo”. Este autor hace notar cómo, aunque hay grandes avances en la cobertura de la educación en la mayoría de los países, medir el acceso a la escuela no proporciona mucha información respecto de cuánto aprendizaje se da en ella, por ello, la meta tiene que ser ahora la de la calidad y en eso han de centrarse las evaluaciones tanto nacionales como internacionales con todo y los muchos aspectos que hay que mejorar en las que actualmente se llevan a cabo. Uno de sus principales argumentos a favor de las evaluaciones internacionales es que el desempeño educativo en cualquier momento y con cualquier aportación de recursos fiscales y educativos no es fijo ni inmutable, ya que existen grandes diferencias en niveles de desempeño, incluso entre países ricos; pero además, es necesario generar explicaciones y alternativas de intervención ante el hecho de que existen gradientes sociales muy pronunciadas en resultados cognitivos en la mayoría de los países en desarrollo, es decir, los niños de los estratos socioeconómicos más altos superan por mucho en desempeño a niños de los estratos más bajos.

En el comentario que Teresa Bracho hace al artículo de Van der Berg refiere que originalmente “cobertura quería decir formación”, pero el concepto se fue vaciando de contenido hasta quedar meramente en la dimensión de acceso y permanencia en la escuela, lo cual no garantiza una formación de buena calidad; tampoco se ha logrado acompasar la gran expansión de la escolaridad con la disminución de la pobreza, de tal manera que solo, afirma la autora, hemos “escolarizado la pobreza”. Desde la conciencia de cómo la desigualdad permea los procesos educativos y sus resultados, Bracho plantea que, si la desigualdad es una condición estructural en nuestras realidades, entonces resulta muy importante que podamos identificar y medir ese aspecto, dentro de lo posible mediante evaluaciones que, siendo nacionales, cuenten con la desagregación sustantiva que permita comparar diferencias, por ejemplo, entre estados de un país; de igual manera expresa su convencimiento de que la evaluación y el conocimiento de los sistemas educativos solo se puede lograr con una amplia recolección de datos y su subsecuente interpretación pertinente.

A continuación, Ercikan, Asil y Grover presentan “La brecha digital: un contexto crítico para las evaluaciones con base digital”, en este artículo muestran, con base en resultados de investigaciones previas, que el acceso y el uso de tecnología en los contextos de la vida diaria, del trabajo y de la escuela constituyen un entorno crítico para la evaluación. Así lo han mostrado en México las situaciones que se generan de manera asociada al hecho de que evaluaciones como la de Programa Internacional para la Evaluación de Estudiantes (PISA, por sus siglas en inglés) o las de los maestros se realizan digitalmente. Estos autores definen la brecha digital como una desigualdad social entre individuos con respecto al acceso a las tecnologías de la información y la comunicación (TIC), la frecuencia de uso de la tecnología y la aptitud para usarlas para distintos fines; en ese sentido, muestran pruebas consistentes de diferencias en el acceso, el uso y las habilidades para las TIC por grupos de género, nivel socioeconómico y características étnicas. Su propósito es crear conciencia de una nueva fuente de amenaza potencial a la validez de las valoraciones educativas empleadas en las evaluaciones, debido a la persistente y profunda brecha digital entre y dentro de las sociedades.

En el marco de los planteamientos anteriores, Teresa Rojano hace referencia a los riesgos de interpretaciones simplistas, tanto de las bondades didácticas de la tecnología, como de los resultados de las evaluaciones en educación cuando hay tecnología de por medio. Ubicada en el terreno del aprendizaje y la enseñanza de las Matemáticas, Rojano refiere cómo, en un escenario rico en innovaciones, teorizaciones y trabajo experimental, se gestó la corriente conocida como acceso democrático a ideas poderosas en Matemáticas a través de la tecnología; sin embargo, lo que ha ocurrido es que, a mayor potencialidad de la tecnología como medio democratizador del saber, mayor ha sido su contribución para ahondar la llamada brecha digital. Además, destaca el riesgo de que las calificaciones de las pruebas aplicadas a estudiantes con acceso a entornos tecnológicos de aprendizaje no reflejen lo que realmente saben de Matemáticas, eso por una parte, y por otra, que la evaluación educativa, enfocada a evaluar ya sea conocimientos, competencias o habilidades, debe ahora agregar, a su de por sí compleja tarea, consideraciones puntuales y precisas respecto de la presencia de la tecnología.

En un capítulo más, Sylvia Schmelkes presenta el trabajo titulado “Hacia una evaluación con enfoque intercultural. Avances, dilemas y retos” en el cual especifica que esta evaluación es aquella que parte de reconocer y valorar la diversidad cultural y lingüística de cualquier territorio, y que ha de servir para comprender y atender la diversidad atendiendo a dos propósitos: obtener información que permita descubrir y, por tanto, combatir las inequidades educativas, así como respetar y atender las particularidades lingüísticas y culturales. La autora presenta todas las acciones con las que el INEE ha tratado de lograr una evaluación intercultural, pero afirma que aún no se ha logrado que pruebas como las que se aplican a los docentes tengan un enfoque intercultural, al menos se ha tratado de asegurar que no discriminen por razones de que los profesores pertenezcan a grupos culturales distintos. Sostiene también que la evaluación verdaderamente intercultural tiene características formativas, es decir, no es la evaluación estandarizada con fines de rendición de cuentas o sumativa, de allí que uno de los grandes retos por atender sea cómo hacer evaluaciones estandarizadas que sí sean pertinentes a quienes las presentan, teniendo muy claro que pertenecen a grupos muy diversos.

Ruth Paradise comenta los planteamientos anteriores señalando que, cuando hablamos de la educación intercultural, así como de la evaluación con enfoque intercultural, es necesario reconocer el sesgo cultural “occidental” y globalizado que subyace y define profundamente el sentido común de las políticas educativas actuales del sistema educativo nacional en México. Advierte que será difícil tomar acciones que sean efectivas si disfrazamos, ignoramos u ocultamos el hecho de que partimos de un sesgo cultural; los aprendizajes clave y las prácticas de evaluación con enfoque intercultural no pueden ser neutrales ni son valorados de la misma manera por todos. Por ello considera que el reto más inmediato es el de evitar que la interculturalidad como enfoque educativo (en este caso aplicado a la evaluación), con el tiempo empiece a identificarse solo como el discurso más reciente de una política educativa indigenista, que siga siendo en esencia colonialista, aunque ya no de un colonialismo nacionalista sino de un colonialismo global.

A continuación, María de Ibarrola presenta el trabajo “La evaluación de los profesores de educación básica. Tensiones políticas y oposiciones radicales” en el que hace una excelente e informada presentación, así como un cuidadoso análisis e interpretación de las múltiples situaciones que se han presentado en torno al diseño e implementación de la reforma educativa iniciada en México en el año 2012, misma que, entre sus componentes, incluyó la evaluación del desempeño de los profesores de educación básica. El propósito principal de la autora es demostrar que la promulgación de las leyes que aprobaron tanto la reforma como su implementación detonaron una confrontación radical entre dos proyectos socioeducativos, cada uno de alcance nacional. Las protestas que se han manifestado no son aisladas o esporádicas. El hecho de que se trata de proyectos antagónicos explica el caos que ha estado viviendo el sistema educativo nacional y el impasse en el que ha caído la solución en los últimos momentos de su análisis (agosto de 2017). Se trata de proyectos que van más allá de propuestas educativas, que conllevan un debate sobre el papel de la educación en la sociedad mexicana e incluso sobre el futuro del país.

Así, la forma en que factores de orden político, intereses gremiales e iniciativas y actuaciones de diversos grupos sociales se han entrelazado para convertir la reforma educativa en un campo de tensión, es explicada por la autora de una manera magistral. Entre sus planteamientos hace notar cómo, aunque la agenda pública reconoce los problemas educativos multidimensionales y de larga data que debería enfrentar una reforma educativa estructural, la evaluación de los maestros se convirtió, en los hechos, en el mecanismo más importante para resolverlos y en punto de origen de muchos de los conflictos a los que se ha enfrentado.

A propósito de los planteamientos anteriores, el comentario de Gilberto Guevara Niebla puntualiza que, en los países desarrollados, la política se ha polarizado entre los defensores y los enemigos del sistema. En ese marco debe inscribirse la crisis política de México. El autor considera que el acontecimiento que ilustra de forma dramática esa crisis es la desaparición de los estudiantes de Ayotzinapa, pero hay múltiples signos de ella: desconfianza en los políticos, en los partidos políticos, etcétera. Sin embargo, lo que considera como más grave es la polarización que se ha dado entre simpatizantes y adversarios de la reforma educativa, con todo y sus consecuencias para el sistema educativo mexicano y para el país en su conjunto.

En la parte final de la obra que se comenta, David C. Berliner presenta el trabajo “Entre Escila y Caribdis: reflexiones sobre problemas asociados con la evaluación de maestros en una época de mediciones”, el foco de su análisis se centra en las ventajas y desventajas de las formas más comunes de evaluar a los maestros, para ello relata estudios y experiencias que han tenido lugar en Estados Unidos, pero que aportan luces a los problemas de evaluación en cualquier país. A lo largo de su trabajo sustenta que optar por evaluar a los docentes por medio de pruebas de rendimiento o con métodos observacionales, coloca a los evaluadores entre la espada y la pared por los problemas de validez y confiabilidad que presentan. Como alternativa analiza las pruebas de desempeño de maestros que pueden evitar muchos de esos problemas, pero su desarrollo resulta muy costoso y las evaluaciones de maestros basadas en deberes tal vez proporcionen los únicos enfoques económicamente eficaces para la evaluación docente. Sin embargo, no son esas las formas que se aceptan como idóneas, ni por maestros, ni por líderes políticos. Concluye entonces que es probable que la evaluación de profesores “siga siendo un lío”.

En el comentario a este trabajo, Alicia Civera se ubica en la situación de México y afirma que la evaluación de profesores, aunque se ha planteado como un instrumento de transparencia, y con el siempre loable objetivo de retroalimentar a los mismos profesores y mejorar su desempeño, en realidad es una cuña que intenta romper el sistema clientelar y corporativista que ha prevalecido hasta ahora. La evaluación está siendo, desde su perspectiva, un instrumento político para sustituir este sistema, por uno basado, al menos en el plano ideal, en la eficiencia en el mérito para el ingreso y en el mejor desempeño para la promoción y la permanencia. Por otra parte, considera que más que promotora de profesionalización, la evaluación podría servir como fuente de reconocimiento a los buenos profesores y convertirse en un incentivo hacia adentro, y en un instrumento legitimador hacia el exterior, pero para ello debería dejar de tener su carácter obligatorio y punitivo.

La obra cierra con dos epílogos de especial interés, el primero de Lorin W. Anderson titulado “Recomendaciones para evaluaciones sólidas y justificadas”, en el que de manera acuciosa destaca aportaciones clave generadas por los autores de los diversos capítulos que componen el texto, en él da cuenta de una exhaustiva lectura global intercapítulos de la que derivan valiosas recomendaciones que pueden ser de gran utilidad para especialistas y no especialistas en la evaluación educativa, mismas que el autor propone como guías para usarse durante el diseño, la ejecución y la interpretación de evaluaciones educativas.

El segundo epílogo, a cargo de Felipe Martínez Rizo, se titula “Lecciones para México y América Latina”, en él centra la atención en dos puntos relacionados entre sí: el relativo al enfoque metodológico adecuado para las evaluaciones, y el que se refiere a la forma de tomar decisiones con base en sus resultados. Enfatiza que el papel del evaluador en el proceso de definición de políticas será relevante en la medida en que, por una parte, se reconozca la diferencia entre el proceso de investigación y el de toma de decisiones y, por otra, el elemento medición de la evaluación se haga con el mayor rigor y sus resultados se difundan señalando con precisión sus alcances y sus inevitables límites. Termina expresando que la lección más general e importante que los evaluadores y tomadores de decisiones de los sistemas educativos de México y América Latina podrán sacar de los capítulos de esta obra es sencillamente que “el evaluador es un educador y su éxito debe juzgarse por lo que otros aprenden” (tesis 93 de ^{Cronbach, et al., 1980}).

Una mirada a la obra en su conjunto

Entre los autores de los capítulos de la obra que se comenta, es notable la variedad de países en los que nacieron, se formaron y/o desempeñan sus funciones académicas; los hay de Estados Unidos, México, Canadá, Nueva Zelanda, Australia, Sudáfrica y Alemania. Si se examina la tónica de presentación y argumentación de sus trabajos, se encuentra un denominador común que es el de sustentar de manera amplia y sólida aquello que describen, debaten o proponen; pero también es posible distinguir ciertas tendencias: algunos de los autores (los menos) concluyen con recomendaciones o guías que se asemejan a una especie de “deber ser” que se fundamenta en estudios e investigaciones previos a los que hacen referencia; otros cierran su trabajo planteando interrogantes que invitan al debate en relación con el tema tratado; todos introducen planteamientos analíticos que develan aspectos nodales del asunto en cuestión y que abren al lector nuevas posibilidades para la reflexión y el análisis.

Por otra parte, es de destacar la forma tan atinada y creativa en que los comentaristas de los capítulos -todos ellos mexicanos- aportaron con sus intervenciones de modo analítico, crítico y cuestionador, además de ampliamente vinculados con la problemática reciente que se ha vivido en México en diversos aspectos pero, sobre todo, en relación con la evaluación del desempeño de los docentes, la cual se constituyó en uno de los elementos centrales de la reforma educativa iniciada en 2012.

En forma congruente con el título de la obra, la variedad de temas importantes que se incorporaron al libro, todos ellos vinculados a la evaluación en educación, abre la posibilidad de consultarlo de acuerdo con los intereses de cada lector, permitiéndole posicionarse sobre el caso mexicano en el contexto internacional y, de este modo, adentrarse en el estudio de uno de los asuntos que ha estimulado el debate sobre la política pública en torno a la evaluación educativa, tanto en nuestro país como en el mundo.

Para cerrar esta reseña, retomo la frase de Cronbach con la que Martínez Rizo concluyó sus planteamientos: el evaluador es un educador y su éxito debe juzgarse por lo que otros aprenden. Parto de dicha afirmación para plantear que, si se asume que todos los que participaron como autores o comentaristas en el libro que aquí se presenta son evaluadores, y por lo tanto son educadores, entonces su éxito habrá de juzgarse por lo que otros aprenden; en consecuencia, sostengo todos ellos son exitosos, pues la obra en su conjunto promueve importantes aprendizajes, entre los que menciono:

Por ello, cabe felicitar a todos los participantes en la elaboración y coordinación de la obra, así como a los lectores que pronto descubrirán sus aportaciones.