SciELO - Scientific Electronic Library Online

 
vol.25Estrategias para resolver problemas de estructura multiplicativa con naturales y fraccionesVariables que afectan la repetición en la educación obligatoria en España índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Revista electrónica de investigación educativa

versión On-line ISSN 1607-4041

REDIE vol.25  Ensenada  2023  Epub 16-Oct-2023

https://doi.org/10.24320/redie.2023.25.e16.4538 

Artículos

Efectos de la supervisión escolar sobre la calidad educativa en primaria y secundaria

Effects of School Supervision on Quality in Primary and Lower Secondary Level

Efeitos da s upervisão escolar na qualidade educacional no ensino primário e secundário

María Elena Pérez Campuzano* 
http://orcid.org/0000-0003-4007-2706

*Centro de Investigación y Docencia Económicas, México


Resumen

Esta es una revisión sistemática de los estudios (de tipo cuantitativo y cualitativo) que evalúan la supervisión escolar y sus efectos en la calidad educativa. El objetivo del trabajo fue hacer un balance de los efectos generados por la acción supervisora en los centros de educación básica e identificar las prácticas de supervisión que contribuyen o dificultan la mejora educativa, a partir de ello se elaboró una tipología de supervisores según su rol y el impacto observado. Los hallazgos muestran que la supervisión escolar tiene el potencial de impactar en la mejora de la calidad educativa siempre y cuando se desligue de prácticas fiscalizadoras y desarrolle un sistema de acompañamiento para realizar recomendaciones puntuales y brindar apoyo pedagógico en las escuelas.

Palabras clave: supervisión escolar; calidad de la educación; eficiencia de la educación; educación básica; educación secundaria

Abstract

This paper offers a systematic review of quantitative and qualitative studies that examine school supervision and its effects on quality in education. The objective of this work is to take stock of the effects of supervision on basic-level (primary and lower secondary) schools and identify supervisory practices that help or hinder educational improvement, based on which a typology of supervisors was constructed according to their role and observed impact. The findings show that school supervision has the potential to achieve an impact in improving the quality of education, provided it is not associated with inspectional practices and a system of support is developed to make timely recommendations and provide pedagogical support in schools.

Keywords: school supervision; quality of education; educational efficiency; basic education; secondary education

Resumo

Esta é uma revisão sistemática dos estudos (de tipo quantitativo e qualitativo) que avaliam a supervisão escolar e seus efeitos na qualidade educacional. O objetivo do trabalho foi fazer um balanço dos efeitos gerados pela ação supervisora nos centros de educação básica, e identificar as práticas com maior consenso nos estudos revisados, bem como aquelas que contribuem ou dificultam a melhoria educacional, a fim de elaborar uma tipologia de supervisores de acordo com as práticas e o impacto observado. As descobertas mostram que a supervisão escolar deve ser separada das práticas fiscalizadoras e desenvolver um sistema de acompanhamento para realizar recomendações específicas e fornecer apoio pedagógico nas escolas.

Palavras-chave: supervisão escolar; qualidade da educação; eficiência da educação; educação básica; educação secundaria

I. Introducción

Desde la década de los noventa hasta nuestros días, el propósito de brindar una educación de calidad con equidad ha ocupado de manera central tanto la agenda internacional como las de gobiernos de distintos países. Sin embargo, el panorama de la educación actual muestra que, en diferentes países, un importante número de estudiantes de 15 años carece de las habilidades elementales requeridas para leer y comprender textos simples, para dominar las matemáticas básicas, y comprender conceptos o procedimientos científicos, dado que apenas alcanzan el nivel dos (de seis) en la escala PISA1 (OCDE, 2020), cuando de acuerdo con la Clasificación Internacional Uniforme de Educación (ISCED, por sus siglas en inglés) desde el nivel primaria los estudiantes deben adquirir una educación básica sólida en lectura, escritura y matemáticas (OCDE, 2015).

La mayoría de los países miembros de la OCDE tiene un compromiso con el cuarto objetivo de la Agenda 2030, referente a “Garantizar una educación inclusiva y equitativa de calidad y promover oportunidades de aprendizaje permanente para todos” (Naciones Unidas, 2018), sin embargo, no siempre ha habido avances concretos. Por ejemplo, en la Declaración de Buenos Aires, los ministros de Educación de América Latina y el Caribe, reconocen:

[que] la calidad de la educación en todas sus dimensiones y en todos los niveles sigue siendo la gran deuda educativa pendiente en la región [por lo que se comprometen…] a desarrollar políticas inclusivas con miras a la mejora de la calidad y la pertinencia de la educación que incidan en todos los actores del sistema educativo. (Unesco, 2018, p. 10).

Lo anterior plantea la importancia de identificar e intervenir sobre aquellos factores que aportan a la calidad educativa que, de acuerdo con la OCDE (2016), logra concretarse en el aprendizaje de los alumnos, el desempeño de docentes y directores, y la eficacia de la organización/inversión escolar. La supervisión escolar es definida como una instancia estratégica para generar cambios dentro del sistema educativo (Pérez et al., 2015; Zorrilla, 2013) e impulsar la mejora de los centros escolares debido a que no es un simple instrumento que sirva para monitorear y reportar la calidad de las escuelas a las autoridades educativas, sino que, de acuerdo con Scheerens et al. (2003), es una instancia capaz de orientar los procesos de mejora debido a que considera otros resultados educativos (no sólo de las pruebas estandarizadas) y de gestión de las escuelas; además, tiene la posibilidad de intervenir sobre factores como el clima escolar, las emociones del personal de las escuela y la cooperación de las partes interesadas. No obstante, la supervisión escolar también puede generar efectos negativos sobre los centros escolares, algunos asociados a la labor en la rendición de cuentas y fiscalización (Ehren y Shackleton, 2016), entre otros, por crear cargas burocráticas consideradas innecesarias para los maestros y las escuelas, que en la práctica han presionado para establecer un régimen de inspección más reducido, como ocurre en el caso de la inspección escolar en Inglaterra (Berner, 2017).

A pesar del incremento de estudios sobre supervisión escolar (Altrichter y Kemethofer, 2016; Hofer et al., 2020), no existe una base de evidencia sólida sobre su efectividad (Penninckx y Vanhoof, 2015); la mayoría de los estudios son teóricos, descriptivos, y utilizan una metodología de tipo cualitativo mediante el análisis de documentos (Moreno, 2019), mientras que más de la mitad de los que utilizan estadística inferencial no encuentran resultados significativos (Choi, 2019; Hofer et al., 2020); sin embargo, a la fecha no existe una revisión sistemática que filtre sólo aquellas investigaciones que encuentren resultados concretos e identifiquen prácticas que, en diferentes contextos nacionales, apoyen o dificulten el buen funcionamiento de los centros escolares, lo que proporcionaría información útil para emprender una discusión fundamentada y basada en evidencia sobre el modelo de supervisión escolar que se requiere.

1.1 Antecedentes de la supervisión escolar y su relación con la calidad educativa

En sus inicios, la inspección o supervisión escolar fue útil para garantizar que todo el personal de las escuelas respetara las reglas y siguiera un mismo programa educativo. Sin embargo, a finales del siglo XX los sistemas educativos dejaron de centrar sus esfuerzos en la cobertura y apostaron por la calidad con equidad, ello hizo que la supervisión escolar pronto dejara de ser concebida como una simple instancia de control y fiscalización administrativa para comenzar a ser vista como la instancia encargada de monitorear la implementación del currículum en la escuela, gestionar la formación de profesores, la evaluación formativa y el apoyo que necesitan las escuelas y los maestros para mejorar su práctica (Harris, 1985).

En la literatura sobre supervisión escolar existe cierto consenso en que esta agencia es capaz de aportar a la calidad educativa mediante tres principales vías: 1) realizar actividades de gestión orientadas a desarrollar capacidades en los centros escolares para operar regularmente (planeación estratégica, resolución de conflictos, gestión de recursos, comunicación de las políticas, formación continua pertinente, desarrollo de un trabajo colaborativo entre el colectivo escolar) (Bonilla et al., 2011; del Castillo, 2015); 2) implementar un sistema de rendición de cuentas que responsabilice a los centros escolares de sus resultados (de Hoyos et al., 2017; Ehren et al., 2015), e informe a los padres de familia y autoridades educativas sobre la evolución de los estándares educativos (Allen y Burgess, 2012; Ehren y Visscher, 2008), y 3) promover y ejercer un liderazgo académico orientado a fortalecer el desempeño docente, compartir experiencias exitosas entre centros escolares, asesorar y acompañar los procesos de mejora de los colectivos escolares (Bonilla et al., 2011; Gurr y Drysdale, 2018).

Las vías antes mencionadas: gestión, rendición de cuentas y liderazgo académico, según la descripción realizada, aportarían a los tres aspectos que permiten la concreción de la calidad educativa (OCDE, 2016); es decir: mejorar el desempeño de los docentes y directores escolares; mejorar los aprendizajes de los alumnos y garantizar la eficacia de la organización/inversión en los centros escolares.

Debido a que el nivel educativo que concentra la matrícula en todos los países es el de educación básica, este trabajo responde a las preguntas: ¿Cómo influye la supervisión escolar en la mejora o debilitamiento de los aspectos que, de acuerdo con la OCDE, permiten concretar la calidad educativa de los centros escolares de primaria y secundaria básica?, ¿cuáles son las prácticas supervisoras que, de acuerdo con los estudios revisados, más aportan a la calidad en la educación?

El objetivo de este trabajo es hacer un balance de los efectos, positivos y negativos, generados por la acción supervisora en los centros de educación básica e identificar tanto las prácticas supervisoras con mayor consenso entre los estudios revisados como aquellas que contribuyen y dificultan la mejora educativa, para luego elaborar una tipología de supervisores (según sus prácticas e impacto observado).

II. Método

Este documento es resultado de una revisión sistemática, la cual es un trabajo que sintetiza los resultados de investigaciones primarias mediante el uso de estrategias que limitan el sesgo y el error aleatorio, como: 1) la búsqueda sistemática y exhaustiva de todos los estudios potencialmente relevantes; 2) la selección mediante criterios explícitos y reproducibles de los estudios incluidos en la revisión y 3) la descripción de los estudios originales, la síntesis de datos obtenidos y la interpretación de los resultados (de acuerdo con Ferreira et al. (2011).

Esta revisión sistemática es de tipo cualitativo debido a que no usa métodos estadísticos para combinar los resultados de las investigaciones revisadas, como sucede con las revisiones de tipo cuantitativo o metanálisis (Ferreira et al., 2011). No obstante, la revisión incluye estudios sobre supervisión escolar que utilizaron una metodología cualitativa y cuantitativa.

Las etapas de la revisión sistemática fueron tres: la primera implicó la delimitación de la pregunta de interés. Durante esta etapa se identificó la población específica y los eventos de interés. El tipo de escuelas de educación básica a considerar fueron las de nivel primaria y secundaria básica; y respecto a los eventos de interés se estableció que se incluirían sólo aquellos estudios que evidenciaran algún efecto (positivo/negativo) de la supervisión escolar sobre alguno de los tres aspectos que, de acuerdo con la OCDE (2016), permiten la concreción de la calidad educativa: desempeño de los docentes y directores escolares, aprendizaje de los alumnos, y eficacia de la organización/inversión de los centros escolares. La principal pregunta de interés fue: ¿cómo influye la supervisión escolar en la mejora o debilitamiento de los aspectos que, de acuerdo con la OCDE, permiten concretar la calidad educativa de los centros escolares de primaria y secundaria básica?, quedaron así excluidos aquellos estudios que no encontraron resultados concluyentes.

La segunda etapa implicó la localización y selección de los estudios relevantes en relación con la pregunta de interés. Primero se estableció que sólo serían incluidos los estudios publicados en inglés y español (esta es una limitación de la revisión sistemática, pues se excluyen estudios en otros idiomas que pueden ser relevantes, pero también una de las decisiones más frecuentes por razones pragmáticas (Ferreira et al., 2011); en segundo lugar se definió que serían consideradas todas las investigaciones encontradas en revistas electrónicas (independendientemente de si fueron publicadas en revistas indexadas) para evitar el sesgo de publicación, el cual puede sobrestimar la relación entre la exposición y el evento de interés, dado que los estudios con resultados negativos tienden a ser menos publicados en revistas indexadas (Ferreira et al., 2011); en tercer lugar se consideraron sólo los estudios publicados a partir del año 2000, año en que fue reportado un incremento significativo de estudios sobre supervisión escolar (Hofer et al., 2020). Finalmente, se incluyeron estudios cualitativos y cuantitativos porque ambos evalúan aspectos que pueden impactar la supervisión escolar. La región geográfica donde se realizaron los estudios no fue un criterio de exclusión.

La segunda etapa abarcó también la búsqueda de investigaciones publicadas en bases de datos electrónicas como Google Scholar, ScienceDirect, EBSCO, JSTOR, Latindex, Citation Indices/ISI Web of Science y ScienceResearch. La localización se realizó identificando palabras claves (supervisión escolar, supervisión educativa, inspección escolar, inspección educativa, school supervision, school inspection, insepected schools) en títulos y resúmenes, para después seleccionar las investigaciones de acuerdo con los criterios de inclusión de tiempo (publicados después de 2000) y nivel educativo (primaria y secundaria). Luego fue revisado el texto completo de cada uno de los estudios para identificar si se encontraba un efecto positivo, negativo o no concluyente, y si el efecto abarcaba algún aspecto de concreción de la calidad educativa (desempeño del personal directivo y docente, aprovechamiento escolar, eficacia de la inversión).

Finalmente, la tercera etapa fue la extracción de datos de los estudios primarios, la cual fue realizada con ayuda de una hoja de registro de resultados donde se identificó para cada estudio: el tipo de metodología (cualitativa/cuantitativa), la técnica de investigación utilizada, el país o países donde fue realizado el estudio, el tipo de efecto encontrado, la descripción del efecto, el objetivo del estudio y las prácticas destacadas como aquellas que contribuyeron a generar los efectos encontrados.

Como resultado de la revisión sistemática fueron identificados un total de 20 estudios, 13 utilizaron metodología cuantitativa y 7 cualitativa. De los cuantitativos, 10 registraron efectos positivos de la supervisión escolar y 3 efectos negativos; mientras que de los cualitativos, 6 reportaron efectos negativos y sólo uno efectos positivos. La mayoría de las investigaciones fueron realizadas en países del continente europeo (Alemania, Austria, Bélgica, Holanda, Irlanda, Inglaterra, Países bajos, República Checa, Suecia y Suiza), en menor medida en el continente americano (México) y bicontinentales (Turquía).

III. Resultados

La evidencia muestra que la intervención de la supervisión escolar en los centros escolares es capaz de generar efectos tanto positivos como negativos en los tres principales ámbitos que, de acuerdo con la OCDE, concretan la calidad educativa: 1) desempeño del personal directivo y docente, 2) resultados educativos de los alumnos y 3) eficacia de organización/inversión de las escuelas. La diferencia de los efectos generados parece radicar en las dinámicas de trabajo específicas que establecen los supervisores escolares con el personal directivo y docente de los centros escolares más que en si asisten o no a las escuelas.

3.1 Efectos positivos

De los 13 estudios de tipo cuantitativo publicados en la última década, 10 encontraron que la acción supervisora tiene efectos positivos sobre lo educativo (ver Tablas 1 y 2). La mayoría de los estudios (6) registró que la supervisión escolar impacta de manera positiva sobre los puntajes obtenidos por los alumnos en pruebas estandarizadas; dos estudios evidenciaron que la supervisión es capaz de generar mejoras en la manera en que las escuelas traducen los estándares de supervisión en el establecimiento de objetivos claros, en cambios en la organización, autoevaluación y procesos internos del centro escolar, mientras los dos estudios restantes mostraron que la supervisión tiene un efecto positivo en el desempeño del personal docente y directivos (ver Tabla 1).

Tabla 1 Efecto positivo asociado a la supervisión escolar. Estudios cuantitativos 

Efecto Autor País Técnica Descripción del efecto Objetivo del estudio
Logro educativo Allen y Burgess (2012) Inglaterra Regresiones discontinuas Las escuelas tienen una mejora en los puntajes en los siguientes dos o tres años a la inspección. El efecto es de 10% de una desviación estándar. Evaluar el efecto de emitir y anunciar públicamente un juicio de inspección de “insatisfactorio” en las escuelas secundarias de bajo rendimiento en Inglaterra.
de Hoyos et al. (2017) Colima (México) Diferencia en diferencia Aumentaron los puntajes de las pruebas por 0.12 desviaciones estándar sólo unos meses después de la intervención. Evaluar el impacto del Programa de Atención Especial para la Mejora del Logro Educativo, el cual estableció un sistema de rendición de cuentas y asigna a las escuelas primarias un asesor técnico para diagnosticar sus resultados y diseñar un plan de mejora escolar.
Ehren y Shackleton (2014) Países Bajos Modelos de trayectoria longitudinal Los resultados escolares mejoraron en los tres años posteriores a una visita de inspección. Ampliar la base de conocimientos sobre cómo las inspecciones escolares impulsan la mejora de las escuelas y qué tipos de enfoque son más efectivos y causan menos consecuencias no deseadas en primaria y secundaria.
Hussain (2012) Inglaterra MCO/Diferencias en diferencias La inspección conduce a mejoras en el puntaje de la prueba de alrededor de 0.1 de una desviación estándar. Evaluar la efectividad de las inspecciones, entendidas como un régimen de evaluación del desempeño subjetivo para las escuelas.
Luginbuhl et al. (2010) Holanda (Países Bajos) Modelo de efectos fijos Los puntajes de las pruebas aumentan entre un 2% y un 3% de una desviación estándar. Evaluar el efecto de las inspecciones escolares en los resultados de las pruebas de los alumnos de la educación primaria holandesa.
Schueler (2016) Prusia Diferencias en diferencias La inspección escolar aumentó resultados escolares en regiones interdenominacionales. Comprobar si una reforma (responsabilidad escolar / Ley de la inspección escolar) a la que se opone la población destinataria puede mejorar las condiciones escolares.
Eficiencia de la escuela Ehren et al. (2015) Holanda (Países Bajos) Pruebas T/ Ecuaciones estructurales Directores traducen los estándares de inspección en cambios de mejora en la organización y los procesos en la escuela. Probar si las inspecciones escolares en primarias y secundarias de los Países Bajos tienen un efecto en la mejora escolar a través de las expectativas que establecen, la retroalimentación que brindan o a través de la sensibilidad de las partes interesadas a los comentarios e informes de inspección.
Kemethofer et al. (2017) Suecia y Austria Trayectoria longitudinal Inspecciones tienen un pequeño impacto medio en la mejora y eficacia escolar. Analizar los efectos de las inspecciones escolares, para observar si influye su enfoque diferenciado de gobernanza.
Desempeño del director / docentes Ehren y Shackleton (2016) Holanda (Países Bajos) Modelado de ecuaciones estructurales (SEM) Las inspecciones tienen un impacto positivo en el desempeño de directores y maestros. Aportar a la comprensión de las conexiones entre las inspecciones escolares y su impacto en la mejora de la escuela, y cómo dichas conexiones pueden ser diferentes para los maestros, directores y escuelas primarias y secundarias.
Gustafsson (2014) Inglaterra, Irlanda, Suecia, Austria/Estiria y República Checa Modelado de crecimiento/ caminos Efecto positivo sobre el desarrollo de capacidad de los maestros y sobre la eficacia escolar. Ampliar la base de conocimientos sobre los efectos de las inspecciones en los procesos a nivel escolar, mediante el estudio de las respuestas a las preguntas de la encuesta sobre las inspecciones escolares de los directores de educación primaria y secundaria en seis países europeos durante tres años consecutivos.

Tabla 2 Efecto negativo asociado a la supervisión escolar. Estudios cuantitativos 

Efecto Autor País Técnica Descripción del efecto Objetivo del estudio
Eficiencia de la escuela Altrichter y Kemethofer (2015) Países Bajos, Inglaterra, Suecia, Irlanda, Austria, República Checa y Suiza Modelado de crecimiento/ modelado de caminos La presión por la rendición de cuentas genera consecuencias no deseadas como desalentar nuevas estrategias de enseñanza y descuidar la implementación del currículo. Explora el papel de la presión generada por un sentido de responsabilidad, entre los directores escolares, como un elemento para comprender el funcionamiento de los sistemas de inspección.
Desempeño del director/ docentes Rosenthal (2004) Inglaterra Modelos de panel (efectos fijos y efectos aleatorios). Después de un año de haber recibido inspección, se generó un efecto negativo: reducción en aproximadamente 2%. Investigar empíricamente, el efecto directo del sistema regulatorio de Ofsted (Office for Standards in Education, Children’s Services and Skills) en el desempeño observados de las escuelas secundarias estatales inspeccionadas, mediante los resultados de los exámenes.
Sims (2016) Inglaterra Diferencias en diferencias Obtener una calificación de “Inadecuado” conduce a un aumento en la rotación de 3.4 puntos porcentuales de los maestros. Por el contrario, las escuelas que reciben una calificación de "Sobresaliente" no ven cambios en la rotación. Evaluar el efecto sobre la rotación de los maestros en las escuelas que reciben diferentes juicios de la inspección de escuelas nacionales inglesas, Ofsted.

Los estudios de tipo cuantitativo revisados coinciden en que la supervisión escolar es un sistema encargado de la evaluación y la rendición de cuentas. Es decir, es un sistema de responsabilidad educativa que informa a la autoridad educativa, padres de familia y a las propias escuelas sobre lo que sucede en los centros escolares y sobre lo que debe hacerse para promover la mejora. Desde este punto de vista, la mayoría de estudios establece que la mejora educativa puede darse cuando: 1) los informes de inspección son públicos, generan presión interna en las escuelas de modo que éstas pueden verse motivadas a emprender por sí mismas iniciativas que conduzcan a la mejora de su eficacia (mejora horizontal); y 2) los informes establecen claras expectativas y la escuela obtiene un resultado por debajo de esos estándares, un agente externo (el supervisor) puede instaurar medidas, mecanismos de seguimiento y apoyo para impulsar, desde fuera, su mejora (mejora vertical).

En particular, la manera en que una supervisión escolar genera una cadena de efectos positivos puede describirse de la siguiente manera: al establecer claras expectativas de lo que es una buena educación y dar retroalimentación puntual a docentes y directores sobre su práctica (supone que la retroalimentación es aceptada y entendida), las supervisiones estarán impulsando mejoras no sólo en la labor particular de cada agente sino en los procesos de establecimiento de objetivos, autoevaluación y procesos de planeación en las escuelas. Además, cuando los padres de familia y sociedad en general reaccionan a los estándares e informes de inspección/supervisión proporcionan un estímulo adicional a la escuela para mejorar (Ehren y Shackleton, 2014).

3.2 Efectos negativos

Existen estudios, tanto cuantitativos como cualitativos, que encuentran que la acción supervisora también puede generar efectos negativos. Al respecto, debe notarse que la totalidad de estos estudios están asociados principalmente con la afectación de las condiciones de las escuelas y con la estabilidad emocional del personal docente y directivo, no en los resultados educativos (Tablas 1 y 2)

Únicamente el estudio realizado por Ehren y Visscher (2008), de tipo cualitativo, encontró resultados positivos. El objetivo de su investigación fue ampliar la base de conocimientos sobre el impacto de las inspecciones escolares en la mejora escolar e implicó la realización de diez estudios de caso (en primarias de Holanda) para analizar cómo los inspectores escolares implementaban la Ley de Supervisión, cómo evaluaban las escuelas, y cómo impulsaban mejoras en las escuelas. Los resultados evidenciaron que todas las escuelas comenzaron a mejorar después de una visita escolar. En particular, Ehren y Visscher encontraron que lo que puede marcar la diferencia para promover o no la mejora de las escuelas es que las supervisiones brinden retroalimentación sobre las debilidades de los centros escolares, califiquen sus puntos débiles como insatisfactorios y generen acuerdos con la escuela respecto a las actividades de mejora.

Otros estudios encontraron que bajo ciertas circunstancias la acción supervisora puede generar efectos negativos (Tablas 2 y 3) sobre todo en términos del bienestar, la estabilidad y el desempeño del personal docente y directivo. Lo anterior llama la atención debido a que un importante supuesto del que parten algunas aproximaciones teóricas es que la supervisión escolar no tiene un efecto directo en los resultados educativos, sino que es a través de la mejora del desempeño del personal de las escuelas (directores y docentes) como puede impactar. Los resultados negativos encontrados pueden explicarse en parte a que la percepción de los efectos generados en los maestros, por efectos de la inspección (como estrés, ansiedad, tristeza, sentimientos de frustración por no cumplir con las expectativas), puede diferir del desempeño logrado por el maestro dentro de la organización escolar. Sin embargo, no puede negarse el efecto adverso generado en el clima organizacional de los centros escolares.

Tabla 3 Estudios cualitativos que indican un efecto negativo de la supervisión escolar 

Efecto Autor País Técnica Descripción del efecto Objetivo del estudio
Desempeño del director/ docentes Quintelier et al. (2018) Bélgica Estudio de percepción. Entrevistas en profundidad Los maestros tienden a rechazar la retroalimentación cuando se percibe que los inspectores están mal informados, son arrogantes o irrespetuosos. Investiga las respuestas cognitivas y afectivas de los profesores a la retroalimentación recibida por parte de la inspección escolar, en relación con la aceptación de la retroalimentación.
Kayikci et al. (2016) Turquía Diseño paralelo convergente Los directores tienen opiniones negativas del proceso de las inspecciones realizadas por los inspectores. Conocer las opiniones de los directores de escuela sobre las inspecciones realizadas en clase por los inspectores del Ministerio de Educación Nacional de Turquía (MEB).
Penninckx y Vanhoof (2015) Inglaterra, Países bajos y Alemania Revisión sistemática (1995-2012) Las inspecciones no contribuyen significativamente a la autocomprensión de las escuelas, y conducen a un impacto emocional negativo severo en el personal de la escuela. Generar evidencia para responder: 1) ¿en qué medida las escuelas obtienen una idea de la calidad de su propio funcionamiento como resultado de una inspección? y 2) cuáles son las consecuencias emocionales de las inspecciones experimentadas por el personal de la escuela?
Tunç et al. (2015) Turquía Estudio de percepción/ Entrevista a 38 maestros La mayoría de los profesores informaron que ser observados y evaluados les provocaba emociones negativas Analizar los sentimientos y emociones de los maestros de primaria; generados antes de la inspección, durante la inspección y después del proceso de inspección.
Töremen y Dös (2009) Gaziantep (Turquía) Estudio de percepción Las metáforas indican que los maestros tienen una percepción negativa del trabajo de los inspectores. Revelar las percepciones de los profesores de primaria sobre el concepto de inspección con la ayuda de metáforas.
Perryman (2006) Inglaterra Estudios de caso, entrevistas semiestructuradas Los maestros y directores viven con el temor de "tomar medidas especiales" y el régimen panóptico es visto como algo artificial para generar cambios permanentes. Examinar cómo la política educativa en Inglaterra y Gales ha llevado a una mayor responsabilidad y explorar la experiencia de las escuelas de someterse a una inspección.

Los estudios de tipo cualitativo mostrados en la Tabla 3 advierten que la supervisión es un mecanismo de responsabilidad educativa que puede tener impactar negativamente en las emociones de los maestros, especialmente durante la observación y evaluación de su trabajo en el aula (Tunç et al., 2015). Al mismo tiempo sugieren que las estrategias de acompañamiento no podrán incidir en el desarrollo continuo de las competencias del docente cuando exista una pobre participación “en el proceso, transgresión de momentos del acompañamiento, falta de diversidad y carácter sistemático en las actividades y pobre cohesión en su desarrollo” (Galán, 2017, p. 34). Por lo anterior, algunos estudios coinciden en que es necesario que los supervisores escolares apliquen estrategias de sensibilización, acercamiento y comunicación asertiva antes y durante los procesos de observación, asesoría y acompañamiento.

IV. Discusión

El principal aporte de esta revisión sistemática es que permite afirmar, con evidencia, que la supervisión escolar es un factor que influye en la calidad educativa, y que su acción es clave en la medida en que tiene la capacidad de impulsar, pero también de afectar a los centros escolares cuando realiza una labor inadecuada. Al mismo tiempo, esta revisión enfocada en estudios de tipo cuantitativo y cualitativo permite advertir la importancia no sólo de desarrollar ciertas prácticas sino de cuidar cómo deben ser realizadas; por ejemplo, los estudios de tipo cualitativo mostraron que no importa cuántas visitas de observación hacen los supervisores, cuánta retroalimentación dan o cuántas sesiones de acompañamiento programen, sino en cómo logran acercarse al personal docente para que su retroalimentación sea bien recibida.

Un segundo aspecto a destacar es la importancia de que la supervisión escolar deje de transmitir al personal docente la sensación de estar perpetuamente bajo vigilancia, lo que Perryman (2006) denomina “el efecto panóptico”, pues ello lleva a los docentes a desempeñarse de la manera dictada por el discurso de la inspección, como si de un mandato se tratara, no por lo que deben hacer de acuerdo con un criterio de eficiencia. Lo anterior vuelve dependientes a las escuelas, pues el personal evita tomar decisiones por sí mismo, algo contrario a los propósitos de impulsar la autonomía didáctica y la innovación de las escuelas. El efecto panóptico hace que los cambios generados se realicen con miras a complacer al personal de supervisión y no a mejorar los procesos o resultados educativos (Altrichter y Kemethoter, 2015).

Por otro lado, es importe que los supervisores escolares logren que su retroalimentación sea aceptada por los colectivos escolares, pero con base en criterios técnicos y no como imposición. Al respecto, las investigaciones revisadas destacan el uso de las respuestas cognitivas y afectivas como herramientas principales. Por ejemplo, es necesario fortalecer las percepciones positivas de la credibilidad de los supervisores; y brindar una retroalimentación constructiva y clara, la cual generalmente está vinculada a las emociones de alegría, felicidad y alivio. Por el contrario, es importante evitar las percepciones de que los supervisores están mal informados, son arrogantes, irrespetuosos o injustos, lo que alimenta emociones negativas (como la ira y la tristeza) que interfieren con la aceptación de la retroalimentación (Quintelier et al., 2018). Si la inspección apoya y anima en lugar de juzgar y amenazar, los informes de inspección tendrán una mejor aceptación y la escuela tendrá más elementos para impulsar su mejora (Gustafsson, 2014).

Lo anterior sugiere que es necesario construir relaciones de apoyo académico entre maestros e inspectores escolares. En el mismo sentido, la investigación de Quintelier et al. (2020) reveló que la aceptación de la retroalimentación es explicada predominantemente por la percepción de los docentes sobre dos aspectos: 1) la imparcialidad del proceso de evaluación y el resultado, y 2) la relevancia de la retroalimentación para superar debilidades o atender problemas concretos.

Los estudios revisados coinciden en que los efectos negativos de la supervisión escolar están relacionados con una supervisión opresiva, intimidante, aburrida o hipercrítica (Kayikci et al., 2016; Penninckx y Vanhoof, 2015; Perryman, 2006; Töremen y Dös, 2009) cuando representa una carga de trabajo excesiva en relación con la eficacia esperada (Bitan et al., 2015); o cuando se intentan establecer recetas en las escuelas sin considerar las características y condiciones del personal directivo y docente.

Por el contrario, una supervisión que aporta a la calidad educativa es aquella capaz de encontrar un equilibrio entre la evaluación, la motivación para superar las propias debilidades, el apoyo informado y el seguimiento oportuno. Por ejemplo, si la supervisión es transparente en sus criterios de evaluación y da una retroalimentación oportuna, las escuelas tendrán expectativas claras de lo que es una buena educación, lo cual, además, impulsará la autoevaluación sobre la efectividad de su práctica (Ehren et al., 2015).

En consecuencia, es trascendente reflexionar sobre la labor del supervisor desde un punto de vista cuantitativo (qué hace y cuánto hace) y cualitativo (cómo lo hace). La razón es que cuando la labor del supervisor es vista como un verdadero apoyo es más probable que exista apertura por parte de los docentes para atender sus recomendaciones, y desarrollar un trabajo coordinado.

4.1 Tipos de supervisores escolares según su práctica e impacto

Derivado del análisis se identificaron cuatro tipos de supervisores escolares, los cuales difieren en cuanto a su efecto, aceptación de su retroalimentación y respuestas de tipo cognitivo y afectivo generadas por su labor en las escuelas (ver Tabla 4).

Tabla 4 Tipos de supervisor 

Respuestas cognitivas Respuestas afectivas

  • (-)

  • Aceptación de la retroalimentación

  • CUADRANTE I. INEFICIENTES

  • Inspectores mal informados

  • - Recomendaciones ineficientes

  • - Imposición de recomendaciones

  • - Retroalimentación por las ramas

  • CUADRANTE II. PUNITIVOS

  • - Vigilancia/panóptico

  • - Miedo a emprender

  • - Supervisor arrogante e irrespectuoso

  • - Sentimiento de evaluación hipercrítica, punitiva o injusta

Impacto negativo

  • (+)

  • Aceptación de la retroalimentación

  • CUADRANTE III. CERTEROS

  • - Retroalimentación puntual, clara y flexible

  • - Relevancia de la retroalimentación

  • - Imparcialidad de la evaluación

  • - Credibilidad del supervisor

  • CUADRANTE IV. LÍDERES ACADÉMICOS

  • - Relaciones de apoyo académico

  • - Evaluación formativa

  • - Autoconfianza para emprender cambios

  • - Sentimiento de avance

Impacto positivo

El primer tipo de supervisor es el “Ineficiente”, debido a que su intervención genera respuestas cognitivas negativas, lo que lleva a la oposición, simulación o baja aceptación de su retroalimentación, con el consecuente impacto negativo sobre lo educativo. Entre las respuestas cognitivas negativas destacan las percepciones de que el personal de supervisión está mal informado, que no tiene la flexibilidad para adaptar su evaluación y recomendaciones a las características del centro escolar, que no tiene las competencias para brindar una recomendación eficiente porque sus recomendaciones implican una excesiva carga de trabajo para los docentes en comparación con la eficacia esperada o que sus recomendaciones se van por las ramas, pues no abordan temas o problemas prioritarios. Aquí también pueden ubicarse a los supervisores ausentes o negligentes por no hacer visitas escolares.

El segundo tipo de supervisor es el “Punitivo”, que genera respuestas afectivas negativas tales como transmitir la sensación de que las escuelas son continuamente vigiladas por un ente todopoderoso, capaz de castigar las faltas y errores de los demás. En consecuencia, los docentes tienen miedo a emprender o hacer cosas que no cuenten con la aprobación del supervisor. Los docentes también pueden percibir que el supervisor no es respetuoso ni tolerante, o que su evaluación está centrada en destacar sus errores y omitir sus puntos fuertes, por lo que la pueden considerar injusta.

Los dos tipos de supervisores descritos (ver cuadrantes I y II de la Tabla 4) estarían reduciendo las posibilidades para que sus recomendaciones sean aceptadas, pero además estarían generando efectos negativos en cuanto a las emociones y autoconfianza del personal docente.

El tercer tipo de supervisor es el “Certero”, debido a la calidad de sus intervenciones. Este tipo de supervisor proporciona retroalimentación puntual, clara, flexible y centrada en los problemas prioritarios porque da muestra de la imparcialidad en sus procesos de evaluación, lo cual contribuye a que sea percibido como agente capaz y confiable para prestar un apoyo de tipo académico.

Por último, el cuarto tipo es el “Líder académico”, capaz de establecer relaciones de apoyo académico mutuo, desarrollan una evaluación formativa, sus valoraciones son continuas y están enfocadas no en el castigo sino en el apoyo para desarrollar procesos de mejora continua. Estos últimos dos tipos de supervisores (cuadrantes III y IV) tienen la capacidad para influir sobre la calidad educativa porque sus recomendaciones son aceptadas y porque apoyan la autoconfianza de los colectivos docentes para superar sus debilidades y fortalecer sus destrezas.

V. Conclusiones

Este trabajo proporciona la evidencia necesaria para afirmar que la supervisión escolar es una agencia capaz de influir en la calidad educativa, y que su acción es clave en la medida en que tiene la capacidad de impulsar, pero también de afectar a los centros escolares cuando realiza una labor inadecuada. Al mismo tiempo, esta revisión permite identificar aquellas prácticas que deben fomentarse en la supervisión para impactar en la mejora de las escuelas.

Un primer aspecto de coincidencia entre los estudios revisados es que la supervisión escolar debe transitar de un modelo centrado en la simple rendición de cuentas, el control, la fiscalización y la atención de los asuntos político-administrativos a una de apoyo y acompañamiento académico, cercano a las escuelas y a los docentes para impulsar su mejora.

El segundo aspecto encontrado es que la acción supervisora debe ponderar su acción desde un enfoque cualitativo y no sólo cuantitativo. Por ejemplo, no importa cuántas vistas realice a las escuelas, no importa cuánto trabajo de observación haga o cuántas recomendaciones emita si al final su trabajo será descalificado por el personal docente, o bien si su carácter punitivo, impositivo, hipercrítico o arrogante termina por afectar las emociones, autoconfianza y el desempeño de los docentes. Lo anterior hará que la intervención del supervisor escolar en las escuelas, aun cuando quiera llamarse labor de acompañamiento, termine siendo una nueva forma de control y vigilancia, donde la amenaza, el castigo y la imposición de recetas de éxito sean el principio de una intervención equivocada. Es importante que la evaluación y la rendición de cuentas sirva para identificar las fortalezas y debilidades del personal docente, y esto sea complementado con una intervención flexible y pertinente por parte de la supervisión.

En tercer lugar, el trabajo de evaluación, retroalimentación, acompañamiento y monitoreo realizado por el supervisor escolar debe hacerse de tal modo que los colectivos docentes vean en este agente a una figura de verdadero apoyo; un experto en el tema, pero también sensible a sus necesidades y capaz de orientarlos para superar sus debilidades.

Por otro lado, este artículo pone sobre la mesa dos grandes desafíos: el primero es que, a pesar de lo importante de la función de la supervisión escolar, debe reconocerse que aún existe un importante rezago en visibilizar a esta agencia como promotora de mejoras en los centros escolares; el segundo desafío es que en muchos contextos la supervisión aún carga con el estigma de la fiscalización, a lo que se suma que no existen claras estrategias para equilibrar sus funciones de vigilancia y apoyo, de ahí la importancia de ahondar en las prácticas concretas que ayudarían a encontrar ese equilibrio. Este estudio, entre otras cosas, hace visible la importancia de esta agencia para impulsar o socavar la calidad de la educación dado que:

Sabemos que las escuelas no se desarrollarán si se abandonan a su suerte […] y resulta evidente que si un distrito [supervisión] es parte de un sistema, puede jugar un papel crucial en él, de nuevo, para bien o para mal (Fullan, 2001, p. 189).

Referencias

Allen, R. y Burgess, S. (marzo, 2012). How should we treat under-performing schools? A regression discontinuity analysis of school inspections in England (Documento de trabajo 12/287). Centre for Market and Public Organization, University of Bristol. http://www.bristol.ac.uk/media-library/sites/cmpo/migrated/documents/wp287.pdfLinks ]

Altrichter, H. y Kemethofer, D. (2015). Does accountability pressure through school inspections promote school improvement? School Effectiveness and School Improvement, 26(1), 32-56. https://doi.org/10.1080/09243453.2014.927369 [ Links ]

Altrichter, H. y Kemethofer, D. (2016). Stichwort: Schulinspekción [Keyword: school inspection]. Zeitschrift für Erziehungswissenschaft, 19, 487-508. https://doi.org/10.1007/s11618-016-0688-0 [ Links ]

Berner, A. (2017). Would School Inspections Work in the United States? Johns Hopkins, School of Education/ Institute for Education Policy. [ Links ]

Bitan, K.; Haep, A. y Steins, G. (2015). School inspections still in dispute - an exploratory study of school principals’ perceptions of school inspections. International Journal of Leadership in Education, 18(4), 418-439. https://doi.org/10.1080/13603124.2014.958199 [ Links ]

Bonilla, O.; Guerrero, C.; Gutierrez, H.; Jimenez, P. y Santillán, M. (2011). Función de alto riesgo. La tarea pedagógica de la supervisión escolar. Somosmaestros/Innovación y asesoría educativa A. C. [ Links ]

Choi, A. (2019). La inspección de la educación: ¿Qué modelos funcionan mejor? Institut Catalá d’Avaluació de Polítiques Públiques. [ Links ]

de Hoyos, R.; García-Moreno, V. A. y Patrinos, H. A. (2017). The impact of an accountability intervention with diagnostic feedback: Evidence from Mexico. Economics of Education Review, 58, 123-140. https://doi.org/10.1596/1813-9450-7393 [ Links ]

del Castillo, G. (2015). Gobernabilidad y eficacia: desafíos para la transformación de la supervisión escolar. En G. Valenti (Coord.), Nueva cultura educativa (pp. 67-101). Flacso México. [ Links ]

Ehren, M. C. M. y Shackleton, N. (2014). Impact of school inspections on teaching and learning in primary and secondary education in the Netherlands. Institute of Education. [ Links ]

Ehren, M. C. M. y Shackleton, N. (2016) Mechanisms of change in Dutch inspected schools: Comparing schools in different inspection treatments. British Journal of Educational Studies, 64(2), 185-213. https://doi.org/10.1080/00071005.2015.1019413 [ Links ]

Ehren, M. C. M. y Visscher, A. J. (2008). The relationships between school inspections, school characteristics and school improvement. British Journal of Educational Studies, 56(2), 205-227. https://doi.org/10.1111/j.1467-8527.2008.00400.x [ Links ]

Ehren, M.; Perryman, J. y Shackleton, N. (2015). Setting expectations for good education: How Dutch school inspections drive improvement. School Effectiveness and School Improvement, 26(2), 296-327. https://doi.org/10.1080/09243453.2014.936472 [ Links ]

Ferreira, I.; Urrútia, G. y Alonso-Coello P. (2011). Revisiones sistemáticas y metaanálisis: bases conceptuales e interpretación. Revista Española de Cardiología, 64(8), 688-696. https://doi.org/10.1016/j.recesp.2011.03.029 [ Links ]

Fullan, M. (2001). Los nuevos significados del cambio en educación. Octaedro. [ Links ]

Galán, B. (2017). Estrategias de acompañamiento pedagógico para el desarrollo profesional docente. Revista Caribeña de Investigación Educativa, 1(1), 34-52. https://doi.org/10.32541/recie.2017.v1i1.pp34-52 [ Links ]

Gurr, D. y Drysdale, L. (2018). Improving schools in Victoria, Australia. System, region, and school perspectives. En H. Shaked, C. Schechter y A. J. Daly, Leading holistically. How schools, districts, and states improve systemically (pp. 217-235). Routledge. [ Links ]

Gustafsson, J.-E. (2014). Impact of school inspections on teaching and learning in primary and secondary education in Sweden. Technical report ISI-TL project year 1-3 data. University of Gothenburg. http://schoolinspections.eu/impact/wp-content/uploads/downloads/2014/07/Sweden-report-years-1-2-and-3.pdfLinks ]

Harris, B. (1985). Supervision of instruction and education administration, En T. Husen y T. N. Postlehwaitte, (Eds.), The International Encyclopedia of Education (pp. 192-213). Pergamon Press. [ Links ]

Hofer, S. I.; Holzberger, D. y Reiss, K. (2020). Evaluating school inspection effectiveness: A systematic research synthesis on 30 years of international research. Studies in Educational Evaluation, 65, 100864. https://doi.org/10.1016/j.stueduc.2020.100864 [ Links ]

Hussain, I. (2012). Subjective performance evaluation in the public sector: Evidence from school inspections. The Journal of Human Resources, 50(1), 189-121. https://doi.org/10.3368/jhr.50.1.189 [ Links ]

Kayikci, K.; Sahin, A. y Canturk, G. (2016). School principals’ opinions on in-class inspections. Universal Journal of Educational Research, 4(5), 1196-1204. https://doi.org/10.13189/ujer.2016.040533 [ Links ]

Kemethofer, D.; Gustafsson, J. y Altrichter, H. (2017). Comparing effects of school inspections in Sweden and Austria. Educational Assessment, Evaluation and Accountability, 4(29), 319-337. https://doi.org/10.1007/s11092-017-9265-1 [ Links ]

Luginbuhl, R.; Webbink, D. y de Wolf, I. (2010). Do inspections improve primary school performance? Educational Evaluation and Policy Analysis, 31(3), 221-237. https://doi.org/10.3102/0162373709338315 [ Links ]

Moreno, A. J. (2019). Estudio bibliométrico de la producción científica sobre la inspección educativa. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 17(3). https://doi.org/10.15366/reice2019.17.3.002 [ Links ]

Naciones Unidas. (2018). La agenda 2030 y los objetivos de desarrollo sostenible: una oportunidad para América Latina y el Caribe (LC/G.2681-P/Rev.3), Santiago de Chile. [ Links ]

OCDE. (2016). PISA 2015 Results: Policies and practices for successful schools. OCDE. [ Links ]

OCDE. (2015). ISCED 2011 Operational Manual: Guidelines for classifying national education programmes and related qualifications. OCDE. http://dx.doi.org/10.1787/9789264228368-en [ Links ]

OCDE. (2020). Education at a Glance 2020: OECD Indicators. OCDE. https://doi.org/10.1787/69096873-en [ Links ]

Unesco. (2018). Declaración de Buenos Aires. Reunión regional de ministros de educación de América Latina y el Caribe “E2030: Educación y habilidades para el siglo 21”. https://unesdoc.unesco.org/ark:/48223/pf0000247286Links ]

Penninckx, M. y Vanhoof, J. (2015). Insights gained by schools and emotional consequences of school inspections. A review of evidence. School Leadership & Management, 35(5), 477-501. https://doi.org/10.1080/13632434.2015.1107036 [ Links ]

Pérez, M.; Valenti, G. y de los Heros, M. (2015). Profesionalización y formación de competencias en la supervisión escolar. En G. Valenti (Coord.), Nueva cultura educativa (pp. 227-262), Flacso México. [ Links ]

Perryman, J. (2006). Panoptic performativity and school inspection regimes: Disciplinary mechanisms and life under special measures. Journal of Education Policy, 21(2), 147-161. https://doi.org/10.1080/02680930500500138 [ Links ]

Quintelier, A.; de Maeyer S. y Vanhoof, J. (2020). Determinants of teachers’ feedback acceptance during a school inspection visit. School Effectiveness and School Improvement, 31(4), 529-547. https://doi.org/10.1080/09243453.2020.1750432 [ Links ]

Quintelier, A.; Vanhoof, J. y de Maeyer, S. (2018). Understanding the influence of teachers’ cognitive and affective responses upon school inspection feedback acceptance. Educational Assessment Evaluation and Accountability, 30, 399-431. https://doi.org/10.1007/s11092-018-9286-4 [ Links ]

Rosenthal, L. (2004). Do school inspections improve school quality? OFSTED inspections and school examination results in the UK. Economics of Education Review, 23(2), 143-151. https://doi.org/10.1016/S0272-7757(03)00081-5 [ Links ]

Scheerens, J.; Glas, C. A. W. y Thomas, S. M. (2003). Educational evaluation, assessment, and monitoring. A systematic approach (1a. ed.). Taylor & Francis. [ Links ]

Schueler, R. (2016). Centralized monitoring, resistance, and reform outcomes: Evidence from school inspections in Prussia. (Documento de trabajo No. 223). Leibniz Institute for Economic Research at the University of Munich. [ Links ]

Sims, S. (octubre, 2016). High-stakes accountability and teacher turnover: How do different school inspection judgements affect teachers' decisions to leave their school? (DoQSS Documento de trabajo No.16-14). University College London, Institute of Education. https://www.teachertoolkit.co.uk/wp-content/uploads/2016/11/qsswp1614.pdfLinks ]

Töremen, F. y Dös, I. (2009). The metaphoric perceptions of primary school teachers on the concept of inspection. Educational Sciences: Theory y Practice, 9(4), 1-14. [ Links ]

Tunç, B.; Ínandi, Y. y Gündüz, B. (2015). Inspection and teachers’ emotions: An emotional evaluation of inspection. International Journal of Human Sciences, 12(1), 554-568. https://doi.org/10.14687/ijhs.v12i1.2807 [ Links ]

Zorrilla, M. (2013). Transformar la supervisión escolar: ¿sólo una aspiración o puede ser una meta razonable y posible? Educar, 49(1), 49-66. https://doi.org/10.5565/rev/educar.10 [ Links ]

1Un 20% de los estudiantes de 15 años, de los países miembros, tiene una competencia lectora por debajo del nivel dos en PISA. Alrededor del 23% de los estudiantes tiene habilidades bajas en matemáticas y el 21% en ciencias, mientras que el 13% se desempeña por debajo del nivel dos en los tres dominios. Un porcentaje que es diferenciado entre países, pues mientras que en Canadá, Estonia y Finlandia este porcentaje se aproxima al 5%, en Brasil, Colombia, Costa Rica, México y Turquía es de al menos el 30% (OCDE, 2020).

Cómo citar: Pérez, M. E. (2023). Efectos de la supervisión escolar sobre la calidad educativa en primaria y secundaria. Revista Electrónica de Investigación Educativa, 25, e16, 1-14. https://doi.org/10.24320/redie.2023.25.e16.4538

Recibido: 01 de Septiembre de 2020; Aprobado: 30 de Mayo de 2021; Publicado: 12 de Junio de 2023

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons