Introducción: la fiscalización escolar como política de rendición de cuentas y problema de investigación

Las políticas de rendición de cuentas (RdC) -entendidas como aquellas acciones que permiten a los actores involucrados en la gestión de determinada actividad transmitir o requerir información acerca del uso de los recursos públicos y del logro de las metas preestablecidas (^{Corvalán, 2006})- son estrategias que en la actualidad se están empleando con mayor frecuencia en diversos países para fomentar el mejoramiento en la calidad de sus sistemas escolares (^{Ball y Maroy, 2009}; ^{Darling-Hammond, 2004}, ²⁰¹⁴; ^{De la Vega, 2015}; ^{Fuhrman, 2003}; ^{Maroy y Voisin, 2013}; ^{McMeekin, 2006}; ^{Mourshed, Chijioke y Barber, 2012}). Estas políticas, debido a la variedad de concepciones que pueden surgir según las adaptaciones realizadas en cada contexto (^{Maroy, Pons y Dupuy, 2016}; ^{Verger y Normand, 2015}), pueden ser clasificadas del siguiente modo: modelos burocrático-legales, usados para verificar el cumplimiento de normativas que regulan el sistema; modelos promercado, que producen información de rendimiento para que las familias elijan de modo consciente entre diversas opciones, y modelos profesionales, focalizados en evaluar las capacidades de los profesionales que realizan los procesos de enseñanza (^{Darling-Hammond, 2004}).

Ahora bien, en el caso concreto de la educación escolar chilena, se puede indicar que la promulgación de la ^{Ley 20.529 (2011)} del Sistema Nacional de Aseguramiento de la Calidad de la Educación Parvularia, Básica y Media y su Fiscalización (SAC) se ha enfocado en el uso de políticas de RdC a través de una matriz institucional no solo para evaluar los estándares de desempeño y resultados académicos, sino también para fiscalizar el cumplimiento legal sobre el proceder de las escuelas. En tal sentido, y si bien en el año 2008 la Ley de Subvención Escolar Preferencial (SEP) introdujo mecanismos verticales de contractualización y rendición de cuentas por desempeño, el SAC amplió la utilización de estas herramientas e incrementó sus consecuencias, lo que ha consolidado una lógica que ha servido para concebir a la estandarización y a la presión como estrategias para estimular y conseguir el mejoramiento.

En este escenario de directrices institucionales, es posible señalar que el SAC ha dispuesto elementos que representan las diferentes tipologías mencionadas, ya que sus políticas incluyen dispositivos promercado, los cuales han sido delegados en una institución denominada Agencia de la Calidad¹, entre cuyos objetivos se encuentran evaluar, clasificar y publicar los resultados de desempeño de las escuelas. Asimismo, se incorporan aspectos burocrático-legales a través de la Superintendencia de Educación, la cual, en esencia, efectúa visitas de fiscalización para resguardar el cumplimiento de la normativa educacional y para vigilar la probidad de los recursos transferidos a las escuelas por concepto de subvención.

Sin perjuicio de lo indicado, es importante profundizar acerca de los elementos que otorgan a la fiscalización el carácter de rendición de cuentas burocrática-legal. Siguiendo a ^{Corvalán (2006)}, el concepto rendición de cuentas tiene su referente en el anglicismo accountability, en el cual subyacen dos acepciones para la política educativa. El primero atañe al proceso mediante el que los actores comunican o exigen información de los recursos ocupados para la consecución de objetivos comprometidos, los cuales abarcan no solo los resultados académicos, sino también los vinculados con el conjunto de recursos designados en ámbitos financieros, humanos, materiales y normativos.

El segundo significado del mencionado término, que deviene del acto de rendir cuentas, concierne a la fijación de responsabilidad del proceso en actores específicos, lo cual varía según el diseño realizado en los sistemas escolares, entre los que se identifican enfoques de accountability de “alto riesgo” (que incluyen sanciones), de “bajo riesgo” (que no utilizan consecuencias punitivas y se centran en proporcionar información a las escuelas para impulsar procesos de mejoramiento), e incluso sistemas que complementan ambas aproximaciones (^{Maroy, Pons y Dupuy, 2016}), como los procesos de fiscalización escolar implementados en Chile.

En efecto, la ^{Ley 20.529 (2011)} instituye que los procesos de fiscalización escolar tienen por objeto no solo verificar el cumplimiento de la normativa educacional establecida legalmente para mantener el reconocimiento oficial e impetrar la subvención del Estado, sino también fiscalizar la rendición de cuenta acerca del uso de los recursos públicos transferidos a las escuelas. Según este marco legal, los actores educativos responsables de rendir cuentas son los sostenedores o administradores escolares, sobre quienes se aplican las consecuencias o sanciones originadas por incumplimientos, y abarcan amonestaciones, privación temporal o definitiva de la subvención y revocación del reconocimiento oficial del Estado.

Con todo, la fiscalización escolar, tal como ha sido caracterizada, se vincula a la rendición de cuentas de tipo legal-burocrática, pues se orienta a vigilar el ajuste a la legislación promulgada para fijar condiciones de operatividad y utilización de recursos públicos. A partir de esta constatación, también resulta relevante diferenciar la fiscalización de otros dispositivos que se podrían confundir con ella, ya que las visitas de fiscalización se dirigen, principalmente, a comprobar la adecuación de las escuelas a los procedimientos administrativos y a las exigencias legales definidas en el sistema, es decir, no se enfocan en aspectos relativos al rendimiento académico ni tampoco intervienen en el ámbito de la gestión pedagógica. En Chile, el accountability académico y promercado es ejercido mediante el Sistema Nacional de Medición de Calidad de la Enseñanza (Simce), mientras que las labores referidas a la evaluación y asesoramiento de la gestión pedagógica se realiza a través de dispositivos especializados, como las visitas de evaluación y orientación del desempeño a cargo de la Agencia de Calidad, y las visitas de supervisión técnica efectuadas por los Departamentos Provinciales del Ministerio de Educación.

La relevancia que puede adquirir la función fiscalizadora para la educación escolar chilena se comprende en el contexto del debate técnico que originó el SAC. Al respecto, ^{Darville y Rodríguez (2007)} señalan que el diseño original del modelo escolar chileno, instituido bajo una lógica de mercado en la década de 1980, carecía de un sistema de rendición de cuentas integral, lo que implicaba, entre otras debilidades, que los sostenedores no tuviesen la obligación de informar sobre el uso de los recursos públicos recibidos, lo cual, según los mencionados autores, atentaba contra la responsabilización de los administradores escolares. Este vacío en el marco regulatorio original, por tanto, justificaría algunas de las irregularidades documentadas por la evaluación de política y la investigación académica, como la indisciplina fiscal en la manipulación de recursos públicos, especialmente en el sector municipal (^{Serrano y Berner, 2002}). Aunado a esto, diversos estudios ilustran que a pesar de las prohibiciones existentes, muchos proveedores escolares efectuaban procesos de admisión con fines selectivos, lo cual transgredía la normativa y provocaba dinámicas de exclusión de estudiantes (^{Carrasco, Gutiérrez y Flores, 2017}; ^{Godoy, Salazar y Treviño, 2014}), de ahí que se evidenciara una baja adhesión voluntaria a la norma.

Igualmente, es preciso mencionar que la producción académica, internacional y nacional se ha concentrado de forma especial en el estudio de los mecanismos académicos o promercados de rendición de cuentas que analizan la afectación de estas políticas sobre la gestión pedagógica y sus resultados, con lo cual se han hallado resultados que sirven para cuestionar su capacidad para generar propuestas de mejoramiento en el ámbito de los aprendizajes y sobre el modo en que inducen funcionamientos performativos entre los agentes educativos (^{Ball, 2003}; ^{Darling-Hammond, 2014}; ^{Maroy y Voisin, 2013}; ^{Weinstein, Marfán, Horn y Muñoz, 2016}). De esto último, se puede inferir que existen escasos desarrollos empíricos acerca de los dispositivos de fiscalización escolar aplicados en Chile a través del SAC (^{Carrasco-Aguilar, Ascorra, López y Álvarez, 2018}; ^{Oyarzún y Soto, 2017}), y que las distintas tipologías de rendición de cuentas disponen de una naturaleza única, por lo que es preciso analizarlas a partir de sus objetivos y funciones particulares.

Debido a ello, el propósito del presente artículo es recabar evidencia exploratoria acerca de los procesos de fiscalización escolar introducidos mediante el SAC, para lo cual se ha realizado una investigación de naturaleza empírica, pues se ha considerado que esta puede resultar idónea para aportar a la comprensión y al mejoramiento de las políticas públicas, especialmente en fases de instalación. En concreto, los dos objetivos planteados han sido los siguientes: en primer lugar, describir el ajuste a la normativa educacional de establecimientos que recibieron visitas de fiscalización comparando su cantidad de hallazgos en un periodo de tres años consecutivos, y, en segundo lugar, estimar la capacidad predictiva de un conjunto de variables de interés (cantidad de visitas entre 2013 y 2014, y categoría de desempeño) relacionadas con la ausencia de hallazgos en el último año estudiado (es decir, 2015).

Antecedentes contextuales

Metodología

Resultados

En la primera parte de este apartado se presentan los resultados que, mediante la comparación de medias, describen el ajuste a la normativa educacional en las escuelas que recibieron visitas de fiscalización durante tres años consecutivos (2013, 2014 y 2015). Luego, a través de una regresión logística, se estiman dos modelos para analizar la incidencia de las variables predictoras sobre la variable de resultado. El primer modelo formulado expone las relaciones que logran únicamente las variables predictoras con la variable de resultado, mientras que el segundo incorpora las variables de control.

Explicado lo anterior, en la tabla 7 se ofrece una comparación entre los años académicos analizados en función de la variable hallazgos. Cabe recordar que para garantizar la fiabilidad de los resultados se controló que las cantidades de visitas de fiscalización aplicadas por cada año fueran equiparables, es decir, que no tuvieran diferencias estadísticamente significativas. Esto adquiere relevancia, puesto que eventuales asimetrías en la cantidad de visitas podrían influir en una mayor o menor cantidad de hallazgos percibidos por los centros escolares, lo que distorsionaría cualquier inferencia en los resultados.

Ahora bien, la aplicación de la prueba de Wilcoxon confirmó que los hallazgos registrados en el año escolar 2013 fueron significativamente mayores a la cantidad observada en los años 2014 y 2015, considerando la aplicación de una cantidad similar de visitas en las escuelas estudiadas. De hecho, al disgregar las comparaciones realizadas, se observó que la cantidad de hallazgos es considerablemente mayor en el año 2013 que en 2014, diferencia que se incrementa al contrastar los resultados de 2013 y 2015.

La información recabada, por otra parte, demostró que no existen diferencias significativas al contrastar los años 2014 y 2015. Con todo, es factible plantear que desde la implementación oficial de las visitas de fiscalización en 2013 se identifica una tendencia hacia la disminución continuada de hallazgos en las 226 escuelas de la muestra; esto significa que ante la exposición sistemática a procesos de fiscalización, los establecimientos tienden a ajustarse en mayor medida a la normativa educacional.

Como segundo resultado, en la tabla 8 se exhiben los análisis de regresión concretados mediante el modelo 1 (restringido a las variables predictoras) y el modelo 2 (donde se agregan las variables de control). En cuanto al modelo 1, su capacidad predictiva global puede ser calificada como moderada o media, pues mediante el pseudo R² de Nagelkerke se determinó que 13.8 % de la variable dependiente es predicha por las variables predictoras.

En cuanto a las relaciones entre las variables del modelo 1, los resultados enseñaron que la cantidad de hallazgos tuvo una relación positiva y significativa con la variable dependiente, es decir, aquellas escuelas que recibieron una mayor cantidad de fiscalizaciones entre 2013 y 2014 tuvieron 25 % más de probabilidades de no presentar hallazgos durante el año 2015 (OR = 1.255; p-val = 0.000).

Asimismo, en lo concerniente a las categorías de desempeño, los coeficientes de regresión (ß) indicaron que esta variable predictora tuvo una relación significativa e inversamente proporcional con la variable dependiente. Igualmente, las relaciones observadas alcanzaron una mayor significancia para las categorías insuficiente y medio bajo, de manera que la presencia de estas repercute en una reducción de las probabilidades de no presentar hallazgos en el año 2015. Específicamente, en términos de odds ratio, los resultados revelaron que la categoría insuficiente disminuye en 66.5 % las oportunidades de no presentar hallazgos (OR = 0.335; p-val = 0.020) y en el caso de la categoría medio bajo hasta en 64.9 % (OR = 0.351; p-val = 0.028).

Por su parte, el modelo 2 sirvió para conseguir una mayor capacidad predictiva, pues el pseudo R² pudo explicar 20.2 % de la varianza del modelo, con lo cual se infiere que la presencia de las variables de control tiende a robustecer las relaciones entre las variables predictoras y de resultado. De esta forma, y en concordancia con lo esperado, se puede indicar que el segundo modelo permite descartar la incidencia de las variables de control. En otras palabras, las variables GSE, dependencia administrativa, matrícula y ubicación geográfica son irrelevantes para predecir la ausencia de hallazgos o ajustes a la normativa de las escuelas en el año 2015.

De hecho, al analizar el modelo 2 se observó que las variables predictoras, que anteriormente demostraron significancia, tendieron a incrementar levemente su capacidad predictiva, con lo cual se consolidan los hallazgos del primer modelo. En concreto, los resultados demostraron que las unidades educativas más fiscalizadas en el periodo 2013-2014 tuvieron una mayor probabilidad de ajustarse a la normativa y, por ende, a no exhibir hallazgos en el año 2015; esto quiere decir que cada visita de fiscalización aplicada en los dos primeros años estudiados aumenta en 26 % las oportunidades de no presentar hallazgos en el último año revisado (OR = 1.266; p-val = 0.000).

Por otro lado, se constató que cuando una escuela se encontraba clasificada en una categoría de desempeño insuficiente, disminuían hasta en 77.4 % las probabilidades de que dicha institución careciera de hallazgos de fiscalización (OR = 0.226; p-val = 0.008). Una relación similar se percibió entre la categoría de desempeño medio bajo y la variable de resultado, aunque esta asociación reportó una menor significancia.

Por último, es pertinente destacar que ambos modelos presentaron un adecuado grado de ajuste a los datos. Es decir, se corroboró mediante la prueba de Hosmer-Lemeshow que existía congruencia entre los resultados esperados y aquellos efectivamente observados, tanto en el modelo 1 (x ² = 10.293; p-val = 0.173) como en el modelo 2 (x ² = 9.295; p-val = 0.318).

En definitiva, los resultados recabados evidenciaron que la muestra de 226 escuelas expuestas a visitas de fiscalización durante tres años consecutivos tuvo un mayor ajuste a la normativa educacional en los últimos dos años del periodo. Esto se manifiesta en un aumento progresivo de establecimientos que no presentaron hallazgos. Asimismo, se corroboró que una variable que incidió en el incremento del ajuste descrito fue la cantidad de visitas de fiscalización aplicadas a las escuelas durante los dos primeros años. Empero, también se identificó que el posicionamiento en una categoría de desempeño insuficiente tiende a disminuir las probabilidades de no tener hallazgos en una fiscalización.

Discusión y conclusiones

Los resultados descritos sirven de sustento para presentar tres afirmaciones preliminares sobre la fiscalización escolar en Chile. En primer lugar, la aplicación de esta política educacional generaría un efecto coherente con sus propósitos, pues las escuelas de la muestra fiscalizadas durante tres años consecutivos evidenciaron un progresivo y significativo ajuste a la normativa educacional, por lo que se ratifica la primera hipótesis propuesta en este estudio, ya que estos resultados tienen semejanza con la evidencia reportada en una investigación previa referida a procesos de fiscalización escolar (^{Oyarzún y Soto, 2017}).

De manera congruente con la primera afirmación, los resultados indican que un segundo resultado relevante tiene que ver con la influencia que exhiben las visitas de fiscalización suministradas en los dos primeros años de funcionamiento de la Superintendencia. Es decir, una mayor cantidad de fiscalizaciones en este periodo parecieran haber provocado un aumento en la preparación de los sostenedores, lo cual les permitió responder de mejor manera ante la entidad fiscalizadora. A esto se puede añadir la exigua incidencia de factores como la composición socioeconómica y el tipo de dependencia administrativa de las instituciones.

Estas dos primeras aseveraciones, en síntesis, indicarían que la formalización y aplicación sistemática de un modelo de fiscalización escolar constituiría una fuerza estructurante suficiente para articular las disposiciones y comportamientos de los sostenedores educacionales con el fin de evitar eventuales sanciones. Esto resulta trascedente, dado que el rol principal de esta institución es velar por el cumplimiento de ciertas condiciones mínimas y normas generales de funcionamiento que garanticen determinados derechos vinculados a la educación. Aun así, también vale comentar que esta lógica no se puede extrapolar a otros ámbitos de la educación escolar, como por ejemplo el área pedagógica, la cual responde a procesos complejos de diferente índole. Al respecto, ^{Schön (1986)} sostiene que la práctica pedagógica dispone de un carácter incierto en su desarrollo, por lo que resultaría inadecuada su estandarización o regulación mediante sistemas sancionatorios, pues de ese modo se limitaría la capacidad creativa y reflexiva de los educadores en la enseñanza.

Por otra parte, y aunque la evidencia presentada aún es incipiente, se puede indicar que este modelo de RdC podría asegurar algunos procedimientos administrativos y requerimientos legales necesarios para la operación de los proveedores educacionales. Esto no significa, por supuesto, que dicha racionalidad sea plenamente asimilable a las demás actividades que tienen lugar en un espacio educativo, pues las nociones de hipervigilancia y punición que caracterizan a esta política podrían generar efectos nocivos si se aplican en ámbitos de la educación vinculados directamente con la enseñanza y la convivencia, como ocurre con el fenómeno de teaching to test utilizado para alcanzar resultados en evaluaciones estandarizadas asociadas a consecuencias (^{Weinstein et al., 2016}) o las tensiones normativas que surgen de la atención de conflictos de convivencia escolar a través de servicios de la misma Superintendencia⁹ que generarían dilemas entre una aplicación normativa orientada a “cumplir por cumplir” y al uso de estrategias de asesoramiento para desarrollar capacidades de resolución de conflictos en las comunidades (^{Carrasco-Aguilar et al., 2018}).

Una tercera afirmación tiene que ver con la relación identificada entre la categoría de desempeño insuficiente y la menor propensión a cumplir con la normativa. Este resultado se podría constituir en el indicador de una deficiencia generalizada en el plano de la gestión escolar, con lo cual se sugeriría que aquellos centros escolares que exhiben un rendimiento débil ante estos mecanismos de control dispondrían de capacidades institucionales limitadas para responder a las exigencias del SAC. En este escenario, la decisión de implementar visitas preventivas resulta oportuna porque contribuiría a reducir la presión y a generar capacidades en el plano de la adecuación normativa, especialmente en las unidades educativas clasificadas como insuficientes. Esto se sustenta en la idea de que la verdadera responsabilidad ocurre cuando los encargados de aplicar las políticas y los actores educativos intervienen con base en la información proporcionada por el sistema de RdC, retroalimentando su gestión para producir mejores condiciones de funcionamiento (^{Darling-Hammond, 2014}). En caso contrario, es probable que ambientes organizacionales deteriorados tiendan a cronificar sus problemáticas más que a superarlas de manera definitiva.

Por último, y en cuanto a las limitaciones de este trabajo, se podría señalar, en primer lugar, el haber empleado un muestreo no probabilístico que impidió generalizar los resultados, por lo que en futuros estudios se deben procurar técnicas más robustas. En segundo lugar, en esta investigación no se consideró el efecto diferenciado de distintos tipos de visitas de fiscalización (p. ej., integrales o temáticas). Aun así, los resultados reportados en este documento pueden servir de sustento para generar otras hipótesis en las cuales no solo se incorporen grupos de control, sino que también se trabaje con una muestra similar, aunque durante un periodo más largo (p. ej., cinco años) para que de esa manera se pueda corroborar o refutar la estabilidad de los patrones observados. De hecho, se puede continuar con indagaciones que se centren en la asociación entre probabilidad de hallazgos de fiscalización y categoría de desempeño, especialmente por los requerimientos de apoyo que implicaría para las escuelas en esta situación. Finalmente, se debe subrayar que el ajuste a la normativa no garantiza comportamientos genuinos de protección sobre un bien jurídico o un derecho asociado a la educación escolar, por lo que se deben desarrollar diseños mixtos de investigación que permitan comprender cómo y en qué sentido esta política estaría desencadenando determinados comportamientos.