Introducción

En la última década muchos países han impulsado programas públicos de acceso a Tecnologías de la Información y la Comunicación (TIC) como un mecanismo para reducir la brecha digital y los impactos que ésta genera. Una de las herramientas más utilizadas han sido los programas dirigidos a establecimientos educacionales, particularmente en América Latina. Chile es uno los países que han implementado este tipo de políticas, pero además cuenta con instrumentos de medición de calidad educativa que facilitan la evaluación de impacto de los programas implementados. El Centro de Educación y Tecnología Enlaces,¹ ha implementado desde el año 2006 varias iniciativas (programas y proyectos) que promueven el uso de las TIC en actividades pedagógicas dentro de los salones de clase, así como programas de conectividad. Todas estas iniciativas se enmarcan dentro del Plan Tecnologías para una Educación de Calidad (TEC), que en breve se nombra como Plan TEC. En este artículo se seleccionaron dos programas, uno de conectividad y otro de uso de TIC, para los cuales se dispone de datos de monitoreo del proceso de implementación, ellos son: Fondos para Banda Ancha (2006-2010) y TIC en Aula (2007-2011), respectivamente.

Por otro lado, el Ministerio de Educación de Chile (Mineduc) ha implementado el Sistema de Medición de Calidad de la Educación (SIMCE),² el cual cuenta con información desde 1998, con el cual se mide el desempeño de los estudiantes en tres subsectores: lenguaje y comunicación (en adelante lenguaje), educación matemática (en adelante matemáticas) y comprensión del medio natural, social y cultural (en adelante ciencias). Los resultados en lenguaje y matemáticas fueron utilizados como indicadores de impacto en la evaluación de estos programas.³

El objetivo de este artículo es estimar el impacto de dichos programas, así como de su interacción, en el aprendizaje de los estudiantes del ciclo básico de Establecimientos Educacionales (EE) en Chile, que se mide a través de los resultados de la prueba SIMCE (lenguaje y matemáticas).

La literatura académica provee una amplia variedad de estudios que es necesario revisar. (^{Angrist y Lavy, 2002}) distinguen entre dos categorías para el uso educacional de la informática: Computer Skills Training (CST), donde se enseña a los estudiantes a usar la computadora, y Computer-Aided Instruction (CAI), que se enfoca en el uso de herramientas informáticas para incrementar la eficacia de los procesos de enseñanza-aprendizaje. Mientras el primero no ha sido cuestionado, el papel de CAI es sin duda controvertido, pues los análisis de impacto han arrojado resultados en distintas direcciones.⁴ En la literatura se acostumbra realizar una distinción adicional con respecto al concepto de CAI. Por una parte, se analiza la función del uso de las TIC para incrementar el rendimiento escolar, mientras que, por otra, se discute la función de la conectividad para perseguir el mismo objetivo.

Con respecto al uso de las TIC en el salón de clases, (^{Machin et al., 2006}) reportó un impacto positivo de la inversión en las TIC en los logros educacionales en inglés y ciencias en escuelas primarias, pero ningún efecto en matemáticas. (^{Spiezia, 2010}) estudió directamente el impacto del uso de computadoras en los logros educacionales; analizó una base de datos de 33 países (26 de la OCDE y 7 externos) con información del Programa para la Evaluación Internacional de la OCDE (PISA, por sus siglas en inglés). Después de corregir por potencial correlación espuria y problemas de endogeneidad, el autor encuentra que el uso de computadoras en el hogar tiene un efecto significativo en los puntajes promedio en ciencias, pero encuentra que en la gran mayoría de los países considerados, el efecto del uso de la computadora en la escuela no es significativo. Esta dificultad para encontrar impactos significativos en el desempeño escolar ha sido reportada extensamente en la literatura (^{Goolsbee y Guryan, 2002}; ^{Rouse y Krueger, 2004}; ^{Leuven et al., 2007}; ^{Sprietsma, 2012}, entre otros).

En América Latina, los resultados han sido similares. (^{Cristia et al., 2012}) evalúan el programa “Una laptop por niño”, en Perú, y reportan que no se encontró un impacto en indicadores de rendimiento escolar en matemáticas y lenguaje. Los autores establecen incluso que las autoridades deben evaluar el impacto de políticas alternativas, intensivas en capital humano, como por ejemplo las destinadas a reducir el número de alumnos por curso. (^{Barrera y Linden, 2009}) realizan una evaluación del programa “Computadoras para Educar”, en Colombia, y reportan un efecto nulo en los resultados de aprendizaje en lenguaje, a pesar de que los profesores recibieron capacitación en el uso de las tecnologías. (^{Román y Murillo, 2012}), controlando por variables socioeconómicas y culturales, encontraron un efecto significativo y positivo de tener una computadora en el hogar, en tanto el estudiante no lo utilice para hacer tareas, pero además reportan un efecto significativo y positivo de asistir a una escuela con una cantidad mínima de computadoras y con su uso frecuente. Los autores también muestran la presencia de un efecto de doble exclusión para estudiantes rurales en países en desarrollo (pobreza + ruralidad).

^{Claro, (2010)} explora cualitativamente los determinantes del impacto de una intervención. Encuentra que un impacto positivo en el aprendizaje está asociado comúnmente a un uso de tecnologías que facilitan la comprensión de conceptos específicos. En relación con las condiciones de uso, el papel activo de los profesores y del director de escuela es clave para fomentar los procesos de aprendizaje a través de las TIC. Finalmente, con respecto a las características de los estudiantes, la pregunta es: ¿cuán bien preparados están los estudiantes para mejorar su capacidad de comprensión a través del uso de las TIC? Aquí, el capital cultural parece ser fundamental. En esta línea, la discusión se ha movido hacia un nuevo concepto: la segunda brecha digital. Éste es un concepto que no está relacionado con el acceso sino más bien con las diferencias en las capacidades para usar las TIC como una herramienta eficaz de aprendizaje. En la misma línea, ( ^{Carrillo et al., 2010}) reportan un efecto positivo para un programa TIC en Guayaquil, Ecuador, sobre el rendimiento en matemáticas, pero ningún efecto significativo en lenguaje; ponen énfasis en la función del hardware, el software y el entrenamiento de profesores. (^{Rodríguez et al., 2012}) argumentan que la unidad básica son los programas educativos soportados por las TIC, los cuales deben ser diseñados y evaluados cuidadosamente.

Una rama distinta en la literatura es la relacionada con el impacto de la conectividad (banda ancha, internet o SMS) sobre el aprendizaje. (^{Underwood et al., 2005}) y (^{Davidson y Santorelli, 2010}) discuten el impacto de la adopción de banda ancha en resultados educativos en Reino Unido y Estados Unidos, respectivamente. En el primer artículo, los autores presentan algunas experiencias prácticas de adopción, y concluyen que la banda ancha estaría cambiando la forma en que los estudiantes aprenden, en que los profesores imparten sus cursos y en la que las escuelas administran su quehacer. En el segundo, los autores concluyen que, en el largo plazo, la banda ancha inalámbrica y los dispositivos móviles se transformarán muy probablemente en los principales vehículos para transmitir contenidos educativos, lo que permitiría además un acceso en cualquier momento y lugar, y un proceso de aprendizaje más personalizado.

A pesar de estas visiones optimistas, existe muy poca evidencia en el mundo acerca de efectos estadísticamente significativos de la conectividad en el aprendizaje. Por ejemplo, (^{Goolsbee y Guryan, 2002}) evaluaron el efecto del llamado “E-Rate subsidy” sobre las inversiones en internet en las escuelas públicas de California, desde 1998 a 2000. Estimaron que aproximadamente 66% más de salas tenían acceso a internet que lo que habría ocurrido en ausencia del subsidio; sin embargo, reportan que no hubo un impacto significativo en el rendimiento de los estudiantes. (^{Scheuermann y Pedró, 2009}) y (^{Sprietsma, 2012}), en trabajos más recientes, tampoco identifican impactos significativos en sus investigaciones. Más aún, existen algunos casos en que se han reportado efectos negativos significativos (véase, por ejemplo, ^{Belo et al., 2010}).^{5, 6}

En el caso de Chile, el único estudio de efectos que se reporta en la literatura es el de Contreras et al., (2007), citado por ^{Claro, (2010)}, quienes encontraron una correlación positiva entre el uso de banda ancha y los puntajes de lenguaje y matemáticas en SIMCE 2005 en 4° básico, siendo significativa para estudiantes de estratos socioeconómicos bajo y medio, pero no para alto.

En suma, tanto las evaluaciones de efectos de programas de uso de las TIC como de conectividad sobre el aprendizaje han llevado a resultados inquietantes, puesto que en la mayoría de ellos no ha sido posible identificar efectos positivos significativos. Las implicancias en términos de política pública son muy importantes, pues la sola reducción de las brechas de acceso parece no estar generando los beneficios esperados. Resulta entonces de particular importancia medir el impacto de este tipo de programas en Chile.

El resto del artículo se organiza como sigue. En la primera sección se describen los detalles de los programas en estudio, mientras que en la segunda se establecen los fundamentos metodológicos del análisis de efectos. La tercera sección contiene el modelo econométrico a aplicar y la cuarta contiene el análisis y los principales resultados. Por último, se presentan las conclusiones.

I. Programas en evaluación

El objetivo de esta sección es proveer una descripción de los programas que serán objeto de evaluación. En particular, se entregan detalles de la población objetivo, criterios de selección de beneficiarios, beneficios otorgados, periodo de ejecución y criterios de selección de los grupos de tratamiento y de control.

El marco en el cual se llevaron a cabo estos programas es de suma importancia. Hacia 2007, el programa Enlaces ya se había transformado en la principal herramienta de política pública en Chile para reducir la brecha digital. Los servicios que se entregaban incluían equipos computacionales, conectividad, recursos educativos, asistencia técnica y capacitación de docentes. Estos servicios se proporcionaban mediante programas, dos de los cuales constituyen nuestro objeto de estudio. Por otra parte, de acuerdo con el Censo Nacional de Informática Educativa de 2009,⁷ en el país existían 9 181 establecimientos educativos subvencionados (EES), los que constituyen la población objetivo a la que se dirigen los distintos programas.⁸

En el caso del programa Fondos para Banda Ancha (FBA), a 2007 se estimaba que alrededor de 67% del universo de estudiantes (EES más particulares) tenía acceso a banda ancha. El plan pretendía conectar gradualmente a todas las escuelas del país, lo que llevó a plantear una meta de conectar 3 500 establecimientos a 2010, con un costo de puesta en marcha de 220 000 dólares y un costo anual estimado de 1.7 millones de dólares. En la práctica, al año 2010 el plan permitió conectar 4 309 EES con un costo anual del orden de 3.5 millones de dólares. El mecanismo utilizado para implementar el programa fue un subsidio para cofinanciar la contratación de banda ancha como apoyo a las actividades educativas.

El programa se ejecutó inicialmente durante el periodo 2006-2008 y luego, como parte del “Plan Tecnologías para una Educación de Calidad-Enlaces al Bicentenario (Plan TEC)”, se extendió por dos años más (2009-2010), concluyendo en 2011. A partir de 2012 estos subsidios se están implementando en conjunto con la Subsecretaría de Telecomunicaciones (Subtel), bajo el Programa Conectividad para la Educación, cuyo desafío es tener conectados a internet a todos los EES del país en 2014.

Al inicio del programa, el monto del subsidio se calculó según el nivel socioeconómico del EES en la última prueba SIMCE: 90% para A (bajo) o B (medio-bajo) y 70% para C (medio-alto) o D (alto). El monto máximo del subsidio fue de 20000 pesos^* (40 dólares) por mes para EES urbanos y de 31 000 pesos (62 dólares) por mes para EES rurales y/o EES del extremo sur (XI y XII). En 2009 se puso en marcha un sistema de copago de los establecimientos beneficiarios según la clasificación de vulnerabilidad y tamaño:⁹ 5 000 pesos (10 dólares) de copago mensual de los EES vulnerables y 10 000 pesos (20 dólares) para los no vulnerables. El monto máximo de subsidio se estableció en: 40 000 pesos (80 dólares) para los vulnerables y grandes o rurales; 33000 pesos (66 dólares) para los vulnerables y pequeños; 35000 pesos (70 dólares) para los no vulnerables y grandes o rurales; 28 000 pesos (56 dólares) para no vulnerables y pequeños.

Con respecto a las condiciones de participación, todos los EES fueron invitados a participar, pero para postular debían cumplir con los siguientes requisitos: estar incorporados a la Red Enlaces; tener servicios de internet de banda ancha contratados y activos con cualquier proveedor; no haber recibido beneficios de fondos para banda ancha antes de 2004, o beneficios de conectividad de banda ancha del Fondo de Desarrollo de Telecomunicaciones (FDT) del Ministerio de Transporte y Telecomunicaciones; no tener sanciones administrativas y estar dispuesto a cumplir con los plazos y exigencias de las bases. Los EES que recibieron los beneficios en un año, podían solicitar la continuación del beneficio por los años siguientes, siempre que las rendiciones de fondos anteriores se encontraran “aprobadas”. En 2009 se introdujo, además, el requisito de que los EES hubieran confirmado su participación en el Plan “Tecnologías para una Educación de Calidad-Cierre Brecha Digital” al año 2008. En 2009 también se incorporó como criterio de selección dar prioridad a los EES postulantes que atienden a la población más vulnerable.

En cuanto a la selección de los grupos de tratamiento y de control, los cuadros de doble entrada 1 y 2 resumen la situación para el programa Fondos para Banda Ancha. El Cuadro 1 muestra los datos originales separándolos en aquellos establecimientos que recibieron el beneficio (o no) en el primer periodo (2006-2008) y/o en el segundo (2009-2010). Por ejemplo, hay 1 145 establecimientos que no recibieron subsidio en la primera etapa, pero sí en la segunda. El Cuadro 2 excluye los establecimientos que no eran beneficiarios potenciales del programa, esto es, particulares pagados y establecimientos clasificados en grupo socioeconómico alto. Se excluyeron también aquellos que no reportaban puntaje SIMCE.¹⁰ Finalmente, dado que los años de aplicación del SIMCE considerados en esta evaluación fueron 2005 y 2009, se decidió excluir de la muestra final a todos los EES tratados en el segundo periodo para no contaminar los resultados de la aplicación del primer periodo del programa, evitando también la dificultad del cambio en los criterios de participación a partir de 2009. Así, la muestra utilizada fue restringida a aquellos EES no tratados en el proceso 2009-2010, esto es, 863 establecimientos formaron el grupo de control y 824 el grupo tratado.

Fuente: base de datos administrativos de Enlace.

* 128 EE no fueron considerados en esta base porque no se indicaba si habían sido o no beneficiarios del programa

Cuadro 1 Participación de EE en Fondos de Banda Ancha (sin exclusión)* 

Fuente: base de datos administrativos de Enlace.

* Se excluyen en EE que no eran potencias beneficiarios del programa

Cuadro 2 Participación de EE en Fondos de Banda Ancha (con exclusión)* 

Por otra parte el Programa TIC en Aula tenía dos objetivos: i) asegurar una base de recursos tecnológicos y pedagógicos digitales en el salón de clases para los procesos de enseñanza y aprendizaje (lenguaje, matemáticas y comprensión del medio natural), y ii) apoyar a los docentes en los cuatro dominios del Marco de la Buena Enseñanza.¹¹ En una primera etapa, que comprendió el año 2007, el programa se focalizó en el primer ciclo básico (1° a 4°) de EE municipales. Luego, en una segunda etapa que comprende desde 2008 a 2011, se amplió hacia todo el ciclo básico (1° a 8° básico), otorgándose ocasionalmente a EE subvencionados.^{12, 13}

El beneficio consistía en la entrega de un equipo “TIC en Aula” y un conjunto de recursos digitales (CD) para apoyar las clases, fondos para cofinanciar la habilitación de las aulas (400 dólares/aula), asesoría tecnológica gratuita por la Red de Asistencia Técnica (Rate) y capacitación a los docentes. El equipo “TIC en Aula” consistió en una computadora portátil o notebook, un proyector multimedia, un soporte de empotramiento al techo para el proyector multimedia, un equipo de audio y una pantalla retráctil.

Con respecto a las condiciones de participación en el programa, los potenciales EE participantes fueron propuestos inicialmente por la División General de Educación, luego se les invitó a postularse mediante un Proyecto de Informática Educativa (PIE). Para postular, los EE debían cumplir con dos requisitos: contar con los cursos de 1° a 8° básico en funcionamiento (1° a 4° básico en el primer año) y contar con un conjunto de condiciones físicas y de sustentabilidad necesarias para el buen aprovechamiento de la infraestructura informática otorgada. El proceso se llevó a cabo en siete etapas, implementándose un sistema de revisión y confirmación de la entrega, instalación y habilitación correspondientes. En la fase de régimen, el Mineduc supervisó el cumplimiento y respeto de los compromisos asumidos por el sostenedor con el PIE y el convenio del programa.

En relación con la selección de los grupos de tratamiento y de control para el programa TIC en Aula, los cuadros de doble entrada, 3 y 4, resumen la situación. El Cuadro 3 muestra los datos originales separándolos en aquellos establecimientos que recibieron el beneficio (o no) en el primer periodo (2007) y/o en el segundo (2008-2011). El Cuadro 4 excluye los establecimientos que no eran beneficiarios potenciales del programa, esto es, particulares pagados, particulares subvencionados y establecimientos clasificados en grupo socioeconómico alto. Se excluyeron también aquellos que no reportaban puntaje SIMCE. Finalmente, dado que los años de aplicación del SIMCE considerados en esta evaluación fueron 2007 y 2011, se decidió incluir en el grupo tratado a todos los EE que recibieron el beneficio en cualquiera de los dos periodos del programa. Así, la muestra utilizada para la evaluación de impacto contiene 836 establecimientos en el grupo tratado y 1 627 en el grupo de control.

Fuente: base de datos administrativa de Enlaces

Cuadro 3 Participación de EE en TIC en aula (sin exclusión)* 

Fuente: base de datos administrativa de Enlaces

*Se excluyen EE que no eran potenciales beneficiarios del programa

Cuadro 4 Participación de EE en Tic en aula (con exclusión)* 

Finalmente, en la literatura se suelen utilizar adicionalmente algunas medidas de efectos intermedios para un programa, los que en este caso podrían ser el incremento en tasas de retención, reducción en tasas de reprobación, etc. Esta práctica se suele justificar debido a que los impactos finales perseguidos por un programa podrían observarse luego de un plazo mínimo de implementación. En este artículo reconocemos que sería deseable identificar algunas repercusiones intermedias de ambos programas, pero esto no se hizo por dos razones: i) la falta de información en las bases de datos para evaluar los efectos intermedios, y ii) la estrategia de evaluación de efectos consideró esta dificultad, puesto que las cohortes evaluadas rendían el SIMCE en dos espacios de tiempo separados por cuatro años, lapso en el cual el grupo tratado recibía los beneficios del programa. Este plazo se consideró prudente para observar algún efecto en el rendimiento de los estudiantes. Por otra parte, tampoco se disponía de información sobre la intensidad de uso, por lo que se buscaron repercusiones diferenciadas en submuestras, algunas de las cuales podrían estar relacionadas con la intensidad de uso. Se controló además mediante el acceso a las TIC y a internet en el hogar, como proxies de los efectos que pudiera tener la intensidad de uso en la escuela.

II. Metodología del estudio

Los resultados de la prueba SIMCE se encuentran disponibles para los estudiantes;¹⁴ la información incluye datos de contexto de los docentes, establecimiento educativo, padres y comunidad. La información obtenida se combinó con los datos de monitoreo de los programas de Enlaces. Con esto se obtuvo, en principio, una base de datos de panel a nivel de los EE con al menos dos mediciones en el tiempo: una línea de base en 4° básico y una de seguimiento en 8° básico. Al considerar la información a nivel de estudiantes se obtuvieron bases de datos repetidas de corte transversal en las cuales era posible seguir una cohorte, puesto que se trataba de la misma generación de estudiantes que rendía la prueba en 4° y 8° básico.¹⁵ Los EE se usaron entonces como clústers. El Cuadro 5 resume la información disponible que se utilizó como línea base y seguimiento en cada uno de los programas. En lo que sigue de este artículo se adopta la opción de evaluar el impacto de los programas sobre cohortes de estudiantes.

*Como se excluyeron de la muestra los EES (tratados y controlados) que participan en el periodo 2009-2010, nos referimos a la muestra como "restringida" y los denotamos "2006-2008r"

Cuadro 5 Información de línea base y seguimiento de las cohortes evaluadas* 

Respecto a las variables dependientes, se decidió trabajar con puntajes estandarizados para seguir la práctica usual de la literatura. Sin embargo, el Cuadro 6 resume los niveles alcanzados por la variable antes de la estandarización en las muestras analizadas de cada programa.

Cuadro 6 Estadísticas descriptivas para puntaje SIMCE 

El grupo de tratamiento son los EE subvencionados que fueron beneficiarios efectivos de cada uno de los programas, es decir, que de acuerdo con la información de monitoreo de Enlaces, se encontraban en estado de “aprobado” en la habilitación, implementación o uso de los servicios/productos entregados. El grupo control son aquellos EE subvencionados que, cumpliendo con los requisitos de postulación a los programas, no resultaron beneficiarios efectivos del programa, ya sea porque no se postularon, se postularon y no fueron seleccionados, o fueron desaprobados en alguna etapa del proceso.

III. El modelo

De acuerdo con la información de monitoreo de Enlaces, los beneficios a los EE no se entregaron aleatoriamente, sino a través de un proceso de invitación, entrega y monitoreo. Este proceso es una fuente de sesgos de selección y, debido a la dinámica educativa, se producen variaciones temporales. La estimación de las repercusiones se realizó en cuatro etapas, como se describe a continuación.

En la primera etapa se procedió a estimar un modelo probit de participación en cada programa, usando la línea de base a nivel de los EE:

(1)

en la que R_i es una variable dummy para identificar regiones, A_i es una dummy de área (urbana/rural), DE_i es una dummy de dependencia (subvencionada vs. municipal) y finalmente GSE_i es una dummy que permite categorizar el grupo socioeconómico del EE.

A partir de este modelo, se estimó la puntuación de propensión (propensity score, PS, por sus siglas en inglés), es decir la probabilidad condicional de participar en cada programa. Con esta estimación se graficó el área de soporte común que luego se usó en la estimación de los efectos. No fue necesario restringir las muestras por este concepto pues el soporte de tratados y no tratados en ambos programas fue similar, como se muestra en el Anexo 1.

En la segunda etapa se seleccionó una cohorte de evaluación para cada programa, conformada por datos repetidos de corte transversal a nivel de los estudiantes. Por lo anterior, se planteó un modelo de regresión para estimar el impacto por el método de doble diferencia,¹⁶ así:

(2)

en la que:

En la tercera etapa, y para estudiar el impacto combinado de ambos programas, se amplió el modelo con el propósito de incluir interacciones:

(3)

en la que (β ₅) y (β ₆) miden el impacto individual de cada programa y β ₇ mide el impacto combinado o interacción de ambos.

Finalmente, en la literatura se reportan tres métodos que combinan el análisis de regresión con la PS (^{Imbens y Wooldridge, 2009}), éstos son: regresión ponderada por la PS; regresión estratificada o por bloques de la PS, y regresión con matching en la PS. Los tres métodos producen estimaciones más robustas que el método directo de regresión en que sólo se usa la PS para definir el soporte de los grupos de tratamiento y control. Debido a la facilidad de computar en forma directa los errores estándar y a que los estimadores son doblemente robustos (^{Wooldridge, 2007}), en este artículo se seleccionó el método de regresión en doble diferencia ponderada.¹⁷ Sin embargo, también se aplicó un análisis por bloques, cuyos resultados son consistentes con el método ponderado y se reportan más adelante en los Anexos.¹⁸

IV. Resultados

1. Fondo de Banda Ancha (2006-2008r)

A continuación se presentan los resultados de la estimación de impacto del Fondo de Banda Ancha para una cohorte de alumnos que en 2005 cursaban 4° básico. Como línea base se tomaron los resultados de la prueba SIMCE de ese año; como seguimiento se tomaron los resultados de la prueba SIMCE de 2009, rendida por la misma cohorte de estudiantes en 8° básico.

Como indicador de participación en el programa (tratados) se consideró a aquellos establecimientos educativos que participaron exclusivamente al menos una vez entre el periodo 2006 y 2008. El grupo control fueron aquellos invitados a participar por Enlaces, pero que no se postularon o, después de todo el proceso de selección, no recibieron los beneficios.

El Cuadro 7 presenta una comparación de algunas variables observables de la línea base en ambos grupos de participantes. Como era de esperarse, sólo en cuatro de las 20 variables incluidas -EE de región metropolitana, EE particular subvencionado vs. municipal, grupo socioeconómico medio-bajo y hogares con más de 50 libros- no se observan diferencias significativas entre el grupo de tratamiento y el control. Ante esta evidencia que muestra que no hay balance entre los grupos, se concluye que no basta con analizar la diferencia simple entre los grupos luego del tratamiento, sino que es necesario realizar un análisis de doble diferencia. Sin embargo, con el fin de garantizar que una aproximación de diferencias en diferencias nos entregaría información válida del impacto del programa, se requiere, además, realizar pruebas de tendencias paralelas entre grupos antes de la exposición al programa. Los resultados de dichas pruebas se presentan en el Anexo 2 y muestran que, en efecto, no se detectaron tendencias no paralelas entre los grupos.

*** p <0.01;**p <0.005;*p<0.1

Cuadro 7 Balance de la línea de base para el programa Fondo de Banda Ancha: variables de resultado de la prueba SIMCE de 4° básico en el año 2005 

Los Cuadros 8 y 9 muestran una comparación directa de los puntajes estandarizados entres los grupos (tratamiento y control) y entre periodos (2005 y 2009) para la muestra restringida (r); esto es, los que efectivamente participaron ya sea del grupo tratado o del control en el periodo. Si bien se observan mejores resultados tanto en lenguaje como en matemáticas en el grupo tratado con respecto al control, la doble diferencia resulta no significativa, lo que sugiere un bajo impacto del programa.

^a Errores estándares entre paréntesis

***p<0.001; **p<0.005; *p<0.1

Cuadro 8 Tabla cruzada de promedios estandarizados: lenguaje^a 

*Errores estándares entre paréntesis.

***p<0.001, **p<0.05; *p<0.1.

Cuadro 9 Tabla cruzada de promedios estandarizados: matemáticas^a 

El Cuadro 10 presenta los resultados de la estimación de impacto del programa en las dos variables de interés: puntaje estandarizado de la prueba SIMCE en lenguaje y en matemáticas. Se presentan las especificaciones finales de la Ecuación 2 indicada en la metodología bajo dos aproximaciones: diferencia en diferencias estándar y diferencia en diferencias ponderado por la PS.¹⁹, ²⁰

^a Errores estándares ajustados por efecto de clúster de establecimientos educativo (EE). DIX. Modelo de diferencias en diferencias estándar. DDP; Modelo de diferencias ponderado por PS.

*p<0.05,**p<0.01,***p<0.001.

Cuadro 10 Estimación del impacto del Fondo de Banda Ancha en pruebas SIMCE: modelos finales^a 

Tal como se aprecia en este cuadro, la variable de impacto (Programa* Tiempo) no resultó ser estadísticamente significativa al 5%. Se confirma además una caída en el tiempo en los puntajes de lenguaje y un alza en matemáticas, ambos significativos. Se encontró además un efecto positivo y significativo para los establecimientos educativos con nivel socioeconómico más alto, para los hogares con mayor ingreso, la existencia de computadora en el hogar, la presencia de más libros en el hogar y la educación de los padres, teniendo la educación de la madre un mayor efecto. Es interesante notar que el efecto positivo de tener computadora en el hogar contrasta con un efecto negativo y significativo de tener internet. Finalmente, la mujer estudiante tiene un mayor puntaje en lenguaje, pero menor en matemáticas, ambos significativos.

2. TIC en Aula (2007-2011)

En esta sección se presentan los resultados de la estimación de impacto del programa TIC en Aula para una cohorte de alumnos que en 2007 cursaban 4° básico. Se tomaron como línea base los resultados de la prueba SIMCE de ese año y, como seguimiento, se tomaron los resultados de la prueba SIMCE de 2011, rendida por la misma cohorte de estudiantes en 8° básico.

Se consideró como indicador de participación en el programa (tratados) a aquellos establecimientos educativos que participaron al menos una vez entre el periodo 2007 y 2011. El grupo control fueron aquellos invitados a participar por Enlaces, pero que no se postularon o que, después de todo el proceso de selección, no recibieron los beneficios.

El Cuadro 11 presenta una comparación de algunas variables observables de la línea base en ambos grupos de participantes. En este caso, solamente en seis de las 19 variables incluidas -Regiones norte, Grupo socioeconómico medio-alto, Hogares con más de 50 libros, Hogares con computadora, Hogares con internet y Mujeres con puntaje-, no se observan diferencias significativas entre el grupo de tratamiento y el de control. Al igual que en el caso del programa anterior, esta evidencia muestra que no hay balance entre los grupos de tratamiento y control, lo que implica que no basta con analizar la diferencia simple entre los grupos luego del tratamiento, sino que hay que realizar un análisis de doble diferencia. Para garantizar que una aproximación de diferencias en diferencias es apropiada, falta, sin embargo, realizar pruebas de tendencias paralelas antes de la exposición al programa. Los resultados de dichas pruebas se presentan en el Anexo 2 y muestran que, en efecto, no se detectan tendencias no paralelas entre los grupos.

^a Errores estándares entre paréntesis.

***p<0.01; **p<0.005; *p<0.1.

Cuadro 11 Balance de la línea de base para el programa TIC en Aula: variables de resultado de la prueba SIMCE de 4° básico en el año 2007^a 

Los Cuadros 12 y 13 muestran una comparación directa de los puntajes estandarizados entre los grupos (tratamiento y control) y entre periodos (2007 y 2011). Los datos sugieren que en matemáticas se habría producido una mejora en el rendimiento en el periodo y un descenso en lenguaje. Se observa además que existe una diferencia significativa en el rendimiento de los grupos a favor del grupo tratado, pero el efecto neto del programa no sería significativo.

^a Errores estándares entre paréntesis

***p<0.01; **p<0.005; *p<0.1.

Cuadro 12 Tabla cruzada de promedios estandarizados: lenguaje^a 

^a Errores estándares entre paréntesis

***p<0.01; **p<0.005; *p<0.1.

Cuadro 13 Tabla cruzada de promedios estandarizados: matemáticas^a 

El Cuadro 14 presenta los resultados de la estimación de impacto del programa TIC en Aula en las variables de interés: puntaje estandarizado de la prueba SIMCE en lenguaje y matemáticas. Al igual que en el caso del programa de Banda Ancha, se reportan las especificaciones finales de la Ecuación 2 indicada en la metodología bajo dos aproximaciones: diferencia en diferencias estándar y diferencia en diferencias ponderado por PS (modelos DD y DDP, respectivamente).^{21, 22}

^a Errores estándar ajustados por efecto de clúster de establecimientos educativos (EE), Modelo de diferencia en diferencias estándar. DDP; Modelo de diferencia ponderado por PS.

*p<0.05, **p<0.01, ***p<0.001.

Cuadro 14 Estimación del impacto de las TIC en Aula en prueba SIMCE: modelos finales 

Tal como se aprecia en el cuadro, tanto para lenguaje como para matemáticas, la variable de impacto (Programa*Tiempo) resultó ser positiva pero no significativa al 5%, en los modelos de doble diferencia estándar y doble diferencia ponderado. No se detectaron diferencias significativas entre grupos, pero sí se aprecia una caída en el tiempo en los puntajes de lenguaje y un alza en matemáticas, ambos significativos. Se encontró además un efecto positivo y significativo para los establecimientos educativos con mayor nivel socioeconómico, con mayor ingreso, con acceso a computadora en el hogar, con presencia de más libros en el hogar y con la educación de los padres, teniendo la educación de la madre un mayor efecto. Es interesante notar que nuevamente el efecto positivo de tener computadora en el hogar contrasta con un efecto negativo y significativo de tener acceso a internet. La mujer estudiante tiene un mayor puntaje en lenguaje, pero menor en matemáticas, ambos efectos significativos. Finalmente, la pertenencia del establecimiento a un área urbana tiene un efecto negativo y significativo.

3. Identificación de efectos de interacción y de grupos específicos

En esta sección nos concentramos en estudiar si la no significancia en los efectos de los programas por separado puede revertirse analizando las repercusiones conjuntas de ambos programas o el efecto en muestras específicas de EES. Al analizar la interacción entre ambos programas no fue posible revertir la ausencia de efectos significativos; sin embargo, se confirman los principales resultados de las secciones anteriores con respecto a la significancia de otras variables explicativas de interés.²³ En cuanto al efecto en muestras específicas, fue posible obtener algunos resultados. El Cuadro 15 resume los impactos al analizar el programa de Banda Ancha, mientras que en el Cuadro 16 se reportan los resultados para el programa TIC en Aula.

^a Entre paréntesis los errores estándar ajustados por efecto de clúster de establecimiento educativo (EE)

*p<0.05, **p<0.01, ***p<0.001.

Cuadro 15 Efectos del programa FBA en muestras específicas ^a 

^a Entre paréntesis los errores estándar ajustados por efecto de clúster de establecimiento educativo (EE).

*p<0.05, **p<0.01, ***p<0.001.

Cuadro 16 Efectos del programa TIC en Aula en muestras específicas ^a 

Cabe notar que los resultados para la muestra total en los Cuadros 15 y 16 coinciden obviamente con los reportados en los modelos de doble diferencia ponderado por PS de los Cuadros 10 y 14, respectivamente.

El Cuadro 15 muestra que, en regiones y en zonas rurales, el impacto del programa FBA es negativo y significativo al 5%, con excepción del efecto en matemáticas en regiones, el que resulta negativo pero no significativo. Una situación distinta se observa en el Cuadro 16, donde, en áreas rurales, grupos socioeconómicos bajo o medio bajo y los hogares sin internet, el programa TIC en Aula presenta impactos positivos y significativos al 5% en lenguaje, pero resultados no significativos para ninguna muestra en matemáticas.

Conclusión

En este artículo se ha estimado el impacto de dos iniciativas del Ministerio de Educación de Chile (Mineduc): Fondos para Banda Ancha (2006-2010) y TIC en Aula (2007-2011) sobre el rendimiento de los estudiantes en las pruebas nacionales establecidas por el Sistema de Medición de Calidad de la Educación (SIMCE), disponible desde 1998. Se utilizaron técnicas tradicionales de evaluación de impacto de programas, diferencia en diferencias estándar y diferencia en diferencia ponderado por PS, corrigiendo por factores asociados a variables observables y no observables. Los resultados muestran que no ha sido posible identificar un impacto significativo de estos programas, ni por separado ni en forma conjunta. Sin embargo, un análisis para grupos específicos reveló que TIC en Aula tiene un impacto positivo y significativo en la enseñanza de lenguaje en áreas rurales, grupos socioeconómicos bajo o medio bajo y en alumnos provenientes de un hogar sin acceso a internet.

El análisis provee información más allá de estos programas, pues el acceso a internet en el hogar muestra en general un impacto negativo sobre el rendimiento, no así disponer de computadora en el hogar, que tiene un impacto positivo y significativo. Estos resultados son además consistentes con los reportados por (^{Belo et al., 2010}) para Portugal, quienes muestran que, aunque la conectividad efectivamente genere un mayor grado de eficiencia en el proceso de enseñanza-aprendizaje, los resultados en las pruebas pueden caer debido a que los estudiantes no están necesariamente concentrados en el uso de la herramienta de aprendizaje sino en otras potencialidades de la tecnología. Por otra parte, los Establecimientos Educacionales de mayor nivel socioeconómico, así como los estudiantes provenientes de hogares con mayores ingresos, mayor educación de los padres, más libros y con acceso a computadora obtienen mejores resultados en el SIMCE. Finalmente, comparadas con los hombres, las mujeres muestran una clara tendencia a un mayor rendimiento en lenguaje y menor en matemáticas.

En términos de las implicancias en políticas públicas, estos resultados no deben interpretarse como un argumento para descontinuar los programas. Por el contrario, el desafío consiste en comprender cómo utilizar estas tecnologías para mejorar los procesos de enseñanza-aprendizaje y sus impactos sociales. Por ejemplo, las políticas orientadas a la reducción de brechas de acceso a tecnologías son necesarias más no suficientes para promover políticas de igualdad de oportunidades. Una forma de avanzar en esta dirección es realizar experimentos controlados en que distintas formas de introducir las TIC a los programas de estudio sean probadas en el aula, considerando las variables de entorno que afecten su efectividad y su evolución esperada en el tiempo.