SciELO - Scientific Electronic Library Online

 
vol.82 número325Producción potencial y brecha de producción en Centroamérica, Panamá y la República Dominicana (CAPRD)Ventajas competitivas de las empresas de telefonía móvil en América Latina. Análisis desde la perspectiva de los grupos estratégicos índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


El trimestre económico

versión On-line ISSN 2448-718Xversión impresa ISSN 0041-3011

El trimestre econ vol.82 no.325 Ciudad de México ene./mar. 2015

 

Artículos

¿Tienen la banda ancha y las TIC un impacto positivo sobre el rendimiento escolar? Evidencia para Chile

Roberto E. Muñoz* 

Jorge A. Ortega** 

*Departamento de Industrias, Universidad Técnica Federico Santa María (correo electrónico: roberto.munoz@usm.cl).

**Departamento de Industrias, Universidad Técnica Federico Santa María (correo electrónico: jorge.ortega@usm.cl).


Resumen:

En este artículo se estudia el impacto de programas de masificación del uso de Tecnologías de la Información y la Comunicación (TIC) con fines pedagógicos en Chile. En particular, se mide el impacto de dos iniciativas del Ministerio de Educación (Mineduc), Fondos para Banda Ancha (2006-2010) y TIC en Aula (2007-2011), sobre el rendimiento de estudiantes del ciclo básico en las pruebas nacionales estandarizadas de lenguaje y matemáticas, establecidas por el Sistema de Medición de la Calidad de la Educación (SIMCE) y disponibles desde 1998. Los resultados muestran que estos programas no han tenido efectos significativos en el rendimiento, ni individual ni conjuntamente, pero si fue posible identificar efectos positivos y significativos de TIC en Aula sobre grupos específicos en lenguaje, no así en matemáticas.

Palabras clave: banda ancha; TIC; evaluación de programas

Abstract:

In this paper we study the impact of programs meant to spread the use of ICTS for teaching purposes in Chile. In particular, we measure the impact of two initiatives of the Ministry of Education -“Funds for Broadband” (2006-2010) and “ICT in Classroom” (2007-2011)-, on the students’ standardized tests performance in Language and Math, established by the Education Quality Measurement System (SIMCE), and available since 1998. The results show that the programs have not had a significant impact, neither individually or jointly, on the students’ performances, however, it was possible to identify positive and significant effects of ICT in Classroom on specific groups in language, but not in math.

Clasificación JEL: C21, H52, I25, I28.

Introducción

En la última década muchos países han impulsado programas públicos de acceso a Tecnologías de la Información y la Comunicación (TIC) como un mecanismo para reducir la brecha digital y los impactos que ésta genera. Una de las herramientas más utilizadas han sido los programas dirigidos a establecimientos educacionales, particularmente en América Latina. Chile es uno los países que han implementado este tipo de políticas, pero además cuenta con instrumentos de medición de calidad educativa que facilitan la evaluación de impacto de los programas implementados. El Centro de Educación y Tecnología Enlaces,1 ha implementado desde el año 2006 varias iniciativas (programas y proyectos) que promueven el uso de las TIC en actividades pedagógicas dentro de los salones de clase, así como programas de conectividad. Todas estas iniciativas se enmarcan dentro del Plan Tecnologías para una Educación de Calidad (TEC), que en breve se nombra como Plan TEC. En este artículo se seleccionaron dos programas, uno de conectividad y otro de uso de TIC, para los cuales se dispone de datos de monitoreo del proceso de implementación, ellos son: Fondos para Banda Ancha (2006-2010) y TIC en Aula (2007-2011), respectivamente.

Por otro lado, el Ministerio de Educación de Chile (Mineduc) ha implementado el Sistema de Medición de Calidad de la Educación (SIMCE),2 el cual cuenta con información desde 1998, con el cual se mide el desempeño de los estudiantes en tres subsectores: lenguaje y comunicación (en adelante lenguaje), educación matemática (en adelante matemáticas) y comprensión del medio natural, social y cultural (en adelante ciencias). Los resultados en lenguaje y matemáticas fueron utilizados como indicadores de impacto en la evaluación de estos programas.3

El objetivo de este artículo es estimar el impacto de dichos programas, así como de su interacción, en el aprendizaje de los estudiantes del ciclo básico de Establecimientos Educacionales (EE) en Chile, que se mide a través de los resultados de la prueba SIMCE (lenguaje y matemáticas).

La literatura académica provee una amplia variedad de estudios que es necesario revisar. (Angrist y Lavy, 2002) distinguen entre dos categorías para el uso educacional de la informática: Computer Skills Training (CST), donde se enseña a los estudiantes a usar la computadora, y Computer-Aided Instruction (CAI), que se enfoca en el uso de herramientas informáticas para incrementar la eficacia de los procesos de enseñanza-aprendizaje. Mientras el primero no ha sido cuestionado, el papel de CAI es sin duda controvertido, pues los análisis de impacto han arrojado resultados en distintas direcciones.4 En la literatura se acostumbra realizar una distinción adicional con respecto al concepto de CAI. Por una parte, se analiza la función del uso de las TIC para incrementar el rendimiento escolar, mientras que, por otra, se discute la función de la conectividad para perseguir el mismo objetivo.

Con respecto al uso de las TIC en el salón de clases, (Machin et al., 2006) reportó un impacto positivo de la inversión en las TIC en los logros educacionales en inglés y ciencias en escuelas primarias, pero ningún efecto en matemáticas. (Spiezia, 2010) estudió directamente el impacto del uso de computadoras en los logros educacionales; analizó una base de datos de 33 países (26 de la OCDE y 7 externos) con información del Programa para la Evaluación Internacional de la OCDE (PISA, por sus siglas en inglés). Después de corregir por potencial correlación espuria y problemas de endogeneidad, el autor encuentra que el uso de computadoras en el hogar tiene un efecto significativo en los puntajes promedio en ciencias, pero encuentra que en la gran mayoría de los países considerados, el efecto del uso de la computadora en la escuela no es significativo. Esta dificultad para encontrar impactos significativos en el desempeño escolar ha sido reportada extensamente en la literatura (Goolsbee y Guryan, 2002; Rouse y Krueger, 2004; Leuven et al., 2007; Sprietsma, 2012, entre otros).

En América Latina, los resultados han sido similares. (Cristia et al., 2012) evalúan el programa “Una laptop por niño”, en Perú, y reportan que no se encontró un impacto en indicadores de rendimiento escolar en matemáticas y lenguaje. Los autores establecen incluso que las autoridades deben evaluar el impacto de políticas alternativas, intensivas en capital humano, como por ejemplo las destinadas a reducir el número de alumnos por curso. (Barrera y Linden, 2009) realizan una evaluación del programa “Computadoras para Educar”, en Colombia, y reportan un efecto nulo en los resultados de aprendizaje en lenguaje, a pesar de que los profesores recibieron capacitación en el uso de las tecnologías. (Román y Murillo, 2012), controlando por variables socioeconómicas y culturales, encontraron un efecto significativo y positivo de tener una computadora en el hogar, en tanto el estudiante no lo utilice para hacer tareas, pero además reportan un efecto significativo y positivo de asistir a una escuela con una cantidad mínima de computadoras y con su uso frecuente. Los autores también muestran la presencia de un efecto de doble exclusión para estudiantes rurales en países en desarrollo (pobreza + ruralidad).

Claro, (2010) explora cualitativamente los determinantes del impacto de una intervención. Encuentra que un impacto positivo en el aprendizaje está asociado comúnmente a un uso de tecnologías que facilitan la comprensión de conceptos específicos. En relación con las condiciones de uso, el papel activo de los profesores y del director de escuela es clave para fomentar los procesos de aprendizaje a través de las TIC. Finalmente, con respecto a las características de los estudiantes, la pregunta es: ¿cuán bien preparados están los estudiantes para mejorar su capacidad de comprensión a través del uso de las TIC? Aquí, el capital cultural parece ser fundamental. En esta línea, la discusión se ha movido hacia un nuevo concepto: la segunda brecha digital. Éste es un concepto que no está relacionado con el acceso sino más bien con las diferencias en las capacidades para usar las TIC como una herramienta eficaz de aprendizaje. En la misma línea, ( Carrillo et al., 2010) reportan un efecto positivo para un programa TIC en Guayaquil, Ecuador, sobre el rendimiento en matemáticas, pero ningún efecto significativo en lenguaje; ponen énfasis en la función del hardware, el software y el entrenamiento de profesores. (Rodríguez et al., 2012) argumentan que la unidad básica son los programas educativos soportados por las TIC, los cuales deben ser diseñados y evaluados cuidadosamente.

Una rama distinta en la literatura es la relacionada con el impacto de la conectividad (banda ancha, internet o SMS) sobre el aprendizaje. (Underwood et al., 2005) y (Davidson y Santorelli, 2010) discuten el impacto de la adopción de banda ancha en resultados educativos en Reino Unido y Estados Unidos, respectivamente. En el primer artículo, los autores presentan algunas experiencias prácticas de adopción, y concluyen que la banda ancha estaría cambiando la forma en que los estudiantes aprenden, en que los profesores imparten sus cursos y en la que las escuelas administran su quehacer. En el segundo, los autores concluyen que, en el largo plazo, la banda ancha inalámbrica y los dispositivos móviles se transformarán muy probablemente en los principales vehículos para transmitir contenidos educativos, lo que permitiría además un acceso en cualquier momento y lugar, y un proceso de aprendizaje más personalizado.

A pesar de estas visiones optimistas, existe muy poca evidencia en el mundo acerca de efectos estadísticamente significativos de la conectividad en el aprendizaje. Por ejemplo, (Goolsbee y Guryan, 2002) evaluaron el efecto del llamado “E-Rate subsidy” sobre las inversiones en internet en las escuelas públicas de California, desde 1998 a 2000. Estimaron que aproximadamente 66% más de salas tenían acceso a internet que lo que habría ocurrido en ausencia del subsidio; sin embargo, reportan que no hubo un impacto significativo en el rendimiento de los estudiantes. (Scheuermann y Pedró, 2009) y (Sprietsma, 2012), en trabajos más recientes, tampoco identifican impactos significativos en sus investigaciones. Más aún, existen algunos casos en que se han reportado efectos negativos significativos (véase, por ejemplo, Belo et al., 2010).5, 6

En el caso de Chile, el único estudio de efectos que se reporta en la literatura es el de Contreras et al., (2007), citado por Claro, (2010), quienes encontraron una correlación positiva entre el uso de banda ancha y los puntajes de lenguaje y matemáticas en SIMCE 2005 en 4° básico, siendo significativa para estudiantes de estratos socioeconómicos bajo y medio, pero no para alto.

En suma, tanto las evaluaciones de efectos de programas de uso de las TIC como de conectividad sobre el aprendizaje han llevado a resultados inquietantes, puesto que en la mayoría de ellos no ha sido posible identificar efectos positivos significativos. Las implicancias en términos de política pública son muy importantes, pues la sola reducción de las brechas de acceso parece no estar generando los beneficios esperados. Resulta entonces de particular importancia medir el impacto de este tipo de programas en Chile.

El resto del artículo se organiza como sigue. En la primera sección se describen los detalles de los programas en estudio, mientras que en la segunda se establecen los fundamentos metodológicos del análisis de efectos. La tercera sección contiene el modelo econométrico a aplicar y la cuarta contiene el análisis y los principales resultados. Por último, se presentan las conclusiones.

I. Programas en evaluación

El objetivo de esta sección es proveer una descripción de los programas que serán objeto de evaluación. En particular, se entregan detalles de la población objetivo, criterios de selección de beneficiarios, beneficios otorgados, periodo de ejecución y criterios de selección de los grupos de tratamiento y de control.

El marco en el cual se llevaron a cabo estos programas es de suma importancia. Hacia 2007, el programa Enlaces ya se había transformado en la principal herramienta de política pública en Chile para reducir la brecha digital. Los servicios que se entregaban incluían equipos computacionales, conectividad, recursos educativos, asistencia técnica y capacitación de docentes. Estos servicios se proporcionaban mediante programas, dos de los cuales constituyen nuestro objeto de estudio. Por otra parte, de acuerdo con el Censo Nacional de Informática Educativa de 2009,7 en el país existían 9 181 establecimientos educativos subvencionados (EES), los que constituyen la población objetivo a la que se dirigen los distintos programas.8

En el caso del programa Fondos para Banda Ancha (FBA), a 2007 se estimaba que alrededor de 67% del universo de estudiantes (EES más particulares) tenía acceso a banda ancha. El plan pretendía conectar gradualmente a todas las escuelas del país, lo que llevó a plantear una meta de conectar 3 500 establecimientos a 2010, con un costo de puesta en marcha de 220 000 dólares y un costo anual estimado de 1.7 millones de dólares. En la práctica, al año 2010 el plan permitió conectar 4 309 EES con un costo anual del orden de 3.5 millones de dólares. El mecanismo utilizado para implementar el programa fue un subsidio para cofinanciar la contratación de banda ancha como apoyo a las actividades educativas.

El programa se ejecutó inicialmente durante el periodo 2006-2008 y luego, como parte del “Plan Tecnologías para una Educación de Calidad-Enlaces al Bicentenario (Plan TEC)”, se extendió por dos años más (2009-2010), concluyendo en 2011. A partir de 2012 estos subsidios se están implementando en conjunto con la Subsecretaría de Telecomunicaciones (Subtel), bajo el Programa Conectividad para la Educación, cuyo desafío es tener conectados a internet a todos los EES del país en 2014.

Al inicio del programa, el monto del subsidio se calculó según el nivel socioeconómico del EES en la última prueba SIMCE: 90% para A (bajo) o B (medio-bajo) y 70% para C (medio-alto) o D (alto). El monto máximo del subsidio fue de 20000 pesos* (40 dólares) por mes para EES urbanos y de 31 000 pesos (62 dólares) por mes para EES rurales y/o EES del extremo sur (XI y XII). En 2009 se puso en marcha un sistema de copago de los establecimientos beneficiarios según la clasificación de vulnerabilidad y tamaño:9 5 000 pesos (10 dólares) de copago mensual de los EES vulnerables y 10 000 pesos (20 dólares) para los no vulnerables. El monto máximo de subsidio se estableció en: 40 000 pesos (80 dólares) para los vulnerables y grandes o rurales; 33000 pesos (66 dólares) para los vulnerables y pequeños; 35000 pesos (70 dólares) para los no vulnerables y grandes o rurales; 28 000 pesos (56 dólares) para no vulnerables y pequeños.

Con respecto a las condiciones de participación, todos los EES fueron invitados a participar, pero para postular debían cumplir con los siguientes requisitos: estar incorporados a la Red Enlaces; tener servicios de internet de banda ancha contratados y activos con cualquier proveedor; no haber recibido beneficios de fondos para banda ancha antes de 2004, o beneficios de conectividad de banda ancha del Fondo de Desarrollo de Telecomunicaciones (FDT) del Ministerio de Transporte y Telecomunicaciones; no tener sanciones administrativas y estar dispuesto a cumplir con los plazos y exigencias de las bases. Los EES que recibieron los beneficios en un año, podían solicitar la continuación del beneficio por los años siguientes, siempre que las rendiciones de fondos anteriores se encontraran “aprobadas”. En 2009 se introdujo, además, el requisito de que los EES hubieran confirmado su participación en el Plan “Tecnologías para una Educación de Calidad-Cierre Brecha Digital” al año 2008. En 2009 también se incorporó como criterio de selección dar prioridad a los EES postulantes que atienden a la población más vulnerable.

En cuanto a la selección de los grupos de tratamiento y de control, los cuadros de doble entrada 1 y 2 resumen la situación para el programa Fondos para Banda Ancha. El Cuadro 1 muestra los datos originales separándolos en aquellos establecimientos que recibieron el beneficio (o no) en el primer periodo (2006-2008) y/o en el segundo (2009-2010). Por ejemplo, hay 1 145 establecimientos que no recibieron subsidio en la primera etapa, pero sí en la segunda. El Cuadro 2 excluye los establecimientos que no eran beneficiarios potenciales del programa, esto es, particulares pagados y establecimientos clasificados en grupo socioeconómico alto. Se excluyeron también aquellos que no reportaban puntaje SIMCE.10 Finalmente, dado que los años de aplicación del SIMCE considerados en esta evaluación fueron 2005 y 2009, se decidió excluir de la muestra final a todos los EES tratados en el segundo periodo para no contaminar los resultados de la aplicación del primer periodo del programa, evitando también la dificultad del cambio en los criterios de participación a partir de 2009. Así, la muestra utilizada fue restringida a aquellos EES no tratados en el proceso 2009-2010, esto es, 863 establecimientos formaron el grupo de control y 824 el grupo tratado.

Fuente: base de datos administrativos de Enlace.

* 128 EE no fueron considerados en esta base porque no se indicaba si habían sido o no beneficiarios del programa

Cuadro 1 Participación de EE en Fondos de Banda Ancha (sin exclusión)* 

Fuente: base de datos administrativos de Enlace.

* Se excluyen en EE que no eran potencias beneficiarios del programa

Cuadro 2 Participación de EE en Fondos de Banda Ancha (con exclusión)* 

Por otra parte el Programa TIC en Aula tenía dos objetivos: i) asegurar una base de recursos tecnológicos y pedagógicos digitales en el salón de clases para los procesos de enseñanza y aprendizaje (lenguaje, matemáticas y comprensión del medio natural), y ii) apoyar a los docentes en los cuatro dominios del Marco de la Buena Enseñanza.11 En una primera etapa, que comprendió el año 2007, el programa se focalizó en el primer ciclo básico (1° a 4°) de EE municipales. Luego, en una segunda etapa que comprende desde 2008 a 2011, se amplió hacia todo el ciclo básico (1° a 8° básico), otorgándose ocasionalmente a EE subvencionados.12, 13

El beneficio consistía en la entrega de un equipo “TIC en Aula” y un conjunto de recursos digitales (CD) para apoyar las clases, fondos para cofinanciar la habilitación de las aulas (400 dólares/aula), asesoría tecnológica gratuita por la Red de Asistencia Técnica (Rate) y capacitación a los docentes. El equipo “TIC en Aula” consistió en una computadora portátil o notebook, un proyector multimedia, un soporte de empotramiento al techo para el proyector multimedia, un equipo de audio y una pantalla retráctil.

Con respecto a las condiciones de participación en el programa, los potenciales EE participantes fueron propuestos inicialmente por la División General de Educación, luego se les invitó a postularse mediante un Proyecto de Informática Educativa (PIE). Para postular, los EE debían cumplir con dos requisitos: contar con los cursos de 1° a 8° básico en funcionamiento (1° a 4° básico en el primer año) y contar con un conjunto de condiciones físicas y de sustentabilidad necesarias para el buen aprovechamiento de la infraestructura informática otorgada. El proceso se llevó a cabo en siete etapas, implementándose un sistema de revisión y confirmación de la entrega, instalación y habilitación correspondientes. En la fase de régimen, el Mineduc supervisó el cumplimiento y respeto de los compromisos asumidos por el sostenedor con el PIE y el convenio del programa.

En relación con la selección de los grupos de tratamiento y de control para el programa TIC en Aula, los cuadros de doble entrada, 3 y 4, resumen la situación. El Cuadro 3 muestra los datos originales separándolos en aquellos establecimientos que recibieron el beneficio (o no) en el primer periodo (2007) y/o en el segundo (2008-2011). El Cuadro 4 excluye los establecimientos que no eran beneficiarios potenciales del programa, esto es, particulares pagados, particulares subvencionados y establecimientos clasificados en grupo socioeconómico alto. Se excluyeron también aquellos que no reportaban puntaje SIMCE. Finalmente, dado que los años de aplicación del SIMCE considerados en esta evaluación fueron 2007 y 2011, se decidió incluir en el grupo tratado a todos los EE que recibieron el beneficio en cualquiera de los dos periodos del programa. Así, la muestra utilizada para la evaluación de impacto contiene 836 establecimientos en el grupo tratado y 1 627 en el grupo de control.

Fuente: base de datos administrativa de Enlaces

Cuadro 3 Participación de EE en TIC en aula (sin exclusión)* 

Fuente: base de datos administrativa de Enlaces

*Se excluyen EE que no eran potenciales beneficiarios del programa

Cuadro 4 Participación de EE en Tic en aula (con exclusión)* 

Finalmente, en la literatura se suelen utilizar adicionalmente algunas medidas de efectos intermedios para un programa, los que en este caso podrían ser el incremento en tasas de retención, reducción en tasas de reprobación, etc. Esta práctica se suele justificar debido a que los impactos finales perseguidos por un programa podrían observarse luego de un plazo mínimo de implementación. En este artículo reconocemos que sería deseable identificar algunas repercusiones intermedias de ambos programas, pero esto no se hizo por dos razones: i) la falta de información en las bases de datos para evaluar los efectos intermedios, y ii) la estrategia de evaluación de efectos consideró esta dificultad, puesto que las cohortes evaluadas rendían el SIMCE en dos espacios de tiempo separados por cuatro años, lapso en el cual el grupo tratado recibía los beneficios del programa. Este plazo se consideró prudente para observar algún efecto en el rendimiento de los estudiantes. Por otra parte, tampoco se disponía de información sobre la intensidad de uso, por lo que se buscaron repercusiones diferenciadas en submuestras, algunas de las cuales podrían estar relacionadas con la intensidad de uso. Se controló además mediante el acceso a las TIC y a internet en el hogar, como proxies de los efectos que pudiera tener la intensidad de uso en la escuela.

II. Metodología del estudio

Los resultados de la prueba SIMCE se encuentran disponibles para los estudiantes;14 la información incluye datos de contexto de los docentes, establecimiento educativo, padres y comunidad. La información obtenida se combinó con los datos de monitoreo de los programas de Enlaces. Con esto se obtuvo, en principio, una base de datos de panel a nivel de los EE con al menos dos mediciones en el tiempo: una línea de base en 4° básico y una de seguimiento en 8° básico. Al considerar la información a nivel de estudiantes se obtuvieron bases de datos repetidas de corte transversal en las cuales era posible seguir una cohorte, puesto que se trataba de la misma generación de estudiantes que rendía la prueba en 4° y 8° básico.15 Los EE se usaron entonces como clústers. El Cuadro 5 resume la información disponible que se utilizó como línea base y seguimiento en cada uno de los programas. En lo que sigue de este artículo se adopta la opción de evaluar el impacto de los programas sobre cohortes de estudiantes.

*Como se excluyeron de la muestra los EES (tratados y controlados) que participan en el periodo 2009-2010, nos referimos a la muestra como "restringida" y los denotamos "2006-2008r"

Cuadro 5 Información de línea base y seguimiento de las cohortes evaluadas* 

Respecto a las variables dependientes, se decidió trabajar con puntajes estandarizados para seguir la práctica usual de la literatura. Sin embargo, el Cuadro 6 resume los niveles alcanzados por la variable antes de la estandarización en las muestras analizadas de cada programa.

Cuadro 6 Estadísticas descriptivas para puntaje SIMCE 

El grupo de tratamiento son los EE subvencionados que fueron beneficiarios efectivos de cada uno de los programas, es decir, que de acuerdo con la información de monitoreo de Enlaces, se encontraban en estado de “aprobado” en la habilitación, implementación o uso de los servicios/productos entregados. El grupo control son aquellos EE subvencionados que, cumpliendo con los requisitos de postulación a los programas, no resultaron beneficiarios efectivos del programa, ya sea porque no se postularon, se postularon y no fueron seleccionados, o fueron desaprobados en alguna etapa del proceso.

III. El modelo

De acuerdo con la información de monitoreo de Enlaces, los beneficios a los EE no se entregaron aleatoriamente, sino a través de un proceso de invitación, entrega y monitoreo. Este proceso es una fuente de sesgos de selección y, debido a la dinámica educativa, se producen variaciones temporales. La estimación de las repercusiones se realizó en cuatro etapas, como se describe a continuación.

En la primera etapa se procedió a estimar un modelo probit de participación en cada programa, usando la línea de base a nivel de los EE:

(1)

en la que Ri es una variable dummy para identificar regiones, Ai es una dummy de área (urbana/rural), DEi es una dummy de dependencia (subvencionada vs. municipal) y finalmente GSEi es una dummy que permite categorizar el grupo socioeconómico del EE.

A partir de este modelo, se estimó la puntuación de propensión (propensity score, PS, por sus siglas en inglés), es decir la probabilidad condicional de participar en cada programa. Con esta estimación se graficó el área de soporte común que luego se usó en la estimación de los efectos. No fue necesario restringir las muestras por este concepto pues el soporte de tratados y no tratados en ambos programas fue similar, como se muestra en el Anexo 1.

En la segunda etapa se seleccionó una cohorte de evaluación para cada programa, conformada por datos repetidos de corte transversal a nivel de los estudiantes. Por lo anterior, se planteó un modelo de regresión para estimar el impacto por el método de doble diferencia,16 así:

(2)

en la que:

  • Yit = puntaje estandarizado del estudiante i en el periodo t en una determinada cohorte (2005-2009, 2007-2011) y sector de aprendizaje determinado (lenguaje o matemáticas)

  • Pi= variable dicotómica que indica el grupo tratamiento (1) o control (0) para cada uno de los programas, cuyo parámetro asociado (β 1) mide diferencias en la línea base.

  • T = variable de tiempo (1 = post, 0 = pre) y el parámetro asociado (β 2) mide los cambios en el tiempo.

  • PiT = interacción entre el programa y el tiempo, cuyo parámetro asociado (β 3) mide el impacto real del programa.

  • Xkit = conjunto de variables de control de la línea base y/o que cambian en el tiempo que pueden afectar la variable de resultado. Se consideraron dos grupos de variables: variables asociadas al EE tales como la dependencia (municipal, particular subvencionado) y el grupo socioeconómico (bajo, medio-bajo, medio, medio-alto y alto); variables asociadas al estudiante y su hogar (género, escolaridad de los padres, ingreso del hogar, número de libros en el hogar, uso de computadora en el hogar y conexión a internet en el hogar).

  • Ɛit = término de error.

En la tercera etapa, y para estudiar el impacto combinado de ambos programas, se amplió el modelo con el propósito de incluir interacciones:

(3)

en la que (β 5) y (β 6) miden el impacto individual de cada programa y β 7 mide el impacto combinado o interacción de ambos.

Finalmente, en la literatura se reportan tres métodos que combinan el análisis de regresión con la PS (Imbens y Wooldridge, 2009), éstos son: regresión ponderada por la PS; regresión estratificada o por bloques de la PS, y regresión con matching en la PS. Los tres métodos producen estimaciones más robustas que el método directo de regresión en que sólo se usa la PS para definir el soporte de los grupos de tratamiento y control. Debido a la facilidad de computar en forma directa los errores estándar y a que los estimadores son doblemente robustos (Wooldridge, 2007), en este artículo se seleccionó el método de regresión en doble diferencia ponderada.17 Sin embargo, también se aplicó un análisis por bloques, cuyos resultados son consistentes con el método ponderado y se reportan más adelante en los Anexos.18

IV. Resultados

1. Fondo de Banda Ancha (2006-2008r)

A continuación se presentan los resultados de la estimación de impacto del Fondo de Banda Ancha para una cohorte de alumnos que en 2005 cursaban 4° básico. Como línea base se tomaron los resultados de la prueba SIMCE de ese año; como seguimiento se tomaron los resultados de la prueba SIMCE de 2009, rendida por la misma cohorte de estudiantes en 8° básico.

Como indicador de participación en el programa (tratados) se consideró a aquellos establecimientos educativos que participaron exclusivamente al menos una vez entre el periodo 2006 y 2008. El grupo control fueron aquellos invitados a participar por Enlaces, pero que no se postularon o, después de todo el proceso de selección, no recibieron los beneficios.

El Cuadro 7 presenta una comparación de algunas variables observables de la línea base en ambos grupos de participantes. Como era de esperarse, sólo en cuatro de las 20 variables incluidas -EE de región metropolitana, EE particular subvencionado vs. municipal, grupo socioeconómico medio-bajo y hogares con más de 50 libros- no se observan diferencias significativas entre el grupo de tratamiento y el control. Ante esta evidencia que muestra que no hay balance entre los grupos, se concluye que no basta con analizar la diferencia simple entre los grupos luego del tratamiento, sino que es necesario realizar un análisis de doble diferencia. Sin embargo, con el fin de garantizar que una aproximación de diferencias en diferencias nos entregaría información válida del impacto del programa, se requiere, además, realizar pruebas de tendencias paralelas entre grupos antes de la exposición al programa. Los resultados de dichas pruebas se presentan en el Anexo 2 y muestran que, en efecto, no se detectaron tendencias no paralelas entre los grupos.

*** p <0.01;**p <0.005;*p<0.1

Cuadro 7 Balance de la línea de base para el programa Fondo de Banda Ancha: variables de resultado de la prueba SIMCE de 4° básico en el año 2005 

Los Cuadros 8 y 9 muestran una comparación directa de los puntajes estandarizados entres los grupos (tratamiento y control) y entre periodos (2005 y 2009) para la muestra restringida (r); esto es, los que efectivamente participaron ya sea del grupo tratado o del control en el periodo. Si bien se observan mejores resultados tanto en lenguaje como en matemáticas en el grupo tratado con respecto al control, la doble diferencia resulta no significativa, lo que sugiere un bajo impacto del programa.

a Errores estándares entre paréntesis

***p<0.001; **p<0.005; *p<0.1

Cuadro 8 Tabla cruzada de promedios estandarizados: lenguajea 

*Errores estándares entre paréntesis.

***p<0.001, **p<0.05; *p<0.1.

Cuadro 9 Tabla cruzada de promedios estandarizados: matemáticasa 

El Cuadro 10 presenta los resultados de la estimación de impacto del programa en las dos variables de interés: puntaje estandarizado de la prueba SIMCE en lenguaje y en matemáticas. Se presentan las especificaciones finales de la Ecuación 2 indicada en la metodología bajo dos aproximaciones: diferencia en diferencias estándar y diferencia en diferencias ponderado por la PS.19, 20

a Errores estándares ajustados por efecto de clúster de establecimientos educativo (EE). DIX. Modelo de diferencias en diferencias estándar. DDP; Modelo de diferencias ponderado por PS.

*p<0.05,**p<0.01,***p<0.001.

Cuadro 10 Estimación del impacto del Fondo de Banda Ancha en pruebas SIMCE: modelos finalesa 

Tal como se aprecia en este cuadro, la variable de impacto (Programa* Tiempo) no resultó ser estadísticamente significativa al 5%. Se confirma además una caída en el tiempo en los puntajes de lenguaje y un alza en matemáticas, ambos significativos. Se encontró además un efecto positivo y significativo para los establecimientos educativos con nivel socioeconómico más alto, para los hogares con mayor ingreso, la existencia de computadora en el hogar, la presencia de más libros en el hogar y la educación de los padres, teniendo la educación de la madre un mayor efecto. Es interesante notar que el efecto positivo de tener computadora en el hogar contrasta con un efecto negativo y significativo de tener internet. Finalmente, la mujer estudiante tiene un mayor puntaje en lenguaje, pero menor en matemáticas, ambos significativos.

2. TIC en Aula (2007-2011)

En esta sección se presentan los resultados de la estimación de impacto del programa TIC en Aula para una cohorte de alumnos que en 2007 cursaban 4° básico. Se tomaron como línea base los resultados de la prueba SIMCE de ese año y, como seguimiento, se tomaron los resultados de la prueba SIMCE de 2011, rendida por la misma cohorte de estudiantes en 8° básico.

Se consideró como indicador de participación en el programa (tratados) a aquellos establecimientos educativos que participaron al menos una vez entre el periodo 2007 y 2011. El grupo control fueron aquellos invitados a participar por Enlaces, pero que no se postularon o que, después de todo el proceso de selección, no recibieron los beneficios.

El Cuadro 11 presenta una comparación de algunas variables observables de la línea base en ambos grupos de participantes. En este caso, solamente en seis de las 19 variables incluidas -Regiones norte, Grupo socioeconómico medio-alto, Hogares con más de 50 libros, Hogares con computadora, Hogares con internet y Mujeres con puntaje-, no se observan diferencias significativas entre el grupo de tratamiento y el de control. Al igual que en el caso del programa anterior, esta evidencia muestra que no hay balance entre los grupos de tratamiento y control, lo que implica que no basta con analizar la diferencia simple entre los grupos luego del tratamiento, sino que hay que realizar un análisis de doble diferencia. Para garantizar que una aproximación de diferencias en diferencias es apropiada, falta, sin embargo, realizar pruebas de tendencias paralelas antes de la exposición al programa. Los resultados de dichas pruebas se presentan en el Anexo 2 y muestran que, en efecto, no se detectan tendencias no paralelas entre los grupos.

a Errores estándares entre paréntesis.

***p<0.01; **p<0.005; *p<0.1.

Cuadro 11 Balance de la línea de base para el programa TIC en Aula: variables de resultado de la prueba SIMCE de 4° básico en el año 2007a 

Los Cuadros 12 y 13 muestran una comparación directa de los puntajes estandarizados entre los grupos (tratamiento y control) y entre periodos (2007 y 2011). Los datos sugieren que en matemáticas se habría producido una mejora en el rendimiento en el periodo y un descenso en lenguaje. Se observa además que existe una diferencia significativa en el rendimiento de los grupos a favor del grupo tratado, pero el efecto neto del programa no sería significativo.

a Errores estándares entre paréntesis

***p<0.01; **p<0.005; *p<0.1.

Cuadro 12 Tabla cruzada de promedios estandarizados: lenguajea 

a Errores estándares entre paréntesis

***p<0.01; **p<0.005; *p<0.1.

Cuadro 13 Tabla cruzada de promedios estandarizados: matemáticasa 

El Cuadro 14 presenta los resultados de la estimación de impacto del programa TIC en Aula en las variables de interés: puntaje estandarizado de la prueba SIMCE en lenguaje y matemáticas. Al igual que en el caso del programa de Banda Ancha, se reportan las especificaciones finales de la Ecuación 2 indicada en la metodología bajo dos aproximaciones: diferencia en diferencias estándar y diferencia en diferencias ponderado por PS (modelos DD y DDP, respectivamente).21, 22

a Errores estándar ajustados por efecto de clúster de establecimientos educativos (EE), Modelo de diferencia en diferencias estándar. DDP; Modelo de diferencia ponderado por PS.

*p<0.05, **p<0.01, ***p<0.001.

Cuadro 14 Estimación del impacto de las TIC en Aula en prueba SIMCE: modelos finales 

Tal como se aprecia en el cuadro, tanto para lenguaje como para matemáticas, la variable de impacto (Programa*Tiempo) resultó ser positiva pero no significativa al 5%, en los modelos de doble diferencia estándar y doble diferencia ponderado. No se detectaron diferencias significativas entre grupos, pero sí se aprecia una caída en el tiempo en los puntajes de lenguaje y un alza en matemáticas, ambos significativos. Se encontró además un efecto positivo y significativo para los establecimientos educativos con mayor nivel socioeconómico, con mayor ingreso, con acceso a computadora en el hogar, con presencia de más libros en el hogar y con la educación de los padres, teniendo la educación de la madre un mayor efecto. Es interesante notar que nuevamente el efecto positivo de tener computadora en el hogar contrasta con un efecto negativo y significativo de tener acceso a internet. La mujer estudiante tiene un mayor puntaje en lenguaje, pero menor en matemáticas, ambos efectos significativos. Finalmente, la pertenencia del establecimiento a un área urbana tiene un efecto negativo y significativo.

3. Identificación de efectos de interacción y de grupos específicos

En esta sección nos concentramos en estudiar si la no significancia en los efectos de los programas por separado puede revertirse analizando las repercusiones conjuntas de ambos programas o el efecto en muestras específicas de EES. Al analizar la interacción entre ambos programas no fue posible revertir la ausencia de efectos significativos; sin embargo, se confirman los principales resultados de las secciones anteriores con respecto a la significancia de otras variables explicativas de interés.23 En cuanto al efecto en muestras específicas, fue posible obtener algunos resultados. El Cuadro 15 resume los impactos al analizar el programa de Banda Ancha, mientras que en el Cuadro 16 se reportan los resultados para el programa TIC en Aula.

a Entre paréntesis los errores estándar ajustados por efecto de clúster de establecimiento educativo (EE)

*p<0.05, **p<0.01, ***p<0.001.

Cuadro 15 Efectos del programa FBA en muestras específicas a 

a Entre paréntesis los errores estándar ajustados por efecto de clúster de establecimiento educativo (EE).

*p<0.05, **p<0.01, ***p<0.001.

Cuadro 16 Efectos del programa TIC en Aula en muestras específicas a 

Cabe notar que los resultados para la muestra total en los Cuadros 15 y 16 coinciden obviamente con los reportados en los modelos de doble diferencia ponderado por PS de los Cuadros 10 y 14, respectivamente.

El Cuadro 15 muestra que, en regiones y en zonas rurales, el impacto del programa FBA es negativo y significativo al 5%, con excepción del efecto en matemáticas en regiones, el que resulta negativo pero no significativo. Una situación distinta se observa en el Cuadro 16, donde, en áreas rurales, grupos socioeconómicos bajo o medio bajo y los hogares sin internet, el programa TIC en Aula presenta impactos positivos y significativos al 5% en lenguaje, pero resultados no significativos para ninguna muestra en matemáticas.

Conclusión

En este artículo se ha estimado el impacto de dos iniciativas del Ministerio de Educación de Chile (Mineduc): Fondos para Banda Ancha (2006-2010) y TIC en Aula (2007-2011) sobre el rendimiento de los estudiantes en las pruebas nacionales establecidas por el Sistema de Medición de Calidad de la Educación (SIMCE), disponible desde 1998. Se utilizaron técnicas tradicionales de evaluación de impacto de programas, diferencia en diferencias estándar y diferencia en diferencia ponderado por PS, corrigiendo por factores asociados a variables observables y no observables. Los resultados muestran que no ha sido posible identificar un impacto significativo de estos programas, ni por separado ni en forma conjunta. Sin embargo, un análisis para grupos específicos reveló que TIC en Aula tiene un impacto positivo y significativo en la enseñanza de lenguaje en áreas rurales, grupos socioeconómicos bajo o medio bajo y en alumnos provenientes de un hogar sin acceso a internet.

El análisis provee información más allá de estos programas, pues el acceso a internet en el hogar muestra en general un impacto negativo sobre el rendimiento, no así disponer de computadora en el hogar, que tiene un impacto positivo y significativo. Estos resultados son además consistentes con los reportados por (Belo et al., 2010) para Portugal, quienes muestran que, aunque la conectividad efectivamente genere un mayor grado de eficiencia en el proceso de enseñanza-aprendizaje, los resultados en las pruebas pueden caer debido a que los estudiantes no están necesariamente concentrados en el uso de la herramienta de aprendizaje sino en otras potencialidades de la tecnología. Por otra parte, los Establecimientos Educacionales de mayor nivel socioeconómico, así como los estudiantes provenientes de hogares con mayores ingresos, mayor educación de los padres, más libros y con acceso a computadora obtienen mejores resultados en el SIMCE. Finalmente, comparadas con los hombres, las mujeres muestran una clara tendencia a un mayor rendimiento en lenguaje y menor en matemáticas.

En términos de las implicancias en políticas públicas, estos resultados no deben interpretarse como un argumento para descontinuar los programas. Por el contrario, el desafío consiste en comprender cómo utilizar estas tecnologías para mejorar los procesos de enseñanza-aprendizaje y sus impactos sociales. Por ejemplo, las políticas orientadas a la reducción de brechas de acceso a tecnologías son necesarias más no suficientes para promover políticas de igualdad de oportunidades. Una forma de avanzar en esta dirección es realizar experimentos controlados en que distintas formas de introducir las TIC a los programas de estudio sean probadas en el aula, considerando las variables de entorno que afecten su efectividad y su evolución esperada en el tiempo.

Referencias bibliográficas

Aker, J., C. Ksoll y T. Lybbert (2012), “Can Mobile Phones Improve Learning? Evidence from a Field Experiment in Niger”, American Economic Journal: Applied Economics, vol. 4, núm. 4, pp. 94-120. [ Links ]

Angrist, J., y V. Lavy (2002), “New Evidence on Classroom Computers and Pupils Learning”, Economic Journal, vol. 112, núm. 482, pp. 735-765. [ Links ]

Barrera, F., y L. Linden (2009), “The Use and Misuse of Computers in Education; Evidence from a Randomized Experiment in Colombia”, documento de trabajo sobre investigaciones de políticas 4836, Banco Mundial. [ Links ]

Belo, R., P. Ferreira y R. Telang (2010), “The Effects of Broadband in Schools: Evidence from Portugal”, documento de trabajo, Carnegie Mellon University, IST y FCEE. [ Links ]

Carrillo, P., M. Onofa y J. Ponce (2010), “Information Technology and Student Achievement: Evidence from a Randomized Experiment in Ecuador”, serie de documentos de trabajo del BID, núm. IDB-WP-223, Banco Interamericano de Desarrollo, Washington, D.C. [ Links ]

Claro, M. (2010), “Impacto de las TIC en los aprendizajes de los estudiantes. Estado del Arte”, documento de Proyecto @LIS2, Alianza para la Sociedad de la Información 2, “Diálogo político inclusivo e intercambio de experiencias”, Componente: Educación (CEC/08/003), CEPAL. [ Links ]

Cristia, J., A. Czerwonko y P. Garofalo (2010), “Does ICT Increase Years of Education? Evidence from Peru”, documento de trabajo: OVE/WP-01/10. Oficina de Evaluación y Supervisión, Banco Interamericano de Desarrollo, Washington, D.C. [ Links ]

______, P. Ibarrarán, S. Cueto, A. Santiago y E. Severin (2012), “Technology and Child Development: Evidence from the One Laptop per Child Program”, serie de documentos de trabajo del BID, núm. IDB-WP-304, Banco Interamericano de Desarrollo, Washington, D.C. [ Links ]

Davidson, C. y M. Santorelli (2010), “The Impact of Broadband on Education”, The Advanced Communications Law & Policy Institute at New York Law School. Estudio encargado por la U.S. Chamber of Commerce. [ Links ]

Goolsbee, A., y J. Guryan (2002), “The Impact of Internet Subsidies in Public Schools”, documento de trabajo 9090, NBER. [ Links ]

Imbens, G., y J. Wooldridge (2009), “Recent Developments in the Econometrics of Program Evaluation”, Journal of Economic Literature, vol. 47, núm. 1, pp. 5-86. [ Links ]

Kenny, C. (2011), Overselling Broadband: A Critique of the Recommendations of the Broadband Commission for Digital Development, ensayo, Centro para el Desarrollo Global, Washington, D.C. [ Links ]

Leuven, E., M. Lindahl, H. Oosterbeek y D. Webbink (2007), “The Effect of Extra Funding for Disadvantaged Pupils on Achievement”, The Review of Economics and Statistics, vol. 89, núm. 4, pp. 721-736. [ Links ]

Machin, S., S. McNally y O. Silva (2006), “New Technology in Schools: Is There a Payoff?”, CEE DP 55, Centre for the Economics of Education, London School of Economics, Londres. [ Links ]

Rodriguez, P., M. Nussbaum y L. Dombrovskaia (2012), “ICT for Education: A Conceptual Framework for the Sustainable Adoption of Technology-Enhanced Learning Environments in Schools”, Technology, Pedagogy and Education, vol. 21, núm. 3, pp. 291-315. [ Links ]

Román, M., y F. Murillo (2012), “Learning Environments with Technological Resources: A Look at their Contribution to Student Performance in Latin American Elementary Schools”, Educational Technology Research and Development, vol. 60, núm. 6, pp. 1107-1128. [ Links ]

Rouse, C., y A. Krueger (2004), “Putting Computerized Instruction to the test: A Randomized Evaluation of a ‘Scientifically Based’ Reading Program”, Economics of Education Review, vol. 23, núm. 4, pp. 323-338. [ Links ]

Scheuermann, F., y F. Pedró (2009), “Assessing the Effects of ICT in Education: Indicators, Criteria and Benchmarks for International Comparisons”, Centro de Investigación Conjunta de la Comisión Europea, ISBN 978-92-79-13112-7. [ Links ]

Spiezia, V. (2010), “Does Computer Use Increase Educational Achievements? Studentlevel evidence from PISA”, OECD Journal Economic Studies, vol. 7, núm. 1, pp. 1-22. [ Links ]

Sprietsma, M. (2012), “Computers as Pedagogical Tools in Brazil: A Pseudo-panel Analysis”, Education Economics, vol. 20, núm. 1, pp. 19-32. [ Links ]

Underwood, J., A. Ault, P. Banyard, K. Bird, G. Dillon, M. Hayes, I. Selwood, B. Somekh y P. Twining (2005), “The Impact of Broadband in Schools”, Nottingham Trent University, Coventry, Becta [ Links ]

Wooldridge, J. (2007), “Inverse Probability Weighted Estimation for General Missing Data Problem”, Journal of Econometrics, vol. 141, núm. 2, pp. 1281-1301. [ Links ]

*La presente investigación se llevó a cabo gracias a la asignación de fondos al Instituto de Estudios Peruanos (IEP) por el International Development Research Centre (IDRC) y la Canadian International Development Agency (CIDA), Ottawa, Canadá. Agradecemos los comentarios de Guillermo Cruces y Hernán Galperín, así como los del editor y un dictaminador anónimo de EL TRIMESTRE ECONÓMICO. Asimismo, va nuestro agradecimiento a quienes asistieron a la 41 Telecommunications Policy Research Conference (TPRC) y al evento en el Banco Interamericano de Desarrollo (BID) de septiembre de 2013. Los autores, por supuesto, se hacen responsables de los puntos de vista aquí expresados y de cualquier error o imprecisión en el material que han proporcionado.

1Enlaces comenzó como un proyecto piloto en 1992; en 1995 se amplió a programa nacional, y en 2005 se constituyó como Centro de Educación y Tecnología: http://www.redenlaces.cl.

3Originalmente se propuso incluir los resultados de la prueba SIMCE en ciencias; sin embargo, se excluyó del análisis porque no son comparables entre los dos ciclos básicos seleccionados: en 4° básico la prueba se refiere a comprensión del medio natural y social, mientras que en 8° básico las dos materias están separadas.

4Por ejemplo, (Cristia et al., 2010) estudiaron si un incremento en el acceso a las TIC llevaba a una mejora en el número de años de educación completados. El análisis se realizó con una base de datos con información para 350 escuelas en Perú y no se encontraron efectos significativos. A pesar de ello, se sugiere que el efecto CST es suficientemente importante en el mercado de trabajo para justificar una intervención de política pública.

5De hecho, el efecto del acceso a banda ancha ha sido puesto en duda más allá de sus potenciales efectos en educación. (Kenny, 2011) argumenta que no existe evidencia de una gran repercusión económica positiva, de manera que los fundamentos para subsidiar la penetración de la banda ancha serían débiles.

6En un artículo reciente, (Aker et al., 2012) estudian el efecto del acceso a tecnología básica de telefonía móvil sobre los logros educativos de adultos en un experimento de campo en Níger. Reportan un incremento significativo en los puntajes de pruebas de matemáticas y escritura en relación con el grupo de control. Además, se muestra que el efecto positivo y significativo sigue presente tras varios meses de la finalización de las clases. Los autores sugieren que los teléfonos móviles podrían ser una forma simple y de bajo costo para mejorar los resultados educacionales en adultos.

7Véase: http://idde.enlaces.cl/index.php, visitada el 12 de abril de 2013.

8Los EES son escuelas municipales o particulares que reciben un subsidio del Estado chileno por estudiante matriculado, regidas por la Ley de Subvenciones (DFL núm. 2 de 1998). Los establecimientos excluidos de esta población objetivo son aquellos particulares con financiamiento 100% privado. Consúltese http://www.comunidadescolar.cl/marco_legal/Normativas/DFL%202%20Ley%20Subvenciones.pdf

*Pesos chilenos, en todo el artículo [nota del editor].

9Se clasificó como establecimiento vulnerable aquel que en su última prueba SIMCE hubiera sido clasificado en el grupo socioeconómico A (Bajo) o B (Medio Bajo). Se clasificó como establecimiento no vulnerable aquel que en su última prueba SIMCE hubiera sido clasificado en el grupo socioeconómico C (Medio Alto) o D (Alto). Se clasificó como establecimiento pequeño). Se clasificó según estándar 2010, le corresponde un laboratorio de computación o ninguno. Se clasificó como establecimiento grande aquel que, según estándar 2010, le corresponden dos o más laboratorios de computación.

10De acuerdo con los criterios definidos por el SIMCE, si menos de seis estudiantes rinden el examen, o quienes lo rinden no son representativos del curso respectivo, no se reporta puntaje.

11Los cuatro dominios se refieren a las etapas del ciclo completo del proceso educativo: planificación, creación de ambientes propicios para el aprendizaje, enseñanza y, finalmente, evaluación y reflexión.

12En 2007 la autoridad estableció un cronograma preciso de expansión, que partía con 3 200 aulas implementadas ese año con 3 200 aulas implementadas ese año y que pretendía llegar a las 16 000 en 2010.

13Dado que muy pocos EE subvencionados fueron beneficiarios, éstos fueron excluidos en el análisis de efectos.

14Aunque los resultados públicos se reportan a nivel de establecimiento educativo.

15No se hizo el seguimiento de un estudiante en particular, ya que no era posible identificarlos.

16Con datos de panel y con dos periodos, el modelo 2 se puede plantear en la forma de diferencia: ΔYi = β 0 +β 1 Pi + Σβk +1 Xki + ʋ i donde en este caso β 1 sería el parámetro de efecto. Para múltiples periodos el modelo (2) se transformaría en un modelo de efectos fijos: Yit = β 0 +β 1 Pit + Σβk +1 Xki + Σ γNEN + ΣδTTT + ε it .

17Se utilizó 1/PS como ponderador para el grupo tratado y 1/(1 PS) para el grupo control

18En este caso se identificó un número óptimo de bloques según la PS, que resultó ser de seis, luego se estimó el modelo de doble diferencia por bloque y, finalmente, se estimó el promedio ponderado de los estimadores y de la varianza. Siguiendo a Imbens y (Wooldridge, 2009), el ponderador para los estimadores es el tamaño relativo de los bloques y para la varianza es el cuadrado del tamaño relativo. De acuerdo con estos autores, el estimador por bloques puede ser interpretado como un estimador ponderado, donde la PS es “suavizada” dentro de cada bloque. El detalle de esta estimación por bloques está disponible con los autores.

19Se ha desarrollado un Anexo estadístico, disponible con los autores, en donde se presenta la secuencia de estos modelos de doble diferencia estándar y ponderado por PS, tanto para lenguaje como para matemáticas, donde los modelos seleccionados son precisamente los modelos DD y DDP reportados en el Cuadro 10.

20En el Anexo 3 se reportan los resultados del método de estimación por bloques. Se observa que éstos son consistentes con los del modelo DDP del Cuadro 10, lo que muestra que los resultados son robustos.

21En el Anexo estadístico, disponible con los autores, se presenta la secuencia de estos modelos de doble diferencia estándar y ponderado por PS, tanto para lenguaje como para matemáticas. Los modelos finales en dicha secuencia son precisamente los modelos DD y DDP reportados en el Cuadro 14.

22Al igual que en el caso del programa anterior, en el Anexo 3 se reportan los resultados de la estimación de doble diferencia estimado por bloques de la PS. Los resultados nuevamente son similares, lo que confirma la robustez de las estimaciones.

23Los análisis están disponibles con los autores.

Anexo 1

Modelos probit de participación y áreas de soporte común

a Errores estándares entre paréntesis. ***p<0.01; **p<0.005; *p<0.1.

Cuadro A1: Participación en el Fondo de Banda Ancha (2006-2008r) y en TIC en Aula (2007-2011) 

Gráfica A1: Fondo de Banda Ancha 

Gráfica A2: TIC en Aula 

Anexo 2

Pruebas de tendencias paralelas

Una prueba perfecta de la hipótesis de tendencias paralelas hubiera sido posible si observáramos el rendimiento de las respectivas cohortes en los años anteriores a la aplicación del programa. Sin embargo, tal información no estaba disponible por lo que se realizaron dos tipos de test. Primero se analizó si los EES presentaban diferencias significativas en la tendencia de la línea base (esto es, 4° básico). Los Cuadros A2 y A3 muestran que las tendencias de la línea base son paralelas entre el grupo tratado y el control, incluso dividiendo la muestra de acuerdo a los cambios normativos experimentados por los programas.

a La unidad de observación es el EE. Errores estándar entre paréntesis.

*p<0.05, **p<0.01, ***p<0.001.

Cuadro A2 Prueba de tendencias paralelas en línea base del programa Fondo de Banda Ancha en SIMCE, 4° básicoa 

a La unidad de observación es el EE. Errores estándar entre paréntesis.

*p<0.05, **p<0.01, ***p<0.001.

Cuadro A3 Prueba de tendencias paralelas en línea base del programa TIC en aula en SIMCE, 4° básico a 

En las Gráficas A3 y A4 se observan las pruebas de tendencias anteriores para la participación en el periodo 2006-2008r.

Gráfica A3 Tendencia de participación en FBA 2006-2008r 

Gráfica A4 Tendencia participación en FBA 2006-2008r 

En las Gráficas A5 y A6 se observan las pruebas de tendencias anteriores para la participación en el periodo 2007-2011.

Gráfica A5 Tendencia participación en TICAU 2007-2011 

Gráfica A6 Tendencia participación en TICAU 2007-2011 

Sin embargo, aun cuando las líneas base sean paralelas, podrían existir diferencias sistemáticas entre grupos en la evolución de los puntajes de una cohorte entre 4° y 8° básico. Para analizar esta posibilidad se estudió una proxy de una cohorte no tratada, que estaba en 4° básico en 1999 y en 8° básico el 2003. Como no se disponía de este último dato, se tomó como proxy el 8° básico del año 2004. Los Cuadros A4 y A5 muestran los resultados en los programas Fondo de Banda Ancha y TIC en Aula, respectivamente. Se observa que la participación en un programa no se traduce en diferencias significativas de la evolución del puntaje SIMCE de la cohorte respecto del grupo de control.

a La unidad de observación es el EE. Errores estándar entre paréntesis

p<0.05, **p<0.01, ***p<0.001.

Cuadro A4 Prueba de tendencias paralelas en el programa Fondo de Banda Ancha en cohorte ficticia: SIMCE, 4° básico 1999, y 8° básico 2004ª 

a La unidad de observación es el EE. Errores estándar entre paréntesis.

p<0.05, **p<0.01, ***p<0.001.

Cuadro A5 Prueba de tendencias paralelas en el programa TIC en Aula en cohorte ficticia: SIMCE 4°, básico 1999, y 8° básico 2004a 

La evidencia conjunta de los Cuadros A2 a A5 permite sostener que no fue posible identificar tendencias no paralelas en las variables de interés entre los grupos de estudio, por lo que los resultados de una aproximación de diferencia en diferencias pueden ser interpretados como el efecto neto del correspondiente programa.

Anexo 3

Método de doble diferencia por bloques de PS

a Errores estándar robustos entre paréntesis, ajustados por efecto de clúster (establecimientos educativos). ***p<0.01; **p<0.005; *p<0.1.

Cuadro A6: Resultado de método de doble diferencia por bloques de Propensity Scorea 

Recibido: 04 de Julio de 2013; Aprobado: 12 de Febrero de 2014

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons