Variable de resultado para la medición de impacto

Las variables de desempeño académico sobre las cuales se midió el impacto del programa de pensiones proporcionales están asociadas a la deserción del estudiante, específicamente, el retiro de la carrera o de la universidad. Se consideraron, como ya se señaló anteriormente, dos tipos de deserción, dependiendo del horizonte temporal en el cual tiene lugar el retiro: la deserción temprana sí se retiró antes de cumplir el año o los dos primeros semestres de su carrera, y la tardía si lo hizo posteriormente (^{Lopera, 2008}).

Así mismo, cabe resalta que estos dos tipos de deserción pueden ocurrir tanto en la carrera, como en la institución, en este último caso se considerará como deserción institucional si abandona cualquier carrera de la UCAB, sin haberse reincorporado a sus estudios al menos hasta el momento de esta investigación. Mientras que, si abandona una carrera para trasladarse a otra en la misma institución, se considerará como deserción interna.

Por otra parte, es de señalar que se empleó la probabilidad de egreso como variable de resultado. Se descartó el promedio de calificaciones del estudiante durante su carrera pues podría estar sesgado, tal como indica la literatura. Este promedio es una variable “sucia” que se ve afectada por la percepción y dificultad del profesor, más aún cuando las evaluaciones no están estandarizadas ni se realizan por departamentos.

Metodología de regresiones discontinuas difusas

Si bien el proceso de abandono estudiantil universitario es multifactorial, el propósito de esta investigación ha sido el determinar la causalidad que existe entre el tratamiento o programa de financiamiento y la variable objetivo seleccionada, por ello, la metodología más adecuada para medir el posible impacto del tratamiento y aislarlo del efecto de las demás variables explicativas, además de lograr la eliminación del sesgo de selección, es la metodología de regresiones discontinuas difusas.

En tal sentido, el diseño de regresión discontinua se trata de un modelo cuasiexperimental en el cual existe un índice o criterio de asignación al tratamiento cuyo valor crítico o umbral separa a los individuos en beneficiarios o no del tratamiento del estudio (^{Hernández, 2019}). Existen dos tipos de regresiones discontinuas (RD), la aguda o nítida (sharp) y la difusa o borrosa (fuzzy). Dado un criterio o índice de asignación al tratamiento en ambos tipos de diseño se produce un salto o discontinuidad en el punto de corte de ese índice que define ser beneficiario o no. Ese salto o discontinuidad en el caso del diseño agudo se produce en el valor esperado de la variable resultado (^{Angrist y Pischke, 2009}).

En el caso del diseño de regresiones discontinuas difusas o borrosas (fuzzy) la discontinuidad no ocurre en el valor esperado de la variable resultado, sino en la probabilidad de recibir el tratamiento, que depende no sólo de las variables observadas sino de las no observadas (^{Bernal y Peña, 2011}). La probabilidad de recibir el tratamiento está dada por una función de la variable o índice de asignación (^{Angrist y Lavy, 1999}). La consecuencia inmediata de esta diferencia se traduce en que dicha variable no determina exactamente el grupo en el cual estará el individuo, por lo tanto, la participación en la intervención es endógena, porque depende de las decisiones del individuo.

La discontinuidad que permite identificar el efecto de la política, tal como lo plantean ^{Imbens y Lemieux (2008)}, vendría dada por la diferencia del límite de la probabilidad de recibir el tratamiento a la derecha del umbral y el límite de la probabilidad de recibir el tratamiento a la izquierda. De esta forma, para el caso de las regresiones difusas o borrosas es necesario considerar la probabilidad de recibir el tratamiento. El numerador representa la diferencia o discontinuidad observada en el resultado esperado, mientras que el denominador proporciona la diferencia en la probabilidad potencial de recibir el tratamiento a cada lado del punto de corte (Imbens y Lemieux, 2008). Este estimador es conocido como el estimador de Wald (^{Bernal y Peña, 2011}) e indica el cociente entre la covarianza de la variable resultado (Y) y la variable instrumental (Z), y la covarianza de dicha variable instrumental y el tratamiento (D). De esta forma, la variable de asignación Z funge como la variable instrumental y, por tanto, el estimador mide un efecto local (alrededor del umbral) y no un efecto promedio. Así, las estimaciones podrían realizarse mediante mínimos cuadrados en dos etapas alrededor del umbral o punto de corte, para lo cual se requiere garantizar unas condiciones mínimas de validez.

Estas condiciones de validez están asociadas a tres aspectos: 1) la continuidad de la función de densidad de la variable de asignación (Z) que sugiere la no manipulación del instrumento, 2) la continuidad de las variables explicativas de control alrededor del umbral (continuidad local), lo cual contribuye a determinar la causalidad, y 3) el salto o discontinuidad de la probabilidad de participar en el tratamiento en el punto de corte, denominado como el supuesto de independencia condicional a nivel local (^{Bernal y Peña, 2011}).

^{Hahn, Todd y Van der Klaauw (2001)} establecen un supuesto débil de monotonicidad local con el cual basta considerar que si un individuo no es tratado cuando el punto de corte es un valor Z, tampoco lo será cuando el valor cambia a uno mayor, lo cual genera que la interpretación de los resultados sea válida en un contexto local y no promedio. Para la estimación, una vez validados los supuestos requeridos, pueden emplearse métodos paramétricos o no paramétricos. Si bien en el primero se asume una forma funcional, en el segundo se emplea la que mejor se ajuste a los datos. Por cualquiera de los dos métodos, se requiere estimar una ecuación como la siguiente:

En donde la función mZi debe ser continua en Z y el EDiZi discontinuo en el punto de corte, mientras que β1 es el estimador de regresión discontinua difusa, cuya interpretación dependerá de los supuestos establecidos.

Esta ecuación requiere ser estimada en dos etapas (mínimos cuadrados en dos etapas). En la primera se estimará la probabilidad de recibir el tratamiento (β1) en la segunda se estima el efecto del tratamiento 1 sustituyendo la estimación de la primera etapa.

Existen tratamientos, a diferencia de los planteados hasta ahora, en los cuales no hay un único punto de corte, sino un grupo de valores que determinan la participación en distintos tratamientos en un mismo programa o diferentes niveles del tratamiento, lo que se conoce como tratamientos múltiples (^{Vásquez, 2019}).

Dado que el programa de ayudas económicas de la Universidad Católica Andrés Bello, objeto de este estudio, implica un tratamiento múltiple con cuatro puntos de corte, existe un criterio de asignación que no genera una discontinuidad en el valor de la variable resultado, sino en la probabilidad de recibir el tratamiento, siendo la decisión del estudiante la que determina la participación o no en el tratamiento, con lo cual es posible que los resultados se vean afectados por variables no observables. Por ello, se siguió el diseño de regresiones discontinuas difusas a fin de garantizar la causalidad, planteado por ^{Van der Klaauw (2002)} en su estudio sobre financiamiento educativo.

Para ello, se partió de la estimación del impacto en el otorgamiento de los diferentes descuentos a través de la metodología de mínimos cuadrados en dos etapas y se empleó adicionalmente el cálculo del estimador de Wald. La estimación por mínimos cuadrados en dos etapas se realizó para toda la población y para diferentes anchos de banda, para obtener individuos lo más similares posibles y eliminar el sesgo de selección.

Una variante por explorar de esta metodología propuesta por ^{Van der Klaauw (2002)} es la utilización de una función no paramétrica de Kernel para asignar pesos mayores cerca del umbral, tal como lo sugieren ^{Imbens y Lemieux (2008)}. Para la estimación no paramétrica (Wald) se empleó la propuesta de ^{Van der Klaauw (2002)} definida como el cociente de la diferencia del valor esperado del resultado a la derecha y a la izquierda del umbral entre la probabilidad de recibir el programa, dado el índice de ayudas económicas o criterio de asignación a cada lado de este umbral para diferentes intervalos o anchos de banda.

Estrategia de identificación

El diseño de regresiones discontinuas difusas permitió estimar el efecto causal eliminando el sesgo no observable al emplear variables instrumentales, pues se parte de la estimación de la probabilidad de recibir tratamiento, que depende no sólo de las variables observables, sino de las no observables, pudiendo encontrar estudiantes que recibieron o no ayuda económica a ambos lados del umbral del índice de asignación.

El índice, que toma un valor de hasta 600 puntos, fue construido para el caso del programa de pensiones proporcionales, similar al propuesto en la metodología (^{Brito y Zambrano, 2005}), el cual incluyó cinco factores: ingreso familiar mensual promedio, tipo de vivienda, condición de la vivienda, cargas familiares y la residencia del estudiante.

Dicho índice tiene los siguientes puntos de corte o umbrales: para no tratados menor a 100 puntos, para la exoneración de 25% el rango fue entre 100 y 199 puntos, para 30% de descuento fue entre 200 y 299, de 45% fue entre 300 a 399 y, por último, 400 o más para 50% de descuento. Este índice de asignación o de ayudas económicas es calculado en función de las variables socioeconómicas del estudiante y presenta distintos puntos de cortes, donde cada uno representa el valor mínimo requerido para cada porcentaje de descuento (25%, 30%, 45% y 50%) o de exoneración, tal como se observa en la Figura 1.

Fuente: elaboración propia.

Figura 1 Criterio de asignación al tratamiento 

Con el fin de determinar si el índice podría predecir cada uno de los tratamientos (porcentajes de exoneraciones) y además corroborar la existencia de los cuatro puntos de corte o de asignación de diferentes exoneraciones, se estimó un probit ordenado² de los porcentajes de exoneración con relación al índice de ayuda. Los resultados muestran que efectivamente se corroboran los cuatro puntos de corte del índice asociados a los descuentos y además éste contribuye en la explicación de la exoneración en un 11%. La diferencia es explicada por la decisión del entrevistador, tal como lo plantea Van der Klaauw (2002), entre otros.

La regla de decisión es compleja y contiene elementos objetivos, pero también considerables factores subjetivos que dependen del evaluador (^{Van der Klaauw, 2002}). Efectivamente, el índice no determina si el estudiante recibe el tratamiento ni el porcentaje de descuento, sólo podría indicar la probabilidad de ser tratado, encontrando de esta forma individuos beneficiarios a la derecha y a la izquierda del umbral.

Validez interna

La implementación de este diseño de regresiones discontinuas difusas requiere garantizar la validez interna (^{Lee y Lemieux, 2009}) mediante la continuidad de la función de densidad de la variable de asignación al tratamiento y la no existencia de diferencias significativas en las características observables de los individuos tratados y no tratados. Se comenzó por verificar la primera condición mediante el histograma del índice de ayudas económicas y la función de densidad de Kernel, mostrando que no existe ningún salto o discontinuidad en dicha función para la variable de asignación del tratamiento o “forcing variable”.

Al analizar la segunda condición sobre la similitud de los grupos tratados y no tratados en general, las pruebas de diferencias de medias o proporciones parecen indicar que, si bien existen, están asociadas a las condiciones socioeconómicas, lo cual resulta correcto si se considera que forman parte del criterio de selección. Para comprobar que el estudio se adapta a un diseño de regresiones discontinuas difusas, se requiere determinar la existencia de diferencias entre los tratados y no tratados observados versus los estimados a través del criterio de asignación.

Tal como se muestra en la Figura 2, los puntos representan los estudiantes que están agrupados en cada categoría, los no tratados, y los tratados con exoneraciones de 25%, 30%, 45% y 50%, mientras que la línea ascendente, representa la estimación de la función a trozos cúbica (spline).³ La ilustración permite observar, en primer lugar, que a diferencia de la estimación aguda existen tratados y no tratados a cada lado del umbral, con lo cual se evidencia que el índice de asignación sólo determina la probabilidad de recibir el tratamiento y no recibirlo efectivamente. En segundo lugar, el gráfico revela un incremento de la exoneración estimada a medida que el índice de ayudas se eleva, indicando que, a un mayor grado de necesidad económica del estudiante, el porcentaje de exoneración asignado debería ser superior. En tercer lugar, el análisis gráfico debería mostrar un salto o discontinuidad en cada uno de los puntos de corte, de manera que se evidencie la diferencia en la probabilidad de exoneración en ese umbral, siendo mayor a la derecha que a la izquierda.

Fuente: elaboración propia.

Figura 2 Función de densidad de la variable de asignación al tratamiento 

Este salto es considerable en el último nivel del tratamiento en el cual el índice se encuentra por encima de 400 puntos asignando una exoneración del 50% de descuento. En los niveles inferiores de asignación no parece existir algún salto o discontinuidad para los puntos de corte de 100, 200 o 300 puntos en el índice de ayudas, con lo cual, de ser cierto, el índice no sería el mejor predictor de la probabilidad de recibir el tratamiento, sino por el contrario las filtraciones podrían ser tan elevadas que al final es el criterio del evaluador el que determina si el estudiante recibe o no el beneficio.

Existencia de la discontinuidad: análisis gráfico

La presencia de posibles discontinuidades en cada uno de los puntos de corte de la variable de asignación, puede analizarse al menos inicialmente mediante la representación gráfica de la variable de resultado con el criterio de selección. La relación entre la deserción temprana de la carrera y de la institución con el índice de ayudas se observa en la Figura 3.

Fuente: elaboración propia.

Figura 3 Discontinuidad deserción temprana de carrera y de institución 

Para el caso de la deserción temprana de carrera (programa) y de institución en cada punto de corte pareciera existir discontinuidad, aunque el comportamiento no muestra que la deserción se reduce en todos los tramos. En el primer nivel del tratamiento (25% de exoneración) y en el segundo tramo (30%), ambos tipos de deserción se reducen a medida que aumenta el índice de ayudas, pero al pasar a los niveles con mayor exoneración la tendencia cambia, aumentando la deserción a medida que empeora el índice de ayudas.

Adicionalmente, la diferencia entre asignar 45% y 50% de descuento es tan pequeña que no se justificaría separar a los estudiantes en esos dos grupos, lo cual podría verse reflejado en la ausencia de una discontinuidad significativa.

Para la deserción tardía de carrera y de institución, tal como se observa en la Figura 4, los estudiantes más necesitados terminan retirándose del programa de estudios, y por supuesto de la universidad, en ambos casos, siendo no sólo la deserción mayor en el umbral de 400 puntos, sino que a medida que empeora la condición económica del estudiante la deserción aumenta, inclusive por encima de los no tratados (primer tramo).

Fuente: elaboración propia.

Figura 4 Discontinuidad de la deserción tardía de carrera y de la institución 

La deserción en el grupo de no tratados es menor si se compara con los estudiantes que recibieron 25% de exoneración, pero estos estudiantes presentan una deserción mayor a la de los que reciben un porcentaje de 30% de descuento; es este grupo en el que se registra la menor tasa de deserción tardía, tanto de carrera como de universidad.

Con respecto al impacto sobre el egreso (graduación), la Figura 5 evidencia comportamientos muy similares. Se reducen los logros alcanzados por los estudiantes si se comparan los no tratados con los tratados al menos en el primer nivel de exoneración (25%), pero aumentan considerablemente al pasar al 30% de descuento, para luego reducirse a medida que el índice de selección aumenta, hasta alcanzar los niveles más bajos de egreso en estudiantes con las condiciones económicas más precarias. Esta relación sugiere, al menos parcialmente, las mismas consideraciones hechas para la deserción. La política institucional no parece resolver el problema de los más necesitados, pues la deserción tardía es mayor, y menor el egreso.

Fuente: elaboración propia.

Figura 5 Discontinuidad del egreso 

Este análisis preliminar, por un lado, indica que sólo existe un salto en la exoneración del último nivel de tratamiento (50%), pero son precisamente estos estudiantes los que alcanzan los niveles más altos en deserción tardía y los menores en términos de egreso, por lo que hay indicios de la ausencia de impacto positivo al menos en este nivel de tratamiento, lo cual debe corroborarse con las estimaciones econométricas del modelo propuesto anteriormente. Por otro lado, si bien gráficamente se evidencia un impacto en las variables resultado en el grupo de descuento de 30%, no es posible corroborar la discontinuidad en ese grupo.

Estimaciones econométricas paramétricas por variables instrumentales

La posible existencia de un sesgo producto de la comparación de individuos que no son similares, al menos en términos del índice de ayuda, genera que la estimación por mínimos cuadrados ordinario resulte inconsistente. Para corregir esta alteración a los supuestos generales del modelo, pueden emplearse variables instrumentales que presenten dos características básicas, la correlación con el tratamiento,⁴ que es la variable endógena, y la no correlación con el término de error.⁵

En el primer caso, ^{Bernal y Peña (2011)} hablan de la relevancia del instrumento, con lo cual se espera que el instrumento posea una buena capacidad de predicción del tratamiento; en el segundo caso la condición es definida como la exogeneidad del instrumento. Las estimaciones paramétricas del impacto del programa de ayudas económicas se desarrollaron mediante mínimos cuadrados en dos etapas de acuerdo con lo propuesto por ^{Van der Klaauw (2002)} y desarrollado en la siguiente ecuación:

Para ello, se partió de la estimación de la primera etapa, que pretende obtener el valor esperado de recibir un porcentaje de exoneración, dado el índice de ayudas económicas como criterio de asignación. Estas estimaciones fueron para toda la población y para cuatro anchos de banda diferentes: +/-20 puntos, +/-15 puntos, +/-10 puntos y +/-5 puntos, alrededor de cada uno de los cuatro puntos de corte de la variable de selección. Se escogieron para la primera etapa las siguientes variables instrumentales: polinomio de grado tres para el índice de ayudas (ind_ayu, ind_ayu_cuadrado, ind_ayu_ cubo), los 947 estudiantes tratados potenciales⁶ para cada nivel de exoneración (t1_real, t2_real, t3_real y t4_real), y un polinomio de grado tres para las variables interactivas de cada uno de los tratamientos (indk, indk_cuadrado, indk_cubo, donde k es cada tratamiento).⁷

Los resultados para la población y para cada ancho de banda de la primera etapa, empleando una función a trozos cúbica, muestran que los instrumentos son relevantes en la explicación de la probabilidad de recibir la exoneración, mediante la prueba F o prueba de significación conjunta.

En cuanto a las pruebas de instrumentos débiles, el test de Cragg-Donald, que tiene por objetivo identificar sí existe una relación estadísticamente significativa entre los instrumentos y la variable endógena, muestra que no se puede rechazar la hipótesis nula, con lo cual la relación es débil para la población y todos los anchos de banda.

De esta forma, no se puede satisfacer una de las dos condiciones requeridas por la estimación de mínimos cuadrados en dos etapas, que implica que la covarianza entre la variable exógena o instrumentada y los instrumentos sea diferente de cero, es decir, que los instrumentos sean relevantes. Tampoco se logra la relevancia de los instrumentos en las estimaciones cuadráticas ni lineales presentadas.

Efectivamente, si los instrumentos están débilmente correlacionados con las variables endógenas, el estimador de variables instrumentales está sesgado, pudiendo generar estimaciones de mínimos cuadrados ordinarios (MCO) inconsistentes. Para ello, se realizaron estimaciones con un modelo probit de regresores endógenos para toda la población y para cada ancho de banda, de manera similar a la estimación por mínimos cuadrados en dos etapas. Esta estimación de un probit con variables instrumentales, tal como lo sugiere ^{Van der Klaauw (2002)}, se justifica porque la variable de impacto es dicotómica (toma valores 0 y 1) y no continua, con lo cual un modelo lineal de probabilidades no es la mejor opción.

Estimaciones paramétricas por modelo probit con variables instrumentales

Para estimar el modelo probit se emplearon igualmente tres tipos de funciones a trozos en la primera etapa, la cúbica, la cuadrática y la lineal. Únicamente en el ancho de banda de +/- 5 puntos se satisfacen las condiciones de relevancia del instrumentox₂ evaluadas mediante el estadístico de Wald (x²) y exogeneidad con el test de Wald. Para todas las estimaciones de la primera etapa en ese ancho de banda de cada una de las variables resultado, el tratamiento de 25% y 30% resultan ser significativos al menos al 10%, tal como se muestra en la Tabla 1.

La significación de las variables asociadas a las exoneraciones de 25% y 30% permite deducir que, al menos en esos niveles de tratamiento, en un entorno de +/- 5 puntos, se produce un salto o discontinuidad en la probabilidad de recibir el tratamiento, lo que generaría un efecto causal de este sobre las variables resultado, excepto en el descuento de 45% (tercer tratamiento) que no es significativo en la deserción temprana de la carrera. El único nivel de tratamiento que parece no mostrar alguna discontinuidad es el de mayor descuento (50%), lo cual corrobora lo observado en las ilustraciones presentadas en la sección de análisis gráfico de la discontinuidad.

La robustez de estos resultados que satisfacen las condiciones de relevancia de los instrumentos y su exogeneidad, permiten estimar la segunda etapa al menos en el ancho de banda de +/- 5 puntos, para la deserción temprana y tardía, y el egreso, tal como se muestra en la Tabla 2.

Estos resultados muestran los coeficientes de la exoneración que no pueden ser interpretados directamente, para lo cual se requiere de la estimación de los efectos marginales; dichos efectos indican el cambio en la probabilidad de la variable resultado dado un cambio en 1% de la exoneración. Todos los efectos marginales de los distintos tipos de deserción presentan los signos esperados (negativo), con lo cual un aumento de 1% en la probabilidad de recibir un descuento de la matrícula reduce la deserción, aproximadamente en 1% en la deserción temprana, tanto del programa como de la institución, y de 0.48% en la tardía.

En términos del egreso, los resultados parecen mostrar que el efecto causal del programa por cada incremento en un 1% de la exoneración podría elevar la probabilidad de egreso en 0.63%.

Además de estas estimaciones, se realizaron otro conjunto de análisis asociados a la agrupación de los tratamientos sin considerar el nivel de descuento, a fin de validar los resultados hallados hasta el momento, pues al parecer que el nivel de exoneración no es determinante en el efecto causal, al menos en estudiantes que reciben los mayores porcentajes de exoneración.

En este análisis con tratamientos agrupados, se evaluó el efecto causal sobre tratados considerando dos grupos de tratamientos: 25% y 30% en un primer nivel y 45% y 50% en un segundo nivel. Los resultados de estas estimaciones corroboran los hallazgos mostrados en las estimaciones para todos los niveles de tratamiento, no aportando consideraciones adicionales a las ya planteadas, de manera que, de todo el análisis precedente, al menos localmente, para el tamaño de banda menor (+/- 5 puntos) podría existir un efecto causal del nivel de tratamiento de 25% de exoneración sobre la deserción temprana y tardía de la carrera y de la universidad, así como sobre el egreso.