Calidad institucional y rendimiento académico. El caso de las universidades del Caribe colombiano

Institutional quality and academic performance. The case of Colombia's Caribbean universities

Gustavo Rodríguez Albor^* , Marco Ariza Dau^** José Luis Ramos Ruíz^***

* Doctor en Ciencias Sociales, especialista en estadística aplicada y economista. Docente e investigador de la Universidad del Norte (Barranquilla, Colombia). Coordinador de la Maestría en Cooperación Internacional para el Desarrollo. Líneas de investigación: economía de la educación; instituciones y desarrollo; cooperación internacional. Publicaciones recientes: (2013, en coautoría con J.L. Ramos Ruiz y V. Gómez Lorduy), "Explorando la eficacia de la ayuda oficial al desarrollo: un análisis del debate desde la teoría económica neoinstitucional", Investigación y Desarrollo, vol. 21, núm. 1, en: http://rcientificas.uninorte.edu.co/index.php/investigacion/article/viewArticle/5326; (2011), "Disparidad económica regional: un análisis centro-periferia para Colombia", en J. Agudelo T. (ed.), Variables sociopolíticas de la cooperación internacional para el desarrollo en América Latina y el Caribe, Bogotá, Edit. Bonaventuriana, pp. 125-152. CE: galbor@uninorte.edu.co

*** Doctor en Economía, sociología y política agraria. Docente e investigador de la Universidad del Norte (Barranquilla, Colombia). CE: jramos@uninorte.edu.co

Recepción: 17 de julio de 2012
Aceptación: 10 de septiembre de 2012

Resumen

Este artículo pretende aportar evidencia empírica acerca de los determinantes del rendimiento académico de los estudiantes universitarios de la región Caribe colombiana, particularmente a partir de los resultados obtenidos en las áreas de Administración, Contaduría, Economía, Derecho, Ingenierías, Medicina y Licenciaturas en la prueba Saber Pro de 2009, que fue presentada por 22 mil 525 estudiantes de 41 universidades de los departamentos de la región Caribe (Atlántico, Bolívar, César, Magdalena, Córdoba, La Guajira y Sucre) mediante una modelación multinivel. Varios hallazgos encontrados tienen un particular interés para la explicación del rendimiento académico, como son: el "efecto universidad" determinado por la calidad de la institución, el débil poder explicativo que tiene el nivel socioeconómico de los estudiantes y las brechas de género encontradas en las diferentes áreas del conocimiento estudiadas.

Palabras clave: Desempeño universitario, Modelo multinivel, Capital humano, Brecha de rendimiento, Calidad de la educación superior, Política educativa.

This article aims to provide empirical evidence on the determinants of the academic performance of university students in Colombia's Caribbean region, particularly with regard to the results obtained in the areas of Administration, Accounting, Economics, Law, Engineering and Medicine, as well as in the Bachelor's Degree test on Saber Pro — ProLearn 2009 —, which was presented by 22,525 students from 41 universities in Colombia's Caribbean–region states (Atlántico, Bolívar, César, Magdalena, Córdoba, La Guajira and Sucre) through a multilevel modeling framework. Several findings are of particular interest with a view to providing an explanation on academic performance, such as: the "university effect," determined by individual institutional quality, the weak explanatory power regarding the socioeconomic status of the students, and gender gaps found in the different areas of study covered.

Keywords: Academic performance, Multilevel model, Human capital, Performance gap, Quality of higher education, Education policy.

Introducción¹

Existen diversos estudios empíricos que han intentado analizar el rendimiento académico a partir de diferentes variables explicativas, algunas escolares, como son el tamaño del grupo, la relación estudiante/profesor y el tamaño de la escuela, entre otras; y no escolares, como es el caso del ingreso de la familia, la educación de los padres y el sexo del estudiante, por mencionar algunas. Como señala Santín (2001), estos estudios tienen mucho en común, pues además de las tradicionales variables explicativas escolares antes mencionadas, se han considerado los inputs familiares como fuertes condicionantes de los resultados en la escuela.

Sin embargo, no existe el mismo consenso en cuanto a la influencia que ejercen las características de los planteles sobre el rendimiento de los estudiantes. Algunos estudios apuntan a que esta influencia es altamente significativa y que se expresa en la preparación de los profesores, la infraestructura y el rendimiento medio del plantel, entre otros, mientras que en otros ejercicios econométricos esta influencia no es tan clara (Barón, 2010; Barrientos, 2008).

Pero ¿qué implica que las características socioeconómicas de un individuo sean determinantes en su rendimiento académico? Según Gaviria y Barrientos (2001) esto conlleva a que la ejecución de políticas debe orientarse a cambiar la estructura de oportunidades de la sociedad como un todo; pero si, por el contrario, fuera la calidad de los planteles el factor preponderante, la nivelación en la calidad de los mismos sería el objetivo.

Estos hallazgos significativos que se han encontrado en la secundaria, y que apuntan a que las características socioeconómicas determinan el rendimiento académico del individuo, también pueden ser estudiados en la educación superior, tomando como referencia los resultados de las pruebas Saber Pro.

Si bien existe un progreso considerable en el análisis de los efectos que sobre el rendimiento académico ejercen variables socioeconómicas y demográficas a nivel de estudios secundarios, también es cierto que el rendimiento académico en la educación superior carece de este tipo de análisis.

Para ello, inicialmente se exponen las consideraciones teóricas que soportan la investigación, particularmente asociadas a la teoría del capital humano y la función de producción educativa inspirada en la teoría de la firma. Luego se describen las características socioeconómicas de los estudiantes de la región Caribe colombiana que presentaron la prueba Saber Pro 2009 a partir de la información contenida en los formularios de inscripción.

Seguidamente, se modela econométricamente el rendimiento académico mediante la estimación de un modelo jerárquico lineal de dos niveles (estudiantes y universidad) utilizando como variable dependiente el puntaje en Saber Pro 2009 por áreas de estudio seleccionadas y una serie de variables explicativas relacionadas con el estudiante (primer nivel) y variables relacionadas con la universidad (segundo nivel). Finalmente, se discuten los resultados obtenidos y se concluye planteando algunas recomendaciones de política.

La teoría del capital humano y la función de producción educativa

El concepto de capital humano tiene una larga historia en la literatura económica (Psacharopoulos y Patrinos, 2008). La teoría del capital humano fue inicialmente presentada por Schultz (1961; 1972) y particularmente desarrollada por Becker (1975; 1983); hace hincapié en la importancia de la inversión en educación, especialmente secundaria y universitaria, como elemento fundamental para que el individuo pueda alcanzar un mayor nivel de ingresos en el futuro.

Bajo este enfoque, educarse o capacitarse son consideradas inversiones de capital, pues éstas elevan sus ingresos, mejoran sus destrezas o agregan buenos hábitos a un individuo a lo largo de su vida. Se denomina capital humano porque los individuos no pueden separarse de sus conocimientos, habilidades, salud o valores en la forma en que sí pueden hacerlo de los demás activos (Becker, 1975). Así, un individuo toma la decisión de invertir en capital humano de forma similar a las empresas; esto le implica un costo inicial (la matrícula, por ejemplo, o la renuncia a ingresos durante la formación), bajo la expectativa de obtener en el futuro un retorno de la inversión (tasa interna de retorno) mayor que la tasa de interés de mercado.

El presente estudio parte de considerar la teoría del capital humano en un contexto muy general para explicar el papel que juegan los factores socioeconómicos de los estudiantes y la calidad de las instituciones universitarias en el desempeño educativo. Si bien las investigaciones en este campo se basan en esta teoría para adoptar el término "productividad de la educación" o "educación como generador de crecimiento y desarrollo económico", en una concepción microeconómica se sugiere la utilización de una función de producción adaptada al campo de la educación, en la cual se considera el desempeño académico del estudiante como un output, y los insumos a su disposición (libros, condiciones de infraestructura, recursos didácticos, etc.) y las variables de contexto —como su situación y características socioeconómicas— como inputs .

Herrera et al. (2005), entre muchos autores, ofrece un resumen por categorías de los determinantes que se han encontrado en la gran mayoría de estudios ya mencionados (especialmente a nivel escolar), que han utilizado como variable dependiente el rendimiento educativo como proxy de la calidad. Éstos se pueden apreciar en la Fig. 1.

Lo más relevante es que los modelos utilizados para estudiar esta relación entre el rendimiento académico del estudiante con cada uno de estos factores presentados en la Fig. 1, se basan en la teoría microeconómica de la firma, que utiliza una función de producción educativa en la que intervienen variables escolares y de contexto, las cuales actúan como insumos, y donde el producto es el rendimiento académico del estudiante (Herrera et al., 2005).

De esta manera, lo que se busca es asimilar el proceso educativo a un proceso de producción cualquiera e intentar determinar la significancia estadística de los factores o insumos que influirían en dicho proceso; esto es, establecer la importancia relativa de cada uno de éstos en el proceso productivo. En el contexto universitario el modelo teórico planteado sería el siguiente:

Y_i,t = ƒ(P_i,t,N_i,t,U_i,t) + εi = 1,... ... ... ..N (1)

Donde:

Y_i,t = Rendimiento del estudiante i en el periodo t

P_i,t = Características personales del estudiante i en el periodo t

N_i,t = Nivel socioeconómico del estudiante i en el periodo t

U_i,t = Características de la universidad a la que pertenece el estudiante

ε_i = Error aleatorio

En una estructura de datos multinivel (dos niveles en este caso), las variables serán de segundo nivel (el más alto) y de primer nivel (el más bajo). Esto significa que, con datos de corte transversal, las variables propias del estudiante son variables de primer nivel (sexo, edad, nivel económico–social), mientras que las variables que caracterizan a la universidad son variables de segundo nivel (número de programas acreditados o naturaleza pública o privada).²

Revisión de la literatura

Desde mediados de los años sesenta comenzaron los estudios a nivel escolar sobre los factores asociados con los resultados académicos basados en el esquema de función de producción desarrollado en principio por Carroll (1963) y luego por Coleman et al. (1966) y Jenks (1972). Brunner y Elacqua (2003) encuentran que en la formación de capital humano en secundaria inciden básicamente el origen socioeconómico de la familia del estudiante y la efectividad (entendida como calidad) de la escuela, sus profesores y gestión; además, la clase social afecta la acumulación de capital humano. Así, las investigaciones al respecto (Santín, 2001; Marchesi y Martín, 2002), encuentran que, a medida que se asciende en la escala social, los resultados y expectativas futuras mejoran.

En cuanto a la calidad de la institución, las investigaciones giran principalmente hacia el nivel escolar e identifican las características asociadas al desempeño académico, como son: profesores de calidad (Purkey y Smith, 1983; Teddlie y Stringfield, 1993) y elementos de enseñanza efectiva —o de calidad— (Teddie y Stringfield, 1993; McIlrath y Huitt, 1995).

Sin embargo, son realmente escasos los estudios que evalúan el desempeño académico de los estudiantes universitarios en Colombia, debido, en parte, a que la aplicación de las pruebas de desempeño en este nivel educativo se inició voluntariamente desde el año 2003, y de forma obligatoria con la Ley 1324 del 13 de julio de 2009.

Es por ello que los estudios relacionados con los determinantes del desempeño de los estudiantes en Colombia se han enfocado, en diferentes aspectos, a la educación superior. Los trabajos más destacados corresponden a temas sobre la calidad de la educación y sus determinantes (Gaviria y Barrientos, 2001; Núñez et al., 2002; Barrera y Gaviria, 2003; Mina, 2004), los resultados de las facultades de Economía en las ECAES³ (Montenegro, 2005; Valens, 2007) y la eficiencia de la educación (Marcelo y Ariza, 2005; Iregui et al., 2006).

En Colombia, los estudios de eficacia escolar con uso de técnica multinivel se destacan en el trabajo de Piñeros y Rodríguez (1998), quienes encuentran menor efecto (entre 12 y 18 por ciento) para Lenguaje que para las demás áreas evaluadas; Casas et al. (2002) señalan el impacto del cambio en la medida del producto; y una investigación de estos autores en 2003 encuentra un efecto significativo de la institución escolar. También se encuentra el estudio de Correa (2004) realizado a estudiantes de secundaria en Cali; y Rodríguez y Murillo (2011) señalan un efecto de entre 6 y 23 por ciento mayor para Lectura que para Matemáticas, al igual que diferencias entre las escuelas a partir de las diferencias socioculturales y socioeconómicas de los alumnos y la escuela.

En el estudio se emplearon los datos del Instituto Colombiano para la Evaluación de la Educación (ICFES)⁴ relacionados con el puntaje obtenido por 22 mil 525 estudiantes de 41 universidades de los departamentos de la región Caribe (Atlántico, Bolívar, César, Magdalena, Córdoba, La Guajira y Sucre) en la prueba Saber Pro aplicada en el año 2009. Para explicar el desempeño académico universitario se exploró el efecto de diferentes variables que representan las características personales, familiares y socioeconómicas de quienes presentaron la prueba Saber Pro de 2009 (Tabla 1).

Con relación al efecto de la calidad de la universidad,⁶ se consideró como variable proxy la razón del número de programas de pregrado acreditados sobre el total de programas que ofrece la universidad, cuya fuente de información es el Sistema Nacional de Información de la Educación Superior (SNIES) del Ministerio de Educación Nacional.⁷ De igual manera se consideró la variable naturaleza o tipo de universidad (INST_ORIGEN) como variable de segundo nivel.

Con la información de estas variables se procedió en principio a realizar un análisis descriptivo general a fin de establecer características generales de los que realizaron la prueba. Posteriormente, y previo a la modelación econométrica, se construyó un índice de nivel socioeconómico (INS) para los estudiantes utilizando la metodología PRINQUAL (componentes principales cualitativos); se siguió el procedimiento empleado por Ocampo y Foronda (2007) y Piñeros y Rodríguez (1998). La metodología utilizada se fundamenta en la aplicación de componentes principales para variables categóricas, procedimiento desarrollado por Young, Takane y de Leeuw (citados por Guerrero, 2003) que realiza el análisis de componentes principales sobre todo tipo de variables, incluyendo cuantitativas y cualitativas. Para este procedimiento sólo se tuvieron en cuenta individuos con la información completa de todas las variables que componen el índice de nivel socioeconómico, lo que redujo la muestra a 22 mil 244 individuos, una pérdida estadísticamente poco relevante (cerca de 1 por ciento).⁸

Además de la construcción del INS, fue necesario tratar de manera independiente cada área de conocimiento (excepto Ingenierías y Licenciaturas), debido a que los resultados de las pruebas no son técnicamente unificables dada la diversidad de programas con naturaleza de estudio diferentes. Así, el contenido programático de carreras como Economía y Contaduría son esencialmente diferentes, al igual que el contenido de la prueba Saber Pro.

Teniendo en cuenta lo anterior, se realizó la selección de un grupo de áreas de conocimiento apelando a la afinidad de la prueba y a la frecuencia (número de individuos que presentaron la prueba), para garantizar, por un lado, comparaciones entre individuos de una misma área, y por el otro, tamaños de muestra suficientemente grandes en las pruebas de igualdad de medias y en la modelación.⁹ Las áreas de conocimiento seleccionadas a partir de los criterios establecidos fueron: Medicina, Derecho, Economía, Administración y Contaduría. En el caso de las Licenciaturas e Ingenierías, se utilizó la agrupación de Barón (2010: 15), por considerar que sí existe mucha afinidad tanto en los contenidos programáticos de las carreras como en la prueba.¹⁰

Una vez realizados los pasos anteriores, se procedió a la modelación de las variables a través del uso de los modelos de regresión multinivel en los cuales se asume que hay un conjunto de datos jerárquicos, con una sola variable dependiente que es medida en el nivel más bajo y variables explicativas que existen en todos los niveles (De la Cruz, 2008: 4). Esta perspectiva de análisis es de vital importancia en este tipo de investigaciones, pues toma en consideración el contexto, permite analizarlo en conjunto con la heterogeneidad propia de cada estudiante y contribuye a identificar patrones y grupos específicos que demandan mayor atención e intervención; contrario a los modelos de regresión tradicionales, en los cuales se tiende a subestimar el error típico y a asignar las características del grupo a cada individuo (Rodríguez y Murillo, 2011).

Resultados empíricos

Análisis descriptivo

El análisis descriptivo de los individuos estudiados revela que cerca de 60 por ciento de la muestra es de sexo femenino, la edad predominante se ubica entre los 21 y 25 años (57 por ciento) y la mayoría (79 por ciento) tienen la condición de solteros. El tamaño de la familia promedio oscila en el rango de entre 3 y 5 integrantes (68 por ciento), 15 por ciento es cabeza de familia y cerca de 26 por ciento tiene por lo menos una persona a cargo. El nivel educativo es similar entre padre y madre, con un porcentaje de profesionales ligeramente mayor en el caso de los padres. Por ocupación,¹² cerca de la mitad de las madres de los que presentaron la prueba se dedican a labores del hogar (47 por ciento) y 12 por ciento de los padres son empresarios.

La muestra de personas que realizaron la prueba Saber Pro 2009 se concentra en los estratos bajos (55 por ciento pertenece a los estratos 1 y 2), los estratos 5 y 6 sólo aportaron 6.5 por ciento de la muestra. A su vez, los ingresos familiares se ubican principalmente en el rango de menos de tres salarios mínimos (70 por ciento). El 54 por ciento de la muestra estaba trabajando al momento de diligenciar el formulario.

Procedimiento y resultados econométricos

Con el fin de estimar los factores determinantes del desempeño académico, se procedió a través de un modelo multinivel de dos niveles a modelar las variables explicativas relacionadas con el estudiante (como sexo y nivel socioeconómico), y variables relacionadas con la universidad (como naturaleza y calidad de la institución).

Modelo 1: estimación del efecto universidad

Este modelo, llamado modelo incondicional o nulo, permite hacer la comparación con los modelos posteriores, de tal manera que se puede contrastar si hay un aporte en la explicación de la variabilidad a medida que se incluyen las variables de ajuste; se obtiene eliminando todo lo relacionado con las variables independientes, de allí su nombre (Rodríguez–Jiménez y Murillo–Torrecilla, 2011). La ecuación (2) representa la estructura mixta del modelo para el nivel 1 y nivel 2, así:

Y_ij = γ₀₀ + u_0j + e_ij (2)

Donde la variable dependiente Y_ij, corresponde al puntaje Saber Pro 2009 de cada individuo. Por su parte, γ₀₀ + u_0j, corresponde al puntaje medio en la población de universidades y la variación aleatoria de cada universidad en torno a esa media. Finalmente, e_ij es el efecto aleatorio asociado al estudiante i, con distribución normal, media cero y varianza constante (Ω_e).

Con la información obtenida de la variabilidad en el estudiante y la universidad, se calcula el coeficiente de correlación intraclase (CCI), a partir de la información que arroja cada modelo, para conocer el porcentaje de varianza explicada, teniendo controladas las variables referidas al contexto del estudiante y de la universidad; esto indica el efecto neto de la universidad.

Donde σ²_μ0 corresponde a la varianza del factor, y σ²_e0 corresponde a la varianza de los residuos.

Los resultados de la Tabla 5 permiten aseverar que el valor poblacional de la constante o intersección del modelo es distinto de cero; se trata entonces de una estimación de la media poblacional de rendimiento de las 41 universidades que conforman la muestra. En consecuencia, los estudiantes del área de Derecho alcanzaron un promedio de 97.25 en la prueba, mientras que en el área de Licenciaturas este promedio fue de 97.12, y así sucesivamente para todas las áreas.

Por otra parte, la Tabla 6 ofrece las estimaciones de los parámetros de covarianza o las estimaciones asociadas a los efectos aleatorios del modelo. La varianza del factor universidad resulta significativa en todos los casos (al 90 por ciento en el caso de Medicina y Economía), lo que indica que contribuye a explicar la variabilidad del rendimiento académico.

El coeficiente de correlación intraclase (CCI), el cual representa el grado de variabilidad existente entre las distintas universidades en comparación con la variabilidad presente entre los estudiantes de la misma universidad, se presenta en la penúltima columna. Esta medida, para el caso del área de Derecho, Medicina y Economía, es bastante alta, e indica que de la variabilidad total del rendimiento académico en estas áreas, el 43, 39 y 47 por ciento respectivamente, corresponde a la diferencia entre las medias de las universidades; el valor restante (57, 61 y 53 por ciento respectivamente), por lo tanto, se atribuye a la variabilidad del rendimiento académico dentro de cada universidad.

Para el caso de Administración, Contaduría, Ingenierías y Licenciaturas, el factor universidad también es determinante para explicar las diferencias en el rendimiento académico, aunque en un menor grado que las otras dos áreas (19, 13, 17 y 24 por ciento respectivamente).

Modelo 2: estimación del efecto del nivel de calidad de la universidad

Este segundo modelo intenta explicar las medias de rendimiento de las distintas universidades, o variabilidad de nivel 2. ¹⁵ Para este modelo se utiliza como variable de segundo nivel la proporción de programas acreditados sobre el total de la oferta de programas de la universidad como variable proxy de la calidad de la misma. Esta variable está centrada en la media a fin de que el intercepto represente la media de la variable dependiente, en este caso el rendimiento académico universitario.

El objetivo de este modelo es pronosticar el rendimiento académico promedio de cada universidad a partir del nivel de calidad de las mismas, dado que existen diferencias entre las medias de las universidades y estas diferencias pueden ser explicadas por la calidad de la institución. En cuanto a la estructura del modelo, éste sólo adiciona una covariable medida en el nivel 2 que es la proporción de programas acreditados sobre el total de la oferta de programas de cada universidad (CALIDAD_ CENT),¹⁶ expresada como la diferencia respecto de la media en la ecuación 4 (z_j=Z_J–Ź)

Y_ij = γ₀₀ + γ₀₁z_j + (u_0j + e_ij) (4)

Las intersecciones varían muy poco respecto del modelo nulo, por lo tanto no están siendo afectadas por la covariable de nivel 2, lo que representa una estimación del rendimiento académico promedio de la población de universidades, por ser una variable centrada en la media.

Los coeficientes todos resultan significativos (al 90 por ciento en el peor de los casos) y por lo tanto los aumentos en la proporción de programas acreditados generan incrementos del nivel promedio de rendimiento académico.

En cuanto a la estimación de los parámetros de covarianza de la Tabla 8, se muestra claramente que los coeficientes resultan significativos, excepto en el caso de Economía, donde el nivel de confianza es de sólo 86 por ciento. Estas estimaciones revelan hallazgos importantes, especialmente en el caso de Administración, Derecho, Ingeniería, Licenciaturas y Medicina, donde el CCI se reduce significativamente a 11 por ciento (19 por ciento en el modelo nulo), 17 por ciento (43 por ciento en el modelo nulo), 11 por ciento (17 por ciento en el modelo nulo), 15 por ciento (24 por ciento en el modelo nulo) y 29 por ciento (39 por ciento en el modelo nulo), respectivamente.

En el caso de Economía la reducción es de 30 por ciento (pasó de 47 a 17 por ciento), sin embargo la probabilidad de cometer un error tipo 1 en este caso es mayor, por lo tanto el efecto de la calidad en esta área no es del todo claro. Este resultado se debe a que buena parte de las diferencias observadas entre el rendimiento académico de las universidades está explicado por el nivel de calidad de institución medida por la variable CALIDAD_CENT.

Al comparar las estimaciones de los parámetros de covarianza del modelo nulo, o modelo 1, y el modelo 2, que incluye la variable CALIDAD_CENT, se obtiene la proporción de varianza explicada en el nivel 2, es decir, que el 50 por ciento de las diferencias en rendimiento académico medio observadas entre las universidades en el área de Administración, es atribuible a la calidad de la institución; en el caso de Derecho, este porcentaje asciende a 72 por ciento, y así sucesivamente para todas las demás áreas.

Modelo 3. Análisis de covarianza: un factor de efectos aleatorio¹⁷

Para el análisis de covarianza se incluyen variables tanto de nivel 1 como de nivel 2, y se intentan explicar las diferencias por área de conocimiento, tanto en las medias de rendimiento académico entre las universidades (o nivel 2), como las diferencias entre el rendimiento académico de los estudiantes de la misma universidad.

Así, en este modelo se presentan en primera instancia las estimaciones de parámetros fijos tanto para las variables de nivel 1 como de nivel 2, que además de la variable proxy para medir la calidad de la universidad, incluye una dicotómica relacionada con el tipo o naturaleza de la institución (1 si es pública y 0 si es privada). La ecuación 5 presenta la estructura del modelo mixto.

Y_ij = γ₀₀ + γ₀₁ (Cal_cent) + γ₀₂ (INST_ORIGEN)
+ γ₁₀ (GÉNERO) + γ₁₁ (INS_cent)
+ γ₁₂ (EST_SN_CABEZA_FMLIA) ]]> + γ₁₃ (ESTU_TRABAJA)
+γ₁₄ (Cal_cent)(INS_cent)
+γ₁₅ (GRUPO_EDAD) + (u_0j + e_ij) (5)

Al revisar los resultados de brecha de género del modelo 3, a excepción del programa de Contaduría, esta variable es significativa para todas las demás áreas. La diferencia más alta de los hombres sobre las mujeres se da en el área de las Ingenierías (2.4 por ciento), mientras que en las demás áreas oscila entre el 1.2 y el 1.9 por ciento.

Finalmente, en la Tabla 11 el cálculo del CCI proporciona una vez más la variabilidad inter-universidad e intra-universidad. La inclusión de una segunda variable de nivel 2, como es la naturaleza o tipo de institución (INST_ORIGEN) disminuyó considerablemente la variabilidad existente entre los distintos centros, en aquellas áreas donde la variable resultó significativa (Derecho, Ingeniería y Medicina). Las reducciones más significativas se dieron en Derecho e Ingenierías, que pasaron de 43 a 16 por ciento, y de 17 a 8 por ciento respectivamente, lo cual indica que buena parte de la diferencias entre el rendimiento académico promedio de las universidades está explicada por la calidad de la universidad y su naturaleza pública o privada.

Aunque la reducción en el programa de Medicina fue de 31 puntos porcentuales (de 39 a 8 por ciento) el coeficiente sólo es significativo a un 85 por ciento de confianza, por lo tanto la probabilidad de cometer un error tipo 1, al igual que en el programa de Economía, es muy alta.

Hasta esta parte se ha visto la importancia del "efecto universidad" o la varianza total en el rendimiento que se debe a las variaciones existentes entre universidades y que son diferentes por área de conocimiento: en áreas como Economía, Medicina y Derecho, por lo menos 40 por ciento de las diferencias están explicadas por variables de segundo nivel, en contraste con el poder explicativo que tienen las variables de primer nivel en programas como Administración, Contaduría, Ingenierías y Licenciatura, donde el efecto universidad es menor de 25 por ciento. De igual manera, para el caso del programa de Economía, los resultados de este efecto están muy cercanos a los obtenidos por Valens (2007). El modelo 3 intenta explicar estos efectos por área de conocimiento y en los dos niveles. El resumen de las variables explicativas se puede apreciar en la Tabla 12.

Los resultados sobre brechas de género de la Tabla 12, especialmente Ingenierías (2.4 por ciento), puede estar relacionado con las brechas de rendimiento entre hombres y mujeres encontradas en estudios a nivel de secundaria en el área de Matemáticas, que es el fundamento básico de los programas de Economía e Ingenierías, y que se reproducen a nivel universitario. El Banco Interamericano de Desarrollo, en su documento sobre "La condición de la educación en matemáticas y ciencias naturales en América Latina y el Caribe" realizado por Valverde y Näslund-Hadley (2010), enfatiza sobre estas diferencias de género en matemáticas catalogándolas como considerables, especialmente en El Salvador y Colombia. Los resultados del modelo demuestran y confirman que existe una brecha de género a favor de los hombres, y por lo tanto, si el estudiante que presenta la prueba es hombre se asocia a un incremento del rendimiento académico de entre 1 y 3 puntos. Este resultado es similar al obtenido por Valens (2007) para el programa de Economía (3.133), y a nivel de secundaria por Piñeros y Rodríguez (1998), quienes obtuvieron coeficientes de 3.574 para colegios públicos y 3.471 para los privados en Ciencias.¹⁸

La variable edad (GRUPO_EDAD) resulta significativa para 5 de las áreas (a excepción de Contaduría y Administración). El signo es negativo en todos los casos, lo que significa que a mayor edad el rendimiento académico disminuye, al igual que el género se asocia a un cambio de 1 a 3 puntos en los resultados de la prueba. El 57 por ciento, como se anotó, tenía entre 21 y 25 años cuando presentó la prueba, y sólo 15 por ciento tenía más de 31 años. Este último grupo obtuvo una media en el puntaje de cerca de 7 puntos por debajo del primero.

Si el estudiante trabaja (ESTU_TRABAJA) o es cabeza de familia (ESTU_SN_CABEZA) su rendimiento académico es, en promedio, menor que aquellos que no tienen estas responsabilidades. La primera de estas variables resulta determinante en las áreas de Administración, Medicina y Licenciaturas, y la segunda en áreas como Ingenierías, Licenciaturas, Derecho y Contaduría. Aunque no existen antecedentes en la literatura sobre los efectos esperados de este grupo de variables, se esperaba de antemano este resultado, ya que si el estudiante trabaja o es cabeza de familia su tiempo para el estudio disminuye y esto, a su vez, afecta su rendimiento.

En cuanto al nivel socioeconómico, éste resulta altamente significativo para las áreas de Administración, Contaduría, Medicina y Licenciatura, y tiene una relación directa con el rendimiento académico: cuanto más alto es el INS, mejor es el rendimiento promedio en la prueba. El trabajo de Piñeros y Rodríguez (1998), el cual sirvió de referencia para el presente estudio en cuanto a la construcción del INS, obtiene coeficientes de entre 0.21 y 0.52 igualmente significativos; en este caso se obtuvieron resultados entre 0.29 y 0.80, como se aprecia en la Tabla 12 para las áreas mencionadas.

Cuando se incluye una interacción entre variables de distinto nivel, el INS del estudiante y la variable calidad (CAL_CENT) de la universidad, el coeficiente toma un valor positivo y es significativo en los programas de Administración, Economía y Derecho, lo cual indica, para estos programas, que la relación entre el rendimiento académico y el nivel socioeconómico de los estudiantes es mayor cuanto mayor es la calidad de la institución. En los casos como Derecho y Economía, donde el INS no explica el rendimiento académico por sí solo, la interacción entre esta variable y la calidad de la institución resulta significativa y positivamente relacionada con el rendimiento académico. Cabe anotar que no se obtiene significancia estadística para la variable INS, y tampoco para su interacción con la variable CAL_CENT en el área de Ingenierías; en otras palabras, no se puede afirmar que el nivel socioeconómico esté asociado al rendimiento académico en esta área. Además, en el área de Medicina, a pesar de que la interacción entre la calidad de la institución y el INS es significativa, el signo del coeficiente es negativo, contrario al efecto esperado de una relación directa entre las dos variables y el rendimiento académico.

En cuanto a la naturaleza o tipo de universidad (pública o privada), si la universidad es privada, el rendimiento académico disminuye de manera significativa. Esto se cumple para los programas de Derecho, Medicina e Ingenierías, y el efecto oscila entre 3 y 8 puntos.

Los resultados de la Tabla 11, sobre el cálculo del CCI sobre la variabilidad inter-universidad e intra-universidad, indica que parte de las diferencias entre el rendimiento académico promedio de las universidades se explican por la calidad de la universidad y su naturaleza pública o privada. Repitiendo el cálculo de la Tabla 9, se observa cómo aumenta el porcentaje de varianza explicada al introducir la variable de nivel 2, naturaleza de la institución (INST_ORIGEN), en las áreas de Derecho, Ingeniería y Medicina. En otras palabras, la calidad y la naturaleza de la universidad explican 59 por ciento de las diferencias en rendimiento académico medio observadas entre las universidades en el área de Ingeniería, y 76 por ciento en el área de Derecho.

Conclusiones e implicaciones de política

El estudio realizado mostró que existen factores que están relacionados con el desempeño académico de los estudiantes universitarios que realizaron la prueba Saber Pro 2009 en la región Caribe colombiana. Varios resultados empíricos tienen un particular interés: 1) el "efecto universidad" es relativamente alto para la explicación del rendimiento académico universitario; 2) la variable calidad explica una parte importante del "efecto universidad"; 3) el relativamente débil poder explicativo que tiene el nivel socioeconómico en el rendimiento académico universitario; y 4) la evidencia de la brecha de género en el rendimiento académico a favor de los hombres.

Desde la perspectiva de la política educativa, los resultados pueden sugerir una variedad de políticas que pueden afectar el rendimiento académico, por lo cual se plantean a continuación algunas consideraciones. En cuanto a los dos primeros puntos, relacionados con el papel de la universidad, los resultados apuntan necesariamente a una mayor profundización de la política nacional de acreditación tanto a nivel institucional en todos sus componentes (administración, docencia, investigación y extensión); como a nivel de carreras o programas, particularmente en lo relacionado con su pertinencia. Sin embargo, es necesario que la política de acreditación permita procesos flexibles que se ajusten a los requerimientos particulares de determinadas áreas de conocimiento donde el efecto universidad no muestra ser determinante.

Por otro lado, aunque la evidencia encontrada para algunas áreas muestra que los estudiantes de niveles socioeconómicos más altos tienen un rendimiento superior, tal evidencia no es contundente en la educación superior, en contraste con lo que diversos estudios empíricos han demostrado para primaria y secundaria. La explicación puede radicar en que los procesos de selección, accesibilidad y permanencia en la educación superior influyen en términos de la selección de buenos estudiantes de origen socioeconómico bajo, lo cual funge como "filtro natural" en el proceso educativo universitario. Lo anterior refuerza la idea de que la inversión en educación para los estratos socioeconómicos bajos debe realizarse desde las primeras etapas de la educación, tal como lo sugiere Psacharopoulos (2007). Esto debe crear las condiciones apropiadas para un mejor desempeño en el nivel universitario.

En cuanto a las brechas de género encontradas a favor de los hombres en áreas como Economía e Ingenierías, su poder de explicación en el rendimiento académico es tan importante como los niveles de calidad de la universidad y los efectos de los factores socioeconómicos. Es de vital importancia tener presente que los resultados del estudio demuestran que estas brechas de género se reproducen en todos los niveles del sistema de educación (primario, medio y superior), por lo tanto, para ser exitosa, una política pública dirigida a cerrar o disminuir esta brecha debe concentrarse en el primer nivel, y debe tener como prioridad la reducción de las diferencias en Matemáticas.

Por último, se debe anotar que las futuras investigaciones sobre el rendimiento académico universitario deben incluir variables de tipo subjetivo, como la percepción del estudiante sobre la calidad de los servicios recibidos (incluyendo la calidad de los docentes); en este sentido la interdisciplinariedad, especialmente la ayuda de la psicología y la sociología, podría brindar herramientas para definir mejores variables explicativas que resulten pertinentes para entender el rendimiento académico y ofrecer una perspectiva diferente sobre los procesos de elección de los individuos.

Referencias

Barón, Juan D. (2010), "La brecha de rendimiento académico de Barranquilla", Documentos de Trabajo Sobre Economía Regional, núm. 137, pp. 1-40.         [ Links ]

Barrera, Felipe y Alejandro Gaviria (2003), "Efficiency of Colombian Schools", informe de investigación, Bogotá, Fedesarrollo, en: http://www.fedesarrollo.org/contenido/articulo.asp?chapter=90&article=323 (consulta: 15 de noviembre de 2011).         [ Links ]

Barrientos, Jorge (2008), "Calidad de la educación pública y logro académico en Medellín 2004–2006. Una aproximación por regresión intercuartil", Lecturas de Economía, núm. 68, pp. 123-144.         [ Links ]

Becker, Gary (1975), Human Capital: A theoretical and empirical analysis, with special reference to education, Chicago, The University of Chicago Press/National Bureau of Economic Research.         [ Links ]

Becker, Gary (1983), El capital humano, Madrid, Alianza.         [ Links ]

Broomhall, David y Thomas Johnson (1994), "Economic Factors that Influence Educational Performance in Rural Schools Source", American Journal of Agricultural Economics, vol. 76, núm. 3, pp. 557-567, en: http://www.jstor.org/stable/1243666 (consulta: 15 de noviembre de 2011).         [ Links ]

Brunner, José y Gregory Elacqua (2003), "Informe capital humano en Chile", Santiago de Chile, Universidad Adolfo Ibáñez, en: http://www.oei.es/etp/informe_capital_humano_chile_brunner.pdf (consulta: 14 de noviembre de 2011).         [ Links ]

Carroll, John Bissell (1963), "A model of School Learning", Teachers College Record, núm. 64, pp. 723-733.         [ Links ]

Casas, Andrés, Luis Gamboa y Luis Piñeros (2002), "El efecto escuela en Colombia, 1999-2000", Borradores de Investigación, núm. 27, pp. 1-37, en: http://www.urosario.edu.co/FASE1/economia/documentos/pdf/bi27.pdf (consulta: 14 de noviembre de 2011).         [ Links ]

Coleman, James S., Ernest Q. Campbell, Carol J. Hobson, James McPartland, Alexander M. Mood, Frederic D. Weifield y Robert L. York (1966), Equality of Educational Opportunity, Washington DC, Department of Health, Education & Welfare.         [ Links ]

Correa, John Jairo (2004), "Determinantes del rendimiento educativo de los estudiantes de secundaria en Cali: un análisis multinivel", Sociedad y Economía, núm. 6, pp. 81-105.         [ Links ]

De la Cruz, Francisco (2008), "Modelos multinivel", Revista Peruana de Epidemiología, vol. 12, núm. 3, pp. 2-8, en: http://sisbib.unmsm.edu.pe/bvrevistas/epidemiologia/v12_n3/pdf/a02v12n3.pdf (consulta: 15 de noviembre de 2011).         [ Links ]

Gaviria, Alejandro y Jorge Barrientos (2001), "Determinantes de la calidad de la educación en Colombia", Archivos de Economía, núm. 159, Bogotá, Departamento Nacional de Planeación.         [ Links ]

Guerrero, Miguel (2003), "Metodología de clasificación socioeconómica de los hogares chilenos", Santiago de Chile, Departamento de Metodología Estadística.         [ Links ]

Herrera, Marcos, Ma. Florencia Araoz, Gisela de la Fuente, María Lucrecia D' Jorge, José Granado, Andrés Michel y Corina Paz (2005), Técnicas para datos multinivel: aplicación a los determinantes del rendimiento educativo, San Miguel de Tucumán, Universidad Nacional de Tucumán.         [ Links ]

Iregui, Ana María, Ligia Melo y Jorge Ramos (2006), "Evaluación y análisis de eficiencia de la educación en Colombia", Borrador de Economía, núm. 381, Bogotá, Banco de la República, en: http://www.banrep.gov.co/docum/ftp/borra381.pdf (consulta: 16 de noviembre de 2011).         [ Links ]

Jenks, Christopher (1972), Inequality: A reassessment of the effects of family and schooling in America, Nueva York, Basic Books.         [ Links ]

Marcelo, Darwin y Natalia Ariza (2005), "Evolución de los resultados de la educación en Colombia (1997-2003)", Archivos de Economía, núm. 286, Bogotá, Departamento Nacional de Planeación.         [ Links ]

Marchesi, Álvaro y Elena Martín (eds.) (2002),Evaluación de la educación secundaria. Fotografía de una etapa polémica, Madrid, Instituto IDEA/SM.         [ Links ]

McIlrath, Deborah y William Huitt (1995), The Teaching-Learning Process: A discussion of models, Valdosta, GA, Valdosta State University.         [ Links ]

Mina, Alejandro (2004), "Factores asociados al logro educativo a nivel municipal", Documentos CEDE, núm. 15, pp. 1-38.         [ Links ]

Montenegro, Álvaro (2005), "Los ECAES de Economía", Documentos de Economía, núm. 20, en: http://www.javeriana.edu.co/fcea/area_economia/inv/documents/LosECAESdeeconomia.pdf (consulta: 14 de noviembre de 2011).         [ Links ]

Núñez, Jairo, Roberto Steiner, Ximena Cadena y Renata Pardo (2002), "¿Cuáles colegios ofrecen mejor educación en Colombia?", Archivos de Economía, núm. 193, Bogotá, Departamento Nacional de Planeación.         [ Links ]

Ocampo Milenka y Carlos Alberto Foronda (2007), "Estudio de la calidad de vida en Bolivia: metodología y medición", Investigación y Desarrollo, núm. 7, pp. 25-40.         [ Links ]

Pardo, Antonio, Miguel Ruiz y Rafael San Martín (2007), "Cómo ajustar e interpretar modelos multinivel con SPSS", Psicothema, vol. 19, núm. 2, pp. 308-321.         [ Links ]

Piñeros, Luis y Alberto Rodríguez (1998), "Los insumos escolares en la educación secundaria y su efecto sobre el rendimiento académico de los estudiantes: un estudio en Colombia", LCSHD Paper Series, núm. 36, Washington DC, Banco Mundial-Departamento de Desarrollo Humano.         [ Links ]

Psacharopoulos, George (2007), El rendimiento de la inversión en educación superior: métodos, datos e implicaciones en políticas, Madrid, Centro de Estudios de la Educación Superior (CEGES).         [ Links ]

Psacharopoulos, George y Harry Anthony Patrinos (2008), "Education and Human Capital", en Amitava Krishna Dutt y Jaime Ros (eds.), International Handbook of Development Economics, vol. 1, pp. 341-355.         [ Links ]

Purkey, Stewart y Marshall Smith (1983), "Effective Schools: A review", The Elementary School Journal, vol. 83, núm. 4, pp. 427-452.         [ Links ]

Rodríguez-Jiménez, Olga Rosalba y Francisco Javier Murillo-Torrecilla (2011), "Estimación del efecto escuela para Colombia", Magis. Revista Internacional de Investigación en Educación, vol. 3, núm. 6, pp. 299-316.         [ Links ]

Santín, Daniel (2001), Influencia de los factores socioeconómicos en el rendimiento escolar internacional: hacia la igualdad de oportunidades educativas, Madrid, Universidad Complutense, en: http://eprints.ucm.es/6725/1/0101.pdf (consulta: 14 de noviembre de 2011).         [ Links ]

Schultz, Theodore (1961), "Investment in Human Capital", American Economic Review, vol. 51, núm. 1, pp. 1-17.         [ Links ]

Schultz, Theodore (1972), El valor económico de la educación, México, Tecnos.         [ Links ]

Teddlie, Charles y Sam Stringfield (1993), Schools Make a Difference: On lessons learned from a 10-year study of school effects, Nueva York, Teachers College Press.         [ Links ]

Valens, Milena (2007), "Calidad de la educación superior en Colombia: un análisis multinivel con base en el ECAES de Economía 2004", Revista Sociedad y Economía, núm. 13, pp. 133-154, en: http://paginasweb.univalle.edu.co/~revistasye/anteriores.php?n=13 (consulta: 15 de noviembre de 2011).         [ Links ]

Valverde, Gilbert y Emma Näslund-Hadley (2010), La condición de la educación en matemáticas y ciencias naturales en América Latina y el Caribe, Washington DC, Banco Interamericano de Desarrollo-División de Educación.         [ Links ]

Notas

¹ Los autores agradecen los comentarios y recomendaciones del Dr. Luis Jaime Piñeros Jiménez, asesor del Instituto Colombiano para la Evaluación de la Educación (ICFES). Esta investigación recibió apoyo financiero del ICFES. Las opiniones y argumentos expresados son de propiedad exclusiva de los autores y no representan el punto de vista del Instituto.

² La formalización básica de los modelos multinivel puede consultase en Rodríguez y Murillo, 2011.

³ ECAES es el acrónimo de Exámenes de Calidad de Educación Superior, prueba de conocimientos realizada por el Ministerio de Educación de Colombia, a través del Instituto Colombiano para el Fomento de la Educación Superior (ICFES) a estudiantes universitarios que cursan sus últimos semestres. Desde 2009 se denominan Pruebas Saber Pro.

⁵ Se conserva la convención utilizada por el ICFES, excepto en la variable calidad, por ser construida e incluida por los autores.

⁶ Se exploraron como variables proxy para la calidad de la universidad la información contenida en los rankings tales como: Webometrics y U–sapiens. Adicionalmente se intentó utilizar información de pruebas ECAES anteriores pero no fue posible consolidar la información para todas las universidades.

⁷ Información disponible en http://www.mineducacion.gov.co/sistemasdeinformacion/1735/channel.html (consulta: 15 de noviembre de 2011).

⁸ La descripción del proceso de construcción de este índice se muestra en el apéndice 2.

⁹ Para efecto de las comparaciones Barón (2010: 16) en su análisis de las brechas de rendimiento académico para Barranquilla señala: "Los archivos con micro datos que el ICFES hace disponibles públicamente estandariza los resultados de cada prueba a nivel nacional a tener media 100 y desviación igual a 10. Esto se realiza por prueba y a nivel nacional, para cada ciudad, lo que nos permite hacer las comparaciones entre ciudades y agregar los diferentes resultados para cada prueba por ciudad". En este caso las comparaciones se realizan dentro de cada área de conocimiento utilizando como base de comparación el departamento y otras variables de interés.

¹⁰ El grupo de Ingenierías excluye ingeniería industrial, por no ajustarse a estos criterios.

¹¹ Aunque los cálculos realizados tanto para el INS como para los modelos multinivel fueron realizados para la totalidad de la muestra (22 mil 525 estudiantes), sólo se presentan los resultados de las áreas agrupadas clasificadas según los criterios descritos.

¹² Clasificación utilizada por Broomhall y Johnson (1994), conformada por 12 áreas de ocupación.

¹³ Este ejercicio se realizó utilizando tanto la variable calidad de la universidad, representada por la proporción de número de programas acreditados, como para el nivel socioeconómico promedio por universidad, no obteniéndose para este último significancia estadística en los parámetros estimados.

¹⁵ Este tipo de modelo se conoce como modelo de regresión: media como resultados, Pardo et al., 2007.

¹⁶ En este caso, 61 por ciento de las universidades contaba, a la fecha del estudio, con por lo menos un programa de pregrado acreditado.

¹⁷ Si se eliminan términos de la estructura de un modelo multinivel completo, se obtiene el resto de modelos multinivel del más simple al más complejo, como son: análisis de varianza de un factor de efectos aleatorios, análisis de regresión con medias como resultados, análisis de covarianza de un factor de efectos aleatorios (esta investigación alcanza hasta este nivel), análisis de regresión con coeficientes aleatorios, y análisis de regresión con medias y pendientes como resultados.

¹⁸ Para la prueba de Matemáticas este resultado fue de 3.734 y 3.511 para colegios públicos y privados, respectivamente.