Introducción

Abordar el valor agregado para las instituciones de educación superior (IES) de nivel de pregrado y formación universitaria, en términos de las competencias genéricas en Colombia, de 2012 a 2016, es una oportunidad para indagar en su particular subjetividad, en sus problemáticas, en sus ideas y en sus contextos. ¿Desde dónde partir? Esta tarea es casi infinita, implica investigar textos, autores y temas que permitan no sólo la reflexión sobre el valor agregado para las IES, sino también para el nivel de pregrado y formación universitaria, en términos de las competencias genéricas en Colombia. ¿Cómo hacerlo? Como investigadores del doctorado en Educación y Sociedad de la Universidad de la Salle (Bogotá), comprendimos que esta temática en Colombia abre un relevante e inmenso campo, plagado de rutas y miradas analíticas y dispone, como una medida en el marco de la calidad de la educación superior, la evaluación externa del aprendizaje utilizando los resultados de las pruebas estandarizadas correspondientes al examen de Estado denominado Saber Pro, desde la expedición del Decreto 3963 de 2009.

Se ha evidenciado que los indicadores elaborados con los promedios simples de estos resultados se encuentran sesgados, porque no se identifica solo el aporte de la IES, sino que se incluyen factores asociados no académicos y los conocimientos previos que pueda tener cada estudiante correspondiente a los niveles de educación anteriores, los cuales influyen de alguna manera en el logro académico (^{Meyer, 1994}; ^{Sammons, Hillman y Mortimore, 1995}; ^{Martínez, Gaviria y Castro, 2009}).

El valor agregado es entendido como la contribución de las instituciones educativas o los profesores al progreso académico neto de los estudiantes, una vez eliminada la influencia de otros factores ajenos a la institución, como los conocimientos académicos previos, las características familiares y los entornos sociales y económicos que puedan contribuir a ese progreso. (^{Meyer, 1997}; ^{McCaffrey et al., 2004}; ^{Raudenbush, 2004}; ^{Braun, 2005}; ^{Kim y Lalancette, 2013}).

Considerando la inexactitud de las mediciones de la calidad de la educación superior a través del cálculo de los promedios de los resultados correspondientes a las pruebas estandarizadas, este artículo tiene como objetivo determinar el valor agregado para las IES de nivel de pregrado y formación universitaria, en términos de las competencias genéricas en Colombia, en el periodo 2012 - 2016.

Metodológicamente, la información secundaria fue tomada de las bases de datos longitudinales correspondientes a las pruebas estandarizadas Saber 11 y Saber Pro publicadas por el Instituto Colombiano para la Evaluación de la Educación (ICFES), a partir de la cual se estimaron 40 modelos econométricos multinivel, para identificar el valor agregado. Para cumplir con el objetivo, y después de intensos debates, creamos un dispositivo teórico y metodológico para analizar e interpretar el fenómeno valor agregado que permita ser aplicado en otras IES; así, trazamos los siguientes ejes: 1) Modelos de valor agregado, 2) Relación entre las competencias genéricas y el valor agregado aportado por las IES, 3) Metodología de estimación y 4) Análisis de los resultados.

Modelos de Valor Agregado

^{Meyer (1997)} ha propuesto dos indicadores de valor agregado, uno de rendimiento total institucional, definido por ^{Willms y Raudenbush (1989)} como tipo A, que es el adecuado para efectos de selección del colegio o centro educativo (^{Machin, 2008}) y otro de rendimiento intrínseco, apropiado para efectos de rendición de cuentas porque incluye los componentes del rendimiento escolar a nivel institucional que son externos a los colegios. ^{Willms y Raudenbush (1989)} denominan a este último tipo B, el cual será calculado en este artículo.

Con las propuestas iniciales y especificaciones de modelos de valor agregado de ^{Willms y Raudenbush (1989)}, ^{Longford (1993)}, ^{Raudenbush y Willms (1995)}, ^{Goldstein y Spiegelhalter (1996)} y ^{Meyer (1997)}, se han diseñado y estimado especificaciones de modelos principalmente en Estados Unidos, Reino Unido, España, Australia, Polonia, Bélgica, Dinamarca, Noruega, Portugal, Suecia, Francia, México, Brasil y Chile en el contexto internacional, para monitorear los rendimientos educativos y para la evaluación de instituciones educativas y profesores, de los cuales se puede encontrar un resumen en ^{OCDE (2011)}. En menor medida se han estimado modelos de valor agregado correspondientes a jurisdicciones territoriales, como la realizada por ^{Brasignton y Haurin (2006)}.

En Estados Unidos, los modelos de valor agregado han sido utilizados desde 1991 en colegios, distritos y estados (^{Ford y Rice, 2015}). Vale la pena destacar los desarrollados en el estado de Tenesse y en las ciudades de Dallas y Chicago (^{Martínez, 2009}). El aplicado en el estado de Tenesse ha sido denominado como Education Value-Added Assessment System (EVAAS) y ha sido el más analizado en la literatura (entre otros por ^{Mccaffrey, Lockwood, Koretz, Louis, Hamilton y Kirby, 2004}; ^{Braun y Wainer, 2007}, y ^{Amrein-Bearsley, 2008}). Este modelo pertenece a la familia de los efectos mixtos multivariantes y es muy eficiente considerando que utiliza toda la información para una cohorte de estudiantes en un periodo de cinco años. El desarrollado para evaluar a los colegios en la ciudad de Dallas utiliza ecuaciones lineales jerárquicas considerando datos longitudinales. En ^{Webster (2005)} se puede encontrar una descripción del modelo utilizado. El modelo denominado “Productividad” en los colegios públicos de Chicago considera la evaluación de las competencias de lectura y matemáticas de estudiantes correspondientes a los cursos entre segundo y octavo. Con datos longitudinales incorpora medidas de movilidad, es decir, cuando los estudiantes se cambian de colegio (^{Ponisciak y Bryk, 2005}).

Posteriormente, la Organización Económica para la Cooperación y Desarrollo (^{OCDE, 2008}) publicó la forma como algunos países europeos han incorporado la metodología de valor agregado en sus sistemas educacionales para la formulación de política pública con el objetivo de fortalecer el ambiente de aprendizaje y las estrategias de enseñanza al interior de las escuelas y universidades. Así mismo, la OCDE propuso en 2008 la medición a nivel internacional de los aprendizajes de competencias genéricas en la educación terciaria con el diseño de la prueba Assessment of Higher Education Learning Outcomes (AHELO). Esta prueba tendría como objetivo complementar las evaluaciones institucionales de cada universidad proporcionando una evaluación directa de resultados de aprendizaje correspondiente al valor agregado aportado a los estudiantes, para permitir a las instituciones comparar el rendimiento de sus estudiantes frente a otros pares a nivel global, como parte de sus esfuerzos de mejora. En otros términos, sería la prueba pisa aplicada a la educación superior.

Estudios recientes muestran algunos diversos enfoques para el modelamiento del valor agregado, como ^{Timmermans, Doolaard y Wolf (2011)}, los cuales identifican cinco tipos de estimación de valor agregado para unas escuelas secundarias en Holanda. Por otro lado, ^{Braun, Chudowsky y Koenig (2010)}, usando datos para EUA infieren que uno de los problemas más importantes para utilizar los modelos de valor agregado consiste en la endogeneidad producida por no controlar la asignación no aleatoria, que es una práctica común en la distribución de los colegios. En este sentido, se tienen dos soluciones, por un lado, ^{Hanchane y Mostafa (2012)} analizan los problemas de endogeneidad en la estimación multinivel usando una función de producción educativa, y ^{Manzi, San Martin y Van Bellegem (2014)} proponen el uso de variables instrumentales.

^{Kim y Lalancette (2013)} proponen cuatro distintas metodologías para calcular el valor agregado: a) modelos estimados por mínimos cuadrados ordinarios, b) modelos con efectos fijos y aleatorios, c) modelos con curva de crecimiento y d) modelos multivariados con efectos aleatorios.

A nivel latinoamericano, Brasil, Chile, México y Colombia han presentado resultados de estimaciones de valor agregado para colegios y universidades. Brasil utiliza el Examen Nacional de Enseñanza Media (ENEM), que tiene en cuenta las notas de la educación secundaria para solicitar plazas en la universidad, y con esta información se estiman modelos de valor agregado (^{Travitzki, Calero y Boto, 2014}). Chile utiliza la información censal disponible en el instrumento del Sistema de Medición de la Calidad de la Educación (SIMCE), para evaluar el efecto escuela en el nivel básico y secundario (^{Carrasco y San Martin, 2012}; ^{San Martin y Carrasco, 2012}; ^{Canales y Maldonado, 2018}). Por su parte, en México se usa el Examen Nacional de Ingreso a la Educación Superior (EXANI-II) y el Examen para el Egreso de Técnico Superior Universitario-Sistemas Informáticos (EGETSU-SI) del Centro Nacional de Evaluación para la Educación Superior (CENEVAL) para estimar modelos de valor agregado en la educación superior (^{Hernández, Vadillo y Rivera, 2008}; ^{OCDE, 2011}).

De la revisión de los antecedentes se podría afirmar que los estudios de valor agregado desarrollados con información de Estados Unidos, Inglaterra, Chile y México han sido elaborados para el nivel de educación secundaria.

En Colombia, a partir de la información reportada por el Segundo Estudio Regional Comparativo y Explicativo (SERCE) y el ICFES, con un panel de datos construido con la información académica correspondiente a la prueba Saber 11 y Saber Pro, se han elaborado varias investigaciones alrededor del valor agregado para la educación superior. Inicialmente, ^{Rodríguez y Murillo (2011)} estiman una magnitud del efecto escolar para Colombia a partir de los datos del SERCE para el nivel primario. El resto de las investigaciones utilizan datos del ICFES. ^{Saavedra y Saavedra (2011)} utilizaron datos pilotos del ICFES y, ^{Bogoya y Bogoya (2013)} utilizaron información sólo para el programa de Administración de Empresas para estimar el valor agregado; porque las bases de datos longitudinales correspondiente a todos los programas estuvieron disponibles desde 2013.

Posteriormente y utilizando toda la información longitudinal que publica el ICFES, se han publicado varios estudios que estiman el valor agregado de la educación superior en Colombia con distintas metodologías (^{ICFES, 2014}; ^{Rodríguez, 2015}; ^{Shavelson et al., 2016}; ^{Rodríguez y López, 2016}; ^{Muñoz, 2016}; ^{Bogoya, Bogoya y Peñuela, 2017}). Estas publicaciones no han considerado en sus estimaciones todo el periodo 2012 - 2016, intervalo de años que se contempla en este artículo, de acuerdo con una especificación de ^{Machin (2008)}, la cual considera controles con base al tiempo. Adicionalmente, a nivel externo se han desarrollado modelos de valor agregado para el nivel secundario, lo que significa una oportunidad para Colombia de adelantar estudios para el nivel superior.

Relación entre las competencias genéricas y el valor agregado aportado por las IES

La definición de “competencia” ha sido abordada desde distintos enfoques incluyendo el lenguaje (^{Chomsky, 1965}), el contexto educativo y el laboral. En esta última perspectiva, ^{Klemp (1980)} definió a la competencia como una característica subyacente de una persona que se convierte en un rendimiento efectivo y/o superior en el trabajo y ^{Parry (1996)} la definió como un conjunto de conocimientos, habilidades, y actitudes que reflejan una parte importante del trabajo (un rol o responsabilidad), correlacionados con el desempeño en el trabajo.

Según ^{Cresp, Molina y Fernández (2017)} la formación por competencias en América Latina en la educación superior fue promovida como resultado de la Declaración de Bolonia y del proyecto Tuning en Europa, desarrollado a partir de 1999. Las competencias genéricas identifican los elementos compartidos, comunes a todos los programas académicos; mientras que las específicas se complementan con las genéricas y se encuentran relacionadas con cada campo de estudio en particular y asociadas con distintas profesiones (^{Beneitone et al., 2007}).

En Colombia, el ^{ICFES (2018)} a través de una guía de orientación ha establecido desde 2012 cinco módulos para evaluar las competencias genéricas de todos los estudiantes de los programas de pregrado universitarios: comunicación escrita, lectura crítica, razonamiento cuantitativo, competencias ciudadanas e inglés, a través de la prueba estandarizada Saber Pro. Los resultados de aprendizaje en la educación media se evalúan de manera externa a través del instrumento estandarizado denominado Saber 11. Esta prueba fue establecida con el Decreto 869 de 2010, la cual contenía el núcleo común y el componente flexible, desde el año 2010 y hasta la primera aplicación en 2014. En el núcleo común se incluían las áreas que, de acuerdo con la Ley General de Educación de 1994 (^{Congreso de Colombia, 1994}) y los Estándares Básicos de Competencias, se consideran básicas y fundamentales y deben ser presentadas por todos los estudiantes de manera obligatoria. Éstas corresponden a las competencias genéricas de Lenguaje, Matemáticas, Ciencias Sociales, Filosofía, Biología, Química, Física e Inglés. De estas competencias se rescatan en esta investigación, las correspondientes a Lenguaje y Matemática, porque son las que tienen relación con las competencias de Lectura Crítica y Razonamiento Cuantitativo de la prueba Saber Pro.

La competencia de lenguaje de la prueba Saber 11 identifica las manifestaciones básicas de la competencia comunicativa en la lectura, es decir, las acciones de interpretar, argumentar y proponer sobre los contenidos conceptuales y estructurales de un texto (^{ICFES, 2010}). En la prueba Saber Pro se identifican tres afirmaciones que son coherentes con las acciones descritas anteriormente, en concordancia con la Metodología Basada en Evidencias descrita en la Tabla 1.

En la competencia de matemáticas de la prueba Saber 11, cada pregunta se refiere a un componente y a una competencia. Los componentes evaluados están relacionados con la organización propuesta en los Lineamientos Curriculares y Estándares Básicos de Competencias, y son tres: el numérico-variacional, el geométrico-métrico y el aleatorio. La competencia matemática se evalúa a través de tres competencias: comunicación y representación, razonamiento y argumentación, y solución de problemas y modelación (^{ICFES, 2010}). Estas competencias son coherentes con las equivalentes de la prueba Saber Pro, como se aprecia en la Tabla 2.

De esta forma, en la competencia de lectura crítica, la identificación y el entendimiento de los textos en la educación superior parte de una interpretación de los mismos, la comprensión del texto parte de cómo se articulan sus ideas y la reflexión y la evaluación del contenido de un texto parte de una actuación propositiva de una postura crítica de lo que manifiesta el autor de un texto. En la competencia de razonamiento cuantitativo, la comprensión de información cuantitativa parte de la identificación de conceptos matemáticos y el plantear soluciones adecuadas frente a problemas de corte cuantitativo, requiere de una modelación, razonamiento y argumentación de eventos y situaciones problematizadoras en el ámbito matemático.

El valor agregado que aportan las IES puede ser establecido en cada competencia genérica de lectura crítica y razonamiento cuantitativo correspondientes al nivel de educación superior porque se puede identificar unas relaciones de evolución en cada una de ellas, con respecto a las competencias de lenguaje y matemática del nivel de educación media, respectivamente.

Metodología de estimación

Los datos se encuentran organizados en una estructura de panel de datos con dos medidas para cada estudiante, una en el periodo académico en el cual presentó la prueba Saber 11 y otra en la que presentó la prueba Saber Pro. La prueba Saber Pro puede ser presentada por aquellos estudiantes que tienen aprobados al menos el 75% de los créditos de su plan de estudios. Ambos periodos académicos están distanciados como mínimo por cinco semestres. Después de la limpieza de los datos, se disponen de 612 772 observaciones en el periodo 2012-2016.

Los modelos econométricos han sido estimados considerando la estructura jerárquica de los modelos multinivel, introducidos por ^{Lindley y Smith (1972)} y ^{Smith (1973)}. Estas estructuras ofrecen una gran flexibilidad para los investigadores en distintos campos de la ciencia (^{Demidenko, 2013}; ^{Brown y Prescott, 2015}). A nivel educativo, con esta estructura se puede organizar a estudiantes en salones de clase, estudiantes por profesor, clases de estudiantes en jornadas académicas, jornadas académicas en sedes, estudiantes por colegio, colegios en entidades territoriales, estudiantes por países, etcétera. Para esta investigación se ha definido que los estudiantes se encuentran en el nivel micro y las IES en el nivel macro, en dos estructuras jerárquicas distintas, como puede apreciarse en el Gráfico 1.

Fuente: elaboración propia con base a datos de ^{ICFES (2016)}.

Gráfico 1 Estructuras jerárquicas de la investigación 

La medición del valor agregado que aporta una IES a los estudiantes se basa en la especificación de una función de producción educativa (^{Hanushek, 1979}), en la cual el desempeño académico de salida o variable dependiente (y_ijt) de los estudiantes (“i”) correspondiente a la IES (“j”) a través del tiempo (“t”), medido externamente con pruebas estandarizadas, es una función del desempeño académico anterior (x_{ij t-1}), de unas covariables o características de los estudiantes (xest_ijt), de otras covariables o características de las IES (xies_j ), del valor agregado de cada IES (va_j) y de un error aleatorio que contiene elementos inobservables (ε_ijt), como se aprecia en la ecuación 1:

Al valor agregado de cada IES (va_j), ^{Willms y Raudenbush (1989)} lo denominan indicador Tipo A y ^{Meyer (1997)} lo denomina como una medida del rendimiento escolar total. La especificación tradicional para medir el valor agregado utiliza la estructura de modelos jerárquicos de más de un nivel.

La estructura del modelo jerárquico en su nivel micro se muestra en la ecuación 2, en la cual (y_ijt) corresponde al resultado de la competencia genérica de la prueba Saber Pro; (x_{ij t-1}) es el resultado de una competencia genérica similar perteneciente a la prueba Saber 11, presentado por cada estudiante en el nivel educativo anterior; (xest_ijtm) corresponde a las “n” covariables o características de los estudiantes que presentan la prueba Saber Pro; β_0j es el promedio de la variable de respuesta de cada IES “j” cuando todas las covariables son cero¹ y ε_ijt, el error con distribución normal εij~N(0,σε2).

El nivel macro del modelo, es decir el correspondiente a las IES queda especificado por las ecuaciones 3 y 4, en la cuales β_0j y β_rj son las variables o efectos aleatorios. En particular, β_0j es el desempeño promedio esperado en la IES “j”, cuando todas las covariables del nivel macro son cero, γ₀ es el promedio general de la competencia genérica de la prueba Saber Pro de todas las IES; γ_p es el coeficiente aleatorio de cada una de las “q” covariables a nivel de IES; xies _jp es cada una de las “q” covariables a nivel de cada IES “j”; β_rj son las variables aleatorias, las que incluyen desde β₁ hasta cada uno de los “n” β_m en la ecuación 2; γ_rj son los efectos promedios de cada covariable del nivel micro sobre el puntaje de la prueba Saber Pro; γ_rp son los coeficientes que van desde 1 hasta “q” que acompañan a las covariables xies_jp que pertenecen a cada institución; μ_rj es el diferencial del efecto de cada covariable del nivel micro, y por último, μ_0j es el valor agregado que aporta cada IES a sus estudiantes (va_j =μ_0j ) y cambia para cada IES “j”. Las covariables del nivel macro se suelen representar con sus valores promedio, para tratar de representar los valores agregados de cada IES.

El valor agregado que aporta cada IES “j” puede ser encontrado a partir de la ecuación 3 como la diferencia entre β_0j y el valor esperado de γ0+-∑p=1qγrpxiesjp, como se especifica en la ecuación 5:

En términos computacionales y operativos, se sigue la metodología de ^{Doran y Lockwood (2006)} para encontrar el valor agregado en las IES. En esta metodología es necesario centrar las covariables del nivel micro para lograr que el va_j sea el desempeño promedio esperado.

Para cumplir con las condiciones de la estimación del valor agregado, de tamaño muestral y autoselección de los participantes del nivel micro (^{Gamboa, 2016}), en primer lugar, se eliminaron aquellas IES que tuvieron menos de 20 estudiantes en la presentación de la prueba Saber Pro, por tratarse de grupos pequeños en los cuales no existe heterogeneidad entre los resultados. En segundo lugar, para solucionar el problema de autoselección sobre todo en las IES públicas que implementan mecanismos de selección (sorting), es decir que no reciben a todos los estudiantes, sino que realizan filtros de entrada para la admisión,² se ha construido una variable promedio del desempeño en las pruebas de matemáticas y de lenguaje proveniente de la prueba Saber 11. Éstas se incluyen como covariables en el modelo a nivel macro de IES y de esta manera se controla por las instituciones que realizan un filtro para el ingreso de sus estudiantes (^{Manzi, San Martin y Van Bellegem, 2014}).

Considerando las características de la estructura de los datos, se ha verificado el cumplimiento de los supuestos de no endogeneidad o independencia condicional y homocedasticidad, garantizando que los estimadores sean insesgados y eficientes. Para lograr estimadores insesgados, se han estimado los modelos usando como instrumentos (^{Heckman y Vytlacil, 2007}) los años de educación de los padres de los estudiantes. La solución tradicional al incumplimiento de la homocedasticidad se ha realizado utilizando la estimación con errores estándar robustos.

La especificación de los modelos en los niveles micro y macro, consideran las variables mostradas en las Tablas 3 y 4. La variable a nivel micro denominada “promies” correspondiente al promedio de puntaje de la prueba Saber Pro de la IES, se justifica por el efecto par. Es decir, existe un efecto par por el cual estudiantes destacados académicamente, evidenciados por un mejor desempeño en los puntajes al interior de un grupo, se comportan como un estímulo o externalidad positiva para otros estudiantes con un menor desempeño. Las relaciones cognitivas establecidas al interior de un grupo lideradas por estudiantes sobresalientes constituyen elementos positivos para el aprendizaje y desempeño de todo el grupo (^{Hanushek, Kain, Markman y Rivkin, 2003}).

Se han estimado los modelos econométricos en el software ^{R Core Team (2020)}, para los 612 772 estudiantes en todos los periodos, así como para evidenciar diferencias entre periodos de aplicación de la prueba, es decir uno para cada año del periodo 2012-2016, IES públicas y privadas, acreditadas³ y no acreditadas, así como para los módulos de razonamiento cuantitativo y lectura crítica; teniendo como resultado un total de 40 modelos, con todas las combinaciones posibles.

Análisis de los resultados

Los resultados son presentados de manera agregada, para las IES agrupadas en cuatro tipos: 1) acreditada y oficial, 2) acreditadas y privadas, 3) no acreditadas y oficiales, 4) no acreditadas y privadas, considerando su heterogeneidad, en cuanto a financiación, selección de estudiantes, acreditación de alta calidad y recursos financieros y físicos disponibles.

En relación con las varianzas explicadas se puede afirmar que en términos promedio, el 17.54% de la variabilidad observada en la prueba de razonamiento cuantitativo se explica por la variabilidad entre las IES; mientras que el restante 82.46% se explica por la variabilidad al interior de cada IES. En la prueba de lectura crítica, el 14.68% de la variabilidad observada en la prueba se explica por la variabilidad entre las IES; mientras que el restante 85.32% se explica por la variabilidad al interior de cada IES.

En la Tabla 5, se presentan los resultados estandarizados⁴ obtenidos con un promedio simple, de la educación superior a través de la prueba Saber Pro, correspondientes a las pruebas de razonamiento cuantitativo y lectura crítica en las IES acreditadas, oficiales y privadas. Se puede evidenciar con una notable diferencia (significancia al 1%) que los resultados promedio de los estudiantes matriculados en las IES acreditadas oficiales son mejores que sus pares matriculados en las IES acreditadas privadas, de manera consistente en todo el periodo.

En el caso de las IES no acreditadas, algunos resultados (sobre todo en los últimos años) son mejores para las oficiales (mientras menos negativas sean mejor, considerando que son números menores a cero); pero la diferencia no es tan significativa (valores de probabilidad al 5% y al 10% en la diferencia de medias) como en el caso de las IES acreditadas, como se observa en la Tabla 6.

En la Tabla 7 se muestran los resultados promedio estandarizados de las pruebas de Razonamiento cuantitativo y Lectura crítica en IES acreditadas y no acreditadas. Éstas últimas tienen una brecha en contra de ellas, es decir, los resultados son mejores en las IES acreditadas en las dos competencias analizadas, con unos niveles de significancia al 1% y al 5%, en la diferencia de medias.

Ahora bien, en la Tabla 8, se presentan los resultados estandarizados obtenidos con un promedio simple, de la educación media a través de la prueba Saber 11, correspondientes a las pruebas de matemáticas y lenguaje de estudiantes que ingresan a IES acreditadas, oficiales y privadas. Como se puede observar, las diferencias en cada competencia antes del ingreso de los estudiantes a la educación superior a IES acreditadas oficiales y privadas, no son notables como las identificadas en la Tabla 5, evidenciadas por unos menores niveles de significancia (al 5% y al 10%) en las pruebas de diferencia de medias, correspondiente a los años 2012 y 2013. En el periodo 2014 - 2016 no existen diferencias significativas en el desempeño educativo de los estudiantes que ingresan a la educación superior a IES acreditadas oficiales y privadas. Esto significaría que las IES acreditadas oficiales aportan un mayor valor a la enseñanza de las competencias en razonamiento cuantitativo y lectura crítica, que sus pares privadas; considerando el enfoque del promedio simple en el cálculo de este mayor valor.

En la Tabla 9, se presentan los resultados promedio estandarizados de la educación media correspondientes a las pruebas de matemáticas y lenguaje, de estudiantes que ingresan a IES no acreditadas oficiales y privadas. Como se puede observar, los resultados de los estudiantes que ingresan a las IES no acreditadas oficiales son ligeramente mayores a los de sus pares que ingresan a las IES privadas. Comparando con los resultados de la Tabla 6, no se podría afirmar que las IES no acreditadas oficiales aportan un mayor valor en las competencias de razonamiento cuantitativo y lectura crítica, que las IES no acreditadas privadas, ya que reportan mejores resultados en la prueba Saber Pro, pero también reciben mejores estudiantes, medido por los resultados de la prueba Saber 11. Este último comportamiento se explica porque realizan pruebas de entrada y filtro al ingreso de nuevos estudiantes. En este sentido, es necesario utilizar medidas de valor agregado para establecer una comparación coherente con el contexto académico, social y económico de los estudiantes.

En la Tabla 10, se muestran los resultados promedio estandarizados de la educación media correspondientes a las pruebas de matemáticas y lenguaje de estudiantes que ingresan a IES acreditadas y no acreditadas. Como se puede observar, las IES acreditadas reciben a estudiantes con un mejor nivel de competencias en matemáticas y lenguaje, provenientes de la educación media, que sus pares no acreditadas; y también a la luz de los resultados de la Tabla 7, obtienen un mejor desempeño de salida en competencias correspondientes de razonamiento cuantitativo y lectura crítica. Con unas comparaciones de pruebas de medias utilizando los promedios simples, no se podría establecer el valor agregado en estas IES.

En la Tabla 11, se muestran los resultados del valor agregado (estimados en la sección anterior) de IES acreditadas oficiales y privadas, evidenciando que las IES acreditadas privadas ofrecen un mayor valor agregado a sus estudiantes en la competencia de razonamiento cuantitativo; mientras que en lectura crítica no se identifican diferencias significativas.

En la Tabla 12, se muestran los resultados del valor agregado de las IES no acreditadas oficiales y privadas, evidenciando que las IES no acreditadas privadas ofrecen un mayor valor agregado a sus estudiantes en la competencia de razonamiento cuantitativo en el periodo comprendido entre los años 2014 y 2016; mientras que en la competencia de lectura crítica no se identifican diferencias significativas.

A manera de resumen y en términos generales, se podría afirmar que las IES privadas aportan un mayor valor agregado que las IES oficiales en la competencia de razonamiento cuantitativo, independientemente si son acreditadas o no, sobre todo en el periodo 2014 - 2016. Este resultado es contrario al encontrado utilizando como cálculo los promedios simples al final de cada nivel educativo para el caso de las IES acreditadas. En el caso de la competencia de lectura crítica no existen diferencias significativas en el valor agregado aportado por distintas IES. El mayor valor agregado aportado por las IES privadas estaría relacionado con una mayor disposición de recursos de infraestructura, capital humano y tecnológicos en promedio de este tipo de IES con respecto a las oficiales. El reporte de las evaluaciones utilizando metodologías de valor agregado es una medida más justa que los promedios simples, considerando las heterogeneidades de contextos sociales y económicos de los estudiantes en Colombia, que acceden a la educación superior.

Conclusiones

Pocos sistemas educativos de educación superior en el mundo disponen de medidas evaluadas en momentos distintos, para comprobar el grado de desarrollo de las competencias genéricas de los estudiantes, como lo tiene Colombia; a través de instrumentos estandarizados, los cuales permiten hacer comparaciones entre los estudiantes y a través del tiempo.

En términos evolutivos, la eficacia educativa sólo establece una relación óptima entre los factores de entrada y salida; en cambio el Valor Agregado identifica el verdadero aporte del centro educativo al aprendizaje de los estudiantes, aislando factores asociados al desempeño académico previo de los estudiantes, así como los determinantes económicos, sociales y culturales, los cuales han sido ampliamente investigados por la literatura.

Las competencias de matemáticas y lenguaje evaluadas en la prueba Saber 11, se encuentran directamente relacionadas con las competencias de razonamiento cuantitativo y lectura crítica de la prueba Saber Pro, respectivamente. En efecto, en la competencia de lectura crítica, la identificación y el entendimiento de los textos por parte de los estudiantes de la educación superior parte de una interpretación de los mismos, acción que es llevada a cabo en la educación media; la comprensión de un texto en la educación superior, tiene como insumo la articulación de las ideas, acción evaluada en la educación media; y por último, la reflexión y la evaluación del contenido de un texto en la educación superior es un avance de la actuación propositiva de una postura crítica de lo que manifiesta el autor de un texto, evaluada en la educación media.

En la competencia de razonamiento cuantitativo, la comprensión y la transformación de información cuantitativa evaluada en la educación superior representa un avance de la identificación de conceptos matemáticos, evaluada en la educación media, y la competencia de plantear soluciones adecuadas frente a problemas de corte cuantitativo, evaluada en la educación superior, requiere de una modelación, razonamiento y argumentación de eventos y situaciones o problematizaciones en el ámbito matemático, competencia evaluada en la educación media.

De acuerdo con lo anterior, estas relaciones identificadas como intersecciones y/o evoluciones de las competencias genéricas evaluadas con las pruebas estandarizadas, en los niveles medio y superior, posibilitan una medición utilizando metodologías de Valor Agregado, las cuales se encuentran directamente relacionadas con la calidad de la educación superior, en atención a la normatividad con la cual fueron creadas estas pruebas, Decretos 3963 de 2009 y Decreto 869 de 2010.

En términos agrupados, las IES acreditadas aportan un mayor valor agregado que las no acreditadas. Asimismo, las IES privadas aportan un mayor valor agregado que las IES oficiales en la competencia de razonamiento cuantitativo, independientemente si son acreditadas o no, sobre todo en el periodo 2014 - 2016. En el caso de la competencia de lectura crítica no existen diferencias significativas en el Valor Agregado aportado por distintas IES.

La medición de la calidad de la educación utilizando el valor agregado aportado por las IES, aislando factores asociados al aprendizaje, es una medida más justa y equitativa con aquellas IES que aún no tienen una tradición y una reputación importante, en el contexto de la educación superior, garantizando comparar entre las comparables. Asimismo, es una medida más equitativa, considerando las grandes heterogeneidades y dotaciones inequitativas de recursos y activos de la sociedad colombiana.