nueva página del texto (beta)
Español (pdf)
Artículo en XML
Referencias del artículo
Traducción automática
Enviar artículo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La evaluación es uno de los instrumentos más útiles para diseñar políticas que conduzcan al mejoramiento de la calidad de la educación. Hoy en día, la evaluación basada en competencias está transformando la educación superior en todo el mundo. En Colombia, el Ministerio de Educación creó en 2009 el Examen de Estado de Calidad de la Educación Superior, denominado Saber Pro, el cual es un instrumento de evaluación estandarizado y obligatorio para los estudiantes que están próximos a graduarse1. El Saber Pro tiene por objeto comprobar en los estudiantes el grado de adquisición de unas competencias, tanto genéricas (aquellas que son transversales a toda la educación superior) como específicas (aquellas que son propias de un pregrado o de un grupo de pregrados). Una distinción que se ha vuelto tradicional desde el proyecto Tuning para Europa.
En el Saber Pro, las competencias genéricas se evalúan en todos los estudiantes de la educación superior, independientemente del pregrado en el cual se encuentren inscritos. Esta evaluación se realiza a través de cinco módulos: Lectura Crítica, Razonamiento Cuantitativo, Comunicación Escrita, Competencias Ciudadanas e Inglés. Además, los estudiantes de economía son evaluados en una competencia específica en análisis económico, por medio del Módulo de Análisis Económico, en adelante MAE. Esta prueba se compone de un cuestionario de 50 preguntas de selección múltiple con cuatro opciones de respuesta y una única respuesta correcta, que cada estudiante responde en un tiempo máximo de 90 minutos.
Este artículo presenta la base metodológica del MAE. El marco de referencia de esta prueba se construyó siguiendo el Diseño Centrado en Evidencias propuesto por Robert Mislevy. El DCE es una alternativa a la famosa taxonomía de Bloom, la cual se utiliza en el Test of Understanding of College Economics (TUCE) para Estados Unidos (Walstad y Rebeck, 2008). A diferencia de la taxonomía de Bloom, el DCE establece una metodología que transforma una categoría cognitiva inobservable en un conjunto de categorías cognitivas observables y, por tanto, evaluables.
Basado en la experiencia colombiana con la aplicación del MAE, se espera que este artículo sea útil para orientar el diseño de evaluaciones basadas en competencias en economía en otros países.
La evaluación basada el Diseño Centrado en Evidencias
El Diseño Centrado en Evidencias, en adelante DCE, es la estructura formal que se utiliza como referente metodológico en la concepción del examen Saber Pro. En el DCE, una evaluación se construye siguiendo un razonamiento probatorio compuesto por los cinco estratos presentados en la Tabla 1. Al respecto, Mislevy, Almond y Lukas (2003:20) 2 señalan que:
“EL DCE se basa en tres premisas: (1) una evaluación debe basarse en los conocimientos importantes en el ámbito de interés y en la comprensión de cómo se adquieren y se utilizan esos conocimientos; (2) una cadena de razonamientos que van desde lo que los participantes dicen y hacen en las evaluaciones, hasta las inferencias sobre lo que saben, pueden hacer o deberían hacer. Se trata de una cadena basada en el principio del razonamiento probatorio; (3) el propósito de la evaluación debe ser la fuerza motriz que orienta su diseño, reflejando también las limitaciones, los recursos y las condiciones de utilización”.
Tabla 1 Estratos del DCE
| Estrato | |
|---|---|
| Análisis del dominio | Identificar y seleccionar la información sobre el ámbito de interés |
| Modelación del dominio | Construir el objeto de evaluación a partir de determinados aspectos del dominio |
| Marco conceptual de evaluación | Presenta los detalles operativos de la evaluación y contiene muchas de las herramientas del DCE:
|
| Ejecución de la evaluación | Se refiere al montaje de los cuestionarios de preguntas o ítems que componen la prueba |
| Entrega de los resultados de la evaluación | Se refiere a la administración y asignación de puntuajes |
En consecuencia, el DCE es un proceso complejo de diseño de evaluaciones con interrelaciones entre varios estratos, los cuales permiten inferir afirmaciones de las competencias de los estudiantes, con el fin de deducir evidencias sobre lo que ellos saben o pueden hacer en diferentes escenarios. A continuación, se revisa la aplicación de los tres últimos estratos del DCE en el MAE.
El Marco Conceptual de Evaluación
El Marco Conceptual de Evaluación, en adelante CAF (sigla en inglés de la expresión Conceptual Assessment Framework), contiene muchas de herramientas del DCE. En particular, “El nivel CAF expresa el objeto de evaluación en términos operativos, orientado para generar tareas y procesos asociados que informan sobre las inferencias objetivo de las competencias del estudiante” (Riconscente et al., 2015:52). El CAF se compone de tres partes: el Modelo del Estudiante, el Modelo de la Evidencia y el Modelo de la Tarea. El MAE opera una adaptación del CAF introduciendo un modelo adicional: el Modelo de la Afirmación, que es intermedio a los Modelos del Estudiante y de la Evidencia.
El Modelo del Estudiante
El Modelo de Estudiante especifica el objeto de la evaluación. En el marco de referencia del MAE (ICFES, 2016), este modelo se define por tres aspectos. En primer lugar, el grupo de referencia (es decir, la población objetivo) correspondiente a los estudiantes del pregrado de economía, pero también incluye a los estudiantes de los pregrados de economía y finanzas internacionales y de economía y negocios internacionales. En segundo lugar, los conocimientos se clasifican en los cuatro campos conceptuales propios de la economía: estadística y econometría, macroeconomía, microeconomía y pensamiento económico e historia económica. En tercer lugar, el desempeño profesional del economista se entiende como una tarea práctica, por lo que se relaciona con la competencia que se busca evaluar. Bajo estas consideraciones, el Modelo del Estudiante definido por el MAE es3:
El análisis económico es la competencia para comprender un fenómeno económico en un contexto específico mediante el planteamiento de problemas y soluciones que impliquen el uso de conceptos, teorías y herramientas cuantitativas de la economía.
Al respecto es necesario hacer dos observaciones. Por un lado, “comprender” es un verbo inobservable y, por tanto, no es evaluable directamente, por lo que la competencia en análisis económico es una variable latente o inobservable. Según Biggs y Tang (2007:74-76), “comprender” es el proceso cognitivo más importante de la educación superior. Por otro lado, el Modelo del Estudiante implica conocimientos económicos. En particular, los tres ámbitos conceptuales -conceptos económicos, teorías económicas y herramientas cuantitativas- están directamente relacionados con los cuatro campos conceptuales de la economía, como se muestra en la Tabla 2.
Tabla 2 Conocimientos: relación entre ámbitos conceptuales y campos conceptuales en economía
| Estadística y Econometría | Macroeconomía | Microeconomía | Pensamiento económico e historia económica | |
|---|---|---|---|---|
| Conceptos económicos | • | • | • | |
| Teorías económicas | • | • | • | |
| Herramientas cuantitativas | • | • | • |
Por último, la competencia en análisis económico se refiere a la capacidad del estudiante para aplicar específicamente los conocimientos económicos.
El Modelo de la Afirmación
Como se dijo arriba, este modelo no existe en el CAF. Sin embargo, en la prueba Saber Pro este modelo se crea como un estrato intermedio que ayuda a desagregar el Modelo del Estudiante. Según el ICFES (2018a), el Modelo de la Afirmación es todo lo que es posible decir sobre las habilidades y las destrezas del evaluado en alineación con los conocimientos. En esta perspectiva, el Modelo del Estudiante del MAE se desglosa en tres habilidades y destrezas inobservables de acuerdo con los tres ámbitos conceptuales: 1) comprender los conceptos económicos asociados a un fenómeno económico, 2) comprender las teorías económicas que explican un fenómeno económico, y 3) comprender las diferentes herramientas cuantitativas que permiten plantear un problema económico y su solución.
El Modelo de la Evidencia
Este modelo debe aportar pruebas de que los evaluados poseen efectivamente las habilidades y destrezas. Según el CAF, “los Modelos de la Evidencia proporcionan instrucciones detalladas sobre cómo debemos especificar nuestra información sobre las variables consignadas en el Modelo del Estudiante […]. Un modelo de la evidencia contiene dos partes que desempeñan papeles distintos en el objeto de evaluación” (Mislev et al., 2003:7): las reglas de evidencia y el modelo de medición.
Reglas de evidencia
Las reglas de evidencia son proposiciones que especifican el Modelo de la Afirmación, es decir, las habilidades y destrezas; y se redactan mediante verbos que traducen procesos mentales observables en el evaluado. El MAE establece que los verbos que satisfacen esta característica son: seleccionar, aplicar, interpretar y contrastar. En la Tabla 3 se relacionan las reglas de evidencia con sus respectivas afirmaciones y su alienación con los conocimientos.
Tabla 3 Conocimientos, habilidades y destrezas
| Conocimientos (ámbitos conceptuales) | Modelo de afirmación o afirmación | Reglas de evidencia o evidencia |
|---|---|---|
| Conceptos económicos | Comprender los conceptos económicos asociados a un fenómeno económico | 1.1. Seleccionar conceptos para la explicación de un fenómeno económico |
| 1.2. Aplicar conceptos para la explicación de un fenómeno económico | ||
| Teorías económicas | Comprender las teorías económicas que explican un fenómeno económico | 2.1. Interpretar las teorías y modelos que explican un fenómeno económico |
| 2.2. Contrastar teorías y modelos para interpretar los fenómenos económicos | ||
| Herramientas cuantitativas | Comprender las diferentes herramientas cuantitativas que permiten plantear un problema económico y su solución | 3.1. Aplicar las herramientas cuantitativas que permiten establecer relaciones entre variables económicas |
| 3.2. Interpretar los resultados cuantitativos obtenidos de los estudios económicos |
Modelo de medición
Este modelo establece la forma de puntuar las preguntas o ítems que se construyen a partir de la regla de evidencia. De manera general, los puntajes miden el nivel de logro o de desempeño del evaluado respecto a los conocimientos, habilidades y destrezas, en adelante KSA (sigla en inglés de la expresión Knowledge/Skills/Abilities). Para obtener un puntaje se requiere utilizar un modelo estadístico, por ejemplo, uno de los que componen la Teoría de Respuesta al Ítem (TRI). Esta teoría permite tener en cuenta las características psicométricas contenidas en los ítems y establecer una relación probabilística con los KSA, los cuales constituyen una variable latente, ya que no son aspectos que se pueden medir directamente y además no tienen una escala de medida definida de forma única (ICFES, 2018b).
En el caso del MAE, el objetivo es medir el nivel de desempeño de los KSA considerados en la Tabla 3, basándose en las respuestas dadas a los ítems y sus características, denominadas parámetros. El MAE está compuesto por un cuestionario de 50 ítems independientes y cada uno está relacionado con una evidencia, es decir, una habilidad y destreza y a su vez con un conocimiento (el ámbito conceptual). Cada ítem se construye siguiendo la metodología de la selección múltiple, es decir que tienen un enunciado (que presenta una situación problémica o contexto), la formulación de una tarea de evaluación (lo que se pide al estudiante que haga), y cuatro opciones de respuesta, de las cuales solo una es la correcta. En estos términos, cada ítem tiene una respuesta dicotómica: correcta o incorrecta4.
En el MAE se utiliza un modelo logístico con tres parámetros o modelo 3PL: la dificultad del ítem, la discriminación del evaluado y la pseudo-adivinación. El parámetro de dificultad establece que cuanto más difícil es un ítem, mayor debe ser el nivel de desempeño del evaluado en los KSA. El parámetro de discriminación expresa la capacidad del ítem para diferenciar a los evaluados en función de los KSA. Por último, la pseudo-adivinación expresa la posibilidad de que un individuo adivine la respuesta correcta del ítem. Estos parámetros se calibran a partir de aplicaciones previas de la prueba o durante el mismo proceso, maximizando la función de verosimilitud de los datos, incluyendo respuestas correctas e incorrectas5.
El Modelo de la Tarea
Es la instrucción que adoptan los constructores de los ítems. Una tarea es un ejemplo de una situación observable sobre la evidencia y, por lo tanto, sobre la afirmación. Es “un escenario, o entorno, generalmente problemático, que requiere una solución a través de una acción o producto observable que manifiesta la posesión de una competencia que pretende ser medida” (ICFES, 2018a:12). Las tareas también se redactan usando verbos que traducen procesos mentales observables y, por lo tanto, directamente evaluables. Para el MAE, se definieron dieciséis tareas para las evidencias de la Tabla 3, distribuidas de la siguiente manera: dos tareas para la evidencia 1.1; tres tareas para la evidencia 1.2; dos tareas para la evidencia 2.1; dos tareas para la evidencia 2.2; cuatro tareas para la evidencia 3.1; y tres tareas para la evidencia 3.2. Dado que el ICFES no divulga públicamente las tareas, en la Tabla 4 se presenta un ejemplo hipotético del modelo de la tarea.
Aplicación de la evaluación
La aplicación de la evaluación describe cómo se articulan los modelos del Estudiante, de la Afirmación, de la Evidencia y de la Tarea. Esto se consigue mediante la construcción de ítems referidos únicamente a los KSA. El proceso de elaboración de los ítems para el MAE es el siguiente: el ICFES contrata a profesores expertos en los cuatro campos conceptuales de la economía (véase la Tabla 2). Adoptando las tareas, cada profesor debe construir un conjunto de ítems en la técnica de selección múltiple. Además, se les pide a los profesores redactar ítems de todos los niveles de dificultad (alta, media, baja), la cual se establece a juicio subjetivo del propio profesor. A continuación, se presentan algunos ejemplos de ítems siguiendo esta instrucción.
Evidencia 1.1. Seleccionar conceptos para la explicación de un fenómeno económico.
En un país, el índice del coste de vida aumentó un 3% en un año. El concepto económico asociado a este fenómeno económico es:
Evidencia 2.1. Interpretar las teorías y modelos que explican un fenómeno económico.
Entre 2001 y 2014, Colombia consiguió aumentar su tasa de ahorro del 14% al 19% del producto interno bruto (PIB). Si la economía colombiana hubiera operado durante ese periodo según los supuestos fundamentales de la teoría neoclásica del crecimiento (rendimientos constantes a escala, productividad marginal del capital positiva y decreciente y ausencia de progreso tecnológico), el aumento de la tasa de ahorro debería haber generado en el país:
A. un aumento del nivel y de la tasa de crecimiento a largo plazo de la producción per cápita
B. una disminución del nivel y de la tasa de crecimiento a largo plazo del capital per cápita
C. un aumento del nivel de producción per cápita sin afectar a su tasa de crecimiento a largo plazo*
D. una disminución de la tasa de crecimiento de la producción per cápita, pero sólo temporalmente
Evidencia 3.1. Aplicar las herramientas cuantitativas que permiten establecer relaciones entre variables económicas.
El Ministerio de Trabajo busca promover una política de creación de nuevos empleos en cuatro departamentos colombianos afectados por el conflicto interno: Bolívar, Cauca, Norte de Santander y Putumayo. Esta política establece que la inversión pública debe priorizar el departamento con mayor tasa de variación porcentual en su tasa de desempleo entre 2014 y 2015. La población económicamente activa (PEA) y el número de desempleados (U) para estos departamentos se muestran en la siguiente tabla:
| Departamento | 2014 | 2015 | ||
|---|---|---|---|---|
| PEA | U | PEA | U | |
| Bolivar | 1200 | 120 | 1500 | 180 |
| Cauca | 800 | 200 | 850 | 255 |
| Norte de Santander | 1000 | 300 | 1300 | 520 |
| Putumayo | 200 | 70 | 200 | 70 |
El departamento más beneficiado y el menos beneficiado por la política social, respectivamente, es:
Evidencia 3.2. Interpretar los resultados cuantitativos obtenidos de los estudios económicos.
Según el Departamento Administrativo Nacional de Estadística, la carne de cerdo es el alimento de la canasta básica más consumido en el territorio nacional. Dada su importancia, se realizó un estudio, a través de un modelo de regresión lineal simple, para estimar el efecto de las variaciones en los precios de la carne de cerdo sobre su demanda. De este estudio se obtuvo la siguiente estimación:
Donde Y es la demanda de carne de cerdo en kilogramos y X es el precio de un kilogramo de carne de cerdo. De estos resultados se deduce que la demanda de carne de cerdo es:
Una vez los ítems han sido revisados, corregidos y validados, pasan a un “banco de ítems” del MAE. Para el montaje de la prueba, el ICFES conforma un cuestionario con sólo 50 ítems de este banco en función de su diversidad, tendiendo en cuenta su dificultad subjetiva y los KSA.
Entrega de los resultados de la evaluación
Para cada módulo del examen Saber Pro, los resultados de cada estudiante se califican en una escala de 0 a 300 puntos. Considerando el modelo 3PL, la calificación proviene de estimar la habilidad del estudiante que maximiza la función de verosimilitud de las respuestas a los ítems (correctos e incorrectos). Por lo tanto, se sabe que los ítems con mayores niveles de dificultad estadística tendrán un mayor peso en el puntaje.
Para el MAE se establecieron cuatro niveles de desempeño de acuerdo con los puntajes obtenidos en la prueba, con el fin de proporcionar a los evaluados una descripción cualitativa de las competencias en cada prueba. Estos niveles se caracterizan por una complejidad creciente, es decir, mientras que el nivel 4 es el más complejo, el nivel 1 es el menos complejo. Además, el evaluado que alcanza un determinado nivel demuestra competencias en todos los niveles anteriores. El estudiante que se ubica en el nivel 1 tiene un desempeño insuficiente en la competencia en análisis económico, mientras que el estudiante que se ubica en el nivel 4 alcanza el máximo desempeño en la competencia en análisis económico.
Los cuatro niveles de desempeño se fijaron utilizando el método Bookmark, el cual implica, primero, una organización jerárquica de los ítems por su nivel de dificultad estadística y, luego, donde se constata un salto estadístico, se pone una marca que debe ser validada por un panel de expertos, con el fin de darle una interpretación cualitativa. Las marcas finales constituyen los niveles de desempeño, cuya interpretación representa un descriptor general de las competencias demostradas por los estudiantes en ese nivel. La Tabla 5 especifica lo que un estudiante “puede hacer” en análisis económico para cada nivel.
Tabla 5 Niveles de desempeño del MAE
| Nivel | Puntajes en el MAE | Descriptor general |
|---|---|---|
| 1 | 0-126 | El estudiante podría reconocer conceptos e indicadores económicos de uso cotidiano, así como algunas generalidades de modelos y teorías económicas. |
| 2 | 127-154 | Además de lo descrito en el nivel anterior, el estudiante identifica conceptos, teorías y modelos para la explicación de los fenómenos económicos. |
| 3 | 155-203 | Además de lo descrito en los niveles anteriores, el estudiante comprende los conceptos y teorías económicas, así como sus implicaciones y es capaz de contrastarlas para decidir su aplicación en un contexto concreto. Adicionalmente, el estudiante muestra capacidad analítica en el uso de herramientas cuantitativas para la especificación, estimación y validación de modelos econométricos. |
| 4 | 204-300 | Además de lo descrito en los niveles anteriores, el estudiante demuestra competencia en la comprensión y selección de conceptos, teorías y modelos relevantes para interpretar y explicar fenómenos económicos. Además, el estudiante plantea modelos matemáticos y econométricos, y formula, contrasta e interpreta resultados de hipótesis estadísticas. |
Cada estudiante puede descargar su informe de resultados de la página web del ICFES, en el que aparecerá el puntaje obtenido y el nivel de desempeño correspondiente. Así mismo, las universidades pueden descargar los resultados de sus estudiantes.
Algunos resultados del MAE en 2018
Hasta 2018, el MAE se había aplicado en ocho ocasiones (2012, 2013-1, 2013-2, 2014, 2015, 2016, 2017, 2018). En 2018, la prueba fue realizada por 3.926 estudiantes del pregrado de economía y pregrados afines (fuera del grupo de referencia)6. El puntaje promedio fue de 132,70 con una desviación típica de 30,10. Como se muestra en la Tabla 6, el 77,40% de los evaluados alcanzaron los niveles de desempeño 1 y 2. De esos estudiantes, aproximadamente el 62% reconoce conceptos e indicadores económicos de uso cotidiano, así como algunas generalidades de modelos y teorías económicas, mientras que el 38% restante, adicional a esas competencias, identifica conceptos, teorías y modelos para la explicación de fenómenos económicos. En contraste, sólo el 2,04% de los evaluados alcanzaron el nivel 4 que significa que reconocen, identifican, comprenden y seleccionan conceptos, teorías y modelos para interpretar fenómenos económicos; también utilizan herramientas cuantitativas y proponen modelos matemáticos.
Tabla 6 Distribución de frecuencias, MAE 2018
| Nivel de desempeño | Frecuencia | Porcentaje | Acumulado |
|---|---|---|---|
| 1 | 1,881 | 47,92 | 47,92 |
| 2 | 1,157 | 29,48 | 77,40 |
| 3 | 807 | 20,56 | 96,96 |
| 4 | 80 | 2,04 | 100 |
| Total | 3,925 | 100 |
Con los resultados del MAE de 2018 se ha querido evaluar la relación entre el puntaje y algunas características del estudiante y de su entorno familiar, la posibilidad de haber realizado actividades de refuerzo y en qué medida el puntaje está afectado por pertenecer a un pregrado afín. Se espera que el entorno familiar, medido a través de la educación de los padres, tenga un efecto positivo en el puntaje, así como la lectura diaria y las actividades de refuerzo. Así mismo, se espera que los estudiantes que pertenecen a pregrados afines obtengan peores resultados, al igual que los que tienen un empleo. Así pues, nuestro modelo de regresión de los puntajes del MAE adopta la siguiente forma:
Donde age es una variable de la edad del estudiante en años; gender es una variable dummy del género del estudiante (1= mujer, 0= hombre); parents_edu es una dummy (1 = si uno o ambos padres tienen un título universitario o superior, 0 = en caso contrario); stu_work es una dummy (1= para el estudiante que tiene un empleo, 0 = en caso contrario); daily_read es una dummy (1= si el estudiante lee dos o más horas al día, 0 = en caso contrario); reinf_act es una dummy (1= si el estudiante realizó alguna actividad de refuerzo para el examen, 0 = en caso contrario); pract_test es una dummy (1= si el estudiante realizó un examen práctico, 0 = en caso contrario); related_studies es una dummy (1 = si el estudiante pertenece a cualquier pregrado afín; 0= si el estudiante pertenece a un pregrado de economía); α es un término constante, δi son efectos fijos por institución educativa y εi es un término de error.
La Figura 1 presenta la distribución de densidad de los puntajes del MAE. Como se observa, los datos no parecen distribuirse como una normal, lo que se corrobora a partir de una prueba de asimetría y curtosis. Así, para la estimación del modelo econométrico utilizamos un Modelo Lineal Generalizado (GLM) que extiende la regresión lineal a modelos con una respuesta no gaussiana.
Basándonos en el análisis gráfico, se optó por evaluar dos familias distribucionales, la gaussiana inversa y la gamma. Finalmente, elegimos el modelo que utilizaba la distribución gamma porque mostraba el AIC (criterio de información de Akaike) y el BIC (criterio de información bayesiano) más bajos.
Para examinar la bondad de ajuste del modelo, se presenta una prueba de enlace para la especificación del modelo y una estimación de la densidad del Kernel para los residuos (Figura 2). Como se puede observar, el modelo supera la prueba de especificación y también cumple con el requisito de que los residuos se distribuyan aproximadamente de forma normal. Los resultados de la estimación se presentan en la Tabla 7.
Tabla 7 Resultados de la estimación
| Variable dependiente: Puntajes en el MAE | Coeficiente (error estándar) |
|---|---|
| -.583*** (.654) |
|
| -8.42*** (.070) |
|
| 2.45*** (.737) |
|
| -1.65** (.715) |
|
| 2.76* (1.64) |
|
| 1.87 (2.08) |
|
| p | -3.26 (2.03) |
| -19.4*** (1.39) |
|
| Link test para la especificación del modelo | |
| _hat | .726 (4.01) |
| _hatsq | .001 (1.60) |
Niveles de significancia: * p<.1, ** p<.05, *** p<.01
Según los resultados, la edad y el género tienen un efecto negativo en el puntaje, al igual que el hecho de que el estudiante tenga un empleo y pertenezca a un pregrado afín. Este resultado era esperado en el sentido de que la prueba está diseñada para evaluar competencias específicas que se fomentan en un pregrado de economía. Aunque la dedicación a la lectura diaria de dos o más horas tiene un efecto positivo, sólo es significativa al 10%. Además, el entorno familiar, concretamente la educación de los padres, tiene un efecto positivo sobre el desempeño de los estudiantes en la prueba. Por último, las variables de actividades de refuerzo y prueba de práctica no resultaron estadísticamente significativas.
Finalmente, se explora si hubo alguna relación entre los puntajes del MAE y los puntajes en los módulos de Razonamiento Cuantitativo y Lectura Crítica, que son dos pruebas que forman parte de la evaluación de competencias genéricas del examen Saber Pro. La hipótesis adoptada es que los estudiantes que tienen puntajes más altos en estos dos módulos deberían desempeñarse mejor en el MAE. Como se puede ver en la Figura 3, la relación es muy positiva, lo que muestra que promover el razonamiento cuantitativo y la lectura crítica podría mejorar el desempeño de los estudiantes en el MAE.
Conclusiones
Una de las formas de mejorar la calidad de la enseñanza de la economía es poder identificar y medir lo que los estudiantes pueden hacer con lo que han aprendido. Utilizando una adaptación del DCE, el MAE establece un conjunto específico de conocimientos, habilidades y destrezas que definen una competencia en análisis económico. Esta competencia es una variable latente medida a través de un modelo estadístico que forma parte de la TRI.
Con los resultados del MAE para 2018, se evaluó la relación entre el puntaje y algunas características del estudiante y de su entorno familiar, la posibilidad de haber realizado actividades de refuerzo y cómo pertenecer a un pregrado afín afecta el puntaje. Según los resultados, la edad y el género tienen un efecto negativo en el puntaje, al igual que el hecho de que un estudiante tenga un empleo y pertenezca a un pregrado afín. También se encontró que promover las competencias en razonamiento cuantitativo y la lectura crítica podría llevar a una mejora en el desempeño de los estudiantes en el MAE.
Aunque el MAE prueba podría servir como un posible predictor del desempeño profesional futuro de un graduado en el mercado laboral, todavía hay algunos elementos que deben considerarse. Posiblemente, una evaluación por ítems de selección múltiple no sea la técnica más idónea. Sin embargo, es la técnica más común para evaluar grandes poblaciones. Además, hay una falta de claridad en la distribución de los resultados por niveles de desempeño, donde por ejemplo un estudiante que obtiene cero puntos se ubica en el nivel 1. Finalmente, dado que el MAE está diseñado para evaluar la competencia específica en análisis económico, la inclusión de estudiantes de los pregrados afines debería reconsiderarse.
