La estandarización como base del proceso evaluativo

Las mejores prácticas de evaluación suponen un requisito para cualquier institución que busca fomentar la excelencia en sus estudiantes (^{Al-Kadri, 2015}). El modo en que los estudiantes son evaluados tiene una influencia importante en su aprendizaje (^{Al-Kadri, 2015}; ^{Askham, 1997}). Según ^{Struyven, Dochy y Janssens (2005)}, los estudiantes perciben un método de evaluación como justo cuando: (i) se relaciona con tareas auténticas; (ii) hace demandas razonables a los alumnos en términos de carga de trabajo; (iii) desafía a los estudiantes a usar su conocimiento y entendimiento en contextos realistas; (iv) enfatiza la importancia de que una serie de habilidades tiene que ser desarrollada; y (v) conduce a efectos a largo tiempo. No obstante, la subjetividad inherente de la evaluación ha llevado a incorporar medidas objetivas en métodos más establecidos de evaluación académica.

Las técnicas de evaluación de la enseñanza incluyen ensayos, resolución de problemas, preguntas de opción múltiple, exámenes orales, trabajo en equipo, casos, exposiciones y portafolios e investigación (^{Chamorro-Premuzic, Furnham, Dissou y Heaven, 2005}; ^{Darling-Hammond y Snyder, 2000}; ^{Davidson, 2009}). No obstante, la predicción de logro educativo ha sido tradicionalmente asociado con las habilidades cognitivas y exámenes de máximo desempeño (^{Chamorro-Premuzic et al., 2005}).

La naturaleza y los contenidos de los exámenes determinan las actividades de aprendizaje de los estudiantes en gran medida (^{Al-Kadri, 2015}). De acuerdo con algunos autores (^{Askham, 1997}; ^{Heitink et al., 2016}), la evaluación puede ser clasificada en formativa y sumativa. Mientras que la evaluación formativa incluye retroalimentación para el alumno que, posteriormente, le ayudará a mejorar su desempeño, la evaluación sumativa produce una medida que solo describe lo que se ha logrado. Si bien puede suponerse que un examen, especialmente al final de un período de evaluación, no tiene una función formativa, no significa que esté mal, sino que no hay tiempo para la retroalimentación ni para que el alumno aprenda de sus errores.

En el ambiente académico existen diversas formas de evaluar a los estudiantes. La Organización para la Cooperación y el Desarrollo Económicos (^{OECD, 2013}) propone, en la guía del profesorado TALIS, algunas prácticas de evaluación: (i) observar a los estudiantes cuando trabajan en sus tareas particulares y proveer retroalimentación inmediata; (ii) desarrollar y dirigir una evaluación propia; (iii), proveer retroalimentación por escrito del trabajo del estudiante además de la nota numérica; (iv) dejar que los estudiantes, de forma individual, respondan preguntas frente a la clase; (v) dejar que los estudiantes evalúen su propio progreso; y (vi) aplicar una prueba estandarizada.

Una modalidad en la aplicación de exámenes como medio de evaluación está representada por los exámenes estandarizados. La estandarización se refiere a las reglas que involucran conceptos tales como similitud, uniformidad y continuidad de comportamientos y acciones (^{David y Rothwell, 1996}). En otras palabras, la estandarización constituye una herramienta que disminuye la variabilidad de resultados (^{Santos, Torres Formoso y Tookey, 2002}), incrementa la productividad y la ventaja competitiva (^{Polesie, 2013}) y fomenta la mejora continua basada en la experiencia (^{David y Rothwell, 1996}).

La estandarización y su relación con la predicción del desempeño académico

Los exámenes estandarizados son establecidos, calificados e interpretados de una forma generalizada, por ejemplo, con las mismas direcciones, límite de tiempo y evaluación para todos los sustentantes (^{Crescentini y Zanolla, 2014}). De forma general, los exámenes estandarizados son utilizados para pronosticar cuáles estudiantes serán los más exitosos y obtendrán el mayor beneficio de la educación superior en distintas disciplinas (^{Kuncel y Hezlett, 2007}). La mayoría de los exámenes estandarizados evalúan una combinación de habilidades verbales, cuantitativas, de escritura y analíticas sobre un conocimiento específico; su objetivo es medir habilidades y conocimiento relevante sobre determinados aspectos con el fin de dominar una disciplina particular (^{Kuncel y Hezlett, 2007}).

Las pruebas estandarizadas se utilizan en las reformas para mejorar la calidad de la educación (^{Casas y Meaghan, 2001}; ^{Herman y Golan, 1993}; ^{Moses y Nanna, 2007}). Con base en los resultados de las pruebas estandarizadas, los políticos normalmente hacen comparaciones entre estudiantes, profesores, escuelas, consejos administrativos de escuelas, territorios y países (^{Casas y Meaghan, 2001}). Los resultados de la literatura indican que los exámenes estandarizados son útiles predictores del desempeño subsecuente de un alumno, pronostican de forma más exacta, no muestran sesgos y no son influenciados por la asesoría del docente. Específicamente, de acuerdo con el estudio de ^{Kuncel y Hezlett (2007)} quienes recogieron y sintetizaron trabajos relacionados con exámenes estandarizados, existen cuatro hallazgos consistentes sobre dicho tipo de pruebas: (i) son efectivos predictores del desempeño en una escuela; (ii) pronostican resultados académicos importantes más allá de las notas obtenidas en la escuela; (iii) predicen más medidas sobre el éxito futuro del estudiante al momento de la admisión que las calificaciones previas de la institución educativa de origen; y (iv) produce predictores más exactos del éxito con base en la combinación de pruebas y notas.

Para ^{Muñoz-Comonfort, Leenen y Fortoul-van der Goes (2014)} los exámenes estandarizados tienen la ventaja de realizar predicciones y proponer medidas remediales tempranas para los estudiantes. Asimismo, según ^{Herman y Golan (1993)}, dichos exámenes permiten que los profesores de escuelas donde es evidente una mejora de los resultados reporten una mayor innovación instruccional, se sientan parte de la toma de decisiones escolares, desarrollen mayores expectativas del desempeño de sus estudiantes y se sientan más orgullosos de su trabajo.

Por su parte, mientras que ^{Linn (2000)} afirma que la variedad de tipo de pruebas puede ser utilizada para mejorar la educación, ^{Casas y Meaghan (2001)} enfatizan la igualdad de oportunidades para todos los estudiantes, la disponibilidad y la transparencia de la información para los sustentantes, el bajo costo y la ideología competitiva del mercado. Por último, ^{Crescentini y Zanolla (2014)} consideran los exámenes estandarizados como una herramienta objetiva para medir los logros de los estudiantes que consume poco tiempo de clases y produce información útil para maestros, administradores de escuelas y emisores de políticas públicas de educación.

Sin embargo, existe una controversia acerca de si los exámenes estandarizados efectivamente predicen el desempeño de los estudiantes (^{Kuncel y Hezlett, 2007}). Si bien los exámenes estandarizados ofrecen información útil para predecir el desempeño subsecuente de los estudiantes, la motivación y el interés a menudo pueden inferirse por medio de medidas no estandarizadas como cartas de recomendación, juicios personales y entrevistas (^{Kuncel y Hezlett, 2007}). Por ejemplo, los resultados del estudio de ^{Debicki, Kellermanns, Barnett, Pearson y Pearson (2016)} señalan que los estudiantes que están más motivados, que son alabados de forma positiva y que se comprometen con comportamientos que les permiten probar que son mejores que otros tienden a alcanzar sus metas y, como resultado, mejorar su desempeño. Algunos argumentos señalan que el uso de estas pruebas tiene efectos no deseados en la enseñanza y el aprendizaje porque conducen a una visión corta del currículum y a enfatizar habilidades básicas (^{Linn, 2000}). Otra preocupación es que los exámenes estandarizados pueden sesgarse contra ciertos grupos que presentan características tales como género o raza (^{Kuncel y Hezlett, 2007}).

Finalmente, ^{Casas y Meaghan (2001)} identifican las siguientes desventajas de los exámenes estandarizados: (i) desvían tiempo valioso de instrucción por tiempo invertido en preparar el examen; (ii) se diseñan con el fin de evaluar respuestas de temas específicos dejando fuera otros relevantes; (iii) con el fin de obtener altas calificaciones, se descuidan otras habilidades cognitivas y de resolución de problemas; (iv) el material evaluado puede ser de relevancia limitada; (v) no son adecuados para todos los estudiantes; (vi) el formato y los procesos de evaluación pueden contraponerse a la forma en que los estudiantes interactúan de forma colaborativa en el salón de clases; (vii) la confiabilidad es limitada, carece de validez y de justicia respecto a factores como la raza, el género y el ingreso familiar; (viii), la creatividad y la flexibilidad del maestro puede ser reducida para enfocarse en determinados aspectos; y (ix) los resultados pueden ser exagerados o dar una falsa impresión del logro de los estudiantes.

Con base en las ventajas y las desventajas del examen estandarizado, ^{Linn (2000)} propone no poner todo el peso de la nota en un solo examen, sino utilizar indicadores múltiples para incrementar la validez de inferencias sobre los logros. Siguiendo esta línea de pensamiento, de acuerdo con ^{Crescentini y Zanolla (2014)} los exámenes estandarizados no deben reemplazar la evaluación tradicional utilizada por los maestros en sus propios salones de clases, fundamentada en una mezcla de diferentes tipos de evaluación y considerando las características de cada estudiante. En síntesis, ^{Herman y Golan (1993)} señalan que si los resultados del examen representan aprendizaje significativo, entonces las pruebas pueden contribuir al logro de los objetivos, pero si los resultados no representan el aprendizaje, dicha práctica puede ser considerada como una herramienta equivocada.

Análisis descriptivo

Como puede observarse en la Tabla 1, el 58.8% de los alumnos pertenecen a la carrera de administración, mientras que el 41.2% forman parte de la licenciatura en contaduría. Dado que la población escolar a junio de 2016 de toda la facultad es de 3,701 alumnos, 37.0% contadores y 63.0% administradores, se puede afirmar que los resultados del estudio son representativos. Por su parte, el 37.0% de la muestra bajo estudio representa al género masculino, mientras que el 63.0% son mujeres. En cuanto a la representatividad del estudio por sexo, considerando la población de 3,701 alumnos, el sexo femenino constituye el 57.0%, por lo que se puede afirmar que están ligeramente más representadas las mujeres en la muestra, pero cercanas a las proporciones de la población.

Tabla 1 Distribución de la muestra por carrera y género. 

En relación al desempeño de los estudiantes en la prueba, la tabla 2 muestra que mientras que los administradores obtuvieron un promedio general de 5.09, los alumnos de contaduría alcanzaron una media de 6.23. En general para ambas carreras, el promedio se establece en 5.59. Considerando que la escuela de negocios maneja un estándar de 8.0 como representación de un buen promedio, se observa que las dos carreras están por debajo del mismo.

Tabla 2 Estadísticos descriptivos del desempeño académico con base en el promedio general. 

Análisis univariante

H ₁ : Existen diferencias significativas en el aprendizaje de los alumnos debido a la influencia de los profesores que les impartieron el curso.

Evaluar el desempeño de los profesores es importante para el aprendizaje de los estudiantes (^{Urrutia-Aguilar, Sánchez-Mendiola, Guevara-Guzmán y Martínez-González, 2014}). En este sentido, se llevó a cabo un análisis comparativo por profesores, independientemente de la carrera, el sexo y otros factores, utilizando la técnica Anova.

Si bien la filosofía de un examen departamental considera la homogeneización de los contenidos impartidos por los profesores, los resultados indican que sí hay diferencia significativa (0.000) entre la impartición de clase de determinados profesores y el desempeño académico (Tabla 3). En otras palabras, el desempeño académico de los alumnos depende del profesor que les impartió el curso, lo cual se reafirma con las diferencias de medias entre grupos por profesor que varían desde un 7.0393 hasta un 4.0489 (tabla 4).

Tabla 3 Prueba de Anova: relación entre el profesor y el desempeño académico. 

Tabla 4 Promedio general del desempeño académico por profesor. 

Así, la principal variable que parece influir en los resultados del examen es el maestro, es decir, las diferencias pedagógicas, psicológicas y profesionales de los profesores influyen en el desempeño académico. Esta variabilidad significativa del análisis Anova revela dos aspectos: por un lado, enfatiza la necesidad de una selección adecuada de los maestros y, por otro lado, indica que se deben hacer mayores esfuerzos para la estandarización de la evaluación y en general del proceso pedagógico aplicado en la escuela de negocios. Cabe señalar que la calificación promedio se obtuvo a partir de la aplicación de un examen estandarizado de la institución, midiendo objetivamente el aprendizaje de los alumnos sin intervención del profesor en su aplicación, aunque sí en la elaboración y en el diseño del mismo.

H ₂ : El horario influye en los resultados de aprendizaje de contabilidad, es decir, hay una relación entre el horario y los resultados.

Considerando el horario en el que se imparte la materia como una variable que influye en el desempeño académico, los resultados indican que a medida que pasa el tiempo (correlación de -0.35, es decir, influencia inversa), disminuye el promedio general (tabla 5). La diferencia de calificaciones según el horario de la clase es significativa al nivel de 0.000. (tabla 6). Concretamente, conforme transcurre el día, disminuye el rendimiento medido por el promedio de los alumnos.

Tabla 5 Media de la relación entre el horario y el desempeño académico. 

Tabla 6 Prueba de Anova: asociación entre el horario y el promedio general. 

H ₃ : Los estudiantes que cursaron un bachillerato de tres años alcanzan un mayor desempeño académico en contabilidad.

La formación académica de la preparatoria es un determinante para la admisión y el éxito de los alumnos (^{Astin y Oseguera, 2012}). El rendimiento académico de los estudiantes se asocia con varios factores, como por ejemplo, los conocimientos previos de ingreso a la licenciatura (^{Muñoz-Comonfort et al., 2014}). A medida que incrementa la duración de la enseñanza, los alumnos tienden a especializarse en diferentes áreas, tales como socio-administrativo, físico-matemático o químico-biológico. De tal forma, si el estudiante cursó una preparatoria de tres años, implica que tiene más conocimientos previos sobre contabilidad.

Así, mientras que los alumnos que cursaron un bachillerato de dos años alcanzan una media de 5.3088, los estudiantes cuyo bachillerato fue de tres años lograron una desempeño superior de 5.7172. Con base en una prueba de muestras independientes (t de Student) los resultados indican que la diferencia entre los desempeños es significativa (0.029) (tabla 7).

Tabla 7 Prueba de muestras independientes: relación entre duración del bachillerato y el desempeño académico. 

H ₄ : Los estudiantes de contaduría logran un mayor aprendizaje de contabilidad en comparación con los administradores.

En relación al desempeño académico por carrera, se observa una diferencia significativa entre los contadores y los administradores. Mientras que la media del desempeño académico de contadores es de 6.2377, la de administradores es de 5.0941 (tabla 8), con un nivel de significancia de 0.000 de acuerdo con la prueba t para la igualdad de medias.

Tabla 8 Prueba de muestras independientes: relación entre tipo de carrera y el desempeño académico. 

H ₅ : Existe una relación entre el género del alumno y su desempeño académico en el curso de contabilidad.

Por lo que se refiere a la variable género, las medias indican que mientras que los hombres obtienen un promedio general de 5.39 en la prueba departamental, las mujeres alcanzan una media de 5.69 (tabla 9). No obstante, la prueba de muestras independientes indica que el género del alumno no influye en el promedio general, es decir, no hay diferencia significativa (0.517) debido a dicho factor (p > 0.05). Por tanto, la diferencia entre medias no es suficiente para aceptar que el género sea una variable influyente en los resultados.

Tabla 9 Prueba de muestras independientes: asociación entre el género y el desempeño académico. 

H ₆ : Existe una relación entre el tamaño del grupo y el desempeño académico de los alumnos.

Por medio de la prueba de esta hipótesis se busca conocer si el desempeño académico depende del tamaño del grupo. Para tal efecto, por medio de la correlación de Pearson se observa que sí influye el tamaño de forma leve, ya que las dos variables se relacionan solo en un 21.6% siendo significativa esta influencia al nivel de 0.000 (tabla 10).

Tabla 10 Correlación de Pearson: asociación entre el tamaño del grupo y el desempeño académico. 

^**La correlacion es significativa en el nivel 0.01 (bilateral)

H ₇ : La calificación obtenida en el examen de admisión a la escuela de negocios influye en el desempeño académico de los alumnos.

Con base en la hipótesis planteada, se pretende probar si a mayor calificación en el examen de admisión los alumnos obtuvieron un mayor desempeño académico en la prueba estandarizada de contabilidad. Para fundamentar la capacidad del examen de admisión como predictor de los resultados del examen departamental, se correlacionó con la duración del bachillerato que cursaron los alumnos, tanto de manera global como con cada uno de sus componentes.

En la misma línea del estudio realizado por ^{Muñoz-Comonfort et al., (2014)} donde los resultados muestran una correlación entre el promedio de los exámenes departamentales de las asignaturas de primer año y el examen diagnóstico de conocimiento generales. En el análisis realizado se encontró una asociación significativa entre los resultados del examen de admisión y el desempeño académico (0.495) (tabla 11), siendo significativa dicha relación (0.000). Por tanto, dicho predictor es uno de los más altos obtenidos en el análisis, ya que explica en un 50% el resultado del examen departamental. Sin embargo, de acuerdo con ^{Schlesselman y Coleman (2011)}, la confiabilidad de los resultados de una prueba estandarizada para predecir a aquellos que progresaran a través de la carrera o que tendrán bajo desempeño es probabilística, pero no exacta.

Tabla 11 Correlación de Pearson: asociación entre la calificación del examen de admisión y el desempeño académico.  

**La correlacion es significativa en el nivel 0.01 (bilateral)

Análisis multivariable

Por último, se lleva a cabo el análisis multivariable o de regresión múltiple con el fin de considerar el efecto de todas las variables en conjunto sobre la variable dependiente en el modelo bajo estudio. Debido al carácter cualitativo de las variables “profesor”, “duración”, “carrera” y “género”, las mismas fueron transformadas en variables dummy. En las variables dummy, los valores de los coeficientes de regresión no se analizan de forma absoluta sino en comparación con la categoría de respuesta que se pone de referencia. Como consecuencia, en dichas variables se pierde una de las categorías de respuesta al ser codificada artificialmente con el valor de 0.

En primer término se analizó la variable profesor (tabla 12). Como se mencionó anteriormente, una de las respuestas de los maestros se toma como referencia de comparación la cual corresponde a la constante del modelo. De tal modo, el análisis de los demás profesores se va realizando de forma incremental o marginal. En este caso, el profesor N constituye el parámetro de comparación. Así, los resultados indican que los profesores C, F, G, J y M están por debajo del profesor N; en otras palabras, el desempeño de dichos maestros es menor que el del parámetro.

Tabla 12 Regresión múltiple: asociación de las siete variables independientes con el desempeño académico. 

Al observar al profesor D quien presenta el coeficiente no estandarizado más alto (2.323), poca variabilidad y un nivel significativo de 0.000, se infiere que, con base en los resultados del profesor N (parámetro de referencia), el desempeño académico se incrementa en 2.323 puntos de calificación. En este sentido, se deduce que la principal diferencia en los resultados del examen estandarizado la constituye el profesor que imparte la materia. Los maestros D, L, B y A tienen una influencia significativa en el resultado del examen (p < 0.05), estableciendo la diferencia de resultados del desempeño académico de sus grupos de alumnos. Si bien lo anterior puede originarse a partir de la variabilidad de estilos de pedagogía, no deberían existir diferencias significativas entre los maestros debido a que el objetivo de la enseñanza es la estandarización de los conocimientos entre los estudiantes. Asimismo, todos los profesores están obligados a seguir el mismo programa de asignatura con los mismos métodos de evaluación. Con base en dichos resultados, cabe mencionar que no es suficiente con igualar aritméticamente los resultados, sino en obtener un promedio alto con una variabilidad no significativa.

En el análisis aislado llevado a cabo previamente se obtenía un contraste significativo entre los resultados de los contadores y los administradores. Así, al considerar el modelo multivariable se confirma dicha diferencia significativa (0.000) lo cual indica que los alumnos de Contaduría alcanzan un mejor promedio en el examen estandarizado del curso de contabilidad. Cabe señalar que dicho resultado es más conveniente ya que incluye el efecto de las variables en conjunto. En relación al género de los estudiantes y tomando como referencia a los hombres, se observa, con base en los resultados de las mujeres, un coeficiente estandarizado de 0.075 y un nivel de significancia de 0.023, infiriendo la diferencia, aunque menor (7.5%) en el impacto del desempeño académico según el género. En contrapartida, el horario de clases, la duración del bachillerato y el tamaño del grupo presentan bajos niveles de impacto, es decir, dichos predictores no pronostican el desempeño académico de los alumnos en el examen departamental de contabilidad.

Por último, en relación a la calificación del examen de admisión como predictor del desempeño académico, los resultados indican una diferencia significativa (0.000), es decir, los estudiantes que alcanzan los primeros lugares en la prueba de admisión tienden a obtener mejores resultados en el examen departamental. A modo de conclusión, la tabla 13 muestra el resumen de las hipótesis con base en el análisis univariante (suponiendo que las demás variables no afectan al análisis) y el análisis multivariable (detectando el efecto combinado de las variables al mismo tiempo) con su aceptación o rechazo.

Tabla 13 Resumen de hipótesis 

En síntesis, considerando los resultados en los cuales se acepta la hipótesis tanto en el análisis univariante como en el multivariante, es posible decir que el profesor, la carrera y la calificación del examen de admisión son los predictores significativos del desempeño académico del examen estandarizado.