Introducción

La educación superior (ES) es considerada motor fundamental para el desarrollo sostenible. Asimismo, se reconoce como un bien público y como un derecho fundamental (^{UNESCO, 1998}; ^{UNESCO, 2015}). En México, la matrícula de ES ha crecido de manera acelerada, transitó de tener 935 mil estudiantes en 1980 a poco más de 4 millones registrados en licenciatura en 2017 (^{Mendoza, 2018}). En este contexto, la evaluación se ha configurado como una estrategia privilegiada para apoyar el cumplimiento de las metas para garantizar una educación inclusiva, equitativa y de calidad.

Los diversos programas que una institución de educación superior (IES) pone a disposición de los estudiantes para su tránsito en la universidad se concretan en el modelo educativo. Un modelo educativo: “es un esquema teórico que presenta de manera sintética el enfoque educativo de una institución y permite visualizar sus fundamentos, estructura y métodos, y con ello establece las bases para su instrumentación” (^{Fresán, Moreno, Hernández, Fabre et al., 2017:16}). Además, sirve de referencia para todas las funciones que cumple la IES (docencia, investigación, extensión, vinculación y servicios), con el fin de hacer realidad su proyecto educativo (^{Tünnerman, 2008}). Por tanto, el constructo modelo educativo articula, por un lado, el conjunto de programas dirigidos a la atención de los estudiantes y, por otro, los destinados al profesorado que orientan su actividad docente.

En México, la concreción de los modelos educativos se generalizó a partir de 2006, año en que distintas IES publicaron sus modelos (^{Fresán et al., 2017}). Después de más de una década de su implementación, poco se conoce sobre: a) en qué medida se han implementado de acuerdo con su diseño original; b) sobre su entorno, su funcionamiento, sus efectos y la coherencia entre sus partes; y c) la comparación entre los efectos previstos y sus objetivos y finalidades. Es decir, sobre ejercicios de evaluación sistemática que orienten medidas para la mejora del funcionamiento de los distintos programas que integran a los modelos educativos. Desde esta perspectiva, el propósito de este estudio es presentar la aproximación metodológica de una evaluación formativa del modelo educativo de una universidad pública en México.

Fundamentación teórica

Las dos funciones críticas de la evaluación son ampliamente aceptadas. La función formativa (denominada también evaluación intermedia o de proceso) es realizada durante el desarrollo de un programa, evento o persona con el fin de mejora y, generalmente, conducida más de una vez; y la función sumativa (también llamada de resultado, final o de producto) se efectúa al finalizar el programa o evento, la cual proporciona información de los resultados obtenidos, con el propósito de determinar el valor del producto final (^{Scriven, 1991}; ^{Jornet, Leyva y Sánchez, 2009}). Aunque pareciera obvio que en las IES se realicen tanto evaluaciones de tipo formativo como sumativo, lo que es un hecho es la dominancia de las evaluaciones sumativas sobre las orientadas a conocer el funcionamiento de los procesos para retroalimentar y mejorar el sistema.

En la actualidad existe una variedad de enfoques de evaluación de programas, también denominados modelos o aproximaciones, que pueden agruparse con base en sus características básicas (^{House, 2000}). Si bien estos aluden a una elaboración ideal sujeta a las contingencias propias de cada evaluación, los modelos proporcionan marcos de referencia a seguir en función de los objetivos de evaluación, los evaluadores, y los procedimientos y diseños de evaluación (^{Darwin, 2012}; ^{Ramzan, 2015}; ^{Stufflebeam y Shinkfield, 2007}).

Entre los enfoques de evaluación se encuentra el de evaluación comprensiva, de acuerdo con ^{Stake (2006)}, es una forma de buscar y documentar la calidad de un programa. El rasgo que le distingue es la “comprensividad (receptividad o sensibilidad) de cuestiones o problemas clave” (p. 144), en especial los experimentados por los usuarios del programa. Además, corresponde a una evaluación flexible en la medida que adapta los propósitos de la evaluación a las características del programa y el contexto; también se propone la interacción con las distintas audiencias. Asimismo, suscribe el punto de vista posmoderno, donde no existen respuestas verdaderas o mejores, ni valores preferibles (^{Stufflebeam, 2001}). En este sentido no hay una verdad absoluta, el papel del evaluador es el de mediador entre las diferentes perspectivas.

Desde la perspectiva de la aproximación comprensiva, el Modelo para la Evaluación de las Condiciones Contextuales (MECC), de ^{Canales, Leyva, Luna y Rueda (2014)}, tiene el propósito de orientar una indagación sistemática y ordenada de los factores de contexto, con el fin de identificar las acciones que guíen la mejora de la enseñanza. El MECC clasifica los factores y variables contextuales en los que se desarrolla la actividad docente y el aprendizaje en tres niveles: macro, meso y micro. El macro corresponde al entorno de las políticas nacionales e internacionales que orientan los propósitos, planes y programas generales de las IES en relación con la actividad docente; el meso considera las condiciones institucionales bajo las cuales se desarrolla el trabajo docente, como los planes y programas institucionales, condiciones laborales de los docentes, organización académica, características del trabajo docente e infraestructura y equipamiento de la institución; el nivel micro se circunscribe a las condiciones del aula que afectan la práctica docente en términos de infraestructura y equipamiento, características del profesor y características del alumno. De esta manera permite organizar la diversidad de iniciativas dirigidas a maestros y estudiantes.

La aproximación general del MECC, de clasificar y analizar los factores y variables contextuales en niveles macro, meso y micro, ha sido probada en distintas universidades de Iberoamérica (México, Argentina, Venezuela y España) tanto en instituciones públicas como privadas; una constante en estos ejercicios ha sido el uso de distintas estrategias para obtener información, tales como: análisis de documentos, grupos focales, entrevistas y cuestionarios dirigidos a directivos, docentes y estudiantes -como una manera de evidenciar la calidad de la enseñanza y el aprendizaje desde la perspectiva de los distintos actores (^{Cisneros, Contreras y López, 2016}; ^{Fernández Lamarra, Mundt, Tommasi, Martinchuk et al., 2016}; ^{González-Such, Sancho-Álvarez y Bakieva, 2016}; ^{Rueda, Canales y Leyva, 2016}).

En México, la experiencia documentada sobre evaluación de programas se concentra en el marco de la acreditación de programas educativos y data de 1991, con la creación de los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES), las funciones asignadas a los CIEES son apoyar a las IES para mejorar la calidad de la institución en su conjunto, y en particular de sus programas educativos; entre los indicadores que se evalúan se encuentran: plan de estudios, personal académico y actividades, infraestructura y equipamiento, alumnos, aspectos académico-administrativos y actividades de vinculación (^{De la Garza, 2013}). Los beneficios para las IES públicas, asociados a este tipo de evaluación, por un lado se relacionan con la asignación de recursos extraordinarios a través del Programa de Fortalecimiento de la Calidad Educativa (PFCE), y por otro, con el prestigio y reconocimiento social que se obtiene al contar con un mayor número de programas integrados al padrón de programas de calidad de los CIEES. En consecuencia, este tipo de evaluación tiene primordialmente funciones sumativas.

Desde otra perspectiva, el trabajo de ^{Fresán et al. (2017)} tuvo el propósito de estudiar la apropiación de los modelos educativos de seis IES públicas del país (universidades autónomas de Baja California, de la Ciudad de México, Benemérita de Puebla, de Aguascalientes, y Metropolitana en sus unidades Xochimilco y Cuajimalpa). A través de entrevistas a informantes clave, como funcionarios de la administración central y académicos, se cuestionó acerca del impacto del modelo educativo en las trayectorias escolares. Se indagó su percepción sobre alguna mejora en los indicadores de retención, rezago, eficiencia terminal y eficiencia en la obtención del grado atribuible al modelo educativo. Además, se preguntó sobre la homogeneidad en la operación del modelo de forma institucional y por áreas del conocimiento. Se encontró que prevalece el interés institucional por mantener una identidad propia al tiempo que se busca cumplir con las demandas impulsadas por las políticas educativas, se observaron problemas no resueltos en los procesos de socialización y apropiación de los modelos educativos por parte de los docentes.

En la consideración de que la calidad de la enseñanza involucra no solo la interacción entre el profesor y el alumno, también comprende el conjunto de programas dirigidos al profesorado, a la atención del estudiante, así como la infraestructura y el equipamiento que la institución pone a disposición de ellos para el desarrollo de la formación profesional. Al mismo tiempo, desde la perspectiva de una regulación pedagógica que se dirige a mejorar el funcionamiento y los resultados de los distintos programas y actividades que integran un sistema educativo (^{D’Hainaut, 1988}), se desarrolló el presente trabajo, de acuerdo con los siguientes objetivos.

El objetivo general fue presentar la aproximación metodológica de una evaluación formativa del modelo educativo de una universidad pública. Los objetivos específicos fueron:

Características del contexto

La UABC es la institución de educación superior pública más importante de Baja California. Se caracteriza por ser descentralizada en cuanto a su oferta educativa. En el segundo periodo de 2017 ofertó 132 programas de licenciatura y 46 de posgrado, con una matrícula de estudiantes de 63 mil 495 y mil 719, respectivamente; en total 65 mil 214 estudiantes. Asimismo, cuenta con mil 631 profesores de tiempo completo (26.5% de la planta docente), 72 de medio tiempo (1.1%), 4 mil 471 profesores de asignatura (72.4%) y 3 mil 508 empleados administrativos (^{UABC, 2018a}). El presupuesto de 2018 provino del subsidio federal (40%), subsidio estatal (40%) e ingresos propios (20%) (^{UABC, 2018b}).

A partir de la gestión rectoral 2002-2006, la UABC realizó una profunda reestructuración académica y administrativa, y se establecieron políticas en torno a la atención del estudiante mediante iniciativas de servicios de apoyo durante su estancia en la institución. Se implementó el sistema integral de tutorías, la promoción de la movilidad estudiantil y de actividades deportivas y culturales. Asimismo, en 2006 la UABC adoptó un modelo educativo con la modalidad de enseñanza por competencias. Desde esa fecha se ha impulsado la consolidación de los programas y del propio modelo, el cual fue reestructurado en 2013 (^{UABC, 2013}).

Los problemas que enfrenta la institución, relacionados con el rendimiento académico de los estudiantes, se ven reflejados en la tasa de rezago por reprobación, en el primer semestre de 2016 fue de 58.9%, de la cual 35.6% corresponde a estudiantes en nivel 3 (^{UABC, 2018a}). Al respecto, cabe precisar que el nivel de rezago se encuentra sujeto al número de asignaturas reprobadas en ordinario y extraordinario en el mismo periodo semestral; de esta manera, el nivel 1 indica una asignatura reprobada; el 2 corresponde a dos reprobadas y el 3 implica tres o más asignaturas reprobadas. Además, en este periodo la tasa de retención de alumnos de una cohorte de ingreso que permanece inscrita en el programa educativo al inicio del tercer semestre posterior a su ingreso fue de 78%, lo que indica que al concluir el primer año universitario se va el 22% del total de estudiantes que ingresaron (^{UABC, 2018a}).

En este contexto se hace necesario evaluar los programas y las acciones que integran el modelo educativo de la UABC con el fin de mejorar su funcionamiento.

Método general

La presente investigación se ubica en el campo de la evaluación educativa y corresponde a un estudio de caso realizado a partir del enfoque de la evaluación comprensiva, se utilizaron técnicas de análisis de contenido desde la perspectiva de ^{Holsti (1969)} y grupos de discusión en los que se buscó el acuerdo intersubjetivo de los participantes (^{Jornet, Such, Suárez y Perales, 2011}; ^{Krueger y Casey, 2015}), así como técnicas psicométricas para el desarrollo de los cuestionarios.

Los materiales utilizados fueron: Curso de inducción a los alumnos de nuevo ingreso, Manual del instructor y Cuadernillo de ejercicios, Lineamientos del Programa de Servicio Social Comunitario, Lineamientos del Programa de Tutorías, Modelo educativo (2013), Plan de Desarrollo Institucional UABC (2015-2019), Programa de Actividades Optativas de Formación Integral con Valor en Créditos, Programa de Formación Profesional y Vinculación, Programa de Intercambio Estudiantil, Programa de Orientación Educativa y Psicopedagógica, Programa Institucional de Valores, Reglamento General de Bibliotecas, Reglamento de Becas y Programa Universitario de Becas.

El trabajo se desarrolló a través de tres estudios: el primero presenta el método para la identificación de los componentes esenciales del modelo educativo orientados a la atención y formación de los estudiantes en la universidad; el segundo muestra el desarrollo de los instrumentos de evaluación formativa del modelo, y el tercero describe la experiencia de evaluación del modelo educativo.

Estudio 1. Identificación de los componentes del modelo educativo orientados a la atención y formación de los estudiantes

El objetivo específico de este estudio fue identificar los componentes esenciales del modelo educativo dirigidos a la formación integral de los estudiantes, su permanencia, tránsito y egreso.

Estudio 2. Desarrollo de los cuestionarios de evaluación del modelo educativo con base en la opinión de los estudiantes

El objetivo específico del estudio 2 fue desarrollar instrumentos de evaluación del modelo educativo con base en la opinión de los estudiantes.

Con base en los resultados derivados del estudio 1 se optó por de­sarrollar un cuestionario de evaluación del modelo educativo de los componentes propios de la etapa básica y otro para las etapas disciplinaria y terminal.

A continuación se describe el procedimiento seguido para cada uno de estos instrumentos.

Estudio 3. Evaluación del modelo educativo con base en la opinión de los estudiantes

El objetivo específico del estudio 3 fue evaluar el modelo educativo con base en la opinión de los estudiantes.

Discusión y conclusiones

Este trabajo reconoce a la evaluación educativa como necesaria en la medida en que hace posible incrementar la comprensión sobre los estudiantes, el profesorado, los programas y servicios que se ofrecen; así como identificar los resultados y actuar en consecuencia para optimizar el funcionamiento del sistema (^{Phillips, 2018}; ^{Stufflebeam, 2001}).

La evaluación formativa se caracteriza porque su objetivo es facilitar el mejoramiento de un programa (^Scriven,1991). Desde esta perspectiva, una evaluación es formativa cuando los resultados se utilizan únicamente para retroalimentar el funcionamiento del objeto de evaluación con fines de mejora. En consecuencia, la calidad de la retroalimentación es un componente central, dado que no toda retroalimentación es efectiva, pues se requiere que oriente el tipo de respuestas esperadas, y no solo señale lo inadecuado (^{Martínez Rizo, 2012}).

En México, desafortunadamente, existen escasas evidencias de trabajos de evaluación sistemática, dirigidos a la mejora del funcionamiento de los componentes que integran el modelo educativo de las IES. Se ha privilegiado la evaluación de los programas con una orientación eminentemente sumativa, asociada tanto a bolsas económicas como a prestigio y reconocimiento social (^{De la Garza, 2013}). Esta dominancia ha limitado la incursión en evaluaciones formativas.

La aproximación metodológica de evaluación desarrollada en este trabajo se fundamentó en los principios de la evaluación formativa. Asimismo, parte de una visión de regulación pedagógica, donde el mejoramiento se logra a partir de acoplar los actos a sus fines y la armonización de cada parte del sistema con el sistema en su conjunto (^{D’Hainaut, 1988}). Al mismo tiempo, reconoce la existencia de diferentes visiones en la implementación de un programa, por lo que se retomaron los planteamientos de ^{Stake (2006)} sobre evaluación comprensiva; en particular, la articulación de las diversas perspectivas se buscó a través del acuerdo intersubjetivo de los actores respecto de los elementos esenciales de cada dimensión que integra el modelo. Además, se reconoció la diversidad del contexto universitario en función de las áreas del conocimiento y las unidades académicas. Por último, la clasificación de los niveles meso y micro del MECC (^{Canales et al., 2014}) orientó la indagación sobre los elementos contextuales que integran al modelo educativo.

Los productos de los tres estudios integran una estrategia de evaluación formativa del modelo educativo de la UABC. Esta se compone, en primer lugar, por la delimitación de los componentes del modelo; los resultados revelaron las particularidades del contexto de enseñanza de la institución, lo cual determinó la toma de decisiones tanto para el diseño de los instrumentos como para la aplicación de los mismos. En segundo término, por el desarrollo de los instrumentos de evaluación, en los que se enfatizó la integración de los lineamientos presentes en los documentos normativos con la perspectiva de los distintos tipos de usuarios. Conciliar ambas aproximaciones fue posible gracias al trabajo colegiado, donde se buscó el acuerdo intersubjetivo de los participantes (^{Jornet et al., 2011}). En tercer lugar, la determinación de la población objeto de estudio y, en consecuencia, las muestras y submuestras de los diferentes estratos de la población, con el fin de acceder a la diversidad del contexto universitario. En cuarto lugar, la evaluación del modelo involucró el procesamiento de la información tanto para las muestras como submuestras, así como la entrega de los resultados a los diferentes usuarios (responsables institucionales y directores de unidad académica).

Este trabajo demostró la complejidad del constructo modelo educativo; trabajos anteriores dan cuenta de la diversidad de modelos existentes en el país y en Centroamérica (^{Tünnerman, 2008}) y de acercamientos a su caracterización (^{Fresán et al., 2017}). Al mismo tiempo, desde una perspectiva sistémica, hizo evidente que aproximarse a su evaluación se logró a través de la evaluación de cada una de sus partes (en este caso identificadas como dimensiones). De esta manera, se encontraron resultados diferenciales entre las dimensiones a nivel global (la universidad) y por dimensión entre áreas de conocimiento. Así, se demostró que el funcionamiento de cada una no es homogéneo en ninguno de los estratos estudiados. Por lo tanto, acceder a los contextos particulares se hace necesario para definir medidas remediales acordes a cada situación particular.

La estrategia de evaluación derivada de este estudio mostró que es factible la evaluación de los componentes importantes del modelo educativo. Sus resultados formaron parte de la retroalimentación que se proporcionó a los distintos usuarios a través de los reportes que se les entregaron. En este sentido, se generó retroalimentación de calidad que fundamentó la toma de medidas remediales a diferentes niveles de toma de decisiones (coordinadores de la administración central, directores de facultad y responsables de programas). Así, los resultados de la evaluación se utilizaron solo para identificar las fortalezas, debilidades y acciones de mejora para el funcionamiento de los programas.

Un cuestionamiento que surge es la periodicidad con que debe realizarse este tipo de trabajos de evaluación, en el caso particular de la UABC se propuso cada dos o cuatro años. La decisión depende de los programas de mejora a implementar a partir de la retroalimentación; es decir, las características del contexto determinan la frecuencia.

Si bien esta estrategia obtiene información de los estudiantes -destinatarios centrales del modelo educativo-, como en toda evaluación es necesario incorporar diferentes fuentes de información. En este sentido, incluir la visión de los docentes y directivos es una asignatura pendiente.

A 12 años de la implementación generalizada de los modelos educativos en las IES del país, una demanda es evaluar su pertinencia, fortalezas y debilidades con el fin de mejorar su funcionamiento. Atenderla desde la perspectiva de la evaluación formativa y una visión sistémica que identifica e integra a las diversas dimensiones que conforman el modelo, así como las particularidades de los contextos académicos hará posible articular esfuerzos para mejorar la calidad de la formación integral de los estudiantes durante su tránsito por la universidad.